一种健身动作实时监控方法及人工智能识别系统与流程

1.本发明涉及图像识别领域，具体涉及一种健身动作实时监控方法及人工智能识别系统。


背景技术：

2.近年来,随着人们工作强度日益增加、生活压力越来越大,人们的身体健康正面临着诸多挑战。在这种背景下,健康生活成为了人们关心的话题,越来越多的人选择通过健身来强化身体素质。另一方面,电子技术的飞速发展也使得越来越多的人使用基于mems的惯性传感器来监测人们的运动情况。这种方式可以更好地辅助体育锻炼,对于促进身体健康具有重要意义。
3.然而基于mems的动作识别现存方法精度较差;在应用场景方面,以人体活动识别为主,即识别人体站立、躺、坐、骑行等状态，具有很大的局限性,本发明采用图像识别、计算机视觉技术来获取健身动作状态信息，依据图像中的人体姿态信息可以准确的检测人体健身动作状态。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种健身动作实时监控方法及人工智能识别系统，所采用的技术方案具体如下：第一方面，本发明一个实施例提供了一种健身动作实时监控方法，该方法包括以下步骤：部署相机采集rgb图像；对所述rgb图像进行标注，得到人体关键点类别标注图像；将所述rgb图像与所述人体关键点类别标注图像组成数据集；对所述rgb图像利用bodypix 2.0进行人体部位分割，得到人体部位分割图像；建立人体关键点与人体部位的对应关系，基于所述对应关系获取所述数据集中每个人体关键点类别所对应的人体部位分割的平均面积；基于所述每个人体关键点类别所对应的人体部位分割的平均面积获取每个关键点类别中每个关键点的高斯分布大小、高斯分布标准差；基于所述每个关键点的高斯分布大小、高斯分布标准差获取图像的x坐标一维分布向量和y坐标一维分布向量；根据所述人体关键点类别标注图像中关键点的位置获取图像中每个人员的标签值；根据所述图像的x坐标一维分布向量、y坐标一维分布向量和所述图像中每个人员的标签值获取x标签值分布向量、y标签值分布向量；所述图像的x坐标一维分布向量、y坐标一维分布向量和、x标签值分布向量、y标签值分布向量组成标签数据；建立第一神经网络，根据所述rgb图像与所述标签数据训练所述第一神经网络；利用所述第一神经网络获取预测标签数据；根据所述预测标签数据获取图像中每个人员的人体姿态信息；根据所述每个人员的人体姿态信息建立第二神经网络，用以识别人员的健身动作状态。
5.进一步，所述每个关键点的高斯分布大小的计算方法为：
表示第l类别关键点中第i个关键点的分布大小，表示第l类别关键点所对应的人体部位分割的平均面积，表示第l类别关键点中第i个关键点所对应的该人体部位分割的面积，为向上取整函数，表示基准高斯分布大小。
6.进一步的，所述每个关键点的高斯分布标准差的计算方法为：，所述每个关键点的高斯分布标准差的计算方法为：表示第l类别关键点中第i个关键点的高斯分布标准差，表示第l类别关键点所对应的人体部位分割的平均面积，表示第l类别关键点中第i个关键点所对应的该人体部位分割的面积，为向上取整函数，表示基准高斯分布标准差。
7.进一步的，所述x坐标一维分布向量和y坐标一维分布向量的获取方法为：首先生成宽度为w的x坐标一维向量，高度为h的y坐标一维向量；对于每个一维向量，将关键点相应的规范化坐标代入一维高斯分布的函数中，同时根据其分布大小将该坐标得到的邻域规范化坐标进行代入，得到每一个关键点的一维高斯分布值；所述每个关键点的规范化坐标为0，根据该关键点的分布大小获取其邻域，邻域的规范化坐标是为以关键点为原点的坐标；最终代入一维高斯分布函数后求取出高斯分布概率值，再进行归一化，得到该关键点及相应分布大小的一维高斯分布概率值；所述每个关键点都有其相应的分布大小及一维高斯分布标准差；然后将所有关键点进行一一代入与计算，并将每张图像所有关键点计算得到的一维高斯分布概率值进行相加，即可得到每张图像的x坐标一维分布向量和y坐标一维分布向量。
8.进一步的，所述每个人员的标签值的计算方法为：n表示图像中的第n个人员，k表示关键点类别的数量，分别表示第n个人员第i个关键点的x、y坐标，w、h分别为图像的宽、高，该标签值包含两部分，前面为x标签值，后面为y标签值。
9.进一步的，所述x标签值分布向量、y标签值分布向量的获取方法为：首先获取人员所有关键点的一维高斯分布概率值，然后将所有关键点的一维高斯分布概率值相应位置进行求和，然后求平均，得到平均一维高斯分布概率，并将其与标签值相乘，得到标签分布向量；由于坐标向量表示为x、y两个一维向量，因此同样有x标签值分布向量、y标签值分布向量；每一个人员的所有类别关键点标签值为相同的一个值。
10.进一步的，所述第一神经网络的结构与损失函数为：所述第一神经网络的结构为图像编码器、全连接网络两部分；图像编码器的输入为rgb图像，其作用为特征提取，然后得到特征图，特征图进行展平操作得到特征向量，将特征向量输入全连接网络进行拟合，输出每一类关键点的x坐标一维分布向量、y坐标一维分布向量、x标签值分布向量、y标签值分布向量；损失函数如下：向量；损失函数如下：分别表示x坐标一维分布向量标签、网络预测的x坐标一维分布向量标签；
分别表示y坐标一维分布向量标签、网络预测的y坐标一维分布向量标签；分别表示x标签值分布向量、网络预测的x标签值分布向量；分别表示y标签值分布向量标签、网络预测的y标签值分布向量。
11.进一步的，所述根据预测标签数据获取图像中每个人员的人体姿态信息的方法为：利用阈值法获取第一神经网络预测的x坐标一维分布向量、y坐标一维分布向量中的疑似关键点x、y坐标；获取疑似关键点x坐标与疑似关键点y坐标的关联度，坐标的关联度计算方法为：以该x、y坐标为中心，计算相应分布长度的一维高斯分布序列的余弦相似度；然后针对疑似关键点的x、y坐标进行匹配，所述匹配方法采用km匹配，获取余弦相似度最优最大匹配，得到匹配的x、y坐标，该匹配的坐标即图像中存在的人员的关键点坐标。
12.进一步的，所述第二神经网络的结构及训练方法为：第二神经网络为时间卷积网络，包含时序编码器、全连接网络，时序编码器作用为时序姿态信息提取，其输入每个人的时序姿态信息，输出为特征向量；全连接网络起到拟合与特征映射作用，输入为特征向量，最终输出该人员的健身动作状态识别，分类函数采用；网络的标签数据通过人为标注，所述健身动作状态识别标注包含：当前处于健身动作状态、当前处于非健身动作状态；采用交叉熵损失函数基于adam算法对神经网络参数进行优化。
13.第二方面，本发明另一个实施例提供了一种健身动作人工智能识别系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述任意一项所述方法的步骤。
14.本发明具有如下有益效果：本发明基于图像中的人体部位面积来获取不同分布大小与标准差的人体姿态标注，降低了人为标注的歧义性，同时利用一维向量来实现人体姿态估计，相比现有技术减去了解码器的过程，节省计算资源，同时也缩小了重叠的2d热图导致的误检测问题。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
16.图1为本发明一个实施例所提供的一种健身动作实时监控方法流程图。
17.图2为本发明一个实施例所提供的一种健身动作实时监控方法中不同标准差高斯分布的示意图。
具体实施方式
18.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种健身动作实时监控方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
19.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
20.下面结合附图具体的说明本发明所提供的一种健身动作实时监控方法的具体方案。
21.请参阅图1，其示出了本发明一种健身动作实时监控方法，其特征在于，该方法包括以下步骤：步骤s001：部署相机采集rgb图像；对所述rgb图像进行标注，得到人体关键点类别标注图像；将所述rgb图像与所述人体关键点类别标注图像组成数据集；首先在监控区域部署监控相机，所述监控相机以普通相机，分辨率1080p即可，对区域进行实时的图像采集，所述采集的图像为rgb颜色空间的图像。然后对rgb图像实时利用人体姿态估计技术检测人体的关键点信息。
22.对于姿态估计技术首选深度学习方法，其精度高，然而基于深度学习的人体姿态估计技术中，二维热图表示由于其高性能，多年来一直主导着人体姿势估计。然而，基于热图的方法有一些缺点：存在量化误差，受到热图空间分辨率限制。较大热图需要额外的上采样操作和高分辨率的昂贵处理。重叠的热图信号可能会被误认为是单个关键点。
23.本发明采用普通图像分类网络结构的神经网络即可实现多人体姿态估计。
24.首先对图像中进行标注，针对图像内的人体骨骼关键点进行标注，标注即标注图像坐标，即让图像坐标与人体骨骼关键点存在对应关系即可。标注的人体骨骼关键点可参考coco人体姿态估计数据集。
25.将所述rgb图像与所述人体关键点类别标注图像组成数据集。
26.步骤s002：对所述rgb图像利用bodypix 2.0进行人体部位分割，得到人体部位分割图像；建立人体关键点与人体部位的对应关系，基于所述对应关系获取所述数据集中每个人体关键点类别所对应的人体部位分割的平均面积；基于所述每个人体关键点类别所对应的人体部位分割的平均面积获取每个关键点类别中每个关键点的高斯分布大小、高斯分布标准差；获取坐标向量：基于热图的方法，在标注上也存在以下问题：通常标准差是固定的，意味着不同的关键点被相同构造的热图监督。同一关键点的不同覆盖区域可能会导致语义混淆，关键点坐标具有固有的模糊性。存在人为尺度差异和标注歧义。
27.本发明将关键点的x坐标和y坐标表示分离为两个独立的一维向量。将关键点定位任务视为水平和垂直方向回归的两个子任务。
28.首先利用实例分割算法获取图像中人体的实例，所述实例分割算法优选的采用基于深度学习的实例分割算法，本发明采用bodypix 2.0模型中的segmentmultipersonparts方法，可以得到图像中每个人的实例分割结果以及每个人的人体部位分割结果，总计包含24个身体部位分割结果。
29.对于每个人体部位其都应对应一个关键点或多个关键点位置，如左手部位对应左手关键点。然后获取每个关键点所对应的该人体部位分割面积。然后统计所有标注数据集中每个关键点所对应的该人体部位分割面积。对于部位分割面积而言，不考虑人体位姿影响下，其面积越大，通常代表其离采集图像时相机光心越近，在图像中也越显著。
30.进一步的，获取所有标注数据集中每个关键点所对应的该人体部位分割的平均面积：其中t为所有标注数据集中该关键点类别的数量，表示第j个该关键点类别所对应的人体部位分割的面积。
31.然后设置经验分布大小b，该大小决定了坐标向量中一维高斯分布的大小，经验值为5。
32.进一步的，基于每个关键点所对应的该人体部位分割的平均面积获取其分布大小：小：表示第l类别关键点中第i个关键点的分布大小，表示第l类别关键点所对应的该人体部位分割的平均面积，表示第l类别关键点中第i个关键点的所对应的该人体部位分割的面积。通过该公式，使得关键点对应部分面积越小的，其分布越小，因为面积越小，其通常在图像中越小，越容易存在关键点分布区域重叠。面积越大，其分布越大，因为越大其标注越具有歧义性。即该点表示骨骼关键点是否准确。然后对于分布大小存在以下约束：最小分布大小为3，最大分布大小为9。为向上取整函数。
33.对于高斯分布而言，其均值一定的情况下，其标准差不同，导致的分布不同，因此可以将高斯分布的标准差表示标注的不确定性，同样具有下述公式：其中c表示基准标准差，经验值为1。该公式表示面积越大，其标准差越大，其分布的值越接近。然后对于标准差大小存在以下约束：最小标准差为0.5，最大标准差为2.5。
34.步骤s003：基于所述每个关键点的高斯分布大小、高斯分布标准差获取图像的x坐标一维分布向量和y坐标一维分布向量；根据所述人体关键点类别标注图像中关键点的位置获取图像中每个人员的标签值；根据所述图像的x坐标一维分布向量、y坐标一维分布向量和所述图像中每个人员的标签值获取x标签值分布向量、y标签值分布向量；所述图像的x坐标一维分布向量、y坐标一维分布向量和、x标签值分布向量、y标签值分布向量组成标签数据；进一步的，生成x坐标一维分布向量和y坐标一维分布向量，方法为：对于神经网络的推理其输入为固定尺寸的图像，此处首先生成宽度为w的x坐标一维向量，高度为h的y坐标一维向量。
35.对于每个一维向量，将关键点相应的规范化坐标代入一维高斯分布的函数中，同时根据其分布大小将该坐标得到的邻域规范化坐标进行代入，得到每一个关键点的一维高斯分布值。所述一维高斯分布的函数为：
为均值，为标准差，e为自然底数，为数学圆周率。
36.所述每个关键点的规范化坐标为0，其邻域的规范化坐标为以关键点为原点的坐标。最终代入一维高斯分布函数后求取出高斯分布概率值，再进行归一化，即可得到该关键点及相应分布大小的一维高斯分布概率值。所述每个关键点都有其相应的分布大小及一维高斯分布标准差。如一个关键点，其分布大小为3，标准差为0.5，以其x坐标为例，则把该关键点规范化坐标及邻域的规范化坐标（分布大小为3，即该关键点左右邻域规范化坐标分别为-1、1）代入标准差为0.5的一维高斯分布函数中得到相应的值，并进行归一化即可。所述归一化为关键点坐标位置其概率值为1。
37.然后将所有关键点进行一一代入与计算，然后将每张图像所有关键点计算得到的一维高斯分布概率值进行相加最终即可得到每张图像的x坐标一维分布向量和y坐标一维分布向量。
38.获取标签值分布向量：因为要区分图像内的不同人员实例，所以引入标签值，即同一个人员的所有关键点标签值要相近，不同人员之间的标签值要不同，所述人员的标签值的计算方法如下：n表示图像中的第n个人员，k表示关键点类别的数量，分别表示第n个人员第i个关键点的x、y坐标。w、h分别为图像的宽、高。该标签值包含两部分，前面为x标签值，后面为y标签值。
39.然后求取该人员所有关键点的标签值分布向量，其方法为：首先获取该人员所有关键点的一维高斯分布向量，然后将所有关键点的一维高斯分布概率值相应位置进行求和（每个关键点的一维高斯分布概率都可以认为是一个序列，然后将所有关键点的一维高斯分布概率对应位置相加即可），然后求平均，得到平均一维高斯分布概率，并将其与标签值相乘，得到标签分布向量。
40.由于坐标向量表示为x、y两个一维向量，因此同样有x标签值分布向量、y标签值分布向量。每一个人员的所有关键点标签值为相同的一个值。
41.至此，对于每张图像都可获取每一类别关键点的x坐标一维分布向量、y坐标一维分布向量、x标签值分布向量、y标签值分布向量。该些向量作为网络的标签数据，基于上述四个向量可以获取图像中每个人的人体姿态信息。
42.步骤s004：建立第一神经网络，根据所述rgb图像与所述标签数据训练所述第一神经网络；进一步的，训练第一神经网络，所述第一神经网络的结构为图像编码器、全连接网络两部分。
43.图像编码器的输入为rgb图像，其作用为特征提取，然后得到特征图，特征图进行展平（flatten）操作得到特征向量，将特征向量输入全连接网络进行拟合，输出每一类关键点的x坐标一维分布向量、y坐标一维分布向量、x标签值分布向量、y标签值分布向量。该网络可以采用resnet、hrnet等常见的网络模型。
44.损失函数如下：
分别表示x坐标一维分布向量标签、网络预测的x坐标一维分布向量标签；分别表示y坐标一维分布向量标签、网络预测的y坐标一维分布向量标签；分别表示x标签值分布向量、网络预测的x标签值分布向量；分别表示y标签值分布向量标签、网络预测的y标签值分布向量。
45.网络的优化方法可采用adam、sgd等，实施者可自由采取。
46.步骤s005：利用所述第一神经网络获取预测标签数据；根据所述预测标签数据获取图像中每个人员的人体姿态信息；至此，第一神经网络训练完成，然后基于第一神经网络的输出进行人体姿态的提取与匹配，所述后处理方法为：利用阈值法获取x坐标一维分布向量、y坐标一维分布向量中的疑似关键点x、y坐标。所述阈值法中的阈值经验值为0.85。
47.由于利用坐标向量来标注多人体姿态存在歧义性，关键点的x坐标和y坐标表示分离为两个独立的一维向量，得到的x坐标可能与多个y坐标对应，因此需要利用坐标的关联度，坐标的关联度计算为以该坐标为中心，分布长度为5大小的一维高斯分布序列的余弦相似度。即求每一个疑似关键点x坐标一维高斯分布序列与每一个疑似关键点y坐标一维高斯分布序列的余弦相似度，该值越大，代表两个值越匹配。
48.然后针对疑似关键点的x、y坐标进行匹配，所述匹配方法采用km匹配，获取余弦相似度最优最大匹配，得到匹配的x、y坐标，该坐标即图像中存在的人员的关键点坐标。
49.对于每一类关键点的坐标向量，都进行上述处理，得到图像中所有人员的关键点信息，然后基于x标签值分布向量、y标签值分布向量获取关键点相应位置中的标签值和（即x、y标签值的和）信息，基于标签值和进行分组，然后获取关键点标签值和最接近的一组关键点，该组关键点即为图像中一人的人体姿态信息。所述关键点标签值和最接近的一组关键点的一个判断方法如下：获取头部关键点，然后以头部关键点为例，获取其标签值和，然后获取其与其它每一类关键点的标签值和最小方差的关键点。该些关键点分为一组。
50.至此，即可通过上述方法得到图像中每一个人员的二维人体姿态信息。
51.步骤s006：根据所述每个人员的人体姿态信息建立第二神经网络，用以识别人员的健身动作状态。
52.利用上述神经网络实时获取图像中每个人的姿态信息，然后采用时间卷积网络对时序的人体姿态信息进行健身动作状态识别，训练的细节如下：时间卷积网络包含时序编码器、全连接网络，时序编码器作用为时序姿态信息提取。其输入每个人的时序姿态信息，输出为特征向量。全连接网络起到拟合与特征映射作用，输入为特征向量，最终输出该人员的健身动作状态识别，分类函数采用。网络的标签数据通过人为标注,输入到网络要经过独热编码。采用交叉熵损失函数基于adam算法对神经网络参数进行优化。
53.所述健身动作状态识别包含：当前处于健身动作状态、当前处于非健身动作状态。然后基于不同的分类结果来调整基于mems惯性传感器的数据采集，非健身动作状态关闭基于mems惯性传感器的数据采集功能，健身动作状态时开启基于mems惯性传感器的数据采集
功能。
54.至此，即可通过神经网络实现对人员健身动作状态的识别。
55.基于与上述方法实施例相同的构思，本发明另一个实施例还提供了一种健身动作人工智能识别系统，该系统包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例所提供的一种健身动作实时监控方法的步骤，其中，一种健身动作实时监控方法已经在上述实施例中详细说明，不再赘述。
56.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
57.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
58.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。