一种人体姿态差异评估的方法及装置与流程

本申请涉及计算机技术领域，尤其涉及一种人体姿态差异评估的方法及装置。

背景技术：

近年来人工智能发展迅速，尤其在图像识别领域诞生了很多优秀的算法，不断提高着图像识别的水平。而在图像识别领域，人体姿态识别当前也是一个很热门的子领域，各种算法不断提高着人体姿态识别的精度。而在人体姿态识别的应用场景中有一类是对人体姿态进行对比，以评价两个人体姿态之间的相似度(或差异度)。现在的大多数算法识别出的人体的一些比较关键的人体部位的位置，比如人的鼻子、眼睛、耳朵、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节等。有人提出了一种叫“余弦相似度”的方法来评价识别出的两个人体姿态，也就是上述这个部位的位置的差异，把人体的人体姿态看作是各个关键部位的位置的坐标组成的向量，通过“余弦定理”推算两个向量之间的“夹角”来评价两个向量之间的差异程度。。

“余弦相似度”算法可大致评估两个人体姿态之间的差异，但是存在一个显而易见的问题：因为人体在图像中的位置和大小的不同会导致各个关键部位的位置的坐标组成的向量的各个分量产生差异，进而导致推算出的向量之间的“夹角”发生变化，最终影响评估的结果。

技术实现要素：

本申请提供了一种人体姿态差异评估的方法及装置，以解决现有“余弦相似度”算法中因向量分量产生差异影响评估结果的问题。

第一方面，为实现上述目的，本申请提供了一种人体姿态差异评估的方法，所述方法包括：

获取第一关节夹角集合及第二关节夹角集合，所述第一关节夹角集合及所述第二关节夹角集合中包括至少一组对应的关节夹角；所述关节夹角范围为0-360°；

获取第一关节夹角集合及第二关节夹角集合中对应的每组关节夹角的目标差值；

获取所述每组关节夹角的预设权重；

根据所述目标差值和所述预设权重获取差异度。

进一步地，所述获取第一关节夹角集合包括：

获取第一目标关节及第一目标关节的向量坐标，所述第一目标关节至少为一个；

对所述第一目标关节之间进行连线获得第一连线集合；

根据预设的连线需求排除无意义连线，获取第一目标连线集合；

根据所述第一目标关节和所述第一目标连线集合获取第一关节夹角，形成第一关节夹角集合。

进一步地，所述获取第二关节夹角集合包括：

获取第二目标关节及第二目标关节的向量坐标，所述第二目标关节至少为一个；

对所述第二目标关节之间进行连线获得第二连线集合；

根据预设的连线需求排除无意义连线，获取第二目标连线集合；

根据所述第二目标关节和所述第二目标连线集合获取第二关节夹角，形成第二关节夹角集合。

进一步地，所述关节夹角的目标差值的范围为0-180°。

进一步地，所述差异度为所述目标差值的加权平均值。

第二方面，本申请还提供了一种人体姿态差异评估的装置，所述装置包括：

关节夹角获取模块，用于获取第一关节夹角集合及第二关节夹角集合，所述第一关节夹角集合及所述第二关节夹角集合中包括至少一组对应的关节夹角；所述关节夹角范围为0-360°；

夹角差值获取模块，用于获取第一关节夹角集合及第二关节夹角集合中对应的每组关节夹角的目标差值；

夹角权重获取模块，用于获取所述每组关节夹角的预设权重；

差异度获取模块，用于根据所述目标差值和所述预设权重获取差异度。

进一步地，所述关节夹角获取模块还用于：

获取第一目标关节及第一目标关节的向量坐标，所述第一目标关节至少为一个；

对所述第一目标关节之间进行连线获得第一连线集合；

根据预设的连线需求排除无意义连线，获取第一目标连线集合；

根据所述第一目标关节和所述第一目标连线集合获取第一关节夹角，形成第一关节夹角集合。

进一步地，所述关节夹角获取模块还用于：

获取第二目标关节及第二目标关节的向量坐标，所述第二目标关节至少为一个；

对所述第二目标关节之间进行连线获得第二连线集合；

根据预设的连线需求排除无意义连线，获取第二目标连线集合；

根据所述第二目标关节和所述第二目标连线集合获取第二关节夹角，形成第二关节夹角集合。

进一步地，所述关节夹角的目标差值的范围为0-180°。

进一步地，所述差异度为所述目标差值的加权平均值。

第三方面，为实现上述目的，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项人体姿态差异评估的方法的步骤。

第四方面，为实现上述目的，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面任一项人体姿态差异评估的方法的步骤。

由以上技术方案可见，本申请实施例提供的一种人体姿态差异评估的方法及装置，通过获取第一关节夹角集合及第二关节夹角集合，所述第一关节夹角集合及所述第二关节夹角集合中包括至少一组对应的关节夹角；获取第一关节夹角集合及第二关节夹角集合中对应的每组关节夹角的目标差值；获取所述每组关节夹角的预设权重；根据所述目标差值和所述预设权重获取差异度。

本申请这种与人体在图像中位置和大小无关的姿态差异评估方法，即根据人体关键部位的连线之间的夹角的差异来评估。这种评估方式只跟人体的关键部位的相对位置有关，而跟人体在图像中的位置和大小没关系，避免了“余弦相似度”等评价算法中人体姿态在图像中位置和大小对差异度评价的影响。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请第一实施例提供的人体姿态差异评估的方法的流程示意图；

图2为本申请第二实施例提供的人体姿态差异示意图；

图3为本申请第三实施例提供的人体姿态差异示意图；

图4为本申请实施例提供的人体姿态差异评估的装置的结构示意图。

具体实施方式

下面通过对本申请进行详细说明，本申请的特点和优点将随着这些说明而变得更为清楚、明确。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“前”、“后”、“左”和“右”等指示的方位或位置关系为基于本申请工作状态下的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”和“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。

为解决上述问题，本申请提供了一种人体姿态差异评估的方法及装置，下面结合附图，详细介绍本申请的具体实施例。

图1为本申请第一实施例提供的一种人体姿态差异评估的方法的流程示意图，如图1所示，所述方法包括步骤s101至s104。

s101：获取第一关节夹角集合及第二关节夹角集合，所述第一关节夹角集合及所述第二关节夹角集合中包括至少一组对应的关节夹角。

具体实施时，所述获取第一关节夹角集合包括：

s110：获取第一目标关节及第一目标关节的向量坐标，所述第一目标关节至少为一个；

s120：对所述第一目标关节之间进行连线获得第一连线集合；

s130：根据预设的连线需求排除无意义连线，获取第一目标连线集合；

s140：根据所述第一目标关节和所述第一目标连线集合获取第一关节夹角，形成第一关节夹角集合。

具体实施时，通过人工智能算法得到第一图像中人体的关键部位的坐标，其中第一图像可以是人体姿态改变前或后的显示图像，也可以是有对比性动作中的一个。关键部位即目标关节一般是人体的五官和各个大的关节，比如肩关节、肘关节、腕关节、髋关节、膝关节、踝关节等。

向量坐标指的是图像中目标关节的像素坐标，一般是以图像左上角的像素为原点，图像中的目标关节每个像素点距离原点在水平方向上和垂直方向上相距多少个像素，如以图像左上角的像素为原点，向右的方向为x轴正向，向下的方向为y轴正向。

获取目标关节的向量坐标后，再通过向量坐标得到一组关键部位之间的连线，从这些连线中排除一些无意义的连线，再根据剩余的连线计算各个连线之间的夹角。筛选连线的过程中可以注意其中一些连线可能和人体的骨骼相对应，比如肩关节与肘关节之间的连线与人体的上臂相对应，肘关节与腕关节之间的连线与前臂相对应，这两个连线之间的夹角正是人体的上臂与前臂之间的夹角，类似这样的夹角是和人体的姿态是紧密关联的，是有意义的。又如人肩关节和人体膝关节的连线就是把两个无关的关节连接起来，这样基本上没什么意义。如两个连线通过同一个关节点，那么这两个连线就是有夹角的，则先把连线定义好方向，比如从肩关节到肘关节的连线方向是以肩关节为起始点，肘关节为终结点，计算两个连线(其实就是向量)之间的夹角，利用反余弦定理来计算夹角的绝对值，用点积来确定夹角的符号(正负)。

具体实施时，所述获取第二关节夹角集合包括：

s150：获取第二目标关节及第二目标关节的向量坐标，所述第二目标关节至少为一个；

s160：对所述第二目标关节之间进行连线获得第二连线集合；

s170：根据预设的连线需求排除无意义连线，获取第二目标连线集合；

s180：根据所述第二目标关节和所述第二目标连线集合获取第二关节夹角，形成第二关节夹角集合。

具体实施时，如果第一目标关节相关的第一图像，是人体姿态改变前或后的显示图像，则第二图像则是与第一图像对应的人体姿态改变后或前的显示图像，也可以是有比对性动作中的另一个，所以第二关节夹角的获取方式与第一关节夹角的获取方式可相同也可不同。

另外，所述关节夹角是有方向的，范围为0-360°，如果图像中展示出的关节只有1或2个，也就不能形成有效夹角，则可认为该差别为0或者最大值，如果无法对比的夹角超过一定数量则可认为无法比较。具体实施时，夹角的差值范围即关节夹角的目标差值的范围是0-180°，如330°的角和0°角的差值应该是30°，而不是330°，夹角的差值类似数的差值，是两个夹角的差值的绝对值，而且如果这个绝对值超过了180°就应该用它减去360°，再求绝对值，因为一个角加上或减去360的倍数，这个角的大小其实是不变的。

s102：获取第一关节夹角集合及第二关节夹角集合中对应的每组关节夹角的目标差值；

s103：获取所述每组关节夹角的预设权重；

s104：根据所述目标差值和所述预设权重获取差异度。

具体实施时，每组关节夹角的目标差值是人体姿态改变前后的形成夹角的差值。根据这些人体关键部位之间连线的夹角的意义的大小，赋予各个夹角不同的“权重”，然后计算这些目标差值的加权平均值，这个加权平均值就是人体姿态的“差异度”。如夹角的目标差值是d1、d2、d3，预设权重分别是w1、w2、w3，则加权平均值为(d1·w1+d2·w2+d3·w3)/(w1+w2+w3)。

图2本申请第二实施例提供的一种人体姿态差异示意图，如图2所示，以图像左上角的像素为原点，向右的方向为x轴正向，向下的方向为y轴正向。估计出的人体的目标关节为:p1右肩关节、p2左肩关节、p3右肘关节、p4左肘关节、p5右腕关节、p6左腕关节、p7右髋关节、p8左髋关节、p9右膝关节、p10左膝关节、p11右踝关节、p12左踝关节。

采集到的目标关节的连线为:v1“右肩关节->左肩关节”、v2“右肩关节->右髋关节”、v3“右肩关节->右肘关节”、v4“右肘关节->右腕关节”、v5“左肩关节->右肩关节”、v6“左肩关节->左髋关节”、v7“左肩关节->左肘关节”、v8“左肘关节->左腕关节”、v9“右髋关节->左髋关节”、v10“右髋关节->右膝关节”、v11“右膝关节->右踝关节”、v12“左髋关节->右髋关节”、v13“左髋关节->左膝关节”、v14“左膝关节->左踝关节”

获取的关节夹角为v1与v2的夹角a1、v1与v3的夹角a2、v3与v4的夹角a3、v5与v6的夹角a4、v5与v7的夹角a5、v7与v8的夹角a6、v2与v9的夹角a7、v9与v10的夹角a8、v10与v11的夹角a9、v6与v12的夹角a10、v12与v13的夹角a11、v13与v14的夹角a12。其中，a1到a12的值的范围为[0，360]，求出以上a1到a12的值，然后使用加权平均值求得“姿态差异度”，这个差异度取值范围是[0，180]。为了更方便地表示差异度，我们将这个差异度除以180，得到的值的范围为[0，1]，0表示没有差异，越接近1，表示差异越大。

本申请这种与人体在图像中位置和大小无关的姿态差异评估方法，即根据人体关键部位的连线之间的夹角的差异来评估。这种评估方式只跟人体的关键部位的相对位置有关，而跟人体在图像中的位置和大小没关系，避免了“余弦相似度”等评价算法中人体姿态在图像中位置和大小对差异度评价的影响。

图3本申请第三实施例提供的人体姿态差异示意图，如图3所示，采用本本申请所述方法由于夹角全部是相等的，所以夹角的目标差值全为0，加权平均也是0，所以最终的差异度也为0。

而用余弦相似度，如只计算三个点组成的一个局部的余弦相似度。如左图中人右肘关节的坐标是(10，30)，右肩关节的坐标为(20，10)，左肩关节的坐标为(40，10)，最终得到的多维向量为(10，30，20，10，40，10)。右图中人右肘关节的坐标为(35，50)，右肩关节的坐标为(40，40)，左肩关节的坐标为(50，40)，最终的得到的多维向量为

(35，50，40，40，50，40)，计算这两个多维向量的“夹角”的余弦应为(10·35+30·50+20·40+10·40+40·50+10·40)

/(sqrt(10·10+30·30+20·20+10·10+40·40+10·10)·sqrt(35·35+50·50+40·40+40·40+50·50+40·40))，结果是0.00024376，再求反余弦结果是一个很接近90度的角。显然两个向量的“朝向”差别是很大的。

如上图所示，图3中人体识别的姿态从人眼来看是相似度是很高的，但是由于人体在图像中的位置和大小不同，导致用“余弦相似度”计算出的差异较大，而如果我们计算图上的那些绿色的关节处的夹角会发现两者之间其实是一致的。

与本申请提供的一种人体姿态差异评估的方法实施例相对应，本申请还提供一种人体姿态差异评估的装置的实施例。参考图4，为本申请实施例提供的一种人体姿态差异评估的装置的结构示意图，所述装置包括：

关节夹角获取模块100，用于获取第一关节夹角集合及第二关节夹角集合，所述第一关节夹角集合及所述第二关节夹角集合中包括至少一组对应的关节夹角；所述关节夹角范围为0-360°；

夹角差值获取模块200，用于获取第一关节夹角集合及第二关节夹角集合中对应的每组关节夹角的目标差值；

夹角权重获取模块300，用于获取所述每组关节夹角的预设权重；

差异度获取模块400，用于根据所述目标差值和所述预设权重获取差异度。

进一步地，所述关节夹角获取模块100还用于：

获取第一目标关节及第一目标关节的向量坐标，所述第一目标关节至少为一个；

对所述第一目标关节之间进行连线获得第一连线集合；

根据预设的连线需求排除无意义连线，获取第一目标连线集合；

根据所述第一目标关节和所述第一目标连线集合获取第一关节夹角，形成第一关节夹角集合。

进一步地，所述关节夹角获取模块100还用于：

获取第二目标关节及第二目标关节的向量坐标，所述第二目标关节至少为一个；

对所述第二目标关节之间进行连线获得第二连线集合；

根据预设的连线需求排除无意义连线，获取第二目标连线集合；

根据所述第二目标关节和所述第二目标连线集合获取第二关节夹角，形成第二关节夹角集合。

进一步地，所述关节夹角的目标差值的范围为0-180°。

进一步地，所述差异度为所述目标差值的加权平均值。

本申请公开了一种人体姿态差异评估的方法及装置，通过获取第一关节夹角集合及第二关节夹角集合，所述第一关节夹角集合及所述第二关节夹角集合中包括至少一组对应的关节夹角；获取第一关节夹角集合及第二关节夹角集合中对应的每组关节夹角的目标差值；获取所述每组关节夹角的预设权重；根据所述目标差值和所述预设权重获取差异度。本申请这种与人体在图像中位置和大小无关的姿态差异评估方法，即根据人体关键部位的连线之间的夹角的差异来评估，避免了“余弦相似度”等评价算法中人体姿态在图像中位置和大小对差异度评价的影响。

根据上述人体姿态差异评估的方法，本申请实施例还提供一种可读存储介质和一种计算机设备。可读存储介质上存储有可执行程序，该程序被处理器执行时实现上述人体姿态差异评估的方法的步骤；计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的可执行程序，处理器执行程序时实现上述人体姿态差异评估的方法的步骤。

以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。