骨骼识别装置、学习方法以及学习程序与流程

本发明涉及骨骼识别装置等。

背景技术：

1、关于检测三维的人的运动的骨骼识别，建立从多台3d激光传感器以±1cm的精度提取3d骨骼坐标的3d传感检测技术，期待应用于各种体育运动。将使用3d激光传感器的方式记作“激光方式”。

2、在上述的激光方式中，在1秒钟照射激光约200万次，基于激光的飞行时间(timeof flight：tof)，求出包括成为对象的人在内的各照射点的深度数据。在激光方式中，能够获取高精度的深度数据，但由于进行激光扫描、tof测定等复杂的结构、处理，因此存在硬件变得复杂且昂贵的缺点。

3、对于激光方式，在通过cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)成像器来获取各像素的rgb数据的图像方式中，能够使用廉价的rgb相机来进行3d骨骼识别。

4、例如，作为通过图像方式进行骨骼识别的现有技术，有现有技术1。图11是用于对现有技术1进行说明的图。在现有技术1中，通过对各输入图像1施加2d backbone处理1a，来获取表示各关节特征的2d features2。现有技术1通过将各2d features2根据相机参数投影到3dcube，来获取aggregated volumes3。

5、现有技术1通过将aggregated volumes3输入至v2v(神经网络，p3)4，来获取表示各关节的似然性的processed volumes5。processed volumes5对应于表示各关节的3d中的似然性的heatmap。现有技术1通过对processed volumes5执行soft-argmax6，来获取3d骨骼信息7。

6、对现有技术1中使用的v2v4的学习的一个例子进行说明。v2v4主要由3d的内核构成，通过误差反向传播来学习内核的权重和偏差。将内核的权重和偏差适当地统称为“参数”。在现有技术1中，根据从soft-argmax6输出的3d骨骼信息以及正解值计算关节位置误差的平均值lp作为loss值，并学习(调整)参数以使该loss值最小化。

7、在这里，在现有技术1中，若由于发生遮挡而部分关节的误差增大，则难以适当地调整v2v4的参数。例如，即使部分关节的误差较大，若其他关节的误差较小，则通过平均化，部分关节的误差不会给loss函数的输出带来较大的影响。即，不用为了改善部分关节的误差而调整v2v4的参数。

8、图12是表示部分关节的误差较大的骨骼的例子的图。在图12中，3d骨骼信息10a是与正解值对应的3d骨骼信息。3d骨骼信息10b对应于从soft-argmax6输出的骨骼识别结果。在图12所示的例子中，左脚踝关节的误差较大，但由于其他关节的误差较小，因此若平均则不会给loss值带来较大的影响，因此无法期待改善左脚踝位置的学习效果。

9、对于上述的问题，有现有技术2。在现有技术2中，在第一阶段，基于距离图像来推断关节位置，在第二阶段，对于推断出的关节位置，基于人体模型来评价匹配性，并修正推断出的关节位置，以成为最好的关节位置的组合。在现有技术2中，通过如上述那样以两个阶段进行处理，来提高关节位置的推断精度。

10、专利文献1：日本特开2015－167008公报

11、专利文献2：日本特开2004－13474号公报

12、非专利文献1：k.iskakov,et al.,“learnable triangulation of human pose”,iccv 2019,oral

13、非专利文献2：g.moon,et al.,“v2v-posenet:voxel-to-voxel predictionnetwork for accurate 3d hand and human pose estimation from asingle depthmap”,cvpr 2018

14、在上述的现有技术2中，虽然提高了关节位置的推断精度，但在输出修正后的关节位置之前，要执行两个阶段的处理，存在骨骼识别需要处理时间的问题。

技术实现思路

1、在一个方面，本发明的目的在于提供一种能够不花费处理时间地进行骨骼识别结果的骨骼识别装置、学习方法以及学习程序。

2、在第一方案中，骨骼识别装置具有识别处理部和损失函数计算部。识别处理部将教师数据输入至学习模型并计算基于正向传播的输出。损失函数计算部根据基于作为教师数据的正解值的骨骼信息和识别处理部的输出结果的骨的长度之差、以及基于骨骼信息和上述识别处理部的输出结果的骨彼此的角度之差，来计算损失函数的值。

3、能够不花费处理时间地进行骨骼识别结果。

技术特征：

1.一种骨骼识别装置，其特征在于，具有：

2.根据权利要求1所述的骨骼识别装置，其特征在于，

3.根据权利要求2所述的骨骼识别装置，其特征在于，

4.根据权利要求3所述的骨骼识别装置，其特征在于，

5.一种学习方法，是由计算机执行的学习方法，其特征在于，

6.根据权利要求5所述的学习方法，其特征在于，

7.根据权利要求6所述的学习方法，其特征在于，

8.根据权利要求7所述的学习方法，其特征在于，

9.一种学习程序，其特征在于，

10.根据权利要求9所述的学习程序，其特征在于，

11.根据权利要求10所述的学习程序，其特征在于，

12.根据权利要求11所述的学习程序，其特征在于，

技术总结
本发明的骨骼识别装置将教师数据输入至学习模型并计算基于正向传播的输出。骨骼识别装置根据基于作为教师数据的正解值的骨骼信息和识别处理部的输出结果的骨的长度之差、以及基于骨骼信息和上述识别处理部的输出结果的骨彼此的角度之差，来计算损失函数的值。

技术研发人员：铃木达也
受保护的技术使用者：富士通株式会社
技术研发日：
技术公布日：2024/1/13