一种基于多视角下多人三维姿态估计方法

本发明属于计算机视觉领域，尤其涉及一种基于多视角下多人三维姿态估计方法。

背景技术：

1、在现代社会，人们越来越注重健康和身体素质，跑步作为一种简单易行的有氧运动方式，深受人们的青睐。然而，频繁的跑步也会给人们带来许多不良影响，例如跑步训练伤害。训练伤害通常是由于跑步时姿态不正确或肌肉不协调导致的。因此，了解跑步者的姿态和肌肉协调性对于减少训练伤害非常重要。

2、传统的监测跑步姿态和肌肉协调性的方法是通过人工观察和分析来实现的。然而，这种方法存在许多问题，例如需要专业的人员来进行监测和分析、费时费力、无法实现实时监测等。三维姿态估计是一种估计人体关节位置的技术，该技术可以用于分析人体姿态和肌肉协调性，这与跑步训练伤害的预防密切相关。

3、人体姿态估计的发展可以分为传统方法和基于深度学习的方法。传统方法主要是基于图结构和形变部件模型，利用人工设计的特征来检测人体部件，并使用图模型建立各部件的连通性。基于深度学习的方法主要是利用卷积神经网络从图像中提取人体姿态特征，不仅可以得到语义信息更为丰富的特征，而且能够获得不同感受野下多尺度多类型的人体关节点特征向量和每个特征的全部上下文。

4、深度学习伴随着 2012 年 alexnet卷积神经网络的出色表现而大放异彩，越来越多基于深度学习的人体姿态估计算法开始涌现，针对 2d 人体姿态估计的方法发展尤为迅速，但是2d 人体姿态估计只能得到人体关节点在二维平面上的坐标，无法反映出人体关节点在三维空间中的深度信息，因此无法恢复出真实的人体姿态。

技术实现思路

1、为了解决了上述技术问题，本发明提出了一种基于多视角下多人三维姿态估计方法，具体技术方案如下：

2、一种基于多视角下多人三维姿态估计方法，包括：

3、采集确定的场地上多个运动人员在多个视角下的图像序列和跑步人员关节的3d数据集真值；

4、向2d骨干网络中输入图像序列，使用2d骨干网络独立预测每个视角的关节点热图并训练获得最终的2d骨干网络，再根据训练好的2d骨干网络获得图像训练对应的每个视角的关节点热图；

5、获得3d热图；将每个视角的关节点热图投影到3d空间中，获得第一3d特征体积；构建3d cnn网络获得3d热图，将所述第一3d特征体积输入cpn网络，定位出所述场地上所有运动人员的中心点位置来粗略定位场地中的所有人员，然后划分出第一体素，所述第一体素只包含一整个人员；再以所述第一体素的位置为中心的每个视角的关节点热图投影到3d空间中获得第二3d特征体积，构造的第二3d特征体积输入rpn网络，预测3d关节点位置，使用3d数据集真值对cpn网络和rpn网络进行训练，确定最终的由cpn网络和rpn网络组成的最终的3d cnn网络；

6、向最终的3d cnn网络输入相机拍摄到的运动人员的照片计算步态参数。

7、具体地说，采集确定的场地上跑步人员在多个视角下的图像序列和跑步人员的关节的3d数据集真值时，通过标定计算并规整好相机的内外参数。

8、具体地说，所述图像序列包括相机对应的图片中每个视角的关节点信息，所述3d数据集真值为各个关节点的在三维空间内的三维坐标。

9、具体地说，所述图像序列包括21个人体骨骼关节点信息，21个人体骨骼关节点具体包括头、颈、左右肩、左右肘、左右腕、左右手、中臀、左右臀、左右膝、左右脚踝、左右大脚趾和左右小脚趾。

10、具体地说，cpn网络输入为特征量，其中是整个空间划分的第一体素的个数，x、y、z为空间划分的坐标，k是关节点个数。

11、具体地说，在得到的3d热图上做一次期望，得到跑步人员的关节点骨架，并和真值进行比较得到一个损失值进行训练，对2d骨干网络训练使用步骤s1的图像序列或使用现有的2d数据集。

12、具体地说，预测3d关节点位置的公式为：

13、假设关节k的3d热图为，通过根据以下公式计算的质心来获得关节的3d位置：

14、

15、其中、、分别表示被划分的体素在x、y、z维度上的数目。

16、具体地说，确定最终的由cpn网络和rpn网络组成的最终的3d cnn网络的步骤为：

17、最后得到的3d热图上做一次期望，得到跑步人员的跑步人员的关节点骨架，并和步骤s1中的3d数据集真值进行比较得到一个损失值进行训练。

18、具体地说，根据人体关节点计算步态参数具体为：

19、步频通过计算相邻两步间时间间隔的倒数来得到，即步频=1/步间时间；触地方式通过判断脚部关节点的位置和运动轨迹来确定，分为全着地、足底着地和前脚掌着地三种方式；触地时间通过计算脚部关节点接触地面的时间来得到；垂直振幅通过计算脚部关节点在竖直方向上的最高点和最低点之间的距离来得到；骨关节矢状面参数通过计算人体关节点之间的角度来得到，躯干前倾角度通过计算骨盆、脊柱和地面之间的夹角来得到，前摆和后摆幅度比值通过计算膝盖和肘部的角度变化幅度之比来得到，屈髋角度和伸髋角度通过计算髋关节的屈曲和伸展角度来得到，屈膝角度通过计算膝盖的屈曲角度来得到，触地点与身体重心水平距离通过计算脚部关节点和身体重心之间的水平距离来得到；骨关节冠状面参数通过计算人体关节点之间的角度来得到，脚踝外翻角度通过计算脚部关节点和腿部关节点之间的角度来得到，髋内收角度通过计算髋关节的内旋角度来得到，骨盆左右倾斜角度通过计算骨盆的左右倾斜角度来得到。

20、本发明的优点在于：本申请提供了一种基于多视角下多人三维姿态估计方法，采用视觉运动捕捉系统获取多场景/多视角下人体姿态运动样本，构建人体关节点检测数据集，基于体素表达方式直接在三维空间进行推理，实时定位人体骨骼关节点，并通过帧同步及运动坐标匹配等方法，将人体骨骼模型嵌入至3d成像模型中，实现无标记人体3d运动姿态实时构建。

技术特征：

1.一种基于多视角下多人三维姿态估计方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多视角下多人三维姿态估计方法，其特征在于，采集确定的场地上跑步人员在多个视角下的图像序列和跑步人员的关节的3d数据集真值时，通过标定计算并规整好相机的内外参数。

3.根据权利要求2所述的一种基于多视角下多人三维姿态估计方法，其特征在于，所述图像序列包括相机对应的图片中每个视角的关节点信息，所述3d数据集真值为各个关节点的在三维空间内的三维坐标。

4.根据权利要求3所述的一种基于多视角下多人三维姿态估计方法，其特征在于，所述图像序列包括21个人体骨骼关节点信息，21个人体骨骼关节点具体包括头、颈、左右肩、左右肘、左右腕、左右手、中臀、左右臀、左右膝、左右脚踝、左右大脚趾和左右小脚趾。

5.根据权利要求1所述的一种基于多视角下多人三维姿态估计方法，其特征在于，cpn网络输入为特征量，其中是整个空间划分的第一体素的个数，x、y、z为空间划分的坐标，k是关节点个数。

6.根据权利要求5所述的一种基于多视角下多人三维姿态估计方法，其特征在于，在得到的3d热图上做一次期望，得到跑步人员的关节点骨架，并和真值进行比较得到一个损失值进行训练，对2d骨干网络训练使用步骤s1的图像序列或使用现有的2d数据集。

7.根据权利要求1所述的一种基于多视角下多人三维姿态估计方法，其特征在于，预测3d关节点位置的公式为：

8.根据权利要求1所述的一种基于多视角下多人三维姿态估计方法，其特征在于，确定最终的由cpn网络和rpn网络组成的最终的3d cnn网络的步骤为：

9.根据权利要求1所述的一种基于多视角下多人三维姿态估计方法，其特征在于，根据人体关节点计算步态参数具体为：

技术总结
一种基于多视角下多人三维姿态估计方法，采集确定的场地上多个运动人员在多个视角下的图像序列和跑步人员关节的3D数据集真值；向2D骨干网络中输入图像序列，使用2D骨干网络独立预测每个视角的关节点热图并训练获得最终的2D骨干网络；获得3D热图；向最终的3D CNN网络输入相机拍摄到的运动人员的照片计算步态参数。本申请将人体骨骼模型嵌入至3D成像模型中，实现无标记人体3D运动姿态实时构建。

技术研发人员：张文,王维民,高震宇,夏营威,刘勇
受保护的技术使用者：中国科学院合肥物质科学研究院
技术研发日：
技术公布日：2024/1/15