引体向上运动轨迹检测方法、装置、电子设备和存储介质与流程

1.本发明涉及图像处理技术领域中的人体动作识别技术，尤其涉及一种引体向上运动轨迹检测方法、装置、电子设备和存储介质。


背景技术：

2.双目立体视觉技术是基于计算机视觉发展起来的一项重要的非接触式三维测量技术，即由不同位置的两个摄像头模块同时拍摄目标图像，根据三角测量原理计算该目标的三维空间坐标。双目立体视觉技术具有测量速度快、实时性好、显示信息全面等优点，在生产生活中已经有了广泛的应用。
3.引体向上，有时候简称引体，指依靠自身力量克服自身体重向上做功的垂吊练习。主要测试上肢肌肉力量的发展水平，以及臂力和腰腹力量，在完成一个完整的引体向上的过程中需要众多背部骨骼肌和上肢骨骼肌的共同参与做功，是一项多关节复合动作练习，是较好的锻炼上肢的方法，是所有发展背部骨骼肌肌力和肌耐力的练习方式中参与肌肉最多、运动模式最复杂、发展背部骨骼肌的肌力和肌耐力最有效的练习方式，是最基本的锻炼背部的方法，是中考和高中体育会考的考试选择项目之一，是衡量男性体质的重要参考标准和项目之一。
4.为提高对引体向上运动轨迹的检测精度，亟需一种基于双目立体视觉的引体向上运动轨迹检测方法。


技术实现要素：

5.(一)要解决的技术问题
6.为了解决现有技术的上述问题，本发明至少从一定程度上进行解决。为此，本发明的第一个目的在于提供一种引体向上运动轨迹检测方法，能够快速、准确获得进行引体向上人体的三维运动轨迹。
7.本发明的第二个目的在于提出一种引体向上运动轨迹检测装置。
8.本发明的第三个目的在于提出一种电子设备。
9.本发明的第四个目的在于提出一种计算机可读存储介质。
10.(二)技术方案
11.为了达到上述目的，本发明采用的主要技术方案包括：
12.第一方面，本发明提供一种引体向上运动轨迹检测方法，该检测方法基于成排设置并朝向引体向上器材的第一摄像机和第二摄像机实现，包括以下步骤：
13.步骤s1、获取同一时间段内的由第一摄像机拍摄的第一视频序列和由第二摄像机拍摄的第二视频序列；
14.步骤s2、将第一视频序列输入目标人体检测模型，识别出每一视频帧中所有进行引体向上的目标人体，并采用目标框将各个目标人体包围起来；
15.步骤s3、将第一视频序列输入人体姿态标记模型，对每一目标框内人体姿态关键
位置的图像点进行标记，获得标记图像点；
16.步骤s4、根据目标框的位置信息，对第一视频序列相邻帧中包围同一人体的目标框进行匹配，获得匹配结果；根据匹配结果，获得第一视频序列中每一个目标人体的目标框序列；
17.步骤s5、根据第一摄像机和第二摄像机的双目标定参数，对每一时刻的属于第一视频序列的第一图像和属于第二视频序列的第二图像进行极线校正，并获得校正后的标记图像点；采用立体匹配方法，对校正后的每一时刻的第一图像和第二图像进行匹配操作，获得匹配点对，匹配点对中包含对校正后的标记图像点进行匹配操作后获得的目标匹配点对；根据匹配点对，获得匹配点视差图；根据匹配点视差图和双目标定参数，计算目标匹配点对的三维空间坐标，获得运动轨迹点；
18.步骤s6、根据位于同一目标框序列内对应姿态关键位置的标记图像点，对运动轨迹点进行归类，获得每一个目标人体的三维运动轨迹。
19.可选地，目标人体检测模型根据基于卷积神经网络的目标检测算法进行构建；基于卷积神经网络的目标检测算法为faster-rcnn算法、ssd算法、yolov5算法和yolox算法中的一种。
20.可选地，人体姿态标记模型根据基于卷积神经网络的单人体姿态估计算法进行构建；基于卷积神经网络的单人体姿态估计算法为alphapose算法或hrnet算法。
21.可选地，人体姿态关键位置包括：左肩膀、右肩膀、左肘、右肘、左髋、右髋、左膝盖、右膝盖、左脚踝、右脚踝。
22.可选地，根据目标框的位置信息，对第一视频序列相邻帧中包围同一人体的目标框进行匹配，包括：根据目标框的位置信息，获取第一视频序列相邻帧中每一个目标框的中心点坐标；根据第一视频序列相邻帧中每一个目标框的中心点坐标，计算每两个上一帧目标框与下一帧目标框之间的位置差，将位置差最小的两个目标框作为相邻帧中包围同一人体的目标框。
23.可选地，采用大尺度立体匹配方法，对校正后的每一时刻的第一图像和第二图像进行匹配操作。
24.可选地，根据匹配点视差图和双目标定参数，计算目标匹配点对的三维空间坐标，包括：
[0025][0026]
其中，(x，y，z)为目标匹配点对的三维空间坐标；(x1，y1)为第一图像上校正后的标记图像点的二维坐标；b为第一摄像机中心与第二摄像机中心之间的距离；f为摄像机的焦距；d为匹配点视差，d＝x
1-x2，x2为第二图像上与校正后标记图像点匹配的图像点的横坐标。
[0027]
第二方面，本发明提供一种引体向上运动轨迹检测装置，包括：
[0028]
获取模块，用于获取同一时间段内的由第一摄像机拍摄的第一视频序列和由第二摄像机拍摄的第二视频序列；
[0029]
目标检测模块，用于将第一视频序列输入目标人体检测模型，识别出每一视频帧中所有进行引体向上的目标人体，并采用目标框将各个目标人体包围起来；
[0030]
姿态标记模块，用于将第一视频序列输入人体姿态标记模型，对每一目标框内人体姿态关键位置的图像点进行标记，获得标记图像点；
[0031]
匹配模块，用于根据目标框的位置信息，对第一视频序列相邻帧中包围同一人体的目标框进行匹配，获得匹配结果；根据匹配结果，获得第一视频序列中每一个目标人体的目标框序列；
[0032]
三维测量模块，用于根据第一摄像机和第二摄像机的双目标定参数，对每一时刻的属于第一视频序列的第一图像和属于第二视频序列的第二图像进行极线校正，并获得校正后的标记图像点；采用立体匹配方法，对校正后的每一时刻的第一图像和第二图像进行匹配操作，获得匹配点对，匹配点对中包含对校正后的标记图像点进行匹配操作后获得的目标匹配点对；根据匹配点对，获得匹配点视差图；根据匹配点视差图和双目标定参数，计算目标匹配点对的三维空间坐标，获得运动轨迹点；
[0033]
轨迹生成模块，用于根据位于同一目标框序列内对应姿态关键位置的标记图像点，对运动轨迹点进行归类，获得每一个目标人体的三维运动轨迹。
[0034]
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的引体向上运动轨迹检测程序，处理器执行引体向上运动轨迹检测程序时，实现如上所述的引体向上运动轨迹检测方法。
[0035]
第四方面，本发明提供一种计算机可读存储介质，其上存储有引体向上运动轨迹检测程序，该引体向上运动轨迹检测程序被处理器执行时实现如上所述的引体向上运动轨迹检测方法。
[0036]
(三)有益效果
[0037]
本发明的有益效果是：
[0038]
本发明提出的引体向上运动轨迹检测方法，首先根据基于二维图像的人体动作识别技术，实现对目标人体的检测、目标人体姿态关键图像点的标记以及目标人体的姿态跟踪；然后根据双目立体视觉技术，测量出目标人体姿态关键图像点的三维坐标(即轨迹点)，并根据二维下目标人体的姿态跟踪信息，轨迹点进行跟踪，获得每一个目标人体的三维运动轨迹。可见，本发明方法结合基于二维图像的人体动作识别技术和双目立体视觉技术，能够快速、准确地获得进行引体向上人体的三维运动轨迹，进而根据人体三维运动轨迹，能够快速、准确地确定人体动作角度、距离等参数信息，为引体向上动作考核提供基础。
附图说明
[0039]
本发明借助于以下附图进行描述：
[0040]
图1为根据本发明实施例1的引体向上运动轨迹检测方法的流程示意图；
[0041]
图2为双目立体成像原理示意图。
具体实施方式
[0042]
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
[0043]
实施例1
[0044]
如图1所示，本实施例提供一种引体向上运动轨迹检测方法，该检测方法基于成排设置并朝向引体向上器材的第一摄像机和第二摄像机实现，包括以下步骤：
[0045]
步骤s0、对第一摄像机和第二摄像机进行双目标定，获得双目标定参数。
[0046]
具体地，第一摄像机和第二摄像机是同种规格的摄像机，对第一摄像机和第二摄像机进行双目标定是在离线状态下进行的。具体地，双目标定参数包括摄像机的基本信息，以及第一摄像机和第二摄像机之间的相对位置。
[0047]
具体地，在本实施例中，采用棋盘标定法对第一摄像机和第二摄像机进行双目标定。即在离线状态下采集多组棋盘标定板图像，根据多组棋盘标定板图像对第一摄像机和第二摄像机进行双目标定。
[0048]
步骤s1、获取同一时间段内的由第一摄像机拍摄的第一视频序列和由第二摄像机拍摄的第二视频序列。
[0049]
具体地，视频序列包括连续的视频帧，第一视频序列和第二视频序列中均存在一个以上进行引体向上的目标人体。
[0050]
步骤s2、将第一视频序列输入目标人体检测模型，识别出每一视频帧中所有的目标人体，并采用目标框将各个目标人体包围起来。
[0051]
优选地，目标人体检测模型是根据基于卷积神经网络的目标检测算法进行构建的。进一步优选地，基于卷积神经网络的目标检测算法为faster-rcnn算法、ssd算法、yolov5算法和yolox算法中的一种。如此，只需让目标人体检测模型针对目标人体这个类别进行训练和推理即可使用。
[0052]
步骤s3、将第一视频序列输入人体姿态标记模型，对每一目标框内人体姿态关键位置的图像点进行标记，获得标记图像点。
[0053]
优选地，人体姿态标记模型是根据基于卷积神经网络的单人体姿态估计算法进行构建的。进一步优选地，基于卷积神经网络的单人体姿态估计算法为alphapose算法或hrnet算法。
[0054]
优选地，人体姿态关键位置包括：左肩膀、右肩膀、左肘、右肘、左髋、右髋、左膝盖、右膝盖、左脚踝、右脚踝。
[0055]
步骤s4、根据目标框的位置信息，对第一视频序列相邻帧中包围同一人体的目标框进行匹配，获得匹配结果；根据匹配结果，获得第一视频序列中每一个目标人体的目标框序列。
[0056]
由于拍摄到的引体向上图像中人体数量较少，进行引体向上的目标人体之间相距较远，并且不会发生重叠，因此只需根据目标框的位置信息即可对第一视频序列相邻帧中包围同一人体的目标框进行匹配。优选地，根据目标框的位置信息，对第一视频序列相邻帧中包围同一人体的目标框进行匹配，包括：根据目标框的位置信息，获取第一视频序列相邻帧中每一个目标框的中心点坐标；根据第一视频序列相邻帧中每一个目标框的中心点坐标，计算每两个上一帧目标框与下一帧目标框之间的位置差，将位置差最小的两个目标框
作为相邻帧中包围同一人体的目标框。
[0057]
步骤s5、根据第一摄像机和第二摄像机的双目标定参数，对每一时刻的属于第一视频序列的第一图像和属于第二视频序列的第二图像进行极线校正，并获得校正后的标记图像点；采用立体匹配方法，对校正后的每一时刻的第一图像和第二图像进行匹配操作，获得匹配点对，匹配点对中包含对校正后的标记图像点进行匹配操作后获得的目标匹配点对；根据匹配点对，获得匹配点视差图；根据匹配点视差图和双目标定参数，计算目标匹配点对的三维空间坐标，获得运动轨迹点。
[0058]
优选地，采用大尺度立体匹配方法，对校正后的每一时刻的第一图像和第二图像进行匹配操作。大尺度立体匹配方法是一种稀疏立体匹配方法，通过提取sobel边缘特征作为特征点进行计算，比稠密立体匹配算法计算量小，且更加高效，从而大大提高三维计算的速度。
[0059]
进一步地，如图2所示，为双目立体成像原理图，其中b为第一摄像机中心与第二摄像机中心之间的距离，f为摄像机的焦距。设第一摄像机和第二摄像机在同一时刻观看空间物体的同一特征点p(xc，yc，zc)，分别在第一图像和第二图像上获取了点p的图像，点p在第一图像上的坐标为p1＝(x1，y1)，点p在第二图像上的坐标为p2＝(x2，y2)。第一摄像机和第二摄像机位于同一水平面上，则p1和p2的y坐标相同，即y1＝y2，由三角几何关系可得：
[0060][0061]
匹配点视差d＝x
1-x2，由此可计算出点p在相机坐标系下的三维坐标为：
[0062][0063]
其中，(x，y，z)为点p的三维空间坐标。
[0064]
步骤s6、根据位于同一目标框序列内对应姿态关键位置的标记图像点，对运动轨迹点进行归类，获得每一个目标人体的三维运动轨迹。
[0065]
综上，本发明提出的引体向上运动轨迹检测方法，首先根据基于二维图像的人体动作识别技术，实现对目标人体的检测、目标人体姿态关键图像点的标记以及目标人体的姿态跟踪；然后根据双目立体视觉技术，测量出目标人体姿态关键图像点的三维坐标(即轨迹点)，并根据二维下目标人体的姿态跟踪信息，轨迹点进行跟踪，获得每一个目标人体的三维运动轨迹。可见，本发明方法结合基于二维图像的人体动作识别技术和双目立体视觉技术，能够快速、准确地获得进行引体向上人体的三维运动轨迹，进而根据人体三维运动轨迹，能够快速、准确地确定人体动作角度、距离等参数信息，为引体向上动作考核提供基础。
[0066]
实施例2
[0067]
本实施例提供一种引体向上运动轨迹检测装置，包括：
[0068]
获取模块，用于获取同一时间段内的由第一摄像机拍摄的第一视频序列和由第二摄像机拍摄的第二视频序列。
[0069]
目标检测模块，用于将第一视频序列输入目标人体检测模型，识别出每一视频帧中所有进行引体向上的目标人体，并采用目标框将各个目标人体包围起来。
[0070]
姿态标记模块，用于将第一视频序列输入人体姿态标记模型，对每一目标框内人体姿态关键位置的图像点进行标记，获得标记图像点。
[0071]
匹配模块，用于根据目标框的位置信息，对第一视频序列相邻帧中包围同一人体的目标框进行匹配，获得匹配结果；根据匹配结果，获得第一视频序列中每一个目标人体的目标框序列。
[0072]
三维测量模块，用于根据第一摄像机和第二摄像机的双目标定参数，对每一时刻的属于第一视频序列的第一图像和属于第二视频序列的第二图像进行极线校正，并获得校正后的标记图像点；采用立体匹配方法，对校正后的每一时刻的第一图像和第二图像进行匹配操作，获得匹配点对，匹配点对中包含对校正后的标记图像点进行匹配操作后获得的目标匹配点对；根据匹配点对，获得匹配点视差图；根据匹配点视差图和双目标定参数，计算目标匹配点对的三维空间坐标，获得运动轨迹点。
[0073]
轨迹生成模块，用于根据位于同一目标框序列内对应姿态关键位置的标记图像点，对运动轨迹点进行归类，获得每一个目标人体的三维运动轨迹。
[0074]
实施例3
[0075]
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的引体向上运动轨迹检测程序，处理器执行引体向上运动轨迹检测程序时，实现如实施例1所述的引体向上运动轨迹检测方法。
[0076]
实施例4
[0077]
本实施例提供一种计算机可读存储介质，其上存储有引体向上运动轨迹检测程序，该引体向上运动轨迹检测程序被处理器执行时实现如实施例1所述的引体向上运动轨迹检测方法。
[0078]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0079]
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
[0080]
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中
的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
[0081]
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0082]
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0083]
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。