基于人体关键点动作序列匹配的视频图像运动计数方法

本发明涉及体育运动计数领域的一种视频图像运动识别方法，尤其是涉及了一种基于人体关键点动作序列匹配的视频图像运动计数方法。

背景技术：

1、在体育考试，体质检测，运动检测，体能评估，运动健身等领域，基于视觉算法的关键点检测能够获取人体多个关键点，通过对关键点相对位置关系的判断，能够反应运动人员不同的运动状态，从而进一步利用算法进行动作匹配度判断，运动计数等功能，提高运动计数和动作判断的准确性，稳定性，更好更精准的指导人员运动健身，节省人力统计计数的成本。

2、基于人体关键点的体育运动计数和动作匹配方法，一般是利用摄像头获取人物运动实时视频画面，然后利用深度学习人体关键点检测算法逐帧识别画面中的人体关键点信息(例如鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝等)，然后根据关键点在空间和时间轴上的变换规律构建计数规则或者运动状态匹配方法。

3、传统的运动计数或动作匹配方法，一般只根据人体关键点的坐标位置信息进行规则制定，例如引体向上运动计数，一般计数规则如下：根据手腕关节点和肩关节之间的距离小于某个阈值判断是拉伸状态，大于某个阈值判定为下沉状态，当检测到一次拉伸和悬挂状态的时候计数一次，这是基于人体关键点的运动计数一般方法流程。传统计数方法进行动作匹配的时候通常只采用一种方法进行动作匹配，当该动作判断需要的关键点缺失或者有异常的时候会导致整条计数判断链路出现问题。严格依赖关键点检测的绝对准确性，对异常或者缺失关键点信息的情况没有鲁棒性。另外传统的基于关键点的运动计数方法并没有考虑到算法部署到不同设备上导致的检测速率(帧率)差异，导致制定的计数规则或动作匹配规则稳定性差，鲁棒性差、不能适用于算力不同的部署设备。

技术实现思路

1、基于以上分析，本发明提供了一种基于人体关键点动作序列匹配的视频图像运动计数方法。

2、本发明可应用在体育运动检测计数，体育运动考试测试领域，健身运动，体能评估领域。该方法适用于跳绳，深蹲，俯卧撑，平板支撑，开合跳，坐位体前屈，原地跑步，仰卧起坐等体育运动计数场景。

3、本发明的目的在于针对现有技术的不足，建立了以下技术方案：

4、人体在相机视野中进行运动，通过相机采集人体运动的视频图像，通过对视频图像的分析处理获得运动的类型和计数，具体是基于动作序列拆分的运动计数，建立不同的模板对每个运动动作进行匹配识别，且自适应分配运行在不同的计算设备中。

5、方法将把运动计数过程拆成多个子动作匹配过程，具体是：

6、先按照每个运动类型划分为一个由连续多个子动作状态组成的组合，不同的运动类型划分为不同的组合，针对每个子动作状态建立模板；

7、然后将完整的视频图像按时序用各个不同子动作状态的模板进行匹配，获得按照视频图像时序下的子动作状态序列；

8、最后根据子动作状态序列提取子动作完成度，根据子动作完成度情况对单个子动作状态进行计数，再结合多个子动作状态组合下的运动类型整体情况进行总运动计数。

9、首先获取视频中每一帧图像的关键点信息，然后根据检测置信度、人体结构合理性、近邻关键点在时间维度的关系对当前时刻的关键点信息进行过滤，去除异常或者不稳定的关键点，然后再对视频图像按时序用模板进行匹配；

10、且针对每个子动作状态从不同维度、使用不同动作匹配方式设计建立不同的动作匹配模板，采用将多种动作匹配模板进行融合的方式匹配判断，选择以下方式的其中一种：

11、方式1：把动作匹配模板根据判断稳定性按优先级排序，取其中优先级最高的一种方式进行匹配判断；

12、方式2：采用投票机制，把所有动作匹配模板分别匹配判断是否匹配，取其中多数判定情况作为结果。

13、方法运行在不同的计算设备中，根据计算设备算力的不同，自动计算分配用于子动作状态匹配判断的帧率，计算设备算力越强，用于每个子动作状态匹配判断a的判定图像帧率分配的越多，自适应不同算力水平的计算设备。

14、本发明采用了基于子动作序列拆分的运动计数方法，把运动计数过程拆成多个子动作匹配过程，根据子动作匹配完成度，状态转换情况进行运动计数，并设计超时机制，多次确认投票机制减少动作匹配误判。

15、本发明采用了一种多维度动作匹配方法，从不同维度设计规则进行动作匹配确认，在部分关键点异常或遮挡缺失的情况下自动屏蔽相应的维度判断路线，使用未缺失的维度路线进行动作匹配判断。增强动作匹配的鲁棒性，稳定性。

16、本发明采用了一种自适应检测速率变化的规则计数方法。根据检测速度不同，自适应改变计数规则中的动作匹配确认次数和一个检测周期最大响应时间。

17、本发明的技术方案概括为：

18、1、提出了一种子动作序列拆分的运动计数方法。把运动计数过程拆成多个子动作匹配过程，根据子动作匹配完成度，状态转换情况进行运动计数。

19、2、提出了一种多维度动作匹配方法，从不同维度设计规则进行动作匹配确认，在部分关键点异常或遮挡缺失的情况下自动屏蔽相应的维度判断路线，使用未缺失的维度路线进行动作匹配判断。增强动作匹配的鲁棒性，稳定性。

20、3、提出了一种自适应检测速率变化的规则计数方法，根据设备算力不同，自动计算分配用于动作状态匹配判定a的帧率，自适应不同算力水平的设备。根据检测速度不同，自适应改变计数规则中的每个动作匹配确认次数，从时间维度提升判定的稳定性。

21、本发明的有益效果是：

22、本发明的子动作序列拆分的运动计数方法，把运动计数过程拆成多个子动作匹配过程，根据子动作匹配完成度，状态转换情况进行运动计数，适用于不同的体育运动计数项目，按照该方法很容易设计其他运动计数过程。

23、本发明的多维度动作匹配方法，在关键点缺失或异常的情况下依然具有较好的鲁棒性，进一步提升计数准确率。

24、本发明的自适应检测速率变化的帧率分配方法，使得在不同帧率情况下依然保证整个规则判断流程不失效，把算力速度转化为计数稳定性。

25、本发明发明的运动计数方法具有计数鲁棒性高，准确率高的特点，在关键点检测相对较低或存在部分异常的情况下依然保持较高准确率。

技术特征：

1.一种基于人体关键点动作序列匹配的视频图像运动计数方法，其特征在于：人体在相机视野中进行运动，通过相机采集人体运动的视频图像，通过对视频图像的分析处理获得运动的类型和计数，具体是基于动作序列拆分的运动计数，建立不同的模板对每个运动动作进行匹配识别，且自适应分配运行在不同的计算设备中。

2.根据权利要求1所述的一种基于人体关键点动作序列匹配的视频图像运动计数方法，其特征在于：方法将把运动计数过程拆成多个子动作匹配过程，具体是：

3.根据权利要求1所述的一种基于人体关键点动作序列匹配的视频图像运动计数方法，其特征在于：

4.根据权利要求1所述的一种基于人体关键点动作序列匹配的视频图像运动计数方法，其特征在于：方法运行在不同的计算设备中，根据计算设备算力的不同，自动计算分配用于子动作状态匹配判断的帧率，计算设备算力越强，用于每个子动作状态匹配判断a的判定图像帧率分配的越多，自适应不同算力水平的计算设备。

技术总结
本发明公开了一种基于人体关键点动作序列匹配的视频图像运动计数方法。人体在相机视野中进行运动，通过相机采集人体运动的视频图像，通过对视频图像的分析处理获得运动的类型和计数，具体是基于动作序列拆分的运动计数，建立不同的模板对每个运动动作进行匹配识别，且自适应分配运行在不同的计算设备中。本发明在使用关键点检测准确率相对较低的小模型上也有较高的计数准确性和稳定性，满足检测速度要求较高的运动场景，具有运行速度快，动作匹配稳定性和准确率高，计数准确率高，适用于不同部署设备上运行等优点。

技术研发人员：陈刚,杨赛赛,查良瑜,黄清仪,赵俊博
受保护的技术使用者：浙江大学计算机创新技术研究院
技术研发日：
技术公布日：2024/1/13