基于人体姿态识别的体育运动计数和违规动作判别方法与流程

本发明属于计算机视觉，具体涉及基于人体姿态识别的体育运动计数和违规动作判别方法。

背景技术：

1、在体育运动(跳绳、仰卧起坐、引体向上等)过程中，传统的人工计数存在工作强度大、人为失误严重的情况。

2、针对人工计数的缺点，现有技术使用红外计数传感器进行技术，如名称为长绳自动计数摇绳器与跳高架的组合装置(申请公布号：cn101757767a)的发明专利，其需要进行现场设施安装，还需要根据不同人体身高、体重等特征进行设备调整，而且计数准确性不高。

技术实现思路

1、本发明目的在于解决现有技术中存在的上述技术问题，提供基于人体姿态识别的体育运动计数和违规动作判别方法，提高计数准确率。

2、为了解决上述技术问题，本发明采用如下技术方案：

3、基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于，包括如下步骤：

4、步骤a、人体识别：从摄像头中获取实时视频数据，采用深度学习的目标检测技术检测视频中的人员；

5、步骤b、人员筛选：计算测试区域，剔除无关人员，保留运动员；

6、步骤c、基于人体关键点检测技术检测重复动作：

7、1)数据收集与标注：收集包含重复动作的图像或视频数据集，并对每个动作的起始和终止关键点进行标注，以便识别一个完整的动作周期；

8、2)模型训练：使用卷积神经网络对准备好的数据集进行训练；

9、3)关键点检测：使用训练好的人体关键点检测模型，在数据集中的每一帧中预测出关键点的位置；

10、4)动作周期识别：根据关键点的位置变化，识别出动作的起始和终止点；

11、5)动作计数：通过识别出的动作周期，计算动作的数量；

12、步骤d、违规动作的判定：

13、1)特征提取：从关键点序列中提取特征；

14、2)建立规则：根据违规动作的特点，制定相应的规则；

15、3)模型训练与评估：使用深度学习方法，训练一个分类模型来判断违规动作，再使用带有标注的数据集进行训练，并使用测试数据进行评估；

16、4)违规动作判断：根据提取的特征和训练好的分类模型，对图像或视频中的动作进行判断，如果检测到与违规规则或模型预测不符的情况，则判定为违规动作；

17、5)反馈和警告：对于检测到的违规动作，给出警告、提示和记录。

18、进一步，在步骤b中，测试区域有两种获取方式：

19、方式一，现场指定测试区域；方式二，利用深度学习的目标检测技术自动识别测试设备，在设备周围自动生成测试区域。

20、进一步，深度学习模型采用卷积神经网络，卷积神经网络包括卷积层、池化层、全连接层、激活函数和批归一化层。卷积层使用一组用于学习的滤波器在输入图像上滑动，执行局部特征提取，每个滤波器对输入图像的区域执行卷积操作，生成特征映射；池化层用于减小特征映射的空间尺寸，降低计算复杂度，并使网络具有平移不变性；全连接层用于将卷积层和池化层提取的特征映射连接到输出层，进行分类或回归任务；激活函数在卷积层和全连接层之后，激活函数引入非线性性质，使网络能够学习复杂的特征映射；批归一化层将每个特征通道的输入归一化为零均值和单位方差，减少梯度消失问题，有助于加速训练过程并提高模型的稳定性。

21、进一步，在步骤d中，分类模型选择一种轻量级基于卷积神经网络的分类模型，操作步骤为：

22、s1、导入软件库和数据：首先，导入软件库，加载图像数据集，对数据进行预处理，并将数据划分为训练集和测试集。

23、s2、加载预训练模型：使用已经在大规模图像数据集上预训练过的分类模型作为基础模型。

24、s3、修改模型架构：预训练模型包括了用于分类大量不同类别的输出层，根据本次任务修改输出层的结构以适应具体的分类问题，需要将最后一层全连接层替换为一个具有与分类类别数相匹配的新全连接层。

25、s4、冻结部分层：为了加快训练速度并防止丢失分类模型的特征提取能力，选择冻结卷积层，使它们在训练过程中保持不变。

26、s5、训练模型：使用训练集对修改后的模型进行训练，在训练过程中，通过反向传播来更新模型的权重，使其能够从训练数据中学习。

27、s6、评估模型：使用测试集来评估模型的性能，通常通过计算分类准确率、混淆矩阵和其他评估指标来衡量模型的性能。

28、s7、微调：当模型在实际运行时的性能不够好，需要微调模型的参数或尝试不同的数据增强策略。

29、s8、预测新数据：训练完成后，使用模型来对新的未标记图像进行分类。

30、进一步，在步骤c的1)中，收集常规的人体动作和体育动作，还从互联网公开渠道收集视频动作。

31、进一步，在步骤c的2)中，训练过程通过最小化预测关键点位置与标注位置之间的误差来调整网络参数，以使其能够准确地预测关键点。

32、进一步，在步骤c的4)中，通过判断特定关键点的位置是否经过阈值来实现。

33、进一步，在步骤d的1)中，采用关键点之间的距离、角度和速度特征来描述人体动作的变化。

34、本发明由于采用了上述技术方案，具有以下有益效果：

35、本发明使用深度学习的人体关键点检测技术，检测人体关键点位置信息：眼睛、耳朵、鼻子、嘴巴、肩膀、手、肘、臀、膝盖、脚等部位。根据这些位置信息，计算各个肢体部位的相对位置和相对角度，从而判断测试人员在做什么动作，动作是否到位，是否存在违规情况。最后结合时域信息，将前后多帧动作进行关联，判断人体是否准确完成了各个规范动作。当各动作依次规范完成，系统自动进行计数。这样就可以记录人体在一段时间内，总共进行了多少次重复运动动作。

36、整个流程有如下特点：

37、1.采用模块化操作，开发者根据设计需求进行快速搭建，提高开发效率，缩短开发周期，降低开发成本。

38、2.采用异步并行处理，充分利用计算资源，降低部署成本；提高检测效率，缩短响应时间。

39、本发明自动适应不同的人体特征，而且本发明和红外射频技术相比，计数准确率高。

技术特征：

1.基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于：在步骤b中，测试区域有两种获取方式：

3.根据权利要求1所述的基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于：所述深度学习模型采用卷积神经网络，卷积神经网络包括卷积层、池化层、全连接层、激活函数和批归一化层；

4.根据权利要求3所述的基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于：在步骤d中，所述分类模型选择一种轻量级基于卷积神经网络的分类模型，操作步骤为：

5.根据权利要求1所述的基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于：在步骤c的1)中，收集常规的人体动作和体育动作，还从互联网公开渠道收集视频动作。

6.根据权利要求1所述的基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于：在步骤c的2)中，训练过程通过最小化预测关键点位置与标注位置之间的误差来调整网络参数，以使其能够准确地预测关键点。

7.根据权利要求1所述的基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于：在步骤c的4)中，通过判断特定关键点的位置是否经过阈值来实现。

8.根据权利要求1所述的基于人体姿态识别的体育运动计数和违规动作判别方法，其特征在于：在步骤d的1)中，采用关键点之间的距离、角度和速度特征来描述人体动作的变化。

技术总结
本发明公开了基于人体姿态识别的体育运动计数和违规动作判别方法，包括如下步骤：步骤A、人体识别；步骤B、人员筛选；步骤C、基于人体关键点检测技术检测重复动作；步骤D、违规动作的判定。本发明使用深度学习的人体关键点检测技术，根据这些位置信息，计算各个肢体部位的相对位置和相对角度，从而判断测试人员在做什么动作，动作是否到位，是否存在违规情况。最后结合时域信息，将前后多帧动作进行关联，判断人体是否准确完成了各个规范动作。当各动作依次规范完成，系统自动进行计数。本发明自动适应不同的人体特征，而且本发明和红外射频技术相比，计数准确率高。

技术研发人员：栾博恒,李雨雨,易金城,周河
受保护的技术使用者：戈迪斯（杭州）智能技术有限公司
技术研发日：
技术公布日：2024/1/16