基于yolopose模型的跳绳计数实现方法、装置及存储介质与流程

本技术涉及ai体育，特别涉及一种基于yolopose模型的跳绳计数实现方法、装置及存储介质。

背景技术：

1、随着人工智能技术、大数据分析技术的不断成熟和发展，ai+其他已然成为一种趋势，其中ai+体育现在发展越来越好。随着openpose的提出，简单高效的人体特征点算法发展的越来越好，这些算法能够更好的帮助去实现ai+体育。

2、在跳绳领域，跳绳属于快速的循环运动，对于传统的人来计数方式，会出现人员资源的浪费以及人员计数的失误，导致计数不准等问题，采用现在ai技术去进行计数能大大减少人力，同时计数的准确度更高。

3、一般ai的实现方式有两种，一种的是基于云计算实现，一种是基于边缘端进行实现，云计算的缺点是需要网络，且由于要传输视频，对网络要求较高，且有网络的传输的信息的丢失，会导致错计或者是漏记。基于边缘端实现可以很好的解决网络延迟，但是对于边缘计算的算力要求较高，因此选择一个高效的算法去实现跳绳也是至关重要的一步。

4、ai跳绳目前已经有一些是基于单个特征进行计数，比如高度特征，且多使用的是单人检测的人体姿态评估算法，这种方式较难在边缘端实现多人跳绳。单个特征的会导致计数的鲁棒性较低，即人在前后走动的情况，骨骼点抖动的情况，都会导致错计，且人在镜头中不同的位置，即使进行了归一化也很难设置阈值，这种种限制都导致很难实现多人的跳绳。比如：专利cn116563922a，一种基于人工智能的跳绳自动计数方法，成功利用人体关键点信息获取高度特征，并利用肩膀的高度特征去进行计数；专利cn115471906a，一种多跳绳模式识别计数方法，通过两个摄像机对人的动作进行拍摄，利用高度进行跳跃计数点，并结合跳绳识别以及时间对跳跃计数纠正，提高计数的准确性；专利cn116311523a，一种基于图像识别的花式跳绳识别算法，通过动态选择关键点，人体关键点的高度信息进行计数并判定花式动作，对高度信息进行平滑和归一化。专利cn116416551a，基于跟踪算法的视频图像多人自适应跳绳智能计数方法，通过使用二阶段的算法，即先进行目标检测，再进行人体姿态评估，再进行跳绳计数，计数的算法也是仅通过高度特征进行判断，成功实现了多人跳绳的计数方法，但是在多人的时候人体姿态评估会进行n次计算，计算资源消耗大，且计数特征单一。

技术实现思路

1、本技术提供了一种基于yolopose模型的跳绳计数实现方法、装置及存储介质，解决现有技术中所存在的计数问题，并成功实现了在边缘端进行多人跳绳，避免了人体其他动作对跳绳计数的干扰，提高了计数的准确性。

2、第一方面，一种基于yolopose模型的跳绳计数实现方法，所述方法包括：

3、收集单人的跳绳视频数据，并生成跳绳图片，利用lableme对跳绳图片进行关键点标注，并通过关键点标注的跳绳图片数据对预先建立的yolopose模型进行训练；

4、通过摄像头获取多人跳绳的视频数据，并对视频数据依据人物区域进行划分；其中，每一个划分后的视频数据均为单人跳绳视频数据；

5、针对于划分后的各个单人跳绳视频数据，根据训练完成的yolopose模型获取各个区域所对应的人体关键点特征；其中，所述人体关键点为腿部关键点；

6、根据获取得到的人体关键点特征，确定每个视频帧中进行跳绳的运动状态，并根据所有视频帧的运动状态构建对应的特征向量；

7、根据各个区域所对应的特征向量确定各个区域中人物跳绳次数。

8、可选地，所述通过关键点标注的跳绳图片数据对预先建立的yolopose模型进行训练中，通过修改损失函数中的oks中的权重进行腿部关键点识别；

9、oks的损失函数具体包括：

10、

11、其中，kn为待调整关键点的特定权重；dn为预测点和真实点的欧式距离；δ(vn>0)为关键点可见性，vn>0条件满足，δ(vn>0)=1，条件不满足，δ(vn>0)=0；vn表示可见性标志，即0未标记,1已标记未遮挡,2已标记遮挡；s为尺度因子，其值是检测框面积的平方根。

12、可选地，确定每个视频帧中进行跳绳的运动状态中，运动状态具体包括起跳，跳起悬停，下落，双脚落地，单脚落地以及其他，其中，通过相邻帧中动作的位移和速度去定义具体状态，具体地：

13、起跳定义为：相邻帧的人体特征关键点的y值变小，向上方向的速度变大，其中y值用于表征图像帧中竖直高度;

14、跳起悬停为：相邻帧的人体特征关键点的y值差值基本不变，速度大小小于设定速度阈值；

15、下落定义为：相邻帧的人体特征帧关键点的y值变大，向下方向的速度变大；

16、双脚落地定义为：相邻帧的人体特征关键点的y值和x值都不变，且速度大小小于设定速度阈值，双脚的脚踝的坐标y值高度差距小于高度阈值；x值用于表征图像帧中水平距离；

17、单脚落地定义为：相邻帧的人体特征关键点的y值和x值都不变，且速度大小小于设定速度阈值，双脚的脚踝的坐标y值高度差距大于高度阈值；

18、其他状态定义为：除以上状态外其他的状态。

19、可选地，根据所有视频帧的运动状态构建对应的特征向量包括：

20、将每个视频帧中的运动状态映射为对应数字；

21、将所有视频帧的运动状态所映射的数字以时间顺序进行排列得到视频所对应的状态序列；

22、确定状态序列中每种状态所出现的个数，并将每种状态出现的个数作为特征值，从而得到所有视频帧的特征向量。

23、可选地，得到所有视频帧的特征向量，所述方法还包括：

24、对于特征向量中的不同特征值设置对应权重。

25、可选地，根据各个区域所对应的特征向量确定各个区域中人物跳绳次数，包括通过相似度进行计数：

26、当通过相似度进行计数时，将当前特征向量与历史计数成功的特征向量均值进行余弦相似度计算；

27、当计算结果大于预设阈值时，则进行跳绳计数。

28、可选地，根据各个区域所对应的特征向量确定各个区域中人物跳绳次数，包括通过分类器进行计数：

29、当通过分类器进行计数时，构建计数分类器；所述计数分类器可以包括决策树以及支持向量机；

30、通过输入所有视频帧对应的特征向量进行二分类，根据分类结果进行跳绳计数。

31、第二方面，一种基于yolopose模型的跳绳计数实现装置，所述装置包括：

32、训练模块，用于收集单人的跳绳视频数据，并生成跳绳图片，利用lableme对跳绳图片进行关键点标注，并通过关键点标注的跳绳图片数据对预先建立的yolopose模型进行训练；

33、获取模块，用于通过摄像头获取多人跳绳的视频数据，并对视频数据依据人物区域进行划分；其中，每一个划分后的视频数据均为单人跳绳视频数据；

34、第一处理模块，针对于划分后的各个单人跳绳视频数据，根据训练完成的yolopose模型获取各个区域所对应的人体关键点特征；其中，所述人体关键点为腿部关键点；

35、第二处理模块，用于根据获取得到的人体关键点特征，确定每个视频帧中进行跳绳的运动状态，并根据所有视频帧的运动状态构建对应的特征向量；

36、确定模块，用于根据各个区域所对应的特征向量确定各个区域中人物跳绳次数。

37、第三方面，提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面任一所述的跳绳计数实现方法。

38、第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一所述的跳绳计数实现方法。

39、相比现有技术，本技术至少具有以下有益效果：

40、本技术通过yolopose系列算法，可以同时实现多人的目标检测和人体姿态评估，大大降低了边缘端计算的计算资源。

41、本技术首次提出跳绳特征向量的构建及其构建方法，这种方法可以更好的融合跳绳的运动特征，特征表达更强。

42、本技术首次提出利用余弦相似度或者是分类器进行计数，可以大大排除其他冗余信息对跳绳计数的干扰，同时可以让多人站在不同的位置实现多人异步跳绳。

43、本技术提出的基于yolopose算法的多人跳绳方法，成功实现了多人跳绳，并提高了计数的准确性。