动作识别方法、装置、设备及存储介质与流程

本发明涉及视频图像处理的，更具体地，涉及一种动作识别方法、装置、设备及存储介质。

背景技术：

1、随着信息技术在教育领域的发展，通过自动化、智能化的手段观察统计教室课堂中教师和学生的互动行为，对每个学生的学习状态进行监督和客观评估，有针对性地提高教学管理和教师的教学质量变得越来越常见。与此同时，为了能更全面地勾画还原出上课时的情况，越来越多的动作行为被纳入到教学评估的动作观察清单中，这无疑也增加了运算量，增加了机器的开销。然而，机器的性能是有限的，所以需要一种有效的方法来在适应教学数据统计的同时，保证机器的开销在合理的范围内，不影响机器的正常运行。

技术实现思路

1、本发明为克服目前课堂教学数据统计开销大的缺陷，提供一种动作识别方法、装置、设备及存储介质，本发明采用的技术方案如下。

2、第一方面，本发明提供一种动作识别方法，包括步骤：

3、获取视频、场景模式、待识别动作的定义；

4、根据所述场景模式，检测所述视频的视频帧中的人体关键点的位置并计算得到关键点所属人体信息；

5、根据待识别动作的定义，使用s秒内连续的n帧图像所检测到的所述关键点所属人体信息进行动作行为分析判断，得到动作识别结果。

6、在一种实施方式中，所述根据所述场景模式，检测所述视频的视频帧中的人体关键点的位置并计算得到关键点所属人体信息的过程，包括步骤：

7、根据所述场景模式，在待识别动作的定义中选取实际识别动作的定义；

8、根据所述实际识别动作的定义，选取使用的人体关键点；

9、检测所述视频的视频帧中的使用的人体关键点的位置并计算得到关键点所属人体信息。

10、在一种实施方式中，所述根据待识别动作的定义，使用s秒内连续的n帧图像所检测到的所述关键点所属人体信息进行动作行为分析判断，得到动作识别结果的过程，包括步骤：

11、根据所述场景模式，在待识别动作的定义中选取实际识别动作的定义；

12、根据实际识别动作的定义，使用s秒内连续的n帧图像所检测到的所述关键点所属人体信息进行动作行为分析判断，得到动作识别结果。

13、在一种实施方式中，所述检测所述视频的视频帧中的人体关键点的位置并计算得到关键点所属人体信息的过程中，使用单阶段人体关键点检测算法检测视频帧中所有人体关键点。

14、在一种实施方式中，还包括步骤：

15、根据动作识别结果，统计视频中待识别动作出现的次数。

16、在一种实施方式中，还包括步骤：根据所述场景模式，确定视频中执行动作识别的时间间隔。

17、在一种实施方式中，所述待识别动作包括：举手、趴桌子；其中，所述趴桌子的定义包括：头部点分别与两个肩膀点连线，两连线所构成的角的角度大于120°且小于等于180°，手腕点不能高于手肘点。

18、第二方面，本发明提供一种动作识别装置，包括：

19、获取模块，用于获取视频、场景模式、待识别动作的定义；

20、计算模块，用于根据所述场景模式，检测所述视频的视频帧中的人体关键点的位置并计算得到关键点所属人体信息；

21、识别模块，用于根据待识别动作的定义，使用s秒内连续的n帧图像所检测到的所述关键点所属人体信息进行动作行为分析判断，得到动作识别结果。

22、第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施方式的方法。

23、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施方式的方法。

24、本发明中，获取场景模式，根据不同的场景模式检测不同的人体关键点位置，调节算法、增加了根据场景模式选择部分解算的策略，比起常见方案大大降低功耗。另外，针对教室环境中，存在着大量的遮挡，人体检测率不高的问题，使用单阶段的人体关键点算法，让误差不会向后传播，并且节省了时间开销。

技术特征：

1.一种动作识别方法，其特征在于，包括步骤：

2.根据权利要求1所述的动作识别方法，其特征在于，所述根据所述场景模式，检测所述视频的视频帧中的人体关键点的位置并计算得到关键点所属人体信息的过程，包括步骤：

3.根据权利要求1所述的动作识别方法，其特征在于，所述根据待识别动作的定义，使用s秒内连续的n帧图像所检测到的所述关键点所属人体信息进行动作行为分析判断，得到动作识别结果的过程，包括步骤：

4.根据权利要求1所述的动作识别方法，其特征在于，所述检测所述视频的视频帧中的人体关键点的位置并计算得到关键点所属人体信息的过程中，使用单阶段人体关键点检测算法检测视频帧中所有人体关键点。

5.根据权利要求1-4任一项所述的动作识别方法，其特征在于，还包括步骤：

6.根据权利要求5所述的动作识别方法，其特征在于，还包括步骤：

7.根据权利要求1-4任一项所述的动作识别方法，其特征在于，所述待识别动作包括：举手、趴桌子；其中，所述趴桌子的定义包括：头部点分别与两个肩膀点连线，两连线所构成的角的角度大于120°且小于等于180°，手腕点不能高于手肘点。

8.一种动作识别装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

技术总结
本发明公开一种动作识别方法、装置、设备及存储介质。其中，该方法包括步骤：获取视频、场景模式、待识别动作的定义；根据所述场景模式，检测所述视频的视频帧中的人体关键点的位置并计算得到关键点所属人体信息；根据待识别动作的定义，使用s秒内连续的n帧图像所检测到的所述关键点所属人体信息进行动作行为分析判断，得到动作识别结果。本发明中，获取场景模式，根据不同的场景模式检测不同的人体关键点位置，调节算法、增加了根据场景模式选择部分解算的策略，比起常见方案大大降低功耗。

技术研发人员：詹建勋
受保护的技术使用者：广州市奥威亚电子科技有限公司
技术研发日：
技术公布日：2024/1/12