一种基于openpose的学生课堂行为分析方法与流程

1.本发明公开一种方法,涉及数据分析技术领域，具体地说是一种基于openpose的学生课堂行为分析方法。


背景技术：

2.随着人工智能与大数据技术的飞速发展，计算机视觉采集技术逐渐应用于各行各业，但在教育行业尚欠缺实际应用。
3.课上教学一直是教育的重中之重，教学质量的高低直接影响学生的知识接受程度，然而在实际教学活动中，学生作为课堂的主体，同时上课的学生太多，教师很难精准把控学生的听课状态，无法进行相应的调整。


技术实现要素：

4.本发明针对现有技术的问题，提供一种基于openpose的学生课堂行为分析方法，能够根据学生课堂行为帮助教师掌握学生的听课状态，并有助于教师进行课堂调整。具有通用性强、实施简便等特点，具有广阔的应用前景。
5.本发明提出的具体方案是：
6.本发明提供一种基于openpose的学生课堂行为分析方法，获取学生的课堂行为视频，
7.使用ffmpeg对所述课堂行为视频进行处理，包括按照一定时间抓取关键图片，
8.将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据，对获取的关键点坐标数据进行分类，
9.将分类情况通过可视化工具以图表的形式进行实时反馈。
10.进一步，所述的一种基于openpose的学生课堂行为分析方法中所述将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据，对获取的关键点坐标数据进行分类，包括：
11.通过openpose骨骼提取网络使用yolov3目标监测算法对关键图片中的学生位置进行识别检测，利用resnet50进行学生行为特征的识别，利用svm分类器对提取的学生行为特征进行分类。
12.进一步，所述的一种基于openpose的学生课堂行为分析方法中所述利用svm分类器对提取的学生行为特征进行分类，包括：
13.利用svm分类器将学生行为特征分为听课行为和非听课行为，所述听课行为包括看书、举手、写字及回答问题，所述非听课行为为睡觉、左顾右盼及交头接耳。
14.进一步，所述的一种基于openpose的学生课堂行为分析方法中所述将分类情况通过可视化工具以图表的形式实时反馈，包括：
15.利用datart可视化工具将分类情况以图表的形式进行实时反馈。
16.本发明还提供一种基于openpose的学生课堂行为分析系统，包括采集模块、处理
模块和展示模块，
17.采集模块获取学生的课堂行为视频，
18.处理模块使用ffmpeg对所述课堂行为视频进行处理，包括按照一定时间抓取关键图片，
19.将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据，对获取的关键点坐标数据进行分类，
20.展示模块将分类情况通过可视化工具以图表的形式进行实时反馈。
21.进一步，所述的一种基于openpose的学生课堂行为分析系统中所述处理模块将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据，对获取的关键点坐标数据进行分类，包括：
22.通过openpose骨骼提取网络使用yolov3目标监测算法对关键图片中的学生位置进行识别检测，利用resnet50进行学生行为特征的识别，利用svm分类器对提取的学生行为特征进行分类。
23.进一步，所述的一种基于openpose的学生课堂行为分析系统中所述处理模块利用svm分类器对提取的学生行为特征进行分类，包括：
24.利用svm分类器将学生行为特征分为听课行为和非听课行为，所述听课行为包括看书、举手、写字及回答问题，所述非听课行为为睡觉、左顾右盼及交头接耳。
25.进一步，所述的一种基于openpose的学生课堂行为分析系统中所述展示模块将分类情况通过可视化工具以图表的形式实时反馈，包括：
26.利用datart可视化工具将分类情况以图表的形式进行实时反馈。
27.本发明的有益之处是：
28.本发明提供一种基于openpose的学生课堂行为分析方法，对学生的行为动作进行捕捉，将捕捉后的图片通过openpose进行骨骼关键点提取，将分析处理后的数据通过可视化工具以图表形式反馈给教师，通过对学生课堂行为的实时分析，反映出课堂效率，有助于教师可根据具体情况动态调整教学进度以及教学方式，有助于提升教学质量及维护良好的课堂氛围。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明方法流程示意图。
具体实施方式
31.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
32.本发明提供一种基于openpose的学生课堂行为分析方法，获取学生的课堂行为视频，
33.使用ffmpeg对所述课堂行为视频进行处理，包括按照一定时间抓取关键图片，
34.将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据，对获取的关键点坐标数据进行分类，
35.将分类情况通过可视化工具以图表的形式进行实时反馈。
36.本发明方法通过捕获学生的实时课上状态，进而通过openpose抓取骨骼关键点信息，通过数据的分析处理最终通过可视化图表的方式提供给任课教师，通过对学生课堂的行为进行分析，有助于教师可以精准掌握学生的学习状态，并动态调整教学进度，提升教学质量。
37.具体应用中，在本发明方法的一些实施例中，基于录像设备实时获取学生行为视频，如指定时刻的学生动作行为，可通过前后摄像头录制视频，
38.使用ffmpeg对所述课堂行为视频进行处理，包括按照一定时间抓取关键图片，
39.将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据，对获取的关键点坐标数据进行分类，包括：
40.通过openpose骨骼提取网络使用yolov3目标监测算法对关键图片中的学生位置进行识别检测，利用resnet50进行学生行为特征的识别，利用svm分类器对提取的学生行为特征进行分类。
41.进一步，所述利用svm分类器对提取的学生行为特征进行分类，包括：
42.利用svm分类器将学生行为特征分为听课行为和非听课行为，所述听课行为包括看书、举手、写字及回答问题等，所述非听课行为为睡觉、左顾右盼及交头接耳等，
43.进一步，所述将分类情况通过可视化工具以图表的形式实时反馈，包括：
44.利用datart等可视化工具将分类情况以图表的形式进行实时反馈。
45.本发明是基于openpose的卷积神经网络和监督学习实现人体姿态评估算法，通过获取人体各个骨骼关键点位置信息进行分类识别并实现结果可视化的过程。
46.本发明还提供一种基于openpose的学生课堂行为分析系统，包括采集模块、处理模块和展示模块，
47.采集模块获取学生的课堂行为视频，
48.处理模块使用ffmpeg对所述课堂行为视频进行处理，包括按照一定时间抓取关键图片，
49.将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据，对获取的关键点坐标数据进行分类，
50.展示模块将分类情况通过可视化工具以图表的形式进行实时反馈。
51.上述系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
52.同样地，本发明系统对学生的行为动作进行捕捉，将捕捉后的图片通过openpose进行骨骼关键点提取，将分析处理后的数据通过可视化工具以图表形式反馈给教师，通过对学生课堂行为的实时分析，反映出课堂效率，有助于教师可根据具体情况动态调整教学进度以及教学方式，有助于提升教学质量及维护良好的课堂氛围。
53.需要说明的是，上述各流程和各系统结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要
进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
54.以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。