一种用于课堂教学的智能评价系统及方法与流程

本发明属于智慧教学，具体涉及一种用于课堂教学的智能评价系统及方法。

背景技术：

1、随着社会的发展，教育越来越受到人们的关注和重视，学校教育质量影响着人的成长，在一定程度上影响着社会的进步备受社会的关注，而课堂教学作为学校教育的主要形式，课堂教学质量的优劣，直接影响着学生的学习效果和人才培养的质量，所以对课堂教学进行教学评价是作为教学质量保证的重要环节，备受教育工作者的关注，成为学校极爱学研六‘教学改革、教学管理中的热点问题；

2、传统的课堂教学评价方法包括任课教师通过发布测验、出勤情况和课堂表现来调整教学进程和教学方法，这是一种低效且滞后的评价方法，与此同时，校院各级也对课程进行监控管理，一般采取安排教学督导不定期到教室听课或巡视课堂，对教师的课堂教学进行评价，传统的课堂质量评价标准单一，缺乏科学性和灵活性，传统的评价标准更多的是针对教师的评估，而非课堂的评价，此外也忽略了学生在课堂上的学生状态，导致学生的任务只剩下跟随和服从，教师也只能根据发布的测验分数来评价学生的知识接收程度，存在信息滞后的问题，另一方面，传统的课堂教学评价更多是通过定量定性的评价为主，过于注重主观上的数据判断，忽略了学生课堂上的动态变化，导致课堂教学评价无法反映教学质量的真实情况。

技术实现思路

1、为解决现有技术中存在的上述问题，本发明提供了一种用于课堂教学的智能评价系统及方法，通过获取课堂实录视频，调用数据库得到班级成员信息，根据所述课堂实录视频提取学生图像信息，根据学生图像信息通过处理得到目标人脸关键帧，根据目标人脸关键帧得到课堂出勤信息，根据学生图像信息通过人脸检测算法处理得到面部二维图像信息，根据面部二维图像信息得到面部表情特征，根据学生图像信息通过openpose算法检测出人体的关键骨骼点信息，根据关键骨骼点信息得到关节热图，根据关节热图通过特征提取得到姿态特征，根据课堂出勤信息通过特征提取得到课堂出勤特征，根据面部表情特征和表情特征评价矩阵构建表情特征评价矩阵，根据姿态特征和姿态特征评价指标构建姿态特征评价矩阵，根据表情特征评价矩阵和姿态特征评价矩阵结合课堂出勤特征构建综合评价模型，根据综合评价模型输出课堂质量评分，实现了根据学生课堂状态对课堂质量进行评分，根据课堂出勤信息、面部表情特征和姿态特征通过融合处理得到课堂质量评分，提高了课堂质量评价的科学性、灵活性和真实性。

2、本发明的目的可以通过以下技术方案实现：

3、一种用于课堂教学的智能评价方法，具体包括以下步骤：

4、s1：获取课堂实录视频；

5、s2：调用数据库得到班级成员信息，根据所述课堂实录视频提取学生图像信息，根据所述学生图像信息通过yolov3目标检测方法处理得到目标人脸框集，根据所述目标人脸框集通过目标跟踪算法得到目标人脸关键帧，根据所述目标人脸关键帧得到课堂出勤信息，所述班级成员信息包括学生id和班级成员人脸图像信息，所述课堂出勤信息包括已出勤学生信息和未出勤学生信息；

6、s3：根据所述学生图像信息通过人脸检测算法处理得到面部二维图像信息，根据所述面部二维图像信息通过图像处理得到去噪面部图像，根据所述去噪面部图像通过深度学习得到面部三维图像信息，根据所述面部三维图像信息通过特征提取得到第一面部特征和第二面部特征，根据所述第一面部特征和所述第二面部特征通过特征融合模型处理得到面部表情特征；

7、s4：根据所述学生图像信息通过openpose算法检测出人体的关键骨骼点信息，根据所述关键骨骼点信息通过归一化处理后得到去噪关键骨骼点信息，根据所述去噪关键骨骼点信息通过高斯映射得到关节热图，根据所述关节热图通过特征提取得到姿态特征；

8、s5：获取表情特征评价指标和姿态特征评价指标，根据所述课堂出勤信息通过特征提取得到课堂出勤特征，根据所述面部表情特征和所述表情特征评价矩阵构建表情特征评价矩阵，根据所述姿态特征和所述姿态特征评价指标构建姿态特征评价矩阵，根据所述表情特征评价矩阵和所述姿态特征评价矩阵结合所述课堂出勤特征构建综合评价模型，根据所述综合评价模型输出课堂质量评分。

9、优选地，所述步骤s2具体包括根据所述班级成员人脸图像信息训练人脸识别网络模型，通过人脸识别网络模型处理所述目标人脸关键帧得到目标人脸匹配度，当所述目标人脸匹配度大于等于预设阈值时，根据对应的所述学生id得到所述已出勤学生信息，根据所述已出勤学生信息和所述班级成员信息筛选出未出勤的所述学生id得到所述未出勤学生信息；

10、优选地，所述步骤s3具体包括以下步骤：

11、s301：根据所述去噪面部图像信息获取表情图像序列，根据所述表情图像序列得到第一标准帧和第二标准帧，根据所述第一标准帧得到面部关键点坐标，根据所述面部关键点坐标通过卷积神经网络处理得到面部关键点矩阵，根据所述面部关键点矩阵得到所述面部三维图像信息；

12、s302：根据所述面部关键点矩阵通过特征提取得到所述第一面部特征，根据所述第二标准帧通过图像分割得到表情图像信息，根据所述表情图像信息通过灰度归一化处理得到有效表情图像，通过对所述有效表情图像进行特征提取得到所述第二面部特征，根据所述第一面部特征和所述第二面部特征通过所述特征融合模型处理得到所述面部表情特征。

13、优选地，所述步骤s302具体包括所述特征融合模型表示为：，其中，o表示所述面部表情特征，o1表示所述第一面部特征，o2表示所述第二面部特征，α和β表示加权系数。

14、优选地，所述步骤s4具体包括根据所述目标人物关键帧通过特征提取得到姿态特征三元组，根据所述姿态特征三元组通过高斯映射得到关节热图，公式为：，其中，j为所述关节热图，为所述姿态特征三元组，为高斯映射反差参数。

15、优选地，所述s5具体包括所述表情特征评价矩阵表示为：，其中，r1表示所述表情特征评价矩阵，表示第i个所述表情特征评价指标对第j个所述面部表情特征的评价结果，所述姿态特征评价矩阵表示为：，其中，t1表示所述姿态特征评价矩阵，表示第m个所述姿态特征评价指标对第n个所述姿态特征的评价结果。

16、优选地，所述步骤s5具体还包括根据所述表情特征评价矩阵和所述姿态特征评价矩阵结合所述课堂出勤特征构建所述综合评价模型，所述综合评价模型表示为：，其中，w1、w2和w3表示权向量，r1表示所述表情特征评价矩阵，t1表示所述姿态特征评价矩阵，表示所述课堂出勤特征，表示所述课堂质量评分。

17、一种用于课堂教学的智能评价系统，包括以下模块：

18、视频获取模块，用于获取课堂实录视频；

19、课堂考勤模块，用于调用数据库得到班级成员信息，根据所述课堂实录视频提取学生图像信息，根据所述学生图像信息通过yolov3目标检测方法处理得到目标人脸框集，根据所述目标人脸框集通过目标跟踪算法得到目标人脸关键帧，根据所述目标人脸关键帧得到课堂出勤信息，所述班级成员信息包括学生id和班级成员人脸图像信息，所述课堂出勤信息包括已出勤学生信息和未出勤学生信息；

20、面部分析模块，用于根据所述学生图像信息通过人脸检测算法处理得到面部二维图像信息，根据所述面部二维图像信息通过图像处理得到去噪面部图像，根据所述去噪面部图像通过深度学习得到面部三维图像信息，根据所述面部三维图像信息通过特征提取得到第一面部特征和第二面部特征，根据所述第一面部特征和所述第二面部特征通过特征融合模型处理得到面部表情特征；

21、姿态分析模块，用于根据所述学生图像信息通过openpose算法检测出人体的关键骨骼点信息，根据所述关键骨骼点信息通过归一化处理后得到去噪关键骨骼点信息，根据所述去噪关键骨骼点信息通过高斯映射得到关节热图，根据所述关节热图通过特征提取得到姿态特征；

22、课堂评价模块，用于获取表情特征评价指标和姿态特征评价指标，根据所述课堂出勤信息通过特征提取得到课堂出勤特征，根据所述面部表情特征和所述表情特征评价矩阵构建表情特征评价矩阵，根据所述姿态特征和所述姿态特征评价指标构建姿态特征评价矩阵，根据所述表情特征评价矩阵和所述姿态特征评价矩阵结合所述课堂出勤特征构建综合评价模型，根据所述综合评价模型输出课堂质量评分。

23、本发明的有益效果为：

24、1. 根据所述课堂实录视频提取学生图像信息，根据所述学生图像信息通过yolov3目标检测方法处理得到目标人脸框集，根据所述目标人脸框集通过目标跟踪算法得到目标人脸关键帧，根据所述目标人脸关键帧得到课堂出勤信息，实现了课堂考勤，得到的课堂出勤信息有利于课堂质量评价；

25、2. 根据所述学生图像信息通过openpose算法检测出人体的关键骨骼点信息，根据所述关键骨骼点信息通过归一化处理后得到去噪关键骨骼点信息，根据所述去噪关键骨骼点信息通过高斯映射得到关节热图，根据所述关节热图通过特征提取得到姿态特征，由于拍摄距离和个体差异等因素，openpose算法处理得到的数据可能存在大量误差数据，通过采用归一化处理的手段减轻由个体差异引起的关键点坐标偏差，在保证关键骨骼点信息的有效的前提下，降低数据的冗余性；

26、3. 根据所述课堂出勤信息通过特征提取得到课堂出勤特征，根据所述面部表情特征和所述表情特征评价矩阵构建表情特征评价矩阵，根据所述姿态特征和所述姿态特征评价指标构建姿态特征评价矩阵，根据所述表情特征评价矩阵和所述姿态特征评价矩阵结合所述课堂出勤特征构建综合评价模型，根据所述综合评价模型输出课堂质量评分，实现了根据学生课堂状态对课堂质量进行评分，根据课堂出勤信息、面部表情特征和姿态特征通过融合处理得到课堂质量评分，提高了课堂质量评价的科学性、灵活性和真实性。