基于图像识别及位置匹配的在线学习状态监测方法及系统

本发明涉及在线教育，具体涉及一种基于图像识别及位置匹配的在线学习状态监测方法及系统。

背景技术：

1、经过人们对在线工作与学习的逐渐适应，线上或线下融合教学已经成为一种非常实用且高效的教学方式。目前我国主流在线学习教学途径有以雨课堂、超星教育平台、中国大学mooc、网易公开课为代表的网络教学平台，以腾讯会议、钉钉等应用为代表的在线会议、在线视频软件为核心的在线视频会议系统和以w3cschool、菜鸟教程为代表的在线学习资源网站。

2、与线下教学相比，线上教学可避免线下人员大规模聚集，跨越时空地理距离的限制，允许分布在异地的人员利用共享网络空间共同开展教学活动，在人员难以集中、跨区域教育共享的条件情况下具有很大优势。钉钉、腾讯会议等在线会议软件提供了让教师和学生进行“面对面”交流的线上教学方式，这些系统具有运行稳定、支持同时在线用户数量大的优良特性。在使用像腾讯会议、钉钉等目前市场上流行的在线视频会议系统进行在线教学时，教师借助ppt等演示软件将布满知识点的教学屏以共享屏幕的方式展示给互联网在线的各位学生。

3、在教学效果评估方面，教师通过每位参与者开启的摄像头捕捉每位参与者的现场状态。由于教师通过在线视频会议系统分享的ppt是整个教学活动的主体部分，ppt放映时会占据较大的屏幕空间，受设备显示界面范围的限制，当会议人员稍多时摄像头捕捉的学生学习状态与ppt播放界面就无法在同一界面中显示，导致老师对学生的学习状态难以全面把握。受网络传输能力的影响，学生端大量开启摄像头会造成网络卡顿，往往造成教学过程暂时中断。为保障在线教学等活动的顺利开展，国内某市场占有率非常高的视频会议系统严格限制了一个会议中同时开启的视频数量。但是，老师在实际线上教学过程中需要掌握学生的学习状态来把控教学进度和管理课堂教学过程，目前利用市面上流行的腾讯会议、钉钉和雨课堂等软件较难做到。

技术实现思路

1、有鉴于此，为了克服现有在线实时教学系统对于学生学习状态监测与反馈的不足问题，本发明的目的在于提出一种基于图像识别结合图像中位置信息匹配的学习状态评估方法及系统来监测并判断学生的在线学习状态，改进了目前线上教学系统缺乏对于学生实时学习状态的反馈，使教师在进行线上教学时可以便捷地、高效地、无缝地随时掌握学生的学习状态情况，提升老师对教学进度的把握、加强对学生线上教学的管理，从而提高线上教学的效果。

2、基于上述目的，第一方面，本发明提供了一种基于图像识别及位置匹配的在线学习状态监测方法，包括以下步骤：

3、步骤一、图像信息采集

4、调用学生客户端的摄像头采集学生在线学习的图像信息；

5、步骤二、元数据信息提取

6、从采集到的图像中提取元数据信息，解析并抽取所述元数据信息中的经纬度信息，获取图像拍摄时的地理位置；

7、步骤三、学习状态评估

8、对采集到的图像进行识别，提取学生的眼睛特征参数、嘴部特征参数，并根据眼睛特征参数和嘴部特征参数两个指标来对学生学习状态进行评估，得出第一个学习状态评估分值x1；

9、步骤四、位置匹配

10、将获得的地理位置信息与服务器端建立的学生日常学习典型位置数据库中事先上传的地理位置信息比较，计算两点间距离值，通过和预设的学习状态评估距离阈值进行比较，得出第二个学习状态评估分值x2；

11、步骤五、学习状态判断

12、根据计算得到的第一个学习状态评估分值x1和第二个学习状态评估分值x2进行在线学习状态的综合评估，根据评估得到的学生学习状态值来判断学生学习状态，并将学生学习状态值传给服务器端，服务器端将学生学习状态值转发给教师客户端。

13、作为本发明的进一步方案，所述服务器还建立有学生日常典型学习位置数据库，所述学生日常典型学习位置数据库中存储学生用户上传的自定义在线日常学习位置信息，用于和位置匹配计算得到的x2数值进行比较判断是否在规定学习位置范围内。所述服务器端还用于学习状态数值存储传递。

14、作为本发明的进一步方案，所述服务器端还存储有学生日常典型学习位置数据库，所述服务器端还用于学习状态数值存储传递。

15、作为本发明的进一步方案，位置匹配中得出的第二个学习状态评估分值x2的取值有：

16、0代表学习位置状态异常，代表从照片中提取的当前学习位置和典型学习位置两点间距离超出设定的阈值；

17、1代表学习位置状态正常。

18、作为本发明的进一步方案，所述学生客户端的硬件为运行在线教学系统的手机、个人电脑或平板电脑的设备；所述教师客户端的硬件为计算机pc端。

19、作为本发明的进一步方案，所述教师客户端还用于接收到服务器端传递来的学习状态值后，根据状态值展示出所有学生的学习状态信息。

20、作为本发明的进一步方案，所述在线学习状态监测方法还包括学习状态综合评估，基于学生客户端的综合图像识别结果和位置匹配结果，计算学生的在线学习状态评估分值，并将在线学习状态评估分值发送给服务器端。

21、作为本发明的进一步方案，根据眼睛特征参数和嘴部特征参数两个指标来对学生学习状态进行评估时，用于得到眼睑闭合度、眨眼频率和打哈欠频率信息；其中：

22、所述眼睑闭合度从在线学习图像视频中计算得到，眼睑闭合度perclos计算公式为：

23、perclos＝n/m×100％

24、其中，n代表使用眼部高宽比参数被识别为闭眼状态的图像帧数，m代表在时间t内采集的图像总帧数，perclos高代表学习状态不专注；

25、所述眨眼频率通过从视频中计算规定时间内眨眼的帧数占总帧数的比例获得，其中：

26、眨眼频率＝眨眼帧数/总帧数；

27、所述打哈欠频率通过计算设定时间内打哈欠的帧数占总帧数的比例获得，计算公式为：

28、打哈欠频率＝打哈欠帧数/总帧数。

29、作为本发明的进一步方案，计算第一个学习状态评估分值x1时，根据图像中提取的眼部和嘴部特征参数，采用多因子加权联合的方式从图像视频信息中评定在线学习状态，第一个学习状态评估分值x1的计算公式为：

30、x1＝(1-perclos)×50％+(1-眨眼频率)×10％+打哈欠频率×40％

31、其中，采用(1-perclos)值权重为50％、(1-眨眼频率)权重为10％、打哈欠频率权重为40％计算，第一个学习状态评估分值x1的取值范围在0至1之间，第一个学习状态评估分值x1的数值小代表学习状态专注。

32、作为本发明的进一步方案，评估得到的学生学习状态值为y，学生学习状态值y的计算公式为：

33、y＝x1×x2

34、若y＝0， 学习状态异常； 给服务器端传递值0；

35、若0<y<＝0.4,学习状态良好； 给服务器端传递值1；

36、若0.4<y<＝1,学习状态预警； 给服务器端传递值2。

37、第二方面，本发明提供了一种基于图像识别及位置匹配的在线学习状态监测系统，包括学生客户端、教师客户端和服务器端；

38、所述学生客户端，用于开启摄像头采集学生在线学习的图像，提取采集图像的元数据信息，解析并抽取其中的经纬度信息，获取图像拍摄时的地理位置；还用于根据提取的学生的眼睛特征参数、嘴部特征参数计算得出第一个学习状态评估分值x1；与服务器端存储的日常学习位置信息比对，计算距离值，得出第二个学习状态评估分值x2，结合第一个学习状态评估分值x1和第二个学习状态评估分值x2计算综合学习状态值，并传递给服务器端；

39、所述服务器端用于存储学生日常学习位置数据库，接收学生客户端传递的学习状态值，并将学习状态值转发给教师客户端；

40、所述教师客户端用于接收并显示学生的学习状态。

41、本发明的又一方面，还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任一项根据本发明的基于图像识别及位置匹配的在线学习状态监测方法。

42、本发明的再一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任一项根据本发明的基于图像识别及位置匹配的在线学习状态监测方法。

43、与现有技术相比较而言，本发明提出的一种基于图像识别及位置匹配的在线学习状态监测方法及系统，具有以下有益效果：

44、1.提高学习状态监测的准确性：通过结合图像识别(眼部和嘴部特征参数)和位置匹配，提供了一个多维度的学习状态评估模型，使得评估结果更加全面和准确；实时反馈：利用在线监测技术，能够实时反馈学生的学习状态，及时调整教学策略。

45、2.促进个性化教学：教师客户端可以根据系统提供的学习状态信息，对学生的学习行为进行个性化分析和指导；针对性干预：识别出需要额外关注或辅导的学生，帮助他们改善学习方法和环境。

46、3.教学质量提升：系统化的学习状态监测有助于教师更好地管理在线教学过程，提高教学质量。教师客户端可以根据学生的学习状态数据，调整教学内容和方法，提升教学效果。

47、4.低成本实施：学生端仅需利用现有的智能设备(如手机、平板电脑或个人电脑)即可实现。不需要额外购买专业设备或软件，减少了实施成本。

48、5.提高学生的学习体验：通过位置匹配，学生可以在更适宜的学习环境下进行学习，自适应学习环境。还可以通过系统反馈，提高对自己学习状态的认识和自我管理能力，自我意识提升。

49、6.数据安全与隐私保护：通过数据加密传输，确保学生的个人信息和学习数据的安全。通过隐私保护措施，合理利用图像识别技术，避免侵犯学生隐私。

50、综上所述，本发明的基于图像识别及位置匹配的在线学习状态监测方法及系统，不仅提高了在线教学的互动性和教学质量，还通过智能化手段优化了教学管理过程，同时考虑到成本和隐私因素，为在线教育提供了一种高效、安全、经济的解决方案。

51、本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。