一种在线考试异常行为检测方法

本发明涉及计算机视觉和语音识别，尤其涉及一种在线考试异常行为检测方法。

背景技术：

1、在信息时代，智能高效的在线教学与考试得到了极大的推广与发展，在线考试系统的研发得到了诸多学者和企业的广泛关注。与此同时，防止考试作弊以保证考试的公平公正也成了一个亟待解决的问题。人脸识别相关算法的出现和发展给在线监考提供了新的思路，相关算法的灵活运用有效地减少了替考的发生，但是其他异常行为却无法检测与识别出，这是现有在线考试系统的一个缺陷。

2、现行的在线考试异常行为检测方法大多没有足够的泛用能力，如专利cn202111635130.9公布了一种基于深度学习的自动化考试监考方法，该方法训练出检测考生各种行为的深度学习目标检测与分类模型，包括侧脸与非侧脸分类模型、回头与非回头分类模型等进行异常行为的判断。这样的方法缺陷在于没有足够的泛用性，针对不同考生的不同考试场景需要重新训练数据集，这带来了较大的额外成本。

3、现有技术申请号cn202210773448.1，发明了一种基于随机森林的线上考试监考方法，基于随机森林方法，融合头部姿态和面部特征进行视线估计，对作弊行为进行判断。其技术的局限性在于没有考虑到针对不同考试环境的考试动态调整判断标准，同时没有对考生的语音活动进行检测。

技术实现思路

1、1.要解决的技术问题

2、本发明的目的是为了解决现有技术中没有足够的泛用性，针对不同考生的不同考试场景需要重新训练数据集和没有考虑到针对不同考试环境考试动态调整判断标准的问题，而提出的一种在线考试异常行为检测方法。

3、2.技术方案

4、为了实现上述目的，本发明采用了如下技术方案：

5、一种在线考试异常行为检测方法，包括以下步骤：

6、步骤1：在规定考试时间开始前，进行边界姿态记录以及噪声记录；

7、步骤2：将获取到的视频信息转化为图像后，通过人脸检测算法和人眼检测算法分析图像；

8、步骤3：将获取到的视频信息转化为图像后，利用训练好的头部姿态估计网络模型，对考生头部进行头部姿态估计，涉及的头部姿态角为俯仰角和偏航角，同时也利用所设计的虹膜定位算法，对考生的虹膜轮廓及中心位置进行定位；

9、步骤4：将获取到的音频信息送入设计好的语音活动检测算法中进行分析，结合步骤1中的噪声记录所得到的背景噪音，通过对比实时语音和初始的背景噪音，根据语音活动判断标准方法来判断考生是否存在讲话的异常行为。

10、优选地，所述步骤1中主要通过手机等摄像、录音设备获取实时视频与音频；在规定考试期间，同样通过手机等摄像、录音设备获取实时视频与音频。

11、优选地，所述步骤2中根据面部消失、闭眼判断标准方法判断考生是否存在离开、闭眼等异常行为。

12、优选地，所述步骤3中头部姿态估计算法是基于改进fsa-net网络，主要将特征提取网络改进为异构的三支流轻量化特征提取网络。

13、优选地，所述异构三支流分别使用relu激活函数+平均池化、tanh激活函数+最大池化、sigmoid激活函数+平均池化。

14、优选地，所述特征提取网络引入ghost模块进行轻量化处理。

15、优选地，所述步骤3中虹膜定位算法使用椭圆拟合算法。

16、优选地，所述步骤3中通过将所得到的头部姿态和虹膜信息与步骤1中所确定的边界姿态进行对比，根据视线离开显示器判断标准方法来判断是否存在视线离开屏幕的异常行为。

17、优选地，所述步骤4中语音活动检测算法是通过计算音频帧mfcc特征与噪声mfcc特征的余弦相似度进行检测。

18、3.有益效果

19、相比于现有技术，本发明的优点在于：

20、(1)本发明中，排除现有技术对于场地的限制的要求，仅用手机等单目摄像设备以及麦克风设备即可实现对在线考试考生的异常行为检测。

21、(2)本发明中，排除了现有技术对于特定数据集的依赖，仅利用公开数据集训练头部姿态估计模型，即可实现对在线考试考生的头部姿态的准确估计，为后续异常行为检测算法提供基础。

22、(3)本发明中，不仅能够通过视频画面对考生的异常行为进行检测，还结合了对音频的处理和检测，增加了对考生说话异常行为的检测实现。

技术特征：

1.一种在线考试异常行为检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种在线考试异常行为检测方法，其特征在于，所述步骤1中主要通过手机等摄像、录音设备获取实时视频与音频；在规定考试期间，同样通过手机等摄像、录音设备获取实时视频与音频。

3.根据权利要求1所述的一种在线考试异常行为检测方法，其特征在于，所述步骤2中根据面部消失、闭眼判断标准方法判断考生是否存在离开、闭眼等异常行为。

4.根据权利要求1所述的一种在线考试异常行为检测方法，其特征在于，所述步骤3中头部姿态估计算法是基于改进fsa-net网络，主要将特征提取网络改进为异构的三支流轻量化特征提取网络。

5.根据权利要求4所述的一种在线考试异常行为检测方法，其特征在于，所述异构三支流分别使用relu激活函数+平均池化、tanh激活函数+最大池化、sigmoid激活函数+平均池化。

6.根据权利要求4所述的一种在线考试异常行为检测方法，其特征在于，所述特征提取网络引入ghost模块进行轻量化处理。

7.根据权利要求1所述的一种在线考试异常行为检测方法，其特征在于，所述步骤3中虹膜定位算法使用椭圆拟合算法。

8.根据权利要求1所述的一种在线考试异常行为检测方法，其特征在于，所述步骤3中通过将所得到的头部姿态和虹膜信息与步骤1中所确定的边界姿态进行对比，根据视线离开显示器判断标准方法来判断是否存在视线离开屏幕的异常行为。

9.根据权利要求1所述的一种在线考试异常行为检测方法，其特征在于，所述步骤4中语音活动检测算法是通过计算音频帧mfcc特征与噪声mfcc特征的余弦相似度进行检测。

技术总结
本发明公开了一种在线考试异常行为检测方法，包括以下步骤：步骤1：在规定考试时间开始前，进行边界姿态记录以及噪声记录；步骤2：将获取到的视频信息转化为图像后，通过人脸检测算法和人眼检测算法分析图像；步骤3：将获取到的视频信息转化为图像后，利用训练好的头部姿态估计网络模型，对考生头部进行头部姿态估计；步骤4：将获取到的音频信息送入设计好的语音活动检测算法中进行分析。本发明排除现有技术对于场地的限制的要求，仅用手机等单目摄像设备以及麦克风设备即可实现对在线考试考生的异常行为检测，仅利用公开数据集训练头部姿态估计模型，即可实现对在线考试考生的头部姿态的准确估计，为后续异常行为检测算法提供基础。

技术研发人员：王崇文,王凯,王铭远,王子和
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/1/15