一种基于深度学习的自动化考试监考方法与流程

1.本发明涉及自动化考试监考领域，特别涉及一种基于深度学习的自动化考试监考方法。


背景技术：

2.目前的考试现场由2名老师监考，考中有高清摄像头进行全程录像，考后由视频录像回放查看作弊考生，费时费力，而且效果并不理想，随着机器学习技术的迅猛发展，深度学习算法已经越来越成熟，本发明提出利用计算机视觉深度学习算法，对考生的行为进行智能识别与检测，实现自动检测考生作弊行为的新方法。


技术实现要素：

3.本发明目的是：提供一种基于深度学习的自动化考试监考方法，过高清摄像头对考场中的考生的行为动作，进行智能识别与分析，从而可以筛选出高可疑作弊行为考生，考中对考场加大监考力度，从而可以降低考生作弊概率的发生，考后的录像视频可以录像回放智能分析，自动筛选出考试作弊考生，大大提升效率。
4.本发明的技术方案是：一种基于深度学习的自动化考试监考方法，包括以下步骤：步骤1：训练出检测考生的深度学习目标检测模型；步骤2：训练出抬脸，低头二分类的深度学习图像抬脸分类模型；步骤3：训练出侧脸，非侧脸二分类的深度学习图像侧脸分类模型；步骤4：训练出回头，非回头二分类的深度学习图像回头分类模型；步骤5：利用步骤1得到的目标检测模型，检测图像中的考生，并将考生对应的包围盒图像切下来；步骤6：对步骤5得到的考生包围盒图像，利用步骤2得到的抬脸模型进行分类，过滤掉低头答卷的考生；步骤7：对于步骤6剩下的抬脸考生，利用步骤3得到的侧脸分类模型进行分类，得到侧脸行为的考生；步骤8：对于步骤6剩下的抬脸考生，利用步骤4得到的回头分类模型进行分类，得到回头行为的考生；步骤9：对步骤7，步骤8中得到的侧脸、回头考生，记录其时间，教室号，可疑图像；步骤10：对步骤9记录的可疑考生，工作人员做最后审核，做相应处理。
5.可选地，步骤1包括如下步骤：步骤1-1：从考试录制的视频中截取考生考试的图像；步骤1-2：利用步骤1-1的图像标注考生的目标模型学习训练集，这里利用labelimg工具进行标注；步骤1-3：构造yolov4目标检测网络，yolov4的主干网络采用cspdarknet53，脖颈
网络采用pan，检测头部分采用yolo的方法，主干用于通过连续地卷积和下采样提取图像的基本特征，脖颈部分针对图像中目标大小不一的问题，构造出多个尺度特征映射用于检测，同时融合了低层的较强细节，定位信息和高层的强语义信息，更有利于多种尺寸目标的检测，检测头是网络生成所有包围盒部分，并执行非极大值抑制算法，去除单个目标的冗余包围盒，得到最终的检测结果；步骤1-4：利用预训练权重初始化yolov4的主干网络，其他部分按需初始化；步骤1-5：利用步骤1-2的数据集，对步骤1-4的目标检测模型进行微调，得到可以检测考生目标的泛化模型。
6.可选地，步骤2包括以下步骤：步骤2-1：对于步骤1-1中截取的考试图像，框出足量考生抬脸和低头的图像，并切下考生图像；步骤2-2：构建mobilenetv3图像分类网络；步骤2-3：利用预训练权重初始化mobilenetv3网络；步骤2-4：利用步骤2-1的数据集，微调步骤2-3的mobilenetv3网络，得到可以分类抬脸低头的图像分类模型。
7.可选地，步骤3包括以下步骤：步骤3-1：对于步骤1-1中截取的考试图像，框出足量考生侧脸和非侧脸的图像，并切下考生图像；步骤3-2：利用步骤3-1的数据集，微调步骤2-3的mobilenetv3网络，得到可以分类侧脸非侧脸的图像分类模型。
8.可选地，步骤4方法如下：步骤4-1：对于步骤1-1中截取的考试图像，框出足量考生回头和非回头的图像，并切下考生图像；步骤4-2：利用步骤4-1的数据集，微调步骤2-3的mobilenetv3网络，得到可以分类回头非回头的图像分类模型。
9.可选地，步骤5方法如下：步骤5-1：利用步骤1-5得到考生目标检测模型，对原图像检测，得到考生的包围框；步骤5-2：利用步骤5-1得到考生包围框，切下原图像中考生的图像区域。
10.可选地，步骤6方法包括：步骤6-1：利用步骤5-2得到考生区域图像，利用步骤2-4得到的模型进行抬脸或者低头图像分类；步骤6-2：利用步骤6-1的分类结果，将低头答卷的考生过滤掉，留下抬脸的考生。
11.可选地，步骤7方法包括：步骤7-1：将步骤6-2留下的抬脸考生的区域图像输入到步骤3-2得到的模型，进行侧脸非侧脸的分类；步骤7-2：利用步骤7-1的分类结果，将非侧脸的考生过滤掉，只留下侧脸的考生。
12.可选地，步骤8方法包括：步骤8-1：将步骤6-2留下的抬脸考生的区域图像输入到步骤4-2得到的模型，进行
回头非回头的分类；步骤8-2：利用步骤8-1的分类结果，将非回头的考生过滤掉，只留下回头的考生。
13.可选地，步骤9方法如下：对于步骤7-2中得到的侧脸考生，和步骤8-2得到的回头考生，分别记录他们的行为时间，教室号，行为图像。
14.本发明的优点是：本发明利用深度学习计算机视觉算法实现计算机代替监考人员对考试过程进行监督，并找出可疑作弊考生，实现一定程度自动化、智能化地监考，并且算法速度很快，可以应用在视频上。
附图说明
15.下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
16.图1为本发明基于深度学习的自动化考试监考方法的流程图；图2为深度学习目标检测yolov4的网络整体结构；图3为深度学习目标检测yolov4的子模块结构图；图4为mobilenetv3的网络结构参数设定表格。
具体实施方式
17.下面将结合附图和实施例对本发明作详细说明。
18.如图1所示，本发明的基于深度学习的自动化考试监考方法，包括以下步骤：步骤1：训练出检测考生的深度学习目标检测模型；步骤2：训练出抬脸，低头二分类的深度学习图像抬脸分类模型；步骤3：训练出侧脸，非侧脸二分类的深度学习图像侧脸分类模型；步骤4：训练出回头，非回头二分类的深度学习图像回头分类模型；步骤5：利用步骤1得到的目标检测模型，检测图像中的考生，并将考生对应的包围盒图像切下来；步骤6：对步骤5得到的考生包围盒图像，利用步骤2得到的抬脸模型进行分类，过滤掉低头答卷的考生；步骤7：对于步骤6剩下的抬脸考生，利用步骤3得到的侧脸分类模型进行分类，得到侧脸行为的考生；步骤8：对于步骤6剩下的抬脸考生，利用步骤4得到的回头分类模型进行分类，得到回头行为的考生；步骤9：对步骤7，步骤8中得到的侧脸、回头考生，记录其时间，教室号，可疑图像；步骤10：对步骤9记录的可疑考生，工作人员做最后审核，做相应处理。
19.步骤1包括如下步骤：步骤1-1：从考试录制的视频中截取考生考试的图像；步骤1-2：利用步骤1-1的图像标注考生目标的模型学习训练集，这里利用labelimg工具进行标注。
20.步骤1-3：构造yolov4目标检测网络，网络结构图如图2所示，yolov4的主干网络采用cspdarknet53，脖颈网络采用pan，检测头部分采用yolo的方法，分别见附图2中上，左下，右下虚线框框出的结构；主干用于通过连续地卷积和下采样提取图像的基本特征，脖颈部分针对图像中目标大小不一的问题，构造出多个尺度特征映射用于检测，同时融合了低层的较强细节，定位信息和高层的强语义信息，更有利于多种尺寸目标的检测，检测头是网络生成所有包围盒部分，并执行非极大值抑制算法，去除单个目标的冗余包围盒，得到最终的检测结果；网络包含了一些子模块，子模块的结构见附图3，网络是相似或者相同的子结构组成。例如cbm代表卷积，批归一化，mish激活函数三个部分组成的一个子结构；步骤1-4：利用预训练权重初始化yolov4的主干网络，其他部分按需初始化；步骤1-5：利用步骤1-2的数据集，对步骤1-4的目标检测模型进行微调，得到可以检测考生目标的泛化模型。
21.步骤2包括以下步骤：步骤2-1：对于步骤1-1中截取的考试图像，框出足量考生抬脸和低头的图像，并切下考生图像，得到一张张考生的小图；步骤2-2：构建mobilenetv3图像分类网络，其网络各层的结构参数设定如图4所示。mobilenetv3是轻量化模型中比较优秀的一款，利用深度分离卷积，倒置残差，线性瓶颈，神经结构搜索等方法实现了效果和效率上的提高与权衡。
22.步骤2-3：利用预训练权重初始化mobilenetv3网络；步骤2-4：利用步骤2-1的数据集，微调步骤2-3的mobilenetv3网络，得到可以分类抬脸低头的图像分类模型。
23.步骤3包括以下步骤：步骤3-1：对于步骤1-1中截取的考试图像，框出足量考生侧脸和非侧脸的图像，并切下考生图像，得到一张张考生的小图；步骤3-2：利用步骤3-1的数据集，微调步骤2-3的mobilenetv3网络，得到可以分类侧脸非侧脸的图像分类模型。
24.步骤4方法如下：步骤4-1：对于步骤1-1中截取的考试图像，框出足量考生回头和非回头的图像，并切下考生图像，得到一张张考生的小图；步骤4-2：利用步骤4-1的数据集，微调步骤2-3的mobilenetv3网络，得到可以分类回头非回头的图像分类模型。
25.步骤5方法如下：步骤5-1：利用步骤1-5得到考生目标检测模型，对原图像检测，得到考生的包围框；步骤5-2：利用步骤5-1得到考生包围框，切下原图像中考生的图像区域。
26.步骤6方法包括：步骤6-1：利用步骤5-2得到考生区域图像，利用步骤2-4得到的模型进行抬脸或者低头图像分类；步骤6-2：利用步骤6-1的分类结果，将低头答卷的考生过滤掉，留下抬脸的考生。
27.步骤7方法包括：
步骤7-1：将步骤6-2留下的抬脸考生的区域图像输入到步骤3-2得到的模型，进行侧脸非侧脸的分类；步骤7-2：利用步骤7-1的分类结果，将非侧脸的考生过滤掉，只留下侧脸的考生。
28.步骤8方法包括：步骤8-1：将步骤6-2留下的抬脸考生的区域图像输入到步骤4-2得到的模型，进行回头非回头的分类；步骤8-2：利用步骤8-1的分类结果，将非回头的考生过滤掉，只留下回头的考生。
29.步骤9方法如下：对于步骤7-2中得到的侧脸考生，和步骤8-2得到的回头考生，记录他们的行为时间，教室号，行为图像。
30.步骤10方法包含：由工作人员审核，算法记录下的可疑考生，做出最终的处理。
31.上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。