一种面向在线考试的人物目标检测方法、装置和设备与流程

1.本技术涉及计算机技术领域，特别是涉及一种面向在线考试的人物目标检测方法、装置、计算机设备和存储介质。


背景技术：

2.随着通信网络的飞速发展，远程教育已经成为高等教育体系中的重要组成部分，远程考核是远程教育中至关重要的一环。在全球的现实背景下，远程考试、远程课堂等模式渐渐地为大众所接受。但是在考试过程中，存在许多诸如考生离开以及其他异常情况。为了确定在远程考核过程当中考生是否遵循考场纪律，按规定参加考试(本研究主要针对正面摄像头视角下考生是否留在考场的问题)，我们需要对考核的全过程实施监管，对考生行为状态做出全方位的识别判断。现有技术中，前景检测算法可以更直观的发掘前景目标，但是容易受到许多干扰从而导致检测效果降低，存在效果不佳的问题。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种能够提高在线考试场景下人物目标检测效果的人物目标检测方法、装置、计算机设备和存储介质。
4.一种面向在线考试的人物目标检测方法，所述方法包括：
5.获取在线考试中考试设备摄像头拍摄的考生正面图像，将所述考生正面图像进行样本标注后得到训练数据集；
6.将所述训练数据集输入预先设计的人物目标检测模型中；所述人物目标检测模型包括前景目标检测算法模块和改进的语义分割算法模块；所述前景目标检测算法模块用于得到前景目标图；所述改进的语义分割算法模块用于得到语义分割图；所述改进的语义分割算法模块中包含卷积注意力模块；将所述前景目标图和所述语义分割图按预设规则进行融合，得到修正后的语义分割结果作为所述人物目标检测模型的输出；
7.通过所述训练数据集对所述人物目标检测模型进行训练，得到训练好的人物目标检测模型；
8.在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像，对数据进行预处理后将帧图像输入所述训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
9.在其中一个实施例中，所述前景目标检测算法模块中的前景目标检测算法为vibe算法；所述改进的语义分割算法模块中的语义分割算法为改进的icnet 语义分割算法。
10.在其中一个实施例中，还包括：通过所述训练数据集对所述前景目标检测算法模块进行训练，得到训练好的vibe算法模块；
11.通过所述训练数据集和改进的combo loss损失函数对所述改进的语义分割算法模块进行训练，得到训练好的icnet语义分割算法模块；所述改进的combo loss损失函数是由bce二元交叉熵函数和dice&focal loss函数结合所构成的；
12.由所述训练好的vibe算法模块和所述训练好的icnet语义分割算法模块得到训练好的人物目标检测模型。
13.在其中一个实施例中，还包括：在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像；
14.离散地抽取所述视频图像中的帧得到帧图像；
15.对所述帧图像进行预处理后输入所述训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
16.在其中一个实施例中，所述卷积注意力模块中包括通道注意力模块和空间注意力模块；所述卷积注意力模块用于对级联特征图进行自适应特征优化。
17.在其中一个实施例中，还包括：由所述通道注意力模块和所述空间注意力模块分别得到通道注意力和空间注意力后，通过使用广播机制对输入的特征图进行信息提炼，得到提炼后的特征图；
18.根据所述提炼后的特征图进行级联特征融合和级联标签指导。
19.在其中一个实施例中，所述训练数据集中包括正样本和负样本。
20.一种面向在线考试的人物目标检测装置，所述装置包括：
21.训练数据集获取模块，用于获取在线考试中考试设备摄像头拍摄的考生正面图像，将所述考生正面图像进行样本标注后得到训练数据集；
22.数据输入模块，用于将所述训练数据集输入预先设计的人物目标检测模型中；所述人物目标检测模型包括前景目标检测算法模块和改进的语义分割算法模块；所述前景目标检测算法模块用于得到前景目标图；所述改进的语义分割算法模块用于得到语义分割图；所述改进的语义分割算法模块中包含卷积注意力模块；将所述前景目标图和所述语义分割图按预设规则进行融合，得到修正后的语义分割结果作为所述人物目标检测模型的输出；
23.模型训练模块，用于通过所述训练数据集对所述人物目标检测模型进行训练，得到训练好的人物目标检测模型；
24.模型应用模块，用于在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像，对数据进行预处理后将帧图像输入所述训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
25.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
26.获取在线考试中考试设备摄像头拍摄的考生正面图像，将所述考生正面图像进行样本标注后得到训练数据集；
27.将所述训练数据集输入预先设计的人物目标检测模型中；所述人物目标检测模型包括前景目标检测算法模块和改进的语义分割算法模块；所述前景目标检测算法模块用于得到前景目标图；所述改进的语义分割算法模块用于得到语义分割图；所述改进的语义分割算法模块中包含卷积注意力模块；将所述前景目标图和所述语义分割图按预设规则进行融合，得到修正后的语义分割结果作为所述人物目标检测模型的输出；
28.通过所述训练数据集对所述人物目标检测模型进行训练，得到训练好的人物目标检测模型；
29.在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像，对数据进行预处理后将帧图像输入所述训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
30.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
31.获取在线考试中考试设备摄像头拍摄的考生正面图像，将所述考生正面图像进行样本标注后得到训练数据集；
32.将所述训练数据集输入预先设计的人物目标检测模型中；所述人物目标检测模型包括前景目标检测算法模块和改进的语义分割算法模块；所述前景目标检测算法模块用于得到前景目标图；所述改进的语义分割算法模块用于得到语义分割图；所述改进的语义分割算法模块中包含卷积注意力模块；将所述前景目标图和所述语义分割图按预设规则进行融合，得到修正后的语义分割结果作为所述人物目标检测模型的输出；
33.通过所述训练数据集对所述人物目标检测模型进行训练，得到训练好的人物目标检测模型；
34.在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像，对数据进行预处理后将帧图像输入所述训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
35.上述面向在线考试的人物目标检测方法、装置、计算机设备和存储介质，通过在线考试中考生正面图像构成的训练数据集，对预先设计的人物目标检测模型进行训练；人物目标检测模型包括前景目标检测算法模块和改进的语义分割算法模块，改进的语义分割算法模块中包含卷积注意力模块；将前景目标检测算法模块得到前景目标图和改进的语义分割算法模块得到的语义分割图按预设规则进行融合，得到修正后的语义分割结果作为人物目标检测模型的输出；得到训练好的人物目标检测模型后，实时获取在线考试中考试设备摄像头拍摄的视频图像，对数据进行预处理后将帧图像输入训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。本发明结合了前景目标检测算法和语义分割算法的优势，同时对语义分割算法进行了改进，进一步优化了人物检测模型，提高了检测效果。
附图说明
36.图1为一个实施例中面向在线考试的人物目标检测方法的流程示意图；
37.图2为一个实施例中在线考试的干扰场景，其中，(a)、(b)为考生作弊场景， (c)、(d)为考生离开场景；
38.图3为一个实施例中前景检测算法可能出现的ghost区域示意图；
39.图4为一个实施例中语义分割算法可能出现的干扰结果；
40.图5为一个实施例中前景检测算法与语义分割算法融合的示意图；
41.图6为一个实施例中卷积注意力模块示意图；
42.图7为另一个实施例中面向在线考试的人物目标检测方法的流程示意图；
43.图8为一个实施例中面向在线考试的人物目标检测装置的结构框图；
44.图9为一个实施例中计算机设备的内部结构图。
具体实施方式
45.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
46.在一个实施例中，如图1所示，提供了一种面向在线考试的人物目标检测方法，包括以下步骤：
47.步骤102，获取在线考试中考试设备摄像头拍摄的考生正面图像，将考生正面图像进行样本标注后得到训练数据集。
48.采集的正面图像包括正样本和负样本，使用labelme软件对样本进行标注，整理得到训练数据集。
49.如图2为考试过程中存在的一些异常情况，(a)、(b)为考生作弊场景，(c)、(d) 为考生离开场景。负样本为包括这些场景和区域的样本。
50.步骤104，将训练数据集输入预先设计的人物目标检测模型中。
51.人物目标检测模型包括前景目标检测算法模块和改进的语义分割算法模块；前景目标检测算法模块用于得到前景目标图；改进的语义分割算法模块用于得到语义分割图；改进的语义分割算法模块中包含卷积注意力模块；将前景目标图和语义分割图按预设规则进行融合，得到修正后的语义分割结果作为人物目标检测模型的输出。
52.在考试设备(如笔记本电脑或台式机)摄像头拍摄的近场环境下，人物属于较为明显的前景目标，可以使用前景检测的思路对人物目标进行发掘。但是，传统的前景目标检测算法缺乏对场景的理解，在遇到例如步骤104中负样本的干扰时建模精度将明显下降，使得最后的检测结果中会出现许多错误的前景目标 (例如ghost区域，如图3所示)。
53.语义分割算法虽然可以对场景进行解析，但是容易混入我们不需要的一些目标以及在受到一些干扰下出现检测精度下降的结果，语义分割图如图4所示。
54.如图5，本发明通过将前景目标检测算法和语义分割算法结合，发挥两者优势，通过前景目标检测算法对语义分割算法的检测结果进行修正，从而提高检测效果。
55.另一方面，本发明通过引入卷积注意力模块(convolutional block attentionmodule，cbam)使得训练过程更加专注于所需要的前景目标。
56.将前景目标图和语义分割图按预设规则进行融合，本实施例的融合规则如
57.表1所示：
[0058][0059]
bg指为当前像素为背景background像素，fg指为前景foreground像素，f 与t分别代指false与true(false表示当前像素为背景bg，true表示当前像素为前景fg)。第一列为pixel(像素)，指当前像素被识别为bg或是fg；第二列fo为前景目标检测算法识别的前景目标图结果；第三列ss为语义分割算法得到的语义分割图结果；第四列ss_fo为修正后的更准
确的语义分割图判断的结果。
[0060]
步骤106，通过训练数据集对人物目标检测模型进行训练，得到训练好的人物目标检测模型。
[0061]
通过端到端学习，先进行特征提取工程，在小训练集条件下有效解决欠拟合问题。
[0062]
步骤108，在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像，对数据进行预处理后将帧图像输入训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
[0063]
通过本发明，可以实时监控考生的作弊行为及其他违规行为(考生离开或状态异常等)，加强对考场的纪律监管。
[0064]
上述面向在线考试的人物目标检测方法中，通过在线考试中考生正面图像构成的训练数据集，对预先设计的人物目标检测模型进行训练；人物目标检测模型包括前景目标检测算法模块和改进的语义分割算法模块，改进的语义分割算法模块中包含卷积注意力模块；将前景目标检测算法模块得到前景目标图和改进的语义分割算法模块得到的语义分割图按预设规则进行融合，得到修正后的语义分割结果作为人物目标检测模型的输出；得到训练好的人物目标检测模型后，实时获取在线考试中考试设备摄像头拍摄的视频图像，对数据进行预处理后将帧图像输入训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。本发明结合了前景目标检测算法和语义分割算法的优势，同时对语义分割算法进行了改进，进一步优化了人物检测模型，提高了检测效果。
[0065]
在其中一个实施例中，前景目标检测算法模块中的前景目标检测算法为 vibe算法；改进的语义分割算法模块中的语义分割算法为改进的icnet语义分割算法。通过训练数据集对前景目标检测算法模块进行训练，得到训练好的vibe 算法模块；通过训练数据集和改进的combo loss损失函数对改进的语义分割算法模块进行训练，得到训练好的icnet语义分割算法模块；改进的combo loss 损失函数是由bce二元交叉熵函数和dice&focal loss函数结合所构成的；由训练好的vibe算法模块和训练好的icnet语义分割算法模块得到训练好的人物目标检测模型。
[0066]
vibe算法利用单帧视频序列初始化背景模型，对于一个像素点，结合相邻像素点拥有相近像素值的空间分布特性，随机地选择它的邻域点的像素值作为它的模型样本值。计算新像素值和样本集中每个样本值的距离，若距离大于阈值则判断为前景，小于阈值为背景，最终得到需要的前景图。
[0067]
icnet语义分割算法为改进的语义分割算法，改进在于两个方面：
[0068]
一是特征提取优化，针对icnet语义分割算法，研究该算法的特性，根据公开数据集和自采数据集上的仿真测试结果，并结合实际应用背景，在满足速度要求的前提下，采用cbam卷积注意力模块对级联特征图进行自适应特征优化。cbam由通道注意力模块cam和空间注意力模块sam两部分组成(如图6)，得到的通道注意力和空间注意力以后，使用广播机制对原有的feature map进行信息提炼，最终得到提炼后的feature map。然后再进行级联特征融合及级联标签指导过程，提升准确度。
[0069]
二是损失函数优化，针对实际需要面对的问题，对icnet原有的softmax分类器进行优化，softmax分类器采用基于交叉熵损失函数，虽然有平滑的梯度下降特点，但是没有充分地考虑各个类及样本之间的重要程度，这使得在训练的过程中缺乏足够的指向性，从
而影响训练的整体效率以及最后的预测准确率，为了解决算法在复杂环境下准确度不高的问题，因此需要针对性地对一些训练样本，尤其是负样本进行训练学习。本发明提出了一种改进的combo loss损失函数，原始的combo loss函数采用的是bce二元交叉熵函数以及dice loss函数的结合体，在本发明中将dice loss替换成更加有助于提高训练效果的 dice&focal loss函数，来弥补交叉熵损失函数的缺陷，使得训练过程更具有指向性，更加倾向于一些带干扰的复杂样本，进而提高训练与检测效果。
[0070]
在其中一个实施例中，还包括：在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像；离散地抽取视频图像中的帧得到帧图像；对帧图像进行预处理后输入训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
[0071]
在其中一个实施例中，卷积注意力模块中包括通道注意力模块和空间注意力模块；卷积注意力模块用于对级联特征图进行自适应特征优化。由通道注意力模块和空间注意力模块分别得到通道注意力和空间注意力后，通过使用广播机制对输入的特征图进行信息提炼，得到提炼后的特征图；根据提炼后的特征图进行级联特征融合和级联标签指导。
[0072]
在其中一个实施例中，训练数据集中包括正样本和负样本。
[0073]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其他的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0074]
在另一个实施例中，如图7所示，提供了一种面向在线考试的人物目标检测方法，采用端到端的检测模式，包括视频图像采集、数据预处理、数据输入，由vibe算法得到的前景目标图对由icnet算法得到的语义分割图进行修正，判断图像是否存在人物目标。
[0075]
在一个实施例中，如图8所示，提供了一种面向在线考试的人物目标检测装置，包括：训练数据集获取模块802、数据输入模块804、模型训练模块806 和模型应用模块808，其中：
[0076]
训练数据集获取模块802，用于获取在线考试中考试设备摄像头拍摄的考生正面图像，将考生正面图像进行样本标注后得到训练数据集；
[0077]
数据输入模块804，用于将训练数据集输入预先设计的人物目标检测模型中；人物目标检测模型包括前景目标检测算法模块和改进的语义分割算法模块；前景目标检测算法模块用于得到前景目标图；改进的语义分割算法模块用于得到语义分割图；改进的语义分割算法模块中包含卷积注意力模块；将前景目标图和语义分割图按预设规则进行融合，得到修正后的语义分割结果作为人物目标检测模型的输出；
[0078]
模型训练模块806，用于通过训练数据集对人物目标检测模型进行训练，得到训练好的人物目标检测模型；
[0079]
模型应用模块808，用于在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像，对数据进行预处理后将帧图像输入训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
[0080]
模型训练模块806还用于通过训练数据集对前景目标检测算法模块进行训练，得
到训练好的vibe算法模块；通过训练数据集和改进的combo loss损失函数对改进的语义分割算法模块进行训练，得到训练好的icnet语义分割算法模块；改进的combo loss损失函数是由bce二元交叉熵函数和dice&focalloss函数结合所构成的；由训练好的vibe算法模块和训练好的icnet语义分割算法模块得到训练好的人物目标检测模型。
[0081]
模型应用模块808还用于在应用阶段，实时获取在线考试中考试设备摄像头拍摄的视频图像；离散地抽取视频图像中的帧得到帧图像；对帧图像进行预处理后输入训练好的人物目标检测模型，得到在线考试人物目标的实时检测结果。
[0082]
模型应用模块808还用于由通道注意力模块和空间注意力模块分别得到通道注意力和空间注意力后，通过使用广播机制对输入的特征图进行信息提炼，得到提炼后的特征图；根据提炼后的特征图进行级联特征融合和级联标签指导。
[0083]
关于面向在线考试的人物目标检测装置的具体限定可以参见上文中对于面向在线考试的人物目标检测方法的限定，在此不再赘述。上述面向在线考试的人物目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0084]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面向在线考试的人物目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0085]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0086]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
[0087]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
[0088]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其他介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程 rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步 dram(sdram)、双数据率sdram(ddrsdram)、增强
型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接 ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态 ram(rdram)等。
[0089]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0090]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。