课堂参与度评价方法及系统

1.本发明涉及课堂分析技术领域，具体地涉及一种课堂参与度评价方法及一种课堂参与度评价系统。


背景技术：

2.在传统的教学模式中，一个老师需要同时教授几十个，甚至上百个学生，由于教师劳动的特点，课程教学要靠教师个人独立完成，无法同时顾及到所有的学生,就只能从能注意到的少数学生课堂反馈中判断当前的课堂状态。而学生的课堂状态往往通过课堂中的参与程度所体现，如果学生课堂中出现了睡觉等消极的行为，一般是对教学内容产生了厌倦情绪，学生在课堂内保持高度参与的状态，往往对教学内容具有偏向于正面情绪。而学生的课堂行为状态是会随着时间的推移而发生变化的，课堂的参与程度也在随着时间的变化而变化。因此，在达到实时需求的同时融合课堂时序特征的课堂参与分析是符合现实需求的。
3.现有的课堂参与度识别方法，均是依据课堂行为特征从而判定，例如，将训练好vgg16网络模型迁移到学生课堂行为识别任务中，以实现了及时、精准地反馈学生的课堂学习情况。还有根据头部仰俯、偏转角度的不同变化幅度进行专注度等级划分，即根据头部姿态的特征完成对课堂参与的评价。再有通过实时采集学生课上表现的数据，并利用智能算法进行行为分类和识别处理，向教师实时推送与教学相关的各种特征数据，引导教师在教学中调整授课节奏。这些方法均是依据课堂行为特征从而判定，这就使得这些方法不仅仅在特征提取的过程中忽略了动作的时序特征，导致课堂行为识别的效果比较刻板，无法体现实际情况，针对此问题，需要创造一种新的课堂参与度评价方法。


技术实现要素：

4.本发明实施方式的目的是提供一种课堂参与度评价方法及系统，以至少解决现有课堂行为识别不考虑时序问题而导致识别结果刻板的问题。
5.为了实现上述目的，本发明第一方面提供一种课堂参与度评价方法，所述方法包括：实时采集学生课堂行为图像信息；从所述图像信息中进行各学生目标定位，并基于预设参与度识别模型判定各学生的实时课堂参与状态；获得所有学生在完整课堂时间内各图像采集时刻的课堂参与状态，获得课堂参与状态集；基于所述课堂参与状态集进行对应课堂参与度评价。
6.可选的，所述实时采集学生课堂行为图像信息，包括：实时采集课堂行为视频信息；基于预设关键帧提取算法从所述视频信息中提取待识别关键帧；每一个待识别关键帧对应一个图像采集时刻。
7.可选的，所述基于预设关键帧提取算法从所述视频信息中提取待识别关键帧，包括：将所述视频信息进行分帧操作，获得图像序列；将所述图像序列扩展到时间域，获得待识别关键帧序列；其中，所述扩展式为：
[0008][0009]
其中，i,j为图像序列中各二维图像的两个维度；t为扩展加入的时间维度；c为图像序列中各图像的通道数；为扩展后的待识别关键帧。
[0010]
可选的，所述从所述图像信息中进行各学生目标定位，包括：基于预设目标检测算法进行学生目标定位；其中，所述预设目标检测算法还包括时空残差收缩算法；所述预设目标检测算法基于深度学习网络构建；所述深度学习网络包括一个提取图像信息中目标特征的特征提取网络、一个融合多层特征的特征融合网络和一个用于目标检测的卷积网络。
[0011]
可选的，所述特征提取网络的下采样定义为：
[0012]ol
＝f(x*w+b)
[0013]
其中，l为所述特征提取网络的卷积网络当前层数；h和w为输入的空间信息；c为输入的通道信息；h和w 为卷积核尺寸；n为卷积核数量；所述特征提取网络的上采样定义为：
[0014][0015]
其中，g(x’,y’)为输出图像中坐标为(x’,y’)的像素点的颜色值；为输入图像中坐标为(x,y)的像素点的颜色值；(x,y)为输入图像上坐标 (x’,y’)映射到输入图像坐标系下的坐标；int为取整运算。
[0016]
可选的，所述预设参与度识别模型包括三维卷积提取特征。
[0017]
可选的，所述预设参与度识别模型的输入层为：
[0018]win
*h
in
*d
in
*c
in
[0019]
对应输出层为：
[0020]wout
*h
out
*d
out
*c
out
[0021]
其中，所述输入层与所述输出层之间的参数关系为：
[0022][0023][0024][0025]cout
＝k
[0026]
其中，k为预设滤波器个数；w*h*d为卷积核维度；s为滑动步长；p 为填充值。
[0027]
可选的，所述基于所述课堂参与状态集进行对应课堂参与度评价，包括：计算所有学生在每个图像采集时刻的课堂整体参与度；根据完整课堂时间内各图像采集时刻的课堂整体参与度获得完整课堂时间内的课堂参与度；其中，所有学生在每个图像采集时刻的课堂整体参与度的计算规则为：
[0028][0029]
其中，u(t)为图像采集时刻t时所有学生的课堂整体参与度；为参与度系数，0为脱离课堂状态，1为参与课堂状态；s
t
为目标识别到的学生数量；所述完整课堂时间内的课堂参与度计算规则为：
[0030][0031]
其中，v(n)为完整课堂时间内的课堂参与度；n为课堂时间长度。
[0032]
本发明第二方面提供一种课堂参与度评价系统，所述系统包括：采集单元，用于实时采集学生课堂行为图像信息；处理单元，用于：从所述图像信息中进行各学生目标定位，并基于预设参与度识别模型判定各学生的实时课堂参与状态；获得所有学生在完整课堂时间内各图像采集时刻的课堂参与状态，获得课堂参与状态集；评价单元，用于基于所述课堂参与状态集进行对应课堂参与度评价。
[0033]
另一方面，本发明提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的课堂参与度评价方法。
[0034]
通过上述技术方案，本发明方案在提取学生课堂行为状态特征的过程中，通过二维卷积对提取学生课堂行为的空间特征，三维卷积更多的捕捉学生课堂行为时间维度的依赖关系，在课堂行为参与评估任务中以达到融合时空信息的目的，完成时序运动建模，其理论性更为完善。并且通过对三维卷积引入注意力机制，在时间、空间维度上自适应地提取不同通道和时间的时空噪音阈值，通过软阈值化进行时空特征收缩，删除不关键的冗余信息，有效的捕捉课堂行为的时空域内的关系。使得课堂参与度评价结构更加符合现实情况。
[0035]
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0036]
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
[0037]
图1是本发明一种实施方式提供的课堂参与度评价方法的步骤流程图；
[0038]
图2是本发明一种实施方式提供的课堂参与度评价系统的系统结构图。
具体实施方式
[0039]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0040]
在传统的教学模式中，一个老师需要同时教授几十个，甚至上百个学生，由于教师劳动的特点，课程教学要靠教师个人独立完成，无法同时顾及到所有的学生,就只能从能注意到的少数学生课堂反馈中判断当前的课堂状态。而学生的课堂状态往往通过课堂中的参与程度所体现，如果学生课堂中出现了睡觉等消极的行为，一般是对教学内容产生了厌倦情绪，学生在课堂内保持高度参与的状态，往往对教学内容具有偏向于正面情绪。而学生的
课堂行为状态是会随着时间的推移而发生变化的，课堂的参与程度也在随着时间的变化而变化。因此，在达到实时需求的同时融合课堂时序特征的课堂参与分析是符合现实需求的。
[0041]
现有的课堂参与度识别方法，均是依据课堂行为特征从而判定，例如，将训练好vgg16网络模型迁移到学生课堂行为识别任务中，以实现了及时、精准地反馈学生的课堂学习情况。还有根据头部仰俯、偏转角度的不同变化幅度进行专注度等级划分，即根据头部姿态的特征完成对课堂参与的评价。再有通过实时采集学生课上表现的数据，并利用智能算法进行行为分类和识别处理，向教师实时推送与教学相关的各种特征数据，引导教师在教学中调整授课节奏。
[0042]
这些方法均是依据课堂行为特征从而判定，这就使得这些方法不仅仅在特征提取的过程中忽略了动作的时序特征，并且收集到的视频信息中的音频信息往往未能有效利用，而课堂的音频信息中往往包含着丰富的交互信息，课堂的交互性也从另一方面体现着课堂的参与程度。因此，在课堂行为识别容易存在误检、漏检的前提下，提出一种融合课堂音频特征信息的课堂参与评定模型，一定程度上实现了识别过程中的互补性原则。本发明正是引入了时间维度进行课堂参与度评价，将每一个定格的判定结果基于时间进行串联，以实现动态的，一段时间的课堂整体参与度评价。
[0043]
图2是本发明一种实施方式提供的课堂参与度评价系统的系统结构图。如图2所示，本发明实施方式提供一种课堂参与度评价系统，所述系统包括：采集单元，用于实时采集学生课堂行为图像信息；处理单元，用于：从所述图像信息中进行各学生目标定位，并基于预设参与度识别模型判定各学生的实时课堂参与状态；获得所有学生在完整课堂时间内各图像采集时刻的课堂参与状态，获得课堂参与状态集；评价单元，用于基于所述课堂参与状态集进行对应课堂参与度评价。
[0044]
图1是本发明一种实施方式提供的课堂参与度评价方法的方法流程图。如图1所示，本发明实施方式提供一种课堂参与度评价方法，所述方法包括：
[0045]
步骤s10：实时采集学生课堂行为图像信息
[0046]
具体的，使用计算机视觉技术的一类方法在提取学生课堂行为特征的过程中往往独立地处理每幅图像，没有考虑关键信息，如视频的时间属性，这会导致课堂行为识别的效果比较刻板，识别往往是根据某个时间点的学生的姿态特征。同时，课堂行为识别的在智慧课堂中应用场景往往是评估学生课堂参与度(专注度)指标，现有技术往往将课堂评估任务与课堂行为识别剥离开，分两个阶段完成课堂参与度的评价，利用几类固定的课堂参与的评价指标，将学生的几类行为划分为不同参与程度，效果较为呆板。在应用过程中会出现学生短暂的低头、使用手机等行为即刻会被判定为脱离课堂，然而这与实际情况和人性化课堂的要求往往不符合。所以，本发明方案融合了时间通道信息，检测课堂环境下学生的课堂行为姿态、通过对学生动态的行为变化特征，静止的姿态特征进行特征提取，完成基于行为的课堂参与评价；同时引入时空特征收缩算法以减少噪音行为的干扰，更多关注主体行为特征删除冗余干扰信息，进而减少了识别过程中的盲目性。
[0047]
融合了时间通道信息，意味着本发明方案处理的图像信息说是一个时间维度上的流动信息，并非某一个单独的定格图像。基于此，想要实现课堂完整参与度评价，需要实时采集学生课堂行为图像，然后基于时间维度进行各时刻参与度评价，从而实现一个完整时间维度上的参与度评价。基于此，通过课堂预设的图像采集设备进行实施学生课堂行为图
像采集。当然，该图像采集设备可以是预设监控设备、延时相机等，不做限定，只要能进行实时采集课堂图像信息均可。
[0048]
进行图像采集后，需要对图像信息进行预处理操作，这些操作包括视频分帧操作、关键帧提取、尺寸调整操作。因为，了实现课堂行为参与的实时监测，需要对学生的行为数据进行帧级的(时间)注释。但是实际情况中每一秒的视频往往由数十帧图像所组成，手工的对如此数量的数据进行人工标注往往是不现实的，因此，需要采取一种稀疏标注的方法，也就是对这种连续图像的关键帧进行标注，以此来减少数据标注工作的复杂性。具体来说，关键帧指的是行为参与数据的每间隔一秒所截取的图像，对于每秒的关键帧图像都要标记学生的行为参与类型。
[0049]
在一种可能的实施方式中，收集的课堂行为参与数据主要为课堂视频，在完成视频数据的分帧操作后，视频被转化为图像序列，仅仅针对单一图像提取特征是缺乏运动特征的，因此，将表征空间特征图像扩展到时间域，所述扩展式为：
[0050][0051]
其中，i,j为图像序列中各二维图像的两个维度；t为扩展加入的时间维度；c为图像序列中各图像的通道数；为扩展后的待识别帧。通过将学生课堂行为参与数据映射到三维空间网络的w*h*t*c形式，使用深度3d convnet来学习课堂行为参与的时空特征。
[0052]
步骤s20：从所述图像信息中进行各学生目标定位，并基于预设参与度识别模型判定实时各学生的课堂参与状态。
[0053]
具体的，将课堂教学视频中的学生进行目标检测和定位是实现学生行为识别的关键，利用基于深度学习的视频目标检测算法实现课堂教学视频中的学生目标的实时检测，目标特征学习和检测的深度学习网络结构包含一个提取课堂教学视频帧中目标特征的深度卷积神经网络、一个融合多层特征的特征融合网络和一个用于目标检测的卷积网络。所述特征提取网络的下采样定义为：
[0054]ol
＝f(x*w+b)
[0055]
其中，l为所述特征提取网络的卷积网络当前层数；h和w为输入的空间信息；c为输入的通道信息；h和w 为卷积核尺寸；n为卷积核数量；所述特征提取网络的上采样定义为：
[0056][0057]
其中，g(x’,y’)为输出图像中坐标为(x’,y’)的像素点的颜色值；为输入图像中坐标为(x,y)的像素点的颜色值；(x,y)为输入图像上坐标 (x’,y’)映射到输入图像坐标系下的坐标；int为取整运算。
[0058]
oh＝a(g(x’,y’))
[0059]
通过将上采样的得到的每个像素点整合为新图像oh，h对应的采样层数。
[0060]
of＝o
l
+oh[0061]
将下采样过程中提取到多层次的特征与对应的上采样过程的特征进行融合，应注意l＝h，即对应的上采样与下采样相加融合。
[0062]
完成学生目标定位后，便需要对定位的学生目标进行课堂参与状态识别，通过在预训练行为参与模型上对课堂行为和进行微调，提取在课堂环境下产生的行为特征，完成端到端的课堂行为参与度识别任务。为了提取课堂行为的时空特征，引入了三位卷积作为特征提取器。因此，由课堂行为参与模型直接提取学生课堂参与行为的特征因素，相比人为进行二阶段划分能够学习到更高层次的抽象信息。其输入层为：
[0063]win
*h
in
*d
in
*c
in
[0064]
对应输出层为：
[0065]wout
*h
out
*d
out
*c
out
[0066]
其中，所述输入层与所述输出层之间的参数关系为：
[0067][0068][0069][0070]cout
＝k
[0071]
其中，k预设滤波器个数；w*h*d为卷积核维度；s为滑动步长；p为填充值。k，w*h*d，s和p均为预设超参数。
[0072]
基于参与度识别模型注意判断所有识别目标的课堂参与状态。
[0073]
步骤s30：获得所有学生在完整课堂上各图像采集时刻的课堂参与状态，获得课堂参与状态集。
[0074]
具体的，将每一个图像采集时刻的所有学生的课堂参与状态进行整理形成课堂参与状态集，该集合中每一个状态均表现在对应某一个时刻某一个学生的课堂参与状态，以此形成包含所有图像采集时刻、所有学生的课堂参与状态。
[0075]
步骤s40：基于所述课堂参与状态集进行对应课堂参与度评价。
[0076]
具体的，不同于以往的课堂行为识别模型，此前的多数方法更多的聚焦于捕捉学生在课堂上的每个动作，基于捕捉动作进而识别学生的参与程度过程中往往会因为学生的某个时间点的假性的脱离动作将学生判别为参与度不高，亦或是长时间脱离课堂状态的过程中出现偶尔的投入性行为，从而错误地将脱离状态误判为专注状态。但是，大学具有更为自由的氛围，我们不能要求每个学生总是保持高度集中的呆板状态，但是也不能无视学生们长时间的脱离课堂。学生间偶尔的短暂性交流、低头、使用手机等行为，在现代课堂不应呆板地将其划分为脱离课堂的类型，更为综合性的判别方式应当关注课堂行为的主体行为，不应过分关注个别时间点的行为类型。亟需入一种注意力机制的以关注主要行为特征，忽略次要特征。而最近很多工作被提出，通过考虑特征通道间的关系和关注空间层面的重要区域来提升网络的性能。
[0077]
在此，本发明方案提出了基于课堂行为参与识别的时空残差收缩算法以缓解这一
问题，将那些对行为参与识别具有干扰的短暂性动作称之为“噪音”，对于长时间处于高度参与状态的行为数据而言，学生间偶尔的短暂性交流、低头、使用手机等课堂中的消极行为可以称之为积极样本中的消极的“噪音”。对于长时间的脱离课堂的行为数据而言，学生短暂且瞬时出现的参与课堂的行为可以被称之为负面样本中的积极的“噪音”。对于课堂参与效果一般的行为数据而言，无论是积极“噪音”，还是消极“噪音”都会对其参与程度的识别造成影响，针对这一类别时应同时考虑两类“噪音”。
[0078]
时空特征收缩算法面向的是带有“噪声”的课堂行为参与数据，利用信号处理领域内“软阈值化”理论，在相应的阈值范围，对课堂行为参与识别任务造成干扰的行为信号完成“特征收缩”。首先解释软阈值化的概念。软阈值化是将输入数据朝着零的方向进行收缩的一种函数，经常在信号降噪算法中使用。其公式如下：
[0079][0080]
x表示输入特征，y表示输出特征，μ表示阈值。在这里，阈值需要是一个正数，并且不能太大。在这里通过(2+1)d卷积神经网络自适应设置时空噪音阈值。这里的“噪声”如前文所述，可以宽泛地理解为“与当前任务无关的特征信息”。
[0081]
因为视频动作中含有时序信息，所以在空间域的2d卷积的同时插入了 1d在时域上的卷积来增强信道在时域上的相互依赖程度。经过激活函数后可以得到一个基于信道的0-1之间的系数α，并且与特征图绝对值的平均值相乘得到对应通道的噪音阈值。软阈值化能把“一定取值范围[-μ,+μ]内的特征”置为零，而且这个取值范围是可以自适应调整的，是一种更灵活的、删除冗余信息的方式。通过删除课堂时空域内冗余的噪声特征信号，从而实现关注主要行为特征，忽略“噪声”特征，实现时空域内的注意力效果，使得模型在此任务的识别效果鲁棒性更强。
[0082]
基于此，仅识别个体学生的参与程度还不能完全掌握学生整体的课堂状态,依据课堂行为参与的识别分析,统计分析学生在当前课堂的整体参入度指标。需要由个体行为参与度映射到群体行为参与度。计算所有学生在每个图像采集时刻的课堂整体参与度；根据所有图像采集时刻的课堂整体参与度获得完整课堂时间内的课堂参与度；其中，所有学生在每个图像采集时刻的课堂整体参与度的计算规则为：
[0083][0084]
其中，u(t)为图像采集时刻t时所有学生的课堂整体参与度；为参与度系数，0为脱离课堂状态，1为参与课堂状态；s
t
为目标识别到的学生数量；所述完整课堂时间内的课堂参与度计算规则为：
[0085][0086]
其中，v(n)为完整课堂时间内的课堂参与度；n为课堂时间长度。通过对时间系数取平均，使得课堂整体行为参与度指标更平均化整体化，减少了课堂上的突然性因素影响。
[0087]
在本发明实施例中，通过对课堂行为参与采取端到端训练方式，减少了人工二次划分行为步骤，同时，定义固定的几类行为也无法涵盖课堂内发生的所有情况，容易出现无法划分的情况。通过让模型直接学习课堂行为参与的运动模型，将学生的状态划分为不同参与程度，避免了此类问题。
[0088]
本发明方案设计了一种端到端方式的学生课堂行为参与模型，改变了传统的课堂行为识别的数据制作方式，对学生的课堂状态直接进行参与度注释，避免了二次课堂行为参与评估的复杂性和不确定性。在提取学生课堂行为状态特征的过程中，通过二维卷积对提取学生课堂行为的空间特征，三维卷积更多的捕捉学生课堂行为时间维度的依赖关系，在课堂行为参与评估任务中以达到融合时空信息的目的，完成时序运动建模，其理论性更为完善。并且通过对三维卷积引入注意力机制，在时间、空间维度上自适应地提取不同通道和时间的时空噪音阈值，通过软阈值化进行时空特征收缩，删除不关键的冗余信息，有效的捕捉课堂行为的时空域内的关系。
[0089]
本发明实施方式还提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的课堂参与度评价方法。
[0090]
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u 盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0091]
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
[0092]
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。