一种学员课堂学习状态在线评估方法及系统与流程

本公开属于学员课堂学习状态评估领域，尤其涉及一种学员课堂学习状态在线评估方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

课堂教学效果的正确评估，是促进学员成长、教师专业发展和提高课堂教学质量的重要手段，而学员作为课堂的主体，其在课堂上的表现是教学效果评估的重要组成部分。然而，目前由于一个班级中学员人数多，很难做到对每一个学员的课堂表现进行评价，这样的评价结果往往是笼统的，并不具体。这样不利于对课堂效果进行量化评估，更不利于对每一个学员的“针对性”培养。本发明可实现对每一个学员上课状态的在线监测和评估，有效弥补当前学员评价方式的不足，同时也为教师教学效果评估提供了依据。学员课堂学习状态在线评估系统实时采集学员的面部图像和声音信号，通过对面部表情和语速、语调的分析，综合推断学员当前的学习状态。

发明人发现，在学员课堂学习状态在线评估中，需要解决的问题是如何实时地、准确地评估每一位学员的学习状态。具体来说可分为以下几个问题：(1)每一位学员面部表情和声音信号的实时采集问题。现有的在教室四角安装摄像头的方式只能在宏观上监控整个班的动态，很难实时捕捉每位学员的面部表情和声音信号；(2)面部表情的实时识别问题。这涉及到学员面部图像的定位及处理以及面部表情识别的实时性与准确性问题。(3)面部表情识别结果与声音情绪识别结果相结合实现学习状态识别问题。如果只是依靠面部表情或者声音识别结果，很难准确且全面地判断学员当时的精神状态，必须结合两者的识别结果，同时还需考虑上一时刻学员的精神状态，以提高识别的准确性。

技术实现要素：

为了解决上述问题，本公开提供一种学员课堂学习状态在线评估方法及系统，其通过对视频图像的处理实时识别学员学习时的面部表情，同时通过对声音信号的处理，实时识别学员学习时的情绪状况，通过特定模型把表情识别结果和情绪识别结果相融合，实现了对学员学习状态的实时识别。

为了实现上述目的，本公开采用如下技术方案：

本公开的第一方面提供一种学员课堂学习状态在线评估方法，其包括：

同步采集学员的视频图像及声音信号；

分别将视频图像及声音信号对应输入至训练完成的表情识别模型和情绪状态识别模型中，输出学员对应的表情类别和情绪状态类别及对应的概率；其中，表情、情绪状态和课堂学习状态划分的类别均相同；

将表情识别结果和情绪状态识别结果输入至学员状态评估模型中，输出评估的学员课堂学习状态类别；其中，学员状态评估模型为：

rti＝(αeti+βsti)·γ(t-1)i

其中，i为第i种课堂学习状态，i取值范围为1～m，m表示课堂学习状态的总类别；rti表示t时刻第i种课堂学习状态的概率值；eti为t时刻第i种表情类别的概率值；sti为t时刻第i种情绪状态类别的概率值；α、β为已知权重系数，且α+β＝1；γ(t-1)i为t-1时刻的结果识别系数，若t-1时刻识别为第i种课堂学习状态，其值为1，否则为0.9；t为大于或等于1的正整数，当t＝1时，γ(t-1)i＝1。

本公开的第二个方面提供一种学员课堂学习状态在线评估系统，其包括：

状态检测机，其被配置为：

同步采集学员的视频图像及声音信号；

分别将视频图像及声音信号对应输入至训练完成的表情识别模型和情绪状态识别模型中，输出学员对应的表情类别和情绪状态类别及对应的概率；其中，表情、情绪状态和课堂学习状态划分的类别均相同；

上位机，其被配置为接收表情识别结果和情绪状态识别结果，并输入至学员状态评估模型中，输出评估的学员课堂学习状态类别；其中，学员状态评估模型为：

rti＝(αeti+βsti)·γ(t-1)i

其中，i为第i种课堂学习状态，i取值范围为1～m，m表示课堂学习状态的总类别；rti表示t时刻第i种课堂学习状态的概率值；eti为t时刻第i种表情类别的概率值；sti为t时刻第i种情绪状态类别的概率值；α、β为已知权重系数，且α+β＝1；γ(t-1)i为t-1时刻的结果识别系数，若t-1时刻识别为第i种课堂学习状态，其值为1，否则为0.9；t为大于或等于1的正整数，当t＝1时，γ(t-1)i＝1。

本公开的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的学员课堂学习状态在线评估方法中的步骤。

本公开的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的学员课堂学习状态在线评估方法中的步骤。

本公开的有益效果是：

本公开通过对视频图像的处理实时识别学员学习时的面部表情，同时通过对声音信号的处理，实时识别学员学习时的情绪状况，通过特定模型把表情识别结果和情绪识别结果相融合，实现了对学员学习状态的实时识别，有效提高了每位学员学习状态的识别效果，实现了对每一个学员上课状态的在线监测和评估，有效弥补当前学员评价方式的不足，为学员的针对性培养和教师课堂教学效果评价提供了可靠、充实的依据。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开实施例提供的学员课堂学习状态在线评估方法流程图；

图2是本公开实施例提供的学员课堂学习状态在线评估系统结构示意图；

图3(a)是本公开实施例提供的状态检测机的正视图；

图3(b)是本公开实施例提供的状态检测机的侧视图

图4是本公开实施例提供的状态检测机的原理结构示意图；

图5是本公开实施例提供的人脸检测特征。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

如图1所示，本实施例的一种学员课堂学习状态在线评估方法，其包括：

步骤s101：同步采集学员的视频图像及声音信号。

在具体实施中，从视频图像采集区域内同步采集学员的视频图像及声音信号；其中，视频图像采集区域是根据学员的位置设置；每个视频图像采集区域与一个学员相对应。

步骤s102：分别将视频图像及声音信号对应输入至训练完成的表情识别模型和情绪状态识别模型中，输出学员对应的表情类别和情绪状态类别及对应的概率；其中，表情、情绪状态和课堂学习状态划分的类别均相同。

在本实施例中，表情、情绪状态和课堂学习状态划分的类别包括：高兴、平静、疲倦、困惑、激动、沮丧这六种类别。

具体地，将视频图像输入至训练完成的表情识别模型中，输出学员对应的表情类别及对应的概率的过程为：

(1.1)人脸检测

基于adaboost的人脸检测算法是一种基于统计理论的方法，这种人脸检测算法与其他检测算法相比具有较高的准确度和较快的检测速度，但是难以满足本系统的实时性要求。一般情况下adaboost算法与haar-like特征相结合实现人脸检测，这种检测方法由于需要检测的窗口数量大，这在某种程度上降低了其检测效率。因此，如果降低检测窗口的数量，则可以提高检测的实时性。

本实施例采用粗检测和细检测相结合的方式提高了检测的实时性。

粗检测过程：首先利用边界跟踪获取人体上半身的轮廓图像，然后提取轮廓图像的不变矩的做特征向量，以此与模板图像的特征向量相匹配，采用欧式距离作为相似性度量，如果欧式距离小于设定阈值，则所处理区域为人体轮廓区域。然后保留人体区域，舍弃其他区域。

细检测过程：对粗检测后保留的图像区域进行处理，最终实现人脸检测。细检测采用基于haar-like特征的adaboost人脸检测算法。在原有的haar-like特征集中加入如图5的特征，以提高人脸检测成功率。采用积分图的方法计算haar-like特征，然后利用这些特征训练弱分类器，弱分类器训练为最优弱分类器后，经过加权叠加构成强分类器，然后对强分类器训练后构成级联分类器。检测采用二叉决策树的形式，通过筛选级联分类器的子窗口图像即为人脸区域。

(1.2)人脸图像裁剪

对获得的人脸图像区域进行裁剪，得到面部图像区域。

(1.3)旋转校正

由于目标图像在每一帧中可能有不同程度的角度偏差，这会影响表情识别的效果。为此，需要对获得的面部图像区域进行旋转校正。利用式1实现面部图像的旋转校正以获得标准的面部图像。

其中(xi,yj)表示面部图像的原始坐标，(x′i,y′j)表示(i,j)坐标点的像素经过旋转变换后的像素值，旋转角度θ是两只眼睛连线和水平轴之间的夹角，旋转之后的面部图像更加标准。

(1.4)表情识别

为实现表情识别，本发明使用一种双通道加权混合的cnn-lstm网络，这个网络结构中的两个通道都是由部分vgg16网络和lstm网络串联组成。这两个通道的输入分别由面部图像和由面部图像求得的局部二值模式图像，这两种图像分别输入到部分vgg16网络以实现特征向量提取，特征向量序列被送到lstm网络进行训练，训练lstm网络之后，对两个通道lstm网络的输出矢量做加权融合即可得到最终识别结果。

加权融合及识别过程为，假设两个通道的输出向量分别是f1和f2，f1和f2分别经过三个全连接层，fc1＝{v1,v2,…,v800}，fc2＝{s1,s2,…,s400}和fc3＝{c1,c2,…,c6}在本实施例中，这三个全连接层神经元的个数分别取为800、400和6，可分别得到特征向量m1和m2。对m1和m2按列求平均可得到o1＝{o11,o12,…,o16}和o2＝{o21,o22,…,o26}，对这两个向量按照式2加权融合，可得到输出r＝{r1,r2,…,r6}。对于输出r，利用softmax函数(式3)可以得到每个表情类别的概率。

ri＝k·o1i+(1-k)·o2i(i＝1,2,…,6；k∈[0,1])(2)

其中k为融合权重，由10折交叉验证获取。

其中yi′是第i个表情类别的概率。

本实施例用可分离卷积取代常规卷积并通过适当网络裁剪的方式以减少运算量。

具体地，将声音信号输入至训练完成的情绪状态识别模型中，输出学员对应的情绪状态类别及对应的概率的过程为：

采用预加重滤波器对获取的语音信号进行预加重处理；

在这里采用有限脉冲响应滤波器，如式4所示。

h(z)＝1-αz^-1(4)

其中，α为预加重系数，本发明中取值为0.938。

把通过预加重滤波器滤波之后的语音信号进行分帧处理，设为25ms一帧，并且帧与帧之间有10ms的重叠。利用汉明窗函数与语音信号相乘进行分帧处理，以减少语音信号的不连续性，这也可以避免频谱中的泄漏。采用的是基于短时能量和短时平均过零率的双门限法进行端点检测，以检测出语音的起始点及结束点。

提取预加重处理的声音信号的特征，所述声音信号的特征包括基音频率、短时能量、短时过零率、共振峰和梅尔频域倒谱系数；

基音频率简称基频，实际是指发声时声带震动的规律，它是语音信号分析中最重要特征之一。为了避免共振峰干扰，选择倒谱法提取基音信号。信号x(n)的倒频谱定义为对其频谱的对数进行反离散傅里叶变换，如式5所示。

短时能量反映了语音信号的幅度特性，可用于区分语音和噪声。此外，在不同的情感状态下，说话者声音的强度会有明显的不同，例如，快乐和愤怒情绪的语音信号比悲伤的能量高得多。短时能量的定义如式6所示。

其中xn(m)表示第n帧中的第m个数据点，n为数据点总个数。

短时过零率表示语音信号波在每帧中通过水平轴的次数，可用于端点检测和消除无声段。短时过零率的公式如7所示。

共振峰是指在声音的频谱中能量相对集中的一些区域，共振峰不但是音质的决定因素，而且反映了声道的物理特征。通常采用线性预测法提取共振峰，预测误差可用式8表示。

式中，xn(m)为语音信号，ai是预测系数，n为帧数，p是阶数，e(m)为预测误差。通过观察先前的p个样本来提取未来的样本，所述目标是调整ai以最小化预测误差。

梅尔频域倒谱系数(mfcc)是语音分析中使用最广泛的特征之一，其参数是基于人耳听觉系统并结合语音的产生机制提取的，为语音识别提供了自然而真实的参考。mfcc参数的求取过程为：对语音信号进行预处理后，把得到的帧信号进行快速傅里叶变换，求取其能量谱，然后用24个mel滤波器组进行滤波，对所有的滤波器输出做对数运算，可得到相应的对数功率谱，然后进行反离散余弦变换可得到14个静态mfcc，最后将得到的静态mfcc做一阶差分和二阶差分，即可得到相应的动态特征。

将提取的声音信号的特征输入至训练完成的情绪状态识别模型中，输出学员对应的情绪状态类别及对应的概率；所述情绪状态识别模型为dbn网络+softmax分类器结构。

本实施例首先训练dbn网络实现语音情绪识别，对dbn网络进行改造，然后结合svm实现语音情绪识别率的进一步提高。首先通过无监督学习从下往上逐层训练每一层的rbm网络参数，使dbn网络参数达到全局最优，然后利用bp网络进行有监督学习训练，即通过bp神经网络将dbn网络的输出与训练数据比较，将得到的误差从上往下回传，以修正网络参数至最优值。dbn网络训练完毕后，把网络顶层的softmax分类器

用svm代替以提高分类的精确度。这样，新的语音识别分类器中，dbn部分用于提取特征，利用得到的特征训练svm部分，得到相应的svm参数，这样整个网络的训练就完成了。

步骤s103：将表情识别结果和情绪状态识别结果输入至学员状态评估模型中，输出评估的学员课堂学习状态类别；其中，学员状态评估模型为：

rti＝(αeti+βsti)·γ(t-1)i(9)

其中，i为第i种课堂学习状态，i取值范围为1～m，m表示课堂学习状态的总类别；rti表示t时刻第i种课堂学习状态的概率值；eti为t时刻第i种表情类别的概率值；sti为t时刻第i种情绪状态类别的概率值；α、β为已知权重系数，且α+β＝1；γ(t-1)i为t-1时刻的结果识别系数，若t-1时刻识别为第i种课堂学习状态，其值为1，否则为0.9；t为大于或等于1的正整数，当t＝1时，γ(t-1)i＝1。

在本实施例中，α、β分别为0.6和0.4。

作为一种实施方式，所述学员课堂学习状态在线评估方法还包括：

记录评估的学员课堂学习状态类别及状态持续时间，进而计算出预设时间段内的学员课堂学习状态及其所占比重。

用历史数据(星期、月、学期或学年)综合判断一段时间学员的学习状态。

可统计一个星期(月、学期或学年)中某一固定时段中学员课堂学习状态及每种学员课堂学习状态所占的比重，如式10所示。例如一个月中每周二8:00到10:00时间段学员的精神状态及某种状态所占的比重。可选择表格、柱状图或饼图等显示方式。

其中，pi为第i种精神状态所占比重；n为所统计时间范围内时间段的次数，比如一个月中，周二8:00到10:00时间段有4次，则n为4；ti为第i种状态在一个时间段内的持续时间。

也可统计一个星期(月、学期或学年)中某一固定时段中所有学员精神状态及每种精神状态所占的比重，如式11所示。

其中，m为学员的总个数；pik表示第k个学员的第i种精神状态所占比重；ai表示所有学员第i种精神状态所占比重。这可作为对某一门课程教学效果评估的依据。

本实施例通过对视频图像的处理实时识别学员学习时的面部表情，同时通过对声音信号的处理，实时识别学员学习时的情绪状况，通过特定模型把表情识别结果和情绪识别结果相融合，实现了对学员学习状态的实时识别，有效提高了每位学员学习状态的识别效果，实现了对每一个学员上课状态的在线监测和评估，有效弥补当前学员评价方式的不足，为学员的针对性培养和教师课堂教学效果评价提供了可靠、充实的依据。

实施例2

如图2所示，一种学员课堂学习状态在线评估系统，其包括：

状态检测机1，被配置为：

同步采集学员的视频图像及声音信号；

分别将视频图像及声音信号对应输入至训练完成的表情识别模型和情绪状态识别模型中，输出学员对应的表情类别和情绪状态类别及对应的概率；其中，表情、情绪状态和课堂学习状态划分的类别均相同。

在具体实施中，每位学员的正前方放置一台状态检测机，状态检测机安装在课桌上，用于采集学员上课时的正面视频信号和声音信号，并对这两种信号进行实时处理，将处理结果通过wifi传送给上位机；上位机置于教师办公室中，用于学员学习状态数据存档、统计。

如图3(a)和图3(b)所示，状态检测机包括摄像头11，摄像头11用于采集学员的包括面部在内的正面视频图像信号；拾音器12，其用于采集学员的声音信号，led灯13，其用于课堂内光线不足时的辅助照明以优化学员的学习环境，状态检测机主机箱14。状态检测机主机箱14的底部设置有状态检测机支撑件15，状态检测机支撑件15底部设置有状态检测机底座16。

状态检测机和上位机采用n:1的链接方式，通过wifi通讯，每个检测机都设有单独的ip地址。上位机采用轮询方式依次读取状态检测机的表情和声音情绪识别结果，并进行存储与分析。也可采用“直传模式”，此时被指定状态检测机的视频和声音信号可直接传送到上位机。

如图4所示，状态检测机的结构示意图中，状态检测机主机箱内设置有视频图像采集卡21和声音信号采集卡22主要实现视频和声音信号的优化采集，采集的信号被分别送到视频图像处理芯片23和声音处理芯片24，信号经处理后将处理结果通过通讯电路25传给上位机，通讯电路25也可将上位机的指令传给视频图像处理芯片23或声音处理芯片24，比如实现视频图像和声音信号的直接传输。

其中，从视频图像采集区域内同步采集学员的视频图像及声音信号；其中，视频图像采集区域是根据学员的位置设置；每个视频图像采集区域与一个学员相对应。

在所述表情及情绪状态分类模块中，将视频图像输入至训练完成的表情识别模型中，输出学员对应的表情类别及对应的概率的过程为：

对视频图像首先利用边界跟踪获取人体上半身的轮廓图像，然后提取轮廓图像的不变矩的做特征向量，以此与模板图像的特征向量相匹配，采用欧式距离作为相似性度量，粗检测出人体轮廓区域；对粗检测后保留的图像区域采用基于haar-like特征的adaboost人脸检测算法，细检测出人脸区域；

对细检测出的人脸区域进行裁剪，得到面部图像区域，再经过旋转校正后输入至练完成的表情识别模型中，输出学员对应的表情类别及对应的概率；所述表情识别模型为双通道加权混合的cnn-lstm网络。

在所述表情及情绪状态分类模块中，将声音信号输入至训练完成的情绪状态识别模型中，输出学员对应的情绪状态类别及对应的概率的过程为：

采用预加重滤波器对获取的语音信号进行预加重处理；

提取预加重处理的声音信号的特征，所述声音信号的特征包括基音频率、短时能量、短时过零率、共振峰和梅尔频域倒谱系数；

将提取的声音信号的特征输入至训练完成的情绪状态识别模型中，输出学员对应的情绪状态类别及对应的概率；所述情绪状态识别模型为dbn网络+softmax分类器结构。

上位机2，其被配置为接收表情识别结果和情绪状态识别结果，并输入至学员状态评估模型中，输出评估的学员课堂学习状态类别；其中，学员状态评估模型为：

rti＝(αeti+βsti)·γ(t-1)i

其中，i为第i种课堂学习状态，i取值范围为1～m，m表示课堂学习状态的总类别；rti表示t时刻第i种课堂学习状态的概率值；eti为t时刻第i种表情类别的概率值；sti为t时刻第i种情绪状态类别的概率值；α、β为已知权重系数，且α+β＝1；γ(t-1)i为t-1时刻的结果识别系数，若t-1时刻识别为第i种课堂学习状态，其值为1，否则为0.9；t为大于或等于1的正整数，当t＝1时，γ(t-1)i＝1。

所述上位机还被配置为：

记录评估的学员课堂学习状态类别及状态持续时间，进而计算出预设时间段内的学员课堂学习状态及其所占比重。

本实施例通过对视频图像的处理实时识别学员学习时的面部表情，同时通过对声音信号的处理，实时识别学员学习时的情绪状况，通过特定模型把表情识别结果和情绪识别结果相融合，实现了对学员学习状态的实时识别，有效提高了每位学员学习状态的识别效果，实现了对每一个学员上课状态的在线监测和评估，有效弥补当前学员评价方式的不足，为学员的针对性培养和教师课堂教学效果评价提供了可靠、充实的依据。

实施例3

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施1所述的学员课堂学习状态在线评估方法中的步骤。

本实施例通过对视频图像的处理实时识别学员学习时的面部表情，同时通过对声音信号的处理，实时识别学员学习时的情绪状况，通过特定模型把表情识别结果和情绪识别结果相融合，实现了对学员学习状态的实时识别，有效提高了每位学员学习状态的识别效果，实现了对每一个学员上课状态的在线监测和评估，有效弥补当前学员评价方式的不足，为学员的针对性培养和教师课堂教学效果评价提供了可靠、充实的依据。

实施例4

本实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例1所述的学员课堂学习状态在线评估方法中的步骤。

本实施例通过对视频图像的处理实时识别学员学习时的面部表情，同时通过对声音信号的处理，实时识别学员学习时的情绪状况，通过特定模型把表情识别结果和情绪识别结果相融合，实现了对学员学习状态的实时识别，有效提高了每位学员学习状态的识别效果，实现了对每一个学员上课状态的在线监测和评估，有效弥补当前学员评价方式的不足，为学员的针对性培养和教师课堂教学效果评价提供了可靠、充实的依据。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。