一种基于机器视觉的在线学习专注度监测方法、系统及介质与流程

本发明属于专注度监测，尤其涉及一种基于机器视觉的在线学习专注度监测方法、系统及介质。

背景技术：

1、随着计算机和互联网技术的飞速发展，网络学习方式兴起，学习者获得知识的途径不仅限于课堂面授，知识获取的渠道呈现出网络化和多元化特征。在线教育能够快速整合所有优质的教育资源。在线教育作为一种有别于传统教育的全新教学模式，凭借着成本低、开放性高和个性化强等特点，受到广大学者的青睐。学习者面部表情特征的变化反映其在学习过程中的情绪，是情绪专注的表现，可以作为学习专注度判定的重要依据。然而，在线教育迎来咆勃发展的同时，也逐渐显露出其在实际运用过程中的诸多不足，其中，最大的不足在于教师较少关注到学习者的课堂专注度，对学习者的监管效果不佳。单一特征的专注度识别方法在一定程度上可以对学习者的专注度进行有效识别，但也存在一定的主观性和随机性，从而降低了学习专注度的识别准确率。

技术实现思路

1、有鉴于此，本发明提供了一种可以提升学习者的学习专注度和在线学习质量的基于机器视觉的在线学习专注度监测方法、系统及介质，具体采用以下技术方案来实现。

2、第一方面，本发明提供了一种基于机器视觉的在线学习专注度监测方法，包括以下步骤：

3、获取学习者参与在线学习中的面部表情和头部姿态数据，通过人脸检测算法定位出人脸的图像区域，建立在线学习人脸图像数据集；

4、将在线学习人脸图像数据集打上专注度等级标签，对在线学习人脸图像数据集再次打上情绪标签，将专注度等级标签和情绪标签进行分类并建立在线学习情绪和在线学习专注度之间的等级度量关系；

5、采用面部表情特征对学习者的情绪进行分类并得出学习者的在线学习专注度，根据学习者的头部姿态特征估计学习者的头部朝向欧拉角，建立学习者头部姿态数据集，并将头部姿态数据集输入贝叶斯神经网络以进行专注度的识别；

6、将面部表情特征和头部姿态特征进行多特征融合以完成学习者的在线学习专注度识别。

7、作为上述技术方案的进一步改进，将面部表情特征和头部姿态特征进行多特征融合以完成学习者的在线学习专注度识别，包括：

8、将面部表情特征和头部姿态特征预测到的各个在线学习专注度等级概率结果同步输出，并根据表达式为将两个网络预测的在线学习专注度类别概率值的大小进行排序，输出最大概率的在线学习专注度类别，其中c表示在线学习专注度的识别准确率；

9、使用面部表情特征识别的学习专注度等级和头部姿态特征识别出来的学习专注度等级作为输入数据，分别对基于面部表情特征的再选学习专注度等级的概率矩阵cf＝{f1,f2,f3,f4}和头部姿态特征的在线学习专注度等级的概率矩阵cp＝{p1,p2,p3,p4}赋予不同的权重值进行融合，其中，权重融合规则根据表达式对基于面部表情特征和头部姿态特征预测的在线学习专注度等级输出结果按照不同的权重分配，其中xm和xn分别表示由面部表情特征和头部姿态特征预测出来的在线学习专注度所占权重，0<xm<1,0<xn<1。

10、作为上述技术方案的进一步改进，建立学习者头部姿态数据集，并将头部姿态数据集输入贝叶斯神经网络以进行专注度的识别，包括：

11、使用两层贝叶斯神经网络将构建的学习者头部姿态欧拉角数据集k1和k2中的六维特征向量，输出为四个等级的在线学习专注度；

12、在网络中使用两个损失函数来构建网络训练的总损失，分别为交叉熵损失和kl散度，交叉熵损失函数的表达式为其中y表示真实标签，表示预测标签；kl散度的表达式为其中q表示实际的参数分布，p表示构建的一个变分分布。

13、作为上述技方案的进一步改进，根据学习者的头部姿态特征估计学习者的头部朝向欧拉角，包括：

14、首先通过神经网络对头部姿态特征进行提取，然后通过三个全连接层作为欧拉角的三个角度yaw、pitch和roll的分类输入，使用softmax层和交叉熵层进行分类，并将softmax归一化后的特征作为概率分布，概率分布到实际回归值的计算表达式为

15、将三个欧拉角的交叉熵损失反向传播到三个信号网络中，并计算每个输出角对二进制输出的期望值以完成估计学习者的头部朝向欧拉角，其中，每个欧拉角的最终损失的表达式为其中h和mse分别表示交叉熵和均方误差损失函数。

16、计算每组欧拉角数据的均值、方差和标准差，然后将欧拉角数据和其均值、方差、标准差依次链接为一组特征向量，其中，均值的计算表达式为方差的表达式为标准差的表达式为其中y、p和r分别表示三个欧拉角yaw、pitch和roll，通过头部姿态欧拉角数据d1和头部姿态欧拉角数据集d2获取到的欧拉角yaw、pitch和roll，以及三个角度值的均值、方差和标准差构建有关学习者头部姿态的特征向量，若特征向量为k，则k的构成为k＝(y,p,r,mi,di,σi)，对头部姿态欧拉角数据集d1和d2构建特征向量得到新的头部姿态欧拉角数据集。

17、作为上述技方案的进一步改进，采用面部表情特征对学习者的情绪进行分类并得出学习者的在线学习专注度，包括：

18、对在线学习人脸图像数据集中的人脸图像进行图像提取，使用hear特征来检测学习者的人脸特征；

19、向检测到的人脸区域插入roi，该阶段先估计人脸尺寸，再利用图像矩和投影积分自动分割roi，其中，roi表示在线学习的学习者人脸进行自动检测并对感兴趣区域；

20、将roi分割成n×m无重叠快，使用一组gabor函数对roi进行特征提取，将其特征采用两组不同的特征向量表示，通过pca阶段对两组特征向量进行独立处理以进行降维，将得到的向量输入svm分类器进行在线学习情绪的分类。

21、作为上述技方案的进一步改进，对在线学习人脸图像数据集中的人脸图像进行图像提取，包括：

22、获取学习者的人脸图像进行处理，从背景中提取出人脸，使用对生成的图像进行二值化处理，对所得图像进行矩估计的表达式为其中t(x,y)表示图像中(x,y)处的灰度值，m表示行数，n表示列数，p和q定义图像的矩，取值范围为0和1，并通过表达式为xc＝m1,0/m0,0和yc＝m0,1/m0,0对图像进行质心估计得到图像的质心坐标(xc,yc)；

23、预设三个变量a、b和c估计图像宽度w，对应的表达式为根据表达式采用面部图像宽度估计w，通过表达式为和对学习者的人脸图像的左边缘xl、右边缘xr和上边缘yu分别进行估计以得到学习者的人脸图像分割图；

24、采用gabor滤波器与人脸分割图进行卷积以完成不同方向和不同尺度上的特征进行提取。

25、作为上述技方案的进一步改进，将专注度等级标签和情绪标签进行分类并建立在线学习情绪和在线学习专注度之间的等级度量关系，包括：

26、对每个等级的专注度与面部表情进行匹配得到等级度量关系，当等级一的学习专注度的学习者的面部表情为厌恶或烦躁，对应的学习表现为学习者对上课丝毫不在意，并出现其他与教学五官的行为；当等级二的学习专注度的学习者的面部表情为害怕、悲伤或生气，对应的学习表现为学习者上课不认真听讲教师的授课内容，但无明显与课堂无关的行为；当等级三的学习专注度的学习者的面部表情为自然或惊讶，对应的学习表现为学习者上课集中精神于课堂；当等级三的学习专注度的学习者的面部表情为开心或愉快或满足，对应的学习表现为学习者上课全身心的投入，认真听讲教师的授课内容。

27、作为上述技方案的进一步改进，通过人脸检测算法定位出人脸的图像区域，建立自有的在线课堂人脸图像数据集，包括：

28、对在线学习的录屏数据进行多个视频的剪辑并截取视频中的学习者人脸图像，对人脸图像进行图像归一化处理，其中，图像归一化处理的算法为rx表示图像在x方向上的缩放比例，ry表示图像在y方向上的缩放比例；

29、将截取的学习者人脸图像进行预处理并建立在线学习人脸图像数据集。

30、第二方面，本发明还提供了一种基于机器视觉的在线学习专注度监测系统，包括：

31、获取模块，用于获取学习者参与在线学习中的面部表情和头部姿态数据，通过人脸检测算法定位出人脸的图像区域，建立在线学习人脸图像数据集；

32、构建模块，用于将在线学习人脸图像数据集打上专注度等级标签，对在线学习人脸图像数据集再次打上情绪标签，将专注度等级标签和情绪标签进行分类并建立在线学习情绪和在线学习专注度之间的等级度量关系；

33、识别模块，用于采用面部表情特征对学习者的情绪进行分类并得出学习者的在线学习专注度，根据学习者的头部姿态特征估计学习者的头部朝向欧拉角，建立学习者头部姿态数据集，并将头部姿态数据集输入贝叶斯神经网络以进行专注度的识别；

34、融合模块，用于将面部表情特征和头部姿态特征进行多特征融合以完成学习者的在线学习专注度识别。

35、第三方面，本发明还提供了一种计算机可读存储介质，计算机可读存储介质包括机器视觉的在线学习专注度监测方法的计算机程序，计算机程序被处理器执行时，实现上述的基于机器视觉的在线学习专注度监测方法的步骤。

36、本发明提供了一种基于机器视觉的在线学习专注度监测方法、系统及介质，通过获取学习者参与在线学习中的面部表情和头部姿态数据，通过人脸检测算法定位出人脸的图像区域，建立在线学习人脸图像数据集，将在线学习人脸图像数据集打上专注度等级标签，对在线学习人脸图像数据集再次打上情绪标签，将专注度等级标签和情绪标签进行分类并建立在线学习情绪和在线学习专注度之间的等级度量关系，采用面部表情特征对学习者的情绪进行分类并得出学习者的在线学习专注度，根据学习者的头部姿态特征估计学习者的头部朝向欧拉角，建立学习者头部姿态数据集，并将头部姿态数据集输入贝叶斯神经网络以进行专注度的识别，将面部表情特征和头部姿态特征进行多特征融合以完成学习者的在线学习专注度识别，提升了在线学习质量和学习专注度的识别准确率。