一种多模态网络培训系统学员学习状态评价方法及系统与流程

本发明涉及远程培训领域，更具体的，涉及一种与电网调度员有关的多模态网络培训系统学员学习状态评价方法及系统。

背景技术：

1、随着电力系统在源、网、荷等各方面深刻变化，电网运行特性呈现新的特征，迫切需要各级电网调度机构提高对新型电力系统运行特性的感知、认知、预知水平，提升驾驭新型交直流混联大电网的能力。通过调度员培训仿真系统(dts)模拟电网各种运行状态，为调度员提供个性化、智能化的在线知识学习、技能演练、联合调度演习等服务，建立集学习、锻炼、评估、指导为一体的新型培训平台，成为最安全、最经济、最有效的调度业务培训手段，全面提高调度员培训效率和效果，为大电网安全稳定经济运行提供智力支持。

2、网络学习状态是取得良好学习成效的重要保证，但在线学习时空分离的特性难以保证学习者的专注度得到及时监控，故探究精准识别网络学习状态的可行方法至关重要。网络培训环境中，通过分析学员的面部表情变化可以更好地了解学员的学习状态。

3、1971年美国学者ekman等人通过大量的面部表情识别实验首次将人脸分为开心、惊讶、恐惧、伤心、厌恶、生气等6种基本表情，通过基本表情的识别可以将学员学习的情绪分为积极情绪、消极情绪以及中性情绪，但基本表情并不能完全、准确反映学员的关注度和学习状态。在对网络教育和培训的监督系统的进一步探索中，检测方法可归结为头部姿态、面部表情、眼睛状态、嘴巴状态和视线这些因子的组合，将专注度划分为专注、正常、疲劳等较少的等级，分级太少，反馈信息准确度低，不利于准确地把握学员的学习专注度，实际应用效果会打折扣。有些研究评估结果真实性较高，但是其最终评判结果仅为学习者是否分心，过于单一，不能全面反映不同学员的学习状态有很大差距的情况。因此，有必要提供一种全面、准确评价学员学习状态的方法和系统。

4、另一方面，不管大脑是处于正常的脑功能状态，或者是脑疾病状态，只要我们的大脑还在运转，那么大脑里边就存在神经活动。神经活动会产生电信号，电信号传播到头表面，如果在头表面插上电极，我们就可以观测到脑电图。1924年，hans berger发现了人类脑电。hans berger首先命名了α波和β波。通过脑电图可以获得两种基本信息：空间分布和时间进程。通过神经活动可以产生地形图和时间进程。有地形图以后，就可以推测大脑的什么位置存在神经活动，从而实现空间的定位。通过这些脑电结果，可以帮助我们了解大脑的认知过程或者脑疾病，之后能采取调控措施和干预手段，调控后脑电会发生变化，这样就可以治疗疾病或者提高认知能力。此外，在授权使用的情况下，脑电信号也能够用于感知被测对象对外界环境的情绪指标，如关注程度、响应程度等等。

5、然而，上述先进技术并未被合理有效的应用，以至于对网络培训系统学员的学习状态进行评估。因此，亟需一种多模态网络培训系统学员学习状态评价方法、系统、终端及计算机可读存储介质。

技术实现思路

1、为解决现有技术中存在的不足，本发明提供一种多模态网络培训系统学员学习状态评价方法、系统、终端及计算机可读存储介质，通过采集到的脑电信号的面部图像获得三维情绪模型中每种维度和等级的触发次数，并实现对培训学员学习状态的评分。

2、本发明采用如下的技术方案。

3、本发明第一方面，涉及一种多模态网络培训系统学员学习状态评价方法，方法包括以下步骤：步骤1，采集预设时间段内培训学员的脑电信号和面部图像，并对脑电信号和面部图像分别进行预处理，以截取出多个待识别脑电信号和多个待识别面部图像；步骤2，定义三维情绪模型的维度与等级，采用统计量指标分别对多个待识别脑电信号和待识别面部图像进行计算以判定每一个待识别脑电信号和每一个待识别面部图像在三维情绪模型中所属维度与所属等级；步骤3，以三维情绪模型中的每一维度中每一等级的识别次数作为输入，利用三维情绪模型构建层次分析法，以对培训学员的学习状态进行评分。

4、优选的，采集预设时间段内培训学员的脑电信号，包括：在培训学员的头部预设位置安放多个脑电采集电极，脑电采集电极根据头部预设位置被划分为第一电极、第二电级和第三电极。

5、优选的，对脑电信号进行预处理，包括：采用低通滤波方法对第一电极、第二电极和第三电极采集到的脑电导联信号进行70hz以上的高频干扰滤除和电力工频干扰滤除，以获得噪声滤除信号；采用独立成分分析法对噪声滤除信号进行独立成分分解，去除眼电伪迹成分后，进行db4小波分解与重构以滤除直流分量和小于0.1hz的低频漂移，从而获得真实脑电信号；将真实脑电信号进行时间维度的定长截断，以获取多个待识别脑电信号。

6、优选的，采集预设时间段内培训学员的面部图像，包括：利用深度相机采集所述培训学员的面部深度图像并生成三维点云，利用rgb面阵相机采集rgb二维图像。

7、优选的，对面部图像分别进行预处理，包括：定义培训学员的面部特征点，面部特征点分别为t1组特征点、t2组特征点和t3组特征点；从面部深度图像中提取t1组特征点的深度数据，从rgb二维图像中提取所述t1组特征点的二维坐标；将深度数据和二维坐标转换为t1组特征点的三维坐标；从三维点云中直接提取t2组特征点的坐标，利用t2组特征点的三维坐标、t1组特征点的三维坐标计算t3组特征点的三维坐标；计算预设的特征点之间的欧式距离以获得多个特征向量，对多个特征向量进行主成分分析，并提取主成分特征。

8、优选的，定义三维情绪模型的维度与等级，包括：三维情绪模型的维度包括唤醒度、兴趣度和满意度，且每一维度基于脑电信号和面部图像分别定义维度指标；每一个维度指标下均包括相同数量的等级，且每一个等级均对应设置一个等级权重。

9、优选的，采用统计量指标分别对多个待识别脑电信号进行计算以判定每一个待识别脑电信号在三维情绪模型中所属维度与所属等级，包括：分别统计第一电极采集的每一个真实脑电信号在多个预设频率区间下的频率面积均值、峰值功率对应的频率均值和中值频率均值，以针对每一个真实脑电信号形成频谱特征向量；分别计算第一电极采集的每一个真实脑电信号的自回归系数；将频谱特征向量与自回归系数进行标准化后，作为脑电唤醒度的输入数据，采用最近邻回归算法对每一个真实脑电信号的唤醒度的等级进行识别。

10、优选的，采用统计量指标分别对多个待识别脑电信号进行计算以判定每一个待识别脑电信号在三维情绪模型中所属维度与所属等级，包括：对第二电极采集的每一个真实脑电信号再次进行db4小波变换，并提取出α节律信号和β节律信号，统计每一个节律信号功率谱密度的平均值和方差；将每一个节律信号功率谱密度的平均值和方差作为每一个真实脑电信号的特征，采用最近邻回归算法对每一个真实脑电信号的兴趣度的等级进行识别。

11、优选的，采用统计量指标分别对多个待识别脑电信号进行计算以判定每一个待识别脑电信号在三维情绪模型中所属维度与所属等级，包括：对第三电极采集的每一个真实脑电信号的功率谱在设定频率范围内的面积和峰值功率；以面积和峰值功率作为脑电满意度的输入数据，采用最近邻回归算法对每一个真实脑电信号的满意度的等级进行识别。

12、优选的，采用统计量指标对多个待识别面部图像进行计算以判定每一个待识别面部图像在三维情绪模型中所属维度与所属等级，包括：采用支持向量机模型对主成分特征进行分类。

13、优选的，利用三维情绪模型构建层次分析法，包括：层次分析法为两层模型，第一层模型为唤醒度、兴趣度、满意度评价矩阵，第二层模型为每一个维度下的脑电和面部表情评价矩阵。

14、优选的，第一层模型的构建过程为：对唤醒度、兴趣度、满意度进行两两重要度比较，并根据比较结果获取评价值，以评价值作为评价矩阵中每一项的取值。

15、优选的，第二层模型的构建过程为：获取脑电信号和面部图像基于唤醒度的专家打分，计算专家打分的平均值以生成唤醒度数据集；通过唤醒度下的脑电和面部表情评价矩阵获取脑电信号和面部图像的唤醒度的所属等级；采用唤醒度数据集和唤醒度的所属等级之间的匹配程度分别计算脑电信号识别精度a和面部图像识别精度b，从而获得第二层模型中脑电信号和面部表情的权重系数，分别为

16、优选的，将三维情绪模型中的每一维度中每一等级的识别次数分别输入至第一层模型和第二层模型中，从而获得培训学员的学习状态评分。

17、本发明第二方面，涉及一种多模态网络培训系统学员学习状态评价装置，装置包括采集模块、判定模块和评分模块；其中，采集模块，用于采集预设时间段内培训学员的脑电信号和面部图像，并对脑电信号和面部图像分别进行预处理，以截取出多个待识别脑电信号和多个待识别面部图像；判定模块，用于定义三维情绪模型的维度与等级，采用统计量指标分别对多个待识别脑电信号和待识别面部图像进行计算以判定每一个待识别脑电信号和每一个待识别面部图像在三维情绪模型中所属维度与所属等级；评分模块，用于以三维情绪模型中的每一维度中每一等级的识别次数作为输入，利用三维情绪模型构建层次分析法，以对培训学员的学习状态进行评分。

18、本发明第三方面，涉及一种终端，包括处理器及存储介质；存储介质用于存储指令；处理器用于根据指令进行操作以执行根据本发明第一方面中方法的步骤。

19、本发明第四方面，涉及计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面中方法的步骤。

20、本发明的有益效果在于，与现有技术相比，本发明中的一种多模态网络培训系统学员学习状态评价方法、系统、终端及计算机可读存储介质，通过采集到的脑电信号的面部图像获得三维情绪模型中每种维度和等级的触发次数，并实现对培训学员学习状态的评分。利用本发明中的方法，不仅可以获取不同培训学员的学习状态，也可以分析不同的培训课程，实现课程内容优良与否的评估。此外，该方法后续还可以支持关联脑电信号与面部表情两种分析结果，基于内在关联特征，将评价方法优化为只通过面部表情来精准判断学习状态。

21、本发明的有益效果还包括：

22、1、综合采用了脑电信号与学员的面部图像信息来判断学员的学习状态，通过构建三维情绪模型来将无法关联解析的脑电信号与图像信息关联起来，并通过三个不同维度来判定学员对课程的接收程度，确保了评价结果的合理性、精确性。

23、2、方法以三维情绪模型为基础，将与每个维度相关的脑电信号和图像特征进行了划分。根据评估需求，方法在每个维度下都对脑电信号的某种或多种统计特征进行了精确计算与分析，使得方法能够通过技术手段来充分支撑三维情绪评估指标的实际含义与效能。

24、3、方法通过多层次的层次分析法来对每层指标的权重进行了个性化设置，确保了层次分析法的有效性，各个指标之间按照重要度进行合理排序，最终确保了评估结果的准确。