一种情绪设计对在线学习认知负荷影响的评估方法

1.本发明涉及评估方法，特别是涉及一种情绪设计对在线学习认知负荷影响的评估方法。


背景技术：

2.近段时间，新冠病毒在全球的蔓延对世界各国的教育和正常办公都产生了极大影响，学生被迫在家进行远程学习，进而出现了越来越多的在线学习资源，这些资源的质量参差不齐。而数字学习资源是在线学习的关键要素。根据sweller等人对认知负荷的分类可知，学生进行在线学习过程中总的认知负荷，是内在认知负荷(intrinsic cognitive load,简称icl)、外在认知负荷(extraneous cognitive load,简称ecl)和相关认知负荷(germane cognitive load,简称gcl)，三种认知负荷的总和。认知负荷理论认为，人的认知资源是有限的，而任何学习和问题解决活动都要消耗认知资源，都有可能造成认知上的负荷。因此，认知负荷理论研究的主要目的就是在教学过程中控制工作记忆负荷，即最大限度地降低阻碍学习的认知负荷、优化促进学习的认知负荷，使学习者合理地利用有限的认知资源，达到最好的学习效果。
3.近年来，研究人员越来越关注在认知任务中保持最佳认知负荷水平。已有大量的实验室在多任务场景下对认知负荷的监测展开研究，以将学习者的认知负荷维持在一个最佳水平。根据认知负荷理论，任务的复杂度引起的认知负荷差异只是内在认知负荷造成的，而外在认知负荷(如：在线课程设计方式)也会从另一个角度影响学习者的总体认知负荷，这在之前大部分的研究中是没有考虑到的。
4.关于认知负荷对人的行为和生理参数的影响已有了广泛的研究。学习者认知负荷的变化在行为水平上是可以观察到的，例如学习者学习成绩的下降，在心理生理水平上也可以观察到，例如由于难度增加导致的脑电图(eeg)不通频段振荡活动的增加或减少。脑电图theta(4
‑
8hz)和alpha(8
‑
11hz)振荡活动似乎在功能上涉及较高的大脑功能，包括工作记忆，执行控制和集中注意力。脑电图也已被证明是一种有效的监测记忆负荷的非侵入性方法，并且对不同的认知状态高度敏感。而眼动追踪在分析教学材料方面也十分普遍和流行，之前的研究已经证实，瞳孔直径是心理负荷的敏感指标。此外，在一项研究中同时分析眼动和脑电数据被认为可以提供进一步的见解。
5.目前已有很多研究提出认知负荷的衡量指标，但这些指标的提出都不是基于在线学习场景，如pope等人使用反应自动化系统中操作员的任务参与度，anu holm等人使用预测多任务过程中大脑的认知变化。其次，经典认知负荷的研究往往涉及较多的电极来监测eeg活动，而在实际的应用场景下，需要寻求更加简单易操作的方法来降低脑电监测设备对学习者在学习过程中的干扰。此外，很多学者尝试将多模态生理信息进行融合以期提高人的搜索意图、动作意图或认知状态识别准确率，而运用融合的多模态生理信息的分类性能如何目前尚无定论。针对以上问题，如何探寻不同在线课程设计原则与基于eeg和眼动追踪多模态生理特征之间的关联，并应用机器学习技术对不同设计原则引起的认知负荷状态进
行分类和识别成为了申请人亟待解决的技术问题。


技术实现要素：

6.本发明的目的在于，提供一种情绪设计对在线学习认知负荷影响的评估方法。本发明可以发现不同情绪设计在线课程与生理特征之间的关联，并应用机器学习对不同情绪设计在线课程引起的认知负荷状态进行分类，用以辅助学习者提高在线学习的学习效果和学习表现。
7.为解决上述技术问题，本发明提供的技术方案如下：一种情绪设计对在线学习认知负荷影响的评估方法，包括学习者佩戴脑电信号采集器和眼动信号采集器进行在线课程学习，在线课程包括积极情绪设计在线课程和中性情绪设计在线课程，按如下步骤进行：
8.s1:在学习在线课程过程中，通过脑电信号采集器采集学习者的脑电信号，通过眼动信号采集器采集学习者的眼动信号；
9.s2：利用非线性动力学和小波变换的方法对脑电信号进行分析，得出用于评估学习者认知状态的脑电特征；同时提取眼动信号的眼动指标，得出用于评估学习者认知状态的眼动特征；
10.s3:对脑电特征和眼动特征进行降维，利用机器学习对降维后的脑电特征和眼动特征进行识别，从而对在线课程学习中学习者的认知负荷状态进行分类；
11.s4:根据认知负荷指标进行评估。
12.上述的情绪设计对在线学习认知负荷影响的评估方法，采用非线性动力学的近似熵和样本熵对脑电信号进行分析，得到脑电特征中的近似熵特征和样本熵特征；
13.其中，给定一脑电信号的时间序列{x(n)}＝{x(1)，x(2)，x(3)，
…
，x(n)}，对应的近似熵按照以下步骤进行计算：
14.a.1、时间序列上每连续m个数据组成一个m维矢量，即：
15.y
i
＝{x
i
，x
i+1
，x
i+2
，...，x
(i+m
‑
1)
}，1≤i≤n
‑
m；
16.a.2、设序列{x
t
(j)}与序列{x
t
(k)}的距离记为d[x
t
(j)，x
t
(k)]，其含义为两时间序列的矢量的每一对应位置元素的差值的绝对值的最大者，即：
[0017][0018]
a.3、给定相似的阈值容限w，对于两个时间序列{x
t
(j)}与{x
t
(k)}，若二者的距离不超过容限w，则认为它们是相似的；统计时间序列{x
t
(j)}与其它所有时间序列相似的数目，并计算其与总距离数目的比例即：
[0019][0020]
a.4、计算所有时间序列与原时间序列相似性的平均值即
[0021]
[0022]
a.5、将维度增加至t+1维，重新进行a.1
‑
a.4，计算出为：
[0023][0024]
a.6、近似熵定义如下：
[0025][0026]
a.7、样本熵定义如下：
[0027][0028][0029]
给定一脑电信号的时间序列{x(i)，i＝1，2，
…
，n}，对应的样本熵按照以下步骤进行计算：
[0030]
b.1、给定原始数据序列{x(i)，i＝1，2，
…
，n}，依次构造m维向量：
[0031]
x
m
(i)＝[x(i)，x(i+1)，
…
，x(i+m
‑
1)]，1≤i≤n
‑
m+1
[0032]
其中，m是窗口长度；
[0033]
b.2、定义向量x
m
(i)和x
m
(i)之间的距离为：
[0034]
d[x
m
(i)，x
m
(i)]＝max{|x
m
(i+k)
‑
x
m
(j+k)|}；
[0035]
其中：1≤k≤m
‑
1；1≤i，j≤n
‑
m+1，i≠j
[0036]
b.3、给定一个正阈值r和嵌入维度m，计算时间序列的相似性概率为：
[0037][0038]
其中i≤n
‑
m。接着通过下列公式计算出所有的平均值
[0039][0040]
b.4、将嵌入维度设为m+1，重复b.1到b.3，样本熵定义如下：
[0041][0042]
前述的情绪设计对在线学习认知负荷影响的评估方法，利用小波变换对脑电信号进行分析得出小波能量特征、小波相对能量特征和小波熵特征；
[0043]
所述小波能量特征计算如下：
[0044][0045]
所述小波相对能量特征计算如下：
[0046][0047]
所述小波熵特征计算如下：
[0048][0049]
式中：d
i，j
表示相应分解级别的小波系数。
[0050]
前述的情绪设计对在线学习认知负荷影响的评估方法，所述的眼动特征为瞳孔直径和注视时间。
[0051]
前述的情绪设计对在线学习认知负荷影响的评估方法，步骤s3中,对脑电特征和眼动特征进行降维的降维方式是采用相关性的特征选择器，通过采用相关性的特征选择器计算每个特征的特征相关系数，用于表示其与认知负荷的相关性；所述特征相关系数的计算方法如下：
[0052][0053]
式中：c表示协方差，r表示相关系数，r
i
表示数据集对应的第i个分量的随机变量，y表示样本的标签集。
[0054]
前述的情绪设计对在线学习认知负荷影响的评估方法，步骤s3中的机器学习为支持向量机，其实现方式如下：给定一个带标签的数据集，任务是要找到一个满足以下条件的线性平面w
t
x
i
+b：
[0055]
y
i
(w
t
x
i
+b)≥1，i＝1，2，...，n；
[0056]
式中：x
i
表示特征数组，y
i
对应的真实标签。
[0057]
前述的情绪设计对在线学习认知负荷影响的评估方法，使用方差分析模型比较不同情绪设计在线课程学习过程中所提取特征的显著性，用于区分不同情绪设计在线课程诱导出学习者的认知负荷状态。
[0058]
前述的情绪设计对在线学习认知负荷影响的评估方法，所述的认知负荷指标计算如下：
[0059][0060]
式中：β表示β频段的平均能量，γ表示γ频段的平均能量，θ表示θ频段的平均能
量，α表示α频段的平均能量。
[0061]
与现有技术相比，本发明通过在不同情绪设计在线课程学习中记录了学习者的脑电信号和眼动信号，从而探寻不同情绪设计在线课程与多模态生理特征之间的关联，并应用机器学习技术对不同情绪设计在线课程引起的认知负荷状态进行分类。本发明可以比较单模态和多模态特征之间认知负荷分类的准确性，可以用于监测在线学习场景下认知负荷的变化，并且利用降维的方式以便在日常生活中更方便地使用。实验结果表明，在线学习场景下，本发明可以显著的针对不同的特征进行分类，可以辅助学习者提高在线学习的学习效果和学习表现，并且在线学习场景下认知负荷分类的准确性较好，利用降维的方式可以使分类准确性基本稳定且最佳平均分类精度为88.1％。
附图说明
[0062]
图1是本发明的流程示意图；
[0063]
图2展示了不同情绪设计在线课程所有学习者的近似熵特征，样本熵特征和小波熵特征。
[0064]
图3展示了不同情绪设计在线课程所有学习者的小波能量特征；
[0065]
图4展示了不同情绪设计在线课程所有学习者的眼动特征；
[0066]
图5显示了分别利用熵特征，小波能量特征和眼动特征对被试两种认知状态的分类精度；
[0067]
图6显示了分类结果的混淆矩阵，图6(a)为单模态特征混淆矩阵(基于脑电特征)，(b)为单模态特征混淆矩阵(基于眼睛特征),(c)为多模态特征混淆矩阵(基于脑电特征和眼特征)；
[0068]
图7展示了与认知负荷变化相关的大脑区域；
[0069]
图8为每个频段的分类性能和“all”特征；
[0070]
图9为不同情绪设计在线课程的认知负荷曲线；
[0071]
图10为关于特征维度的分类性能变化。
具体实施方式
[0072]
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
[0073]
实施例：一种情绪设计对在线学习认知负荷影响的评估方法，包括学习者佩戴脑电信号采集器和眼动信号采集器进行在线课程学习，在线课程包括积极情绪设计在线课程和中性情绪设计在线课程。本实施例中，学习者是来自浙江科技学院的42名在校大学生。他们都学习过c/c++，但都没有学习过python，根据大一c/c++的课程得分，将其随机分成了两组，可近似地认为两组被试具有相同的先验知识。实验已排除重大颅脑损伤或神经系统疾病的病史和实验阶段之前的低唤醒水平的被试。该实验以python主题的计算机在线课程作为实验的刺激材料。在线课程设计原则(中性情绪设计或积极情绪设计)为自变量，被试的认知负荷状态为因变量，将学习者被随机分往不同情绪设计的在线课程进行学习，整个过程持续约10分钟。结束后，被试填写认知负荷量表(nasa
‑
tlx)并完成随堂检测。随后，对认知负荷量表(nasa
‑
tlx)和随堂检测进行统计，证实了两种情绪设计的在线课程的确实引起
了学习者不同的认知状态和学习表现(中性情绪设计在线课程，nasa
‑
tlx＝5.20
±
1.54，测验得分＝3.73
±
1.76；积极情绪设计在线课程，nasa
‑
tlx＝4.71
±
1.34，测验得分＝4.19
±
2.51)。
[0074]
在学习的过程中，为发现不同情绪设计在线课程与生理特征之间的关联，按如下步骤进行：
[0075]
s1:在学习在线课程过程中，通过脑电信号采集器采集学习者的脑电信号和通过眼动信号采集学习者的眼动信号；实验中使用的脑电信号采集器为openbci，使用的动信号采集器是tobii t120。原始的脑电信号和眼动信号被导入matlab进行同步和预处理，脑电信号和眼动信号中每个刺激的开始和结束标记均用作同步事件，并将眼动信号作为附加通道整合到脑电信号中。对于脑电信号，利用emd进行分解滤波，用于信号主要成分分析，其次进行了全脑平均重参考，接着进行了ica，以剔除伪迹成分(比如眨眼的成分，肌肉紧张的成分等)，从而得到一个相对干净的数据。
[0076]
s2：利用非线性动力学和小波变换的方法对脑电信号进行分析，得出用于评估学习者认知状态的脑电特征；同时提取眼动信号的眼动指标，得出用于评估学习者认知状态的眼动特征，所述的眼动特征为瞳孔直径和注视时间。
[0077]
其中，采用非线性动力学的近似熵和样本熵对脑电信号进行分析，得到脑电特征中的近似熵特征和样本熵特征；
[0078]
其中，给定一脑电信号的时间序列{x(n)}＝{x(1)，x(2)，x(3)，
…
，x(n)}，对应的近似熵和样本熵按照以下步骤进行计算：
[0079]
a.1、时间序列上每连续m个数据组成一个m维矢量，即：
[0080]
y
i
＝{x
i
，x
i+1
，x
i+2
，...，x
(i+m
‑
1)
}，1≤i≤n
‑
m；
[0081]
a.2、设序列{x
t
(j)}与序列{x
t
(k)}的距离记为d[x
t
(j)，x
t
(k)]，其含义为两时间序列的矢量的每一对应位置元素的差值的绝对值的最大者，即：
[0082][0083]
a.3、给定相似的阈值容限w，对于两个时间序列{x
t
(j)}与{x
t
(k)}，若二者的距离不超过容限w，则认为它们是相似的；统计时间序列(x
t
(j)}与其它所有时间序列相似的数目，并计算其与总距离数目的比例即：
[0084][0085]
a.4、计算所有时间序列与原时间序列相似性的平均值即
[0086][0087]
a.5、将维度增加至t+1维，重新进行a.1
‑
a.4，计算出为：
[0088][0089]
a.6、近似熵定义如下：
[0090][0091]
a.7、样本熵定义如下：
[0092][0093]
给定一脑电信号的时间序列{x(i)，i＝1，2，
…
，n}，对应的样本熵按照以下步骤进行计算：
[0094]
b.1、给定原始数据序列{x(i)，i＝1，2，
…
，n}，依次构造m维向量：
[0095]
x
m
(i)＝[x(i)，x(i+1)，
…
，x(i+m
‑
1)]，1≤i≤n
‑
m+1
[0096]
其中，m是窗口长度；
[0097]
b.2、定义向量x
m
(i)和x
m
(i)之间的距离为：
[0098]
d[x
m
(i)，x
m
(i)]＝max{|x
m
(i+k)
‑
x
m
(j+k)|}；
[0099]
其中：1≤k≤m
‑
1；1≤i，j≤n
‑
m+1，i≠j
[0100]
b.3、给定一个正阈值r和嵌入维度m，计算时间序列的相似性概率为：
[0101][0102]
其中i≤n
‑
m。接着通过下列公式计算出所有的平均值
[0103][0104]
b.4、将嵌入维度设为m+1，重复b.1到b.3，样本熵定义如下：
[0105][0106]
利用小波变换对脑电信号进行分析，将多贝西小波(daubechies)用作小波变换的基函数，将脑电信号分解为五个级别，提取出脑电信号中五个频带的频率分量。对于来自每个通道的脑电信号，从每个子带的小波系数中得出三个特征，得出小波能量特征、小波相对能量特征和小波熵特征；
[0107]
所述小波能量特征计算如下：
[0108]
[0109]
所述小波相对能量特征计算如下：
[0110][0111]
所述小波熵特征计算如下：
[0112][0113]
式中：d
i，j
表示相应分解级别的小波系数。
[0114]
s3:对脑电特征和眼动特征进行降维，利用机器学习对降维后的脑电特征和眼动特征进行识别，从而对在线课程学习中学习者的认知负荷状态进行分类。
[0115]
其中，对脑电特征和眼动特征进行降维的降维方式是采用相关性的特征选择器，通过采用相关性的特征选择器计算每个特征的特征相关系数，用于表示其与认知负荷的相关性；所述特征相关系数的计算方法如下：
[0116][0117]
式中：c表示协方差，r表示相关系数，r
i
表示数据集对应的第i个分量的随机变量，y表示样本的标签集。
[0118]
本实施例中的机器学习为支持向量机，其实现方式如下：给定一个带标签的数据集，任务是要找到一个满足以下条件的线性平面w
t
x
i
+b：
[0119]
y
i
(w
t
x
i
+b)≥1，i＝1，2，...，n；
[0120]
式中：x
i
表示特征数组，y
i
对应的真实标签。
[0121]
为了判定实验结果是否由随机误差导致，对提取的特征进行了显著性检验，使用方差分析(anova)模型比较不同情绪设计在线课程学习过程中所提取特征的显著性，用于得到在线课程学习中学习者的认知负荷状态，结果显示显著性水平均p≤0.05，p值表明脑电特征与眼动特征在不同情绪设计的在线课程之间存在显着差异，可以用来区分不同情绪设计诱导出的认知负荷状态，并说明了机器学习算法的准确性。
[0122]
s4:根据认知负荷指标进行评估，本实施例中的所述的认知负荷指标计算如下：
[0123]
式中：β表示β频段的平均能量，γ表示γ频段的平均能量，θ表示θ频段的平均能量，α表示α频段的平均能量。
[0124]
为了验证各特征对不同情绪设计对在线课程学习认知负荷影响，图2展示了不同情绪设计在线课程所有学习者的近似熵特征，样本熵特征和小波熵特征。图3展示了不同情绪设计在线课程所有学习者的小波能量特征。图4展示了不同情绪设计在线课程所有学习者的眼动特征。从图2中可以看出三种熵特征均可以明显地区分两种情绪设计在线课程。图3中在对脑电信号据执行小波变换将其划分为五个频段子带后，计算了每种情绪设计中被
试每个频带的平均能量。从该图可以明显看出，情绪设计对theta，alpha，beta和gamma活性的影响是显著的，theta，alpha，beta和gamma频段能量特征可以明显地区分两种类型的情绪设计在线课程。此外，积极的情绪设计具有更高的theta和alpha能量和更低的beta和gamma能量，也就是theta和alpha的频段能量与情绪设计成正相关，而beta和gamma频段能量与情绪设计呈负相关。图4中关于瞳孔直径，积极情绪设计在线课程的平均瞳孔直径明显小于中性情绪设计的平均直径，这表明当内容相同时，积极情绪设计在线课程需要较少的认知处理。而分析注视时间可以发现，积极情绪设计的在线课程相比中性情绪设计，平均注视时间更短。这说明进行相同内容课程的学习时，中性情绪设计比积极情绪设计所消耗的时间更长，积极情绪设计的在线课程更不容易引起疲劳感。以上结果可以表面不同情绪设计在线课程与多模态生理特征之间具有明显的关联。
[0125]
进一步地，本实施例中用支持向量机(svm)对这熵特征、小波能量特征和眼动特征进行分类并比较这三种特征对两类情绪设计在线课程引起的认知负荷状态的分类性能。训练支持向量机模型时，将每个样本在不同分类标准下的归属作为属性标签，组成样本总体，随机抽取其中50％进行训练，剩余50％作为测试样本，以评估其分类准确性。图5显示了分别利用熵特征，小波能量特征和眼动特征对被试两种认知状态的分类精度，图6显示了分类结果的混淆矩阵(图6(a)为单模态特征混淆矩阵(基于脑电特征)，(b)为单模态特征混淆矩阵(基于眼睛特征),(c)为多模态特征混淆矩阵(基于脑电特征和眼特征))。图5结果表明，对于这三种特征，使用小波能量特征的分类准确性最高，其次是眼动特征和熵特征。此外，通过使用小波能量特征和眼动特征获得的分类精度十分接近，并且都比通过使用熵特征获得的分类精度更高。图6中使用单模态特征(基于脑电图和眼动追踪)和多模态特征的分类准确率分别为88.6％，83.6％和91.7％。svm分类器基于单模态特征(eeg或眼动追踪)的分类性能接近。但是，将眼动特征和eeg特征融合在一起，形成多模态特征，分类精度可以达到91.7％，与基于eeg单模态特征相比分类精度提高了3.1％，与基于眼动单模态特征相比分类精度提高了8.1％，这进一步反映出了脑电图和眼动特征的融合可以增强模型对认知负荷分类的能力。
[0126]
再进一步地，根据情绪设计引起的两种认知负荷状态，将所有被试的平均相对能量(delta,theta,alpha,beta and gamma)表现在脑地形图上，如图7所示。从图7上能够定位与认知负荷变化相关的大脑区域。根据观察可得，无论是高负荷还是低负荷，delta，theta，alpha，beta均在额叶、颞叶和枕叶有较强的大脑活动，而gamma仅在额叶和颞叶有较强的脑活动。可以推测，由于枕叶以视觉功能有关，颞叶与听觉功能有关，而听觉视觉正是学习者在在线课程学习中接收信息的主要方式。此外，大脑枕叶与人的行为感觉、语言、记忆和抽象思维等方面也有关系，颞叶前部与人的情绪、精神活动有关，还能将视觉、听觉、嗅觉、味觉等信息进行综合处理和分析，因此这些区域表现出更高的大脑活性。
[0127]
为了验证脑电信号单个频带的分类性能，申请人计算了每个频带能量特征的分类精度，并在最后将五个频段的能量特征组合成“all”矩阵，输入到线性svm分类器中，相应的结果如图8所示。从图8可以发现：(1)在相同条件下，五个频带的能量特征的分类性能要优于单个频带的能量特征。(2)高频带在认知活动中的作用比低频带更为重要，这与以往的研究结论相吻合。theta，alpha，beta和gamma在识别具有不同情感设计在线课程被试的高认知负荷和低认知负荷状态方面均具有良好的表现，其平均分类准确率均高于80％。与以往
的研究结论相比，本发明的实施结果增强了gamma频段的重要性，这是因为情绪在在线学习中的重要作用引起的，积极情绪往往与较低的认知负荷有关。而先前的研究表明，gamma频段在情感识别中起着至关重要的作用。故可以得出结论，情绪也是评估在线学习环境下的认知负荷的重要指标。根据pope等人(pope a t,bogart e h,bartolome d s.biocyberne tic system evaluates indices of operator engagement in automated task[j].biological psychology,1995,40(1
‑
2):187
‑
195.)先前的研究，认知负荷可以通过β/(θ+α)反映出来。基于上述对相关大脑区域和关键频段的分析，提出了步骤s4中的认知负荷指标计算方式。通过采用本发明中提出的认知负荷计算值，可以画出不同情绪设计在线课程的认知负荷曲线，如图9所示。该图论证了该指数在区分在线学习场景下高认知负荷和低认知负荷的良好表现。另外，使用15通道该指数的分类准确率可以达到85.3％，这在保持较高精度的同时极大地减小了特征的维度。
[0128]
本发明的主要目的是探索在线学习场景下，学习者的多模态生理数据(基于脑电和眼动)与情绪设计之间的关系，并使用机器学习技术对由此引起的认知负荷状态进行分类。这种关系可以应用于日常生活中，因此选择相关的脑电特征和眼动特征显得尤为重要。申请人为了在较少特征下，可以以较高的精确度保持分类性能的稳定性，因此对脑电数据和眼动数据进行了相关性分析，对所有的特征都计算了其和标签之间的相关系数，并按照降序排序。然后申请人使用了一个有用矩阵，每次选择相关系数前10名的特征加入到有用矩阵中并使用svm来处理有用矩阵，记录下每次的特征维度和分类进度，可以得到如图10所示的关于特征维度的分类性能变化。从图10中可以看出，当特征维度达到一定数量时，分类的准确性几乎是稳定的。显然，这个维度比原始特征维度要小得多。排名前138位的独立于被试的特征的平均分类准确度为92.6％。此外，当维度达到30左右后，分类精度变得稳定，平均精度为88.1％，这说明本发明采用降维的方式可以使机器学习模型运行较好且精度较好。
[0129]
综上所述，本发明可以发现不同情绪设计在线课程与生理特征之间的关联，并应用机器学习对不同情绪设计在线课程引起的认知负荷状态进行分类，用以辅助学习者提高在线学习的学习效果和学习表现。