一种基于混合增强和时序对比学习的脑电情绪识别方法

本发明属于脑电信号处理，具体涉及一种基于混合增强和时序对比学习的脑电情绪识别方法。

背景技术：

1、基于脑电的情绪识别技术主要通过采集和分析大脑皮层的电压波动来识别人的情绪状态，它不仅可以为精神疾病患者提供辅助治疗，还也可以为普通用户提供日常状态评估功能，例如驾驶疲劳监测、心理负荷监测、游戏体验反馈等。近年来研究者们提出了诸多面向脑电情绪识别的深度学习模型，得益于深度学习强大的非线性表示能力，脑电情绪识别技术的精度得到了显著提高。然而，大部分模型都采用监督学习方式进行训练，这一般需要大量的有情绪标签的脑电数据。但是，脑电数据的标签是非常耗时耗力的，尤其是情绪识别任务，脑电信号的标签在脑电数据采集时进行，不仅需要被试的自我情绪状态评估，还需要专家的客观评估。因此，在实际应用场景中难以采集到大量的有标签脑电数据，而无标签的脑电数据却很容易获取，因为人们只要佩戴便携式脑电设备即可采集脑电信号。

2、针对实际场景中有标签脑电数据量少、无标签脑电数据量大的问题，现有的基于监督学习的模型不能充分发挥作用。为此，研究者们引入了自监督学习思想以改善该问题。自监督学习是在大量无标签数据上自己设计监督任务训练模型，从而获得数据的通用表示，之后根据少量有标签的数据对模型进行微调以适应特定的下游任务。其中，研究较多自监督学习方法是对比学习技术，它主要通过自动构造正、负样本对来设计监督任务，使得正样本对在投影空间中相互靠近，而负样本对在投影空间中相互远离，从而在无标签数据中习得数据的通用表示。

3、目前对比学习技术被广泛应用于计算机视觉领域，但是这些技术并不适用于脑电数据。一方面，脑电是时间序列数据，具有时间依赖性，而计算机视觉的对比学习技术大多针对静态图像，无法有效挖掘脑电的时序信息。另一方面，现有的对比学习技术在构造正样本对时通常只采用单一的数据增强方式，而脑电数据是大量神经细胞电活动的非线性耦合，其情绪模式不像图像易于理解和解释，因此只采用单一的数据增强方式不足以充分挖掘脑电信号中蕴含的关键情绪信息。

技术实现思路

1、针对现有技术的不足，本发明提出了一种基于混合增强和时序对比学习的脑电情绪识别方法。首先，针对现有对比学习技术增强方式单一的问题，发明了一种混合增强技术，为同一个脑电样本创建了两个不同但相关的视图作为正对。其次，针对的问题现有对比学习技术无法有效学习时间依赖关系的问题，发明了一种时序对比学习模块，使得模型能够有效挖掘脑电信号中的时序信息。通过这两种方式以学习无标签情绪脑电信号的通用表示，从而有效提高自监督脑电情绪识别模型的分类性能。本方法的具体步骤如下。

2、本发明提供一种基于混合增强和时序对比学习的脑电情绪识别方法，包括以下步骤：

3、步骤1、构建具有情绪类别标签的脑电样本组成的验证集{xval,yval}，以及没有情绪标签脑电样本组成的训练集{xtrain}；yval为情绪标签。验证集的样本数量n_val小于训练集的样本数量n_train。

4、步骤2、对验证集{xval,yval}中的脑电样本xval和训练集{xtrain}中的脑电样本xtrain进行数据预处理和特征提取。

5、步骤3、利用训练集构建预训练模型。预训练模型包括混合增强模块、时序对比模块和相似性对比模块。

6、3-1.混合增强模块对训练集中的所有脑电样本均通过两种不同的增强处理，每个脑电样本均对应生成两个相关的视图xs和xw。将两个视图xs和xw分别输入到编码器fecn，得到对应的高维特征zs和zw。

7、3-2.时序对比学习模块对同一脑电样本生成的两个视图xs和xw进行互相跨视图预测；时序对比学习模块的损失函数ltc的总体目标为预测结果与真实特征差异最小化。

8、3-3.同一脑电样本生成的视图xs与视图xw之间形成正对；任意脑电样本生成的视图与其他脑电样本生成的视图之间均形成负对。相似性对比模块的损失函数lsc的总体目标为正对样本之间的相似度最大化，负对样本之间的相似度最大化。

9、3-4.构建预训练模型的总损失函数l＝λ1ltc+λ2lsc；λ1、λ2分别为时序对比学习损失和相似性对比损失的相对权重。利用总损失函数l优化参数预训练模型，得到脑电信号为输入，脑电信号的通用表示为输出的预训练模型。

10、步骤4、利用验证集{xval,yval}在预训练模型的基础上训练线性分类器，得到输出为情绪类别的情绪识别模型。

11、步骤5、向情绪识别模型输入被测者的脑电信号，得到被测者的脑电信号采集时的情绪类别。

12、作为优选，步骤2中，预处理的过程为对脑电样本进行下采样、滤波和划分时间片处理；特征提取的具体为：从预处理得到的每个时间片的脑电数据进行中提取微分熵特征。

13、作为优选，两种不同的增强处理分别为强增强操作和弱增强操作。强增强操作的过程为：对脑电样本进行时间片随机排列和抖动混合处理，之后在脑电样本中加入随机变量。弱增强操作的过程为：对脑电样本进行抖动和振幅缩放混合处理。

14、作为优选，步骤3-2中互相跨视图预测的具体过程为：使用同一时刻将同一脑电样本生成的两个视图xs和xw划分为视图xs的过去特征zspre和未来特征zsfut，以及视图xw的过去特征zwpre和未来特征zwfut。从过去特征zspre中提取时序特征qspre；从过去特征zwpre中提取时序特征qwpre；利用时序特征qspre预测视图xw的未来特征zwfut；利用时序特征qwpre预测视图xs的未来特征zsfut。

15、作为优选，所述的损失函数ltc包括强增强视图的时序对比损失函数lstc，以及弱增强视图的时序对比损失函数lwtc，其表达式如下：

16、

17、

18、

19、其中，b表示需要预测的时间步长数；ft(·)为时序模型。1<t<t。zwt+b表示视图xw的未来特征zwfut中的第b个时刻的特征1<b≤b。zwn表示视图xw的未来特征zwfut中的第n-t个时刻的特征，t≤n≤b。wb(·)是统一维度的映射函数。

20、作为优选，所述的时序模型包括线性映射层和transformer模型。transformer模型由连续的多头注意块和一个多层感知机模块组成。多层感知机由两个全连接层和relu激活函数组成。时序模型ft的工作过程为：先将输入特征送入线性映射层；线性映射层将输入特征映射到隐藏维度，得到线性投影。然后将这个线性投影的输出送到transformer模型进行处理，得到输出特征。

21、作为优选，所述的损失函数lsc的表达式如下：

22、

23、其中，s(·,·)表示余弦相似度运算。qti为一个批次中第i个脑电样本对应视图xs过去特征中提取的时序特征。qti+为一个批次中第i个脑电样本对应的视图xw过去特征中提取的时序特征。qtm为一个批次的所有脑电样本对应的视图过去特征中提取的时序特征。当m≠i时，1[m≠i]的取值为1，当m＝i时，1[m≠i]的取值为0；τ为温度系数。

24、作为优选，被识别的情绪类别共有三种，分别为积极、中性和消极。

25、作为优选，步骤3-1所述的编码器fecn包括依次相连的三个卷积块和一个全连接层。每个卷积块均包括三个卷积层、批处理归一化层和relu激活层。

26、与现有技术相比，本发明的有益效果是：

27、1、本发明在传统的对比学习方法中根据脑电信号的非线性耦合性和时序性，融入了混合增强技术和时序对比学习模块，使得该方法可以从大量无标签的情绪脑电信号中学习到通用表示，从而有效提高脑电情绪识别模型在少量数据有标签且大量数据无标签情况下的分类性能。

28、2、针对现有对比学习技术增强方式单一，无法充分挖掘非线性耦合脑电信号中蕴含的关键情绪信息的问题，本发明方法提出了一种混合增强技术，为同一个脑电样本创建了两个不同但相关的视图，并设计相应的损失函数促使这两个视图具有高的相似度，从而提高模型所学到的表示的鲁棒性。

29、3、针对现有的对比学习技术无法有效学习脑电信号中的时间依赖关系的问题，本发明提出了一种时序对比学习模块，通过对同一样本的两个不同但相关的视图执行跨视图预测任务，使得模型能够有效挖掘脑电信号中的时序信息。