一种基于自监督对比学习的情绪脑电分类方法

本发明涉及情绪脑电分类，具体指一种基于自监督对比学习的情绪脑电分类方法。

背景技术：

1、情感脑机接口领域目前已经取得了重大进展，研究人员能够有效地解释在受控实验室环境中收集的标记脑电图(eeg)数据。然而，脑电数据标注耗时长、资源密集，限制了其在现实场景中的实际应用。如何利用有限的标签识别情绪已经成为一个新的研究和应用瓶颈。

技术实现思路

1、本发明针对现有技术得不足，提出一种基于自监督对比学习的情绪脑电分类方法，可以有效地对情绪脑电信号进行分类，最高识别准确率可达到93、77％，并且也可以微调到其他下游任务。

2、为了解决上述技术问题，本发明的技术方案为：

3、本发明使用seed数据集作为样本，将情绪脑电预处理后先进行预训练，训练完成后只保留其中的编码器部分，后连接一个多层感知机分类器进行微调训练，用于进行情绪识别分类，目的是通过模型的自监督预训练，通过输入无标签脑电信号在不同信号变换后在高维特征空间的表征对比，学习到信号的高维通用表征，再在微调阶段时候较少的标签迁移微调模型到具体的下游分类任务。具体包括以下步骤：

4、步骤1、对脑电数据进行预处理，并进行数据归一化，再划分为训练集和测试集，并将脑电信号数据按1s的分段划分，作为输入。

5、步骤2、构建预训练框架模块。

6、步骤3、使用无标签的脑电数据进行自监督对比预训练。

7、步骤4、保留预训练过程中的编码器部分，在其输出连接一个多次感知机，构建一维cnn分类器。

8、步骤5、使用带标签的数据，对构建的一维cnn分类器进行训练，得到所需的分类网络。

9、作为优选，所述的步骤1中，对脑电数据的预处理包括信号的降噪处理、降采样至200hz、使用0-75hz的低通滤波器进行滤波等，经过预处理后的信号能够滤掉大部分信号采集过程中的噪声和污染。

10、作为优选，所述的步骤2中，构建预训练框架模块，框架的主要结构是一个双流分支结构，一个分支是训练分支，一个分支是目标分支，其中训练分支由一个编码器一个投射器和一个预测器构成，而目标分支由一个编码器和一个投射器构成，两个分支的参数不进行共享的。其中编码器是由一维卷积神经网络构成，而投射器和预测器是由多层感知机构成的。

11、作为优选，所述的步骤3中，对比预训练过程中，训练分支的模型参数通过梯度下降的方式进行更新，而目标分支的模型参数通过训练分支的参数的移动指数平均来更新。最后训练分支的预测结果pθ和目标分支的投射结果z′ε求取对比损失：

12、3-1、脑电信号分段x先通过两个随机的信号变换方法v(x)和u(x)，得到经过变换后的信号v和v’。

13、3-2、通过一维卷积神经网络f(x)得到两个变换信号的高维特征y和y’。

14、3-3、训练分支的脑电特征数据还需要经过一个投射器和一个预测器，得到特征p，而目标分支的数据只经过投射器得到特征z。

15、3-4、特征p和特征z求得对比损失。特征越接近，损失越小，相反越大。

16、作为优选，所述的步骤4中，保留预训练阶段的编码器训练方法为：

17、4-1、网络起始搭建一个卷积层作为输入，随后连接一个bn层和relu层。

18、4-2、随后连接一个带有最大池化的残差连接模块，模块中主要是由一个一维卷积、bn层、relu激活单元以及dropout层和另一个卷积层。dropout层主要用于随机关闭一些网络的神经元，防止过拟合。

19、4-3、第三部分是一个堆叠8次的一维卷积层模块。该模块先经过bn和relu，然后再通过卷积、bn、relu、dropout、卷积，其中还包含来自模块入口输入的残差连接。

20、4-4、在经过一个bn和平均池化层后得到编码器的输出。

21、作为优选，步骤5中，编码器输出后面还需要接一个全连接多层感知机构成情绪分类任务的分类器。

22、5-1、多层感知机由一个全连接层起始，输出维度为384，后接bn层和relu层，然后再是一个dropout层。

23、5-2、重复一次步骤4-6中的结构，其中全连接层的维度为192。

24、5-3、最后以一个全连接层作为收尾得到输出，输出维度为3。

25、本发明具有以下的特点和有益效果：

26、采用上述技术方案，在无标签预训练过程中让训练分支通过向目标分支进行学习、模仿、对比的方式，无需大量负样本的方式也能学习到脑电信号的高维通用表征。使得通过预训练以后的编码器，可以在仅使用部分标签的数据进行微调的情况，也能达到优秀的情绪分类准确率，同时学习到的通用表征还可以用于其他的下游分类任务。

技术特征：

1.一种基于自监督对比学习的情绪脑电分类方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于自监督对比学习的情绪脑电分类方法，其特征在于，所述脑电数据的预处理方法为：包括主成分分析、降噪处理，随后降采样到200hz，并使用0-75hz的低通滤波器进行滤波。

3.根据权利要求1所述的基于自监督对比学习的情绪脑电分类方法，其特征在于，所述步骤s1中，分段后的脑电数据使用均值为0，方差为0.5进行归一化变换。

4.根据权利要求1所述的基于自监督对比学习的情绪脑电分类方法，其特征在于，所述无标签的脑电数据和带标签的脑电数据的采集方式相同，是通过被试者观看相关影视作品片段诱发相关情绪，然后通过脑电采集设备采集得到。

5.根据权利要求1所述的基于自监督对比学习的情绪脑电分类方法，其特征在于，所述步骤s3的具体方法为：

6.根据权利要求5所述的基于自监督对比学习的情绪脑电分类方法，其特征在于，所述训练分支的模型参数通过梯度下降的方法反向传播更新，所述目标分支的模型参数通过训练分支的移动指数平均方法得到更新。

7.根据权利要求1所述的基于自监督对比学习的情绪脑电分类方法，其特征在于，所述步骤s4中，编码器的编码方法为：

8.根据权利要求1所述的基于自监督对比学习的情绪脑电分类方法，其特征在于，所述步骤s5中，所述一维卷积分类器的分类方法为：

技术总结
本发明公开了一种基于自监督对比学习的情绪脑电分类方法，包括以下步骤：步骤1、对脑电数据进行预处理，并进行数据归一化，再划分为训练集和测试集，并将脑电信号数据按1s的分段划分，作为输入。步骤2、构建预训练框架模块。步骤3、使用没有标签的脑电数据进行自监督对比预训练。步骤4、保留预训练过程中的编码器部分，在其输出连接一个多次感知机，构建一维CNN分类器。步骤5、使用带标签的数据，对构建的一维CNN分类器进行训练，得到所需的分类网络，该方法可以有效地对情绪脑电信号进行分类，最高识别准确率可达到93、77％，并且也可以微调到其他下游任务。

技术研发人员：谢昀臻,马玉良,赵梓凯,高云园,佘青山,罗志增
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/1/15