基于多层次SE注意力和图卷积的EEG情绪状态分类方法

本发明属于生物特征识别领域中的脑电信号(eeg)情绪状态识别领域，具体涉及一种基于多层次se(squeeze and excitation)注意力和图卷积的eeg情绪状态分类方法。

背景技术：

1、情绪是一种复杂而全面的心理生理状态，在人机交互和情感计算起着核心作用。一些情绪识别研究依赖于图像、手势、声音等非生理信号，但神经科学研究认为生理信号凭借其难以伪装和隐藏的特点，比行为信号更能代表描述情绪。eeg是一种直接准确反映人类大脑活动的生理信号，随着无创、易用、廉价的脑电图记录设备的快速发展，基于eeg的情绪识别已经受到越来越多的关注。

2、基于eeg的情绪识别研究主要涉及两个方面，即eeg判别特征的提取和情绪的分类。基本上，人为提取的eeg特征可以分为两种类型：时域特征类型(如hjorth特征、分形维度特征)和频域特征类型(如psd、de)。与时域特征不同，频域特征旨在从频率角度获得eeg信息。一些基于eeg的情绪检测研究已经证明了频域特征在情绪识别中的有效性。

3、近年来，基于cnn的深度学习方法在许多领域得到了普及，cnn可以利用卷积核在规则网格数据上提取局部特征。然而脑电信号是不规则的数据，因为它们是由放置在不规则网格上的电极记录的。尽管一些基于cnn和rnn的研究成功地将连续的脑电帧转换为规则网格进行卷积，但他们的方法需要对头皮上的脑电通道进行2d表示，导致脑电通道空间信息的损失。区别于cnn中将脑电通道间的关系二维平面表征的方法，图结构为表征一组eeg通道及其关系提供了有效的数据结构。由于图卷积网络(gcn)在图数据结构中的优越性能，探究eeg信号拓扑结构在eeg情绪识别中作用的研究越来越多。这些研究倾向于用图神经网络对不同脑电通道之间的关系进行建模，又或者是捕捉不同通道之间的局部和全局关系。

4、研究结果表明，基于gcn的eeg情绪识别模型相较于基于cnn的模型，达到了更好的性能，但是gcn仍存在着一些缺陷。首先，当gcn的层数过深时，图数据在经过较多的gcn层后，其上的所有节点表示会在整个图上坍缩为近似等价，这会导致性能降低。也就是说几层的gcn就足以学习图结构的拓扑特性，过多的gcn层反而会导致较差的表示。这就导致gcn不能像cnn一样通过堆叠较多的层数去学习eeg特征中更深层次的特征，因此我们需要额外的网络来协助gcn挖掘更深层次的信息，学习更好的图表示。其次，虽然利用频域特征的神经网络模型在eeg情绪识别中取得了较好的效果，但是这些模型平等的对待不同频段和不同通道的特征。一些研究表明，不同的频段、不同的通道在人类情绪行为中起着各自不同的作用，在模型中应当根据具体情况赋予不同的重要性。

5、综合来看，以前一些基于gcn的情绪识别研究忽视了脑电通道之间的关系以及不同频段、不同特征的重要性，而且使用层数较少的gcn导致不能挖掘更深层次的信息。基于这种情况，我们希望利用multi-scale se(mse)机制学习不同频段、不同通道的重要性，然后利用不同的权重对图数据表示的eeg频域特征进行转换,并帮助gcn挖掘深层次的eeg特征，最后利用gcn学习脑电通道之间的关系并进行最终的eeg情绪识别任务。

6、本发明将mse和gcn结合，通过优化参数设置，利用适当的训练技巧，训练基于mse的图神经网络模型，以达到在被试内和跨被试两种情境下的更好的情绪状态分类性能。

技术实现思路

1、针对上述不足，本发明将mse注意力和gcn结合，既能通过gcn获取脑电通道结构上的信息，又能利用mse去关注不同通道、频段和样本对模型的情绪状态识别能力的贡献，同时帮助gcn获取更深层次的信息。本发明一定程度上解决了脑电情绪识别中通道、频段和结构信息利用不充分的问题，具有时间复杂度小、计算效率高、泛化能力强等优势。

2、本发明采用的技术方案是：

3、本发明以de特征作为使用的eeg信号频域特征，用结合多层次se注意力和gcn的模型作为分类器，通过对eeg信号的分析，分别实现跨被试和被试内两种任务下的积极、消极和中性三种情绪状态的有效区分。首先获取数据进行带通滤波，然后用ica技术去除伪迹；其次通过de来进行eeg特征提取，从三维eeg时间序列获得二维样本矩阵；然后在两种任务场景下各自划定训练集和测试集，获得不重合的训练集和测试集；对于每个样本，经过两个网络模块分别得到脑电通道节点关系矩阵a和重构后的脑电通道节点特征，最终组成关于样本的图数据结构；接着把图结构送入gcn网络提取更深层进行重构和再组合，重构后的数据经过gcn网络并得到包含结构信息的输出，然后用图池化方法输出整个图的最终表示；最后利用分类准确率对模型进行两种任务场景下的性能评估。

4、本发明解决其技术问题所采用的技术方案包括如下步骤:

5、步骤s1.数据处理：

6、以情绪数据集为例进行分析，对脑电采集设备采集到的原始eeg数据的处理步骤如下：

7、s1-1：数据去噪

8、本发明用来验证模型性能的数据集来源于seed。首先对数据集中采集到的eeg原始信号降采样到200hz，然后进行0.3-50hz的带通滤波，最后采用ica技术去除信号中的眼电伪迹。

9、s1-2：de特征提取

10、对伪迹去除后的eeg数据进行de特征提取，针对每个被试个体用1s的非重叠滑动窗口进行数据分割，得到3394个数据样本。对于每个样本xi，其中n为62，代表脑电数据采集通道数为62；d为5，代表提取了δ(1-3hz)、θ(4-7hz)、α(8-13hz)、β(14-30hz)和γ(31-50hz)五个频段的频域特征。

11、步骤s2.数据定义和数据集划分：

12、情绪状态分类存在两种测试情境：被试内和跨被试，这两种情况下的模型测试有着各自不同的数据定义和数据集划分，下面各自具体说明。

13、假定存在n个被试，n个被试的集合表示为u，每个被试的数据集合表示为其中s表示被试，n表示一个被试中样本的个数，表示被试s的第i个样本，对应的标签为

14、每个被试有15个情感试验，对于被试内的情感状态分类任务：选择每个被试前9个情感试验并假设其情绪状态标签已知，作为模型的训练集；选择后6个情感试验并假设其情绪状态标签未知，作为模型的测试集。

15、对于跨被试的情感状态分类：采用留一法进行数据集划分。具体来说我们首先取第一个被试的所有15次情感试验的数据并假设其情绪状态标签未知，作为测试集；取其余n-1个被试的所有15次情感试验的数据并假设其情绪状态标签已知，作为训练集。然后再依次取第i个被试的15次情感试验作为测试集i＝2,3,···,n，取余下n-1个被试的所有15次情感试验的数据作为训练集。总共进行n次模型实验并计算平均准确率。

16、步骤s3.eeg图结构的构成

17、s3-1：模型的具体数据输入

18、对于被试内的情境：模型的训练集输入为表示第s个被试训练集的第i个样本，表示第s个被试训练集中第i个样本相应的真实标签。模型的测试集输入为

19、对于跨被试的情境：模型的测试集输入为表示被试s1的第i个样本。模型的训练集输入为其中区别于训练集，模型不会从测试集中得到关于样本i的任何标签信息。

20、s3-2：脑电通道关系矩阵构建网络

21、在两种任务情境下，训练集和测试集中每一个样本xi∈rnxd,邻接矩阵构成模块会根据样本的具体输入构建一个描述n个通道间关系的邻接矩阵a∈rnxn，其中aij为表示脑电通道i和j之间的关联性权重。

22、s3-3：基于mse的脑电通道特征重标定，并再组合网络

23、本发明设计了多通道、多频段的se注意力机制去探究不同通道、不同频段在情绪状态识别中的贡献，此外还设计了一个样本注意力机制去探究不同样本在情绪状态识别中的贡献。综上所述，所设计的三个注意力机制的集合即为multi-scale se模块(mse)。在两种任务情境下，对于训练集和测试集中每一个样本xi∈rnxd,mse模块会根据样本的具体输入去重标定、再组合出一个新的样本特征x_rei∈rnx(3d)。

24、为了探究不同通道特征的重要性，本发明设计了channel-se模块，具体来说先用fsq函数求出各个通道的平均表示然后用fex函数获得通道间的非线性关系,求出各个通道的重要性表示v_ci，最后通过fscale得到channel-se模块的最终输出

25、为了探究不同频段特征的重要性，设计了frequency-se模块，具体来说先用fsq函数求出各个频段的平均表示然后用fex函数获得频段间的非线性关系,求出各个频段的重要性表示v_fi，最后通过fscale得到frequency-se模块的最终输出

26、为了探究不同样本xi对模型的不同贡献，设计了sample-attention模块，具体来说先用fsq函数求出各个样本xi的通道平均表示和频段平均表示然后把两者连接在一起组成样本的平均表示再用全连接网络对进行特征转换得到样本的重要性表示v_si，最后通过fscale得到sample-attention模块的最终输出

27、综上，分别得到了channel-se模块、frequency-se模块和sample-attention模块的重标定样本特征和为了得到mse模块最终的输出，本发明设计把上述三个输出进行拼接并得到最终的输出具体公式如下：

28、

29、s3-4：图数据结构的构成

30、由步骤s3-2和步骤s3-3分别得到了图的邻接关系矩阵a和重构后的节点特征接下来构建gcn网络的输入graphi。graphi的具体表示为

31、步骤s4.神经网络gcn模型的构建与训练：

32、s4-1：神经网络gcn模型的构建

33、在步骤s3的最后，由样本xi得到了图卷积神经网络(gcn)的输入本发明中用到的2层图卷积神经网络的具体公式表达如下：

34、

35、其中,是由邻接关系矩阵a计算得到的图上的拉普拉斯矩阵，z∈rn×b,w1∈r3d×a,w2∈ra×b。本发明中a＝40,b＝20,a和b分别代表gcn网络的隐藏层和输出层的维度。

36、为了得到最终的情绪状态分类结果，需要用graphreadout方法对z进行池化得到图卷积神经网络的最终表示gout。

37、最后将gout送入分类器得到最终的情绪状态预测结果ypred。

38、s4-2：神经网络gcn模型的训练

39、步骤s3-2、s3-2和s4-1中的网络模块训练时使用crossentropy作为损失函数，其中x代表样本，p(x)和q(x)分别是是真实样本分布和x的预测样本分布。

40、训练过程使用自适应时间估计方法(adam)来用于执行梯度下降，以使步骤s3-2、s3-2和s4-1中的网络模块具有更好的性能。

41、步骤s3-2、s3-2和s4-1中包括的数据传递过程为一次训练迭代，需要迭代t次才能使本发明所提出的网络具有较好的情绪状态分类性能。

42、步骤s5.被试内和跨被试两种情境下的模型性能评估：

43、本发明在seed数据集上具体验证模型性能。

44、将在步骤s4-1获得的预测状态ypred和测试集中标签显示的真实状态yt进行对比，获得对比结果，评估模型性能。准确率为模型测试时正确分类的样本个数占总测试样本的个数，被试s上模型准确度的计算公式如下：

45、

46、其中，tp为被模型预测为正类的正类样本，tn为被模型预测为负类的负类样本，fp为被模型预测为正类的负类样本，fn为被模型预测为负类的正类样本。

47、被试内和跨被试两种情境下的数据集划分具体见步骤s3-1。对于被试内的情境，本发明提出的模型在15个被试共2次试验的eeg数据上进行测试；对于跨被试的情境，本发明提出的模型在15个被试共1次试验的eeg数据上进行测试。

48、与现有技术相比，本发明的有益效果是：

49、1)针对被试内和跨被试两种情境下的情绪状态预测，本发明可以得到比其他分类方法更好的结果；

50、2)本发明通过mse网络，能够探究在情绪状态识别中不同通道、不同频段和不同样本对模型最终性能的影响，在此基础上借用gcn网络探究脑电通道之间的关联性，在获得很好的性能的同时能够为研究者探究情绪识别中更深生理层次上的信息提供一定的数据支撑；

51、3)本发明在被试内和跨被试两种任务场景下都得到很好的情绪分类性能，这代表提出的模型有很好的的泛化性能；

52、总之，本发明在情绪状态预测方面具有较好的性能，同时考虑到通道和频段在不同的eeg识别任务中都会起到很大的作用，本发明提出的模型有望在不同的数据集、不同的eeg分类任务(认知状态预测、运动想象预测等)取得更好的效果，以期在实际的脑机交互中有着广泛的应用前景。