基于带温差双对比学习的跨受试者脑电情绪识别系统

本发明涉及脑电情绪识别的，尤其是指一种基于带温差双对比学习的跨受试者脑电情绪识别系统，提高跨受试者识别准确率。

背景技术：

1、基于脑电的情绪识别任务是指通过采集人的脑电波信号并对脑电波信号进行处理和分析从而识别出受试者的情绪，是实现脑机接口和情感计算的关键环节，在更关注人机交互的大模型时代，基于脑电的情绪识别必然成为热门的研究方向并且将拥有更广阔的应用前景。

2、基于脑电的情绪识现在的主流技术方案是深度学习，即通过采集一定数量带标签的脑电信号放到深度学习网络中训练，识别的时候再将采集到的新数据放到深度学习网络中进行识别。然而，基于深度学习的脑电情绪识别面临着如果测试数据与训练数据来自不同的受试者则识别效果非常差的问题，即个体差异带来的泛化能力退化问题，也称跨受试者问题。这一问题与深度学习和迁移学习中域自适应问题有相似之处，因此有研究人员开始使用域自适应与域泛化的方法去解决基于脑电的情绪识别中跨受试者问题，基本思想是使不同域的数据在隐空间上实现对齐从而使得测试受试者的脑电数据即使没有被训练过也能被准确的识别。随着脑科学的发展，研究人员发现对于同一种的情绪不同受试者脑电信号中是存在共同的模式的。于是基于深度学习的跨受试者脑电情绪识别发展出了另一条基于表示学习的道路，即通过深度学习找出不同情绪的模式，其中对比学习作为表示学习的一种方法表现出了良好的性能，其基本思路是在训练过程中让同一种情绪样本在隐空间聚合到一起而不同情绪样本在隐空间中相互远离。现有的域自适应和表示学习方法在基于深度学习的脑电情绪识别中都表现出了一定的解决跨受试者问题的能力，但其识别准确率还需要进一步提升才足够适应实际应用场景。

技术实现思路

1、本发明的目的在于克服现有技术的缺点与不足，提出了一种基于带温差双对比学习的跨受试者脑电情绪识别系统，充分利用对比学习中温度系数大小对学习结果的不同影响，使得基于深度学习的脑电情绪识别可以克服跨受试者带了的泛化能力退化问题，进一步提高基于脑电的情绪识别的可用性，使其可以在实际场景中得到广泛的应用。

2、为实现上述目的，本发明所提供的技术方案为：基于带温差双对比学习的跨受试者脑电情绪识别系统，包括：

3、数据导入模块，用于加载脑电信号并进行格式化，读取原始脑电信号后转换为后续模块能够处理的numpy数组格式，得到所需的numpy数组数据；

4、预处理模块，对数据导入模块导入的numpy数组数据进行数据去噪、参考去除、滤波、数据切片和分割、伪迹去除、数据标定、数据降采样和差分熵特征提取，以供后续情绪识别模块的深度学习网络训练和预测；

5、情绪识别模块，基于带温差双对比学习训练的深度学习网络，充分利用对比学习温度系数机制对训练受试者和测试受试者数据在一个网络中同时进行训练，从而实现训练受试者和测试受试者数据在网络隐空间的对齐，网络经过训练后能对预处理模块流入的差分熵特征进行情绪识别。

6、进一步，所述数据导入模块包括加载、读取、格式化脑电数据，其中：

7、所述数据导入模块从本地或云端读取各种脑电数据格式的数据，包括fif、edf和mat格式，其中包括脑电信号原始的电位数据和经过预处理的数据，将数据读入系统后统一格式化为numpy数组格式，以便后续流程的使用。

8、进一步，所述预处理模块包括数据预处理流程和差分熵特征提取流程，具体如下：

9、对于数据预处理流程，其中包括：数据去噪、参考去除、滤波、数据切片和分割、伪迹去除、数据标定和数据降采样；

10、对于差分熵特征提取流程，差分熵特征h(x)计算公式为：

11、h(x)＝-∫xf(x)logf(x)dx

12、式中，x是时间序列随机变量，f(x)是脑电时间序列的概率分布，log是对数函数；如果x服从高斯分布，则差分熵特征h(x)能够被简化计算为：

13、

14、式中，e是自然常数，μ是时间序列随机变量x的均值，σ2是时间序列随机变量x的方差。

15、进一步，所述情绪识别模块中的深度学习网络训练流程如下：

16、1)对所有采集到的脑电信号经预处理后提取差分熵特征；

17、2)将所有训练受试者的样本放入网络中使用低温度系数进行一次对比学习训练，其中对比学习损失函数l计算如下：

18、

19、式中，i是所有训练受试者的样本的序数集合，p(i)为所有训练受试者的样本中所有与当前样本i标签一致的正样本集，|p(i)|是正样本集中样本的个数的计数但不包括当前样本，a(i)为全体训练受试者的样本，zi指第i个训练受试者的样本的特征向量，zp指与第i个训练受试者的样本情绪类别相同的其他训练受试者的样本，za指除了当前样本zi的其余所有样本的特征向量，exp是以自然底数e为底的指数函数；

20、sim函数为计算两个样本间的余弦相似度函数：

21、

22、zw和zv代表两个不同样本的特征向量；

23、τ为对比学习中的温度系数，当τ小时能够使网络获得更均匀的空间分布，当τ大时能够使网络对困难负样本表现出更大的容忍性，在此步骤中τ被设置为较步骤4)小的值；

24、3)根据训练受试者样本的空间分布计算出每种情绪的原型中心点，根据测试受试者样本在训练受试者样本分布空间中的空间分布计算每个样本点到各个原型中心点的距离，并将距离最近的原型中心点所代表的情绪作为该样本的伪标签；其中各原型中心点cn的计算公式为：

25、

26、式中，n为第n个情绪类别；ⅱ是二分类指示函数，当输入的表达式为真时，ⅱ返回1，表达式为假时返回0；y是每个训练受试者的样本的情绪标签，z为每个训练受试者样本的特征向量；

27、测试受试者样本伪标签计算公式为：

28、

29、cn是各个情绪类别原型中心点，z是当前样本的特性向量，表示一个函数在其定义域中取得最小值的参数值，即以离当前测试受试者样本余弦相似度距离最近的原型中心点所代表的情绪类别为该样本的伪标签；

30、4)将测试受试者数据及相应的伪标签放入网络中使用高温度系数进行一次对比学习，其损失函数与步骤2)一致，温度系数τ在本步骤设置为较步骤2)大的值；

31、5)重复步骤2)～4)，直到训练受试者的样本在隐空间根据不同的情绪聚成不同的簇；

32、6)根据测试受试者样本与各原型中心点之间的距离关系计算测试受试者样本的置信度，第i个测试受试者样本的置信度αi计算公式如下：

33、

34、n为所有情绪类别的个数，cn为第n个情绪类别的原型中心点，zi为当前样本i的特征向量，sim函数为计算两个样本间的余弦相似度函数，为求解离当前样本特征向量zi最近的那个原型中心点的距离；样本离它的伪标签原型中心点越近离其他原型中心点越远则置信度越大，其中αi为测试受试者样本中第i个样本的置信度，选取置信度最高的k个样本加入训练受试者数据中；

35、7)重复步骤5)～6)，直到所有测试受试者的样本都被加入到训练受试者数据中为止；

36、8)输入测试受试者数据，根据测试受试者数据特征在隐空间的分布与各原型中心点的空间关系识别出相应的情绪，其识别结果公式与步骤3)中的伪标签计算公式一致。

37、本发明与现有技术相比，具有如下优点与有益效果：

38、1、本发明首次结合域自适应与表示学习两种技术路线，用对比学习实现基于脑电的情绪分类的域自适应，使得本系统兼具域自适应与对比学习两种技术路线的优点，实现了更优秀的识别性能。

39、2、本发明充分利用温度系数在对比学习训练过程中起作用的机制，使得不同受试者的数据在一个网络中被同时训练，从而使不同受试者的数据在网络的隐空间实现对齐。

40、3、本发明使用不断将高置信度测试样本加入训练样本中并重置网络参数然后循环训练的策略，使得网络可以从分布差异较小的测试样本开始学习测试受试者样本的数据特征，再慢慢过度到学习分布差异较大的测试受试者数据，这个新颖的从简单到困难的渐进式学习策略大大提高了不同受试者数据分布的对齐精度。

41、4、本发明比现有的其它基于脑电的跨受试者情绪识别系统具有更高的识别准确率和更好的泛化性能。

42、5、本发明可以直接读入多种格式原始的脑电信号，适用于各种需要实时识别的应用场景。

43、6、本发明训练过程简单，识别过程直观高效，使得基于脑电的情绪识别可以被广泛地应用到实际场景，并在不同场景可以表现出良好的适应性。