一种基于伪孪生网络的多模态情感分析方法及其系统

本发明属于脑神经科学领域的生理信号情绪分析，是一种基于伪孪生网络的多模态情感分析方法及其系统。

背景技术：

1、情感在人类生活中扮演着重要的角色。通常识别情绪是为了促进适当的互动。然而，在有情绪表达障碍的疾病群体中，个体往往很难通过面部表情准确地表达自己的内心感受。例如，患有焦虑症和行为障碍的人往往难以有效地表达自己的情绪。为了准确地评估患者的情绪表达并帮助医生做出明智的决定，研究人员已经将情绪识别确定为人工智能、医学和计算机科学的一个重要研究领域。

2、目前，情感分析的方法主要分为生理信号和非生理信号两大类。非生理信号是人类情绪的外部显示，通常利用声音特征、面部表情和身体动作来进行情绪识别。然而，这些信号容易被隐藏或干扰，从而影响分析的准确性。为了提高情绪识别的可靠性，许多研究者致力于利用生理信号进行情绪分析的研究。生理信号包括脑电、眼电、肌电、皮肤电等信号，它们源于机体的生理过程和活动，直接反映机体内部的生理状态。它们不受认知因素的影响，具有客观性。因此，利用生理信号准确捕捉个体真实的情绪状态被认为是一种可靠的情感分析方法。

3、脑电由中枢神经系统直接控制，相比于其他生理信号，含有丰富的情感信息，在情绪分析研究中得到了广泛的研究。但是，已有的一些研究方法忽略了对浅层、深层脑电特征的充分利用。此外，人类情感状态是复杂多变的，仅用一种模态信息实现情绪的充分表达具有挑战性。眼睛被视为心灵的窗户，眼电信号在生理上包括凝视跟踪、眼球运动检测和眨眼频率等信号，也与情绪密切相关。相关研究证明，眼球注视状态和用户情绪状态具有映射关系，发现人眼运动可以反映人的部分情感状态。例如，人在放松微笑时眼球运动处于平视状态；人在愤怒时，眼睛会睁大，眼球会固定。也有相关研究证明，眨眼为用户的状态和情感特征提供相关信息，因为需要思考的注意力的活动会导致眨眼频率的降低。总之，与眼睛有关的信号，特别是通过眼电图获得的信号，为研究情绪提供了有价值的信息。因此，研究多模态生理信号进行情绪识别变得尤为重要。但是，怎么将模态间的相关性联系起来，让其充分发挥两个模态的优势是一个难题。

技术实现思路

1、针对上述不足，本发明提出一种基于伪孪生网络的多模态情感分析方法及其系统。该方法利用整合深度可分离卷积策略的金字塔网络作为脑电的处理模块，挖掘并融合多个尺度的脑电的时间和空间情感感知特征，提炼更深度更有效的脑电内在本征特征；同时，利用两个全连接网络层作为眼电处理模块提取眼电的行为特征。此外，为了进一步学习模态间的关系，本发明使用含有双分支子网的伪孪生网络变换每个模态的情感特征，并在该模块中使用相似性约束将不同模态的特征协调到相似的超空间中。然后采用特征融合，学习不同模态对情感识别的权重参与到模型分类决策，实现多模态情感特征的一致性和互补性，从而提高模型的性能和泛化能力。

2、为了实现上述目的，第一方面，本发明提供一种基于伪孪生网络的多模态情感分析方法，详细的技术方案包括如下步骤：

3、步骤一、数据采集；

4、采集被试在观看视频片段时诱发的多模态生理信号，并对生理信号打情感标签；其中所述多模态生理信号包括脑电信号(eeg)和眼电信号(eog)；

5、步骤二、对采集的多模态生理信号分别进行预处理，并提取特征，得到脑电特征和眼电特征；

6、步骤三、多模态样本对生成；

7、遍历每一个脑电特征样本xeeg，选取同一被试同一时间的眼电特征样本xeog(m)，作为多模态正样本对{xeeg，xeog(m)}，对标签y记为1；

8、遍历每一个脑电特征样本xeeg，随机选取同一被试不同情感的眼电特征样本xeog(n)，作为多模态负样本对{xeeg，xeog(n)}，对标签y记为o；

9、为了方便表述，使用多模态样本对{xeeg，xeog}来表示，其中xeog＝xeog(m)或xeog(n)，对标签y＝1或0，1表示xeeg和xeog两个模态样本属于同一情感，0表示xeeg和xeog两个模态样本不属于同一情感；

10、步骤四、构建eeg处理模块：

11、所述eeg处理模块采用整合深度可分离卷积的金字塔网络，用于对多模态样本对中的脑电特征xeeg提取多尺度的综合时空内在模态特征feeg；

12、步骤五、构建eog处理模块；

13、所述eog处理模块包括两个串联的全连接层，用于对多模态样本对中的眼电特征xeog提取眼电信号的外在行为模态特征feog；

14、步骤六、构建伪孪生网络，对其进行训练、验证、测试；

15、所述伪孪生网络包括两个分支子网、加权融合模块，所述两个分支子网分别为eeg处理模块、eog处理模块；

16、所述加权融合模块对eeg处理模块、eog处理模块输出的两个模态特征feeg和feog进行自动学习加权融合，以获取更好的能够结合feeg和feog的融合特征；

17、步骤七：利用训练、验证、测试好的伪孪生网络实现多模态情感分析。

18、作为优选，步骤二中，所述脑电特征采用脑电信号的微分熵特征。

19、作为优选，步骤二中，所述眼电特征采用眼电信号的均值、标准差、一阶和二阶差分的均值和标准差、归一化长度密度(nld)特征和hjorth特征的拼接结果。

20、作为优选，步骤四中，所述eeg处理模块包括三个路径、输出层，分别为自下而上路径、自上而下路径和横向连接；

21、所述自下而上路径包括依次串联的第一至第三卷积块；第一卷积块接受eeg特征xeeg，处理后将结果输出至第二卷积块，同时经横向连接输入至自上而下路径；第二卷积块接受第一卷积块的输出结果，处理后将结果输出至第三卷积块，同时经横向连接输入至自上而下路径；第三卷积块接受第二卷积块的输出结果，经横向连接输入至自上而下路径；

22、所述自上而下路径利用双线性插值法的上采样来调整不同尺寸的关于所述的自下而上路径中第三卷积块输出的特征图，包括依次串联的第一至第三多尺度融合层；

23、所述横向连接包括一个1×1卷积，用于调整所述自下而上路径输出的不同尺度特征图的通道尺寸；

24、所述输出层将第三多尺度融合层输出的含有信息量最丰富的特征df1经过flatten层展平为一维向量；然后，经过两个激活函数为relu的全连接层，提取向量表示feeg；具体是：

25、

26、其中，n(s)表示s层的神经元数量，其中s＝{1，2，3}，分别对应flatten层、神经元分别为32、16的全连接层；p表示输入层中的第p个神经元，df1作为输入，可以分成输入层第p个神经元输入的特征值df1_p，feeg表示输出；wqp表示输入层中第p个神经元与第1个全连接层第q个神经元之间的连接权值；wkq表示第1个全连接层第q个神经元与第2个全连接层第k个神经元之间的连接权值；σ为relu激活函数；

27、作为优选，步骤四所述自下而上路径中，第一至第三卷积块结构相同均包括依次串联的深度可分离卷积、批量归一化和丢弃层，其中所述深度可分离卷积包括串联的深度卷积和逐点卷积；具体是：

28、首先脑电特征样本xeeg被馈送到第i卷积块的深度卷积中，生成特征图fdepthwisei；

29、fdepthwisei＝depthwiseconv2d(fi-1，kerneldi)

30、其中depthwiseconv2d表示深度卷积操作，kerneldi表示第i卷积块的深度卷积的卷积核，fi-1表示第i-1个卷积块的输出特征图，f0＝xeeg_ab，xeeg_ab表示eeg特征第a个通道和第b个特征的数据信息；i＝1，2或3；

31、接着，特征图fdepthwisei被送入到当前卷积块中的逐点卷积中，获得特征图fi：

32、

33、其中conv2d表示逐点卷积操作，kernelpi表示第i卷积块逐点卷积的卷积核，n(h)表示eeg信号通道数，n(w)表示频段特征数，biaspi表示第i卷积块的逐点卷积中使用的偏置项，σ表示relu激活函数；fdepthwisei_ab表示特征图fdepthwisei中a通道b频段的特征值；

34、通过批量归一化对逐点卷积生成的特征图fi进行优化，加快模型的收敛速度，然后再利用丢弃层进行减轻过拟合；

35、所述自上而下路径中，所述第一多尺度融合层包括上采样；

36、所述第二至第三多尺度融合层结构相同，包括上采样、融合模块；具体是将接收到的上一层多尺度融合层输出结果经上采样与同一层横向连接输出结果进行元素相加。

37、作为优选，步骤六中，所述加权融合模块具体表示如下：

38、ffusion＝w1feeg+w2feog

39、其中，w1为学习到的脑电信号的权重，w2为学习到的眼电特征的权重。

40、作为优选，所述伪孪生网络的损失函数l具体是：

41、l＝μ1lce_eeg+μ2lce_eog+αlcl+limp_ce

42、lcl＝yd2+(1-y)max(margin-d，0)2

43、

44、

45、

46、其中，μ1、μ2、α分别为lce_eeg、lce_eog、lcl的系数；lcl表示脑电与眼电特征的对比损失；lce-eeg表示eeg处理模块的交叉熵损失；lce-eog表示eog处理模块的交叉熵损失；limp_ce表示改进的交叉熵损失；d表示模态特征feeg和feog间的欧氏距离；

47、margin表示平衡同一类别和不同类别样本之间的特征距离参数；n表示样本数；c表示情感的类别；分别表示样本i属于类r,样本j属于类别t，样本h属于类别v的预测概率；yi,r,yj,t,yh,v分别表示样本i属于类别r，样本j属于类别t，样本h属于类别v的真实概率；y表示样本对的对标签。

48、第二方面，本发明提供多模态情感分析系统，包括：

49、数据采集模块，获取多模态生理信号；

50、数据预处理模块，对采集的多模态生理信号分别进行预处理，并提取特征，得到脑电特征和眼电特征；

51、数据分析模块，将脑电特征和眼电特征输入至训练、验证、测试好的伪孪生网络，实现多模态情感分析。

52、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。

53、第四方面，本发明提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。

54、本发明的有益效果如下：

55、1.本发明将深度可分离卷积策略整合至金字塔网络来处理复杂的脑电信号，不仅减少了参数和计算复杂度，赋予了其强大的时间和空间特征提取能力，而且整合了多尺度特征信息，为脑电信号提供了更深刻的情绪相关的特征抽象，显著提升了情绪分类准确性。

56、2.本发明使用灵活的具有双分支子网结构的伪孪生网络，能够充分挖掘跨模态特征的一致性和互补性情感交互信息，学习更具有类别区分性的信息，提高了方法在各种数据模态下的泛化性能。

57、本发明提出的多模态情感分析方法，既可以从脑电中提取和整合不同层次和尺度的情感内在特征，从眼电中提取外在情绪特征；又可以集成双分支子网的伪孪生网络，让其协同利用脑电情感特征和眼电情感特征，实现多模态情感分析的一致性和互补性。最终，实现提升多模态情感分析的准确率。相比于其他的多模态方法，本发明提供的基于伪孪生网络的多模态情感分析方法有助于情感分析准确率的提升，精度分别在deap数据集中效价和唤醒两个维度上达到96.02％和96.45％，在seed-iv数据集中达到了77.81％的准确率。