一种多模态跨被试情绪识别方法、系统、电子设备及介质

本发明涉及情绪识别，特别是涉及一种多模态跨被试情绪识别方法、系统、电子设备及介质。

背景技术：

1、情绪识别对于理解人类的意图和行为有着重要的作用，是人机交互领域的核心研究课题之一。由于情绪受生理、心理、环境等多种复杂因素的影响，机器往往难以准确理解人的情绪。近年来，智能情绪识别方法得到了广泛的关注。然而，情绪数据中存在的不确定性，如模态异质性和跨被试分布差异性等，严重限制了情绪识别方法在实际中的应用。

2、现有的情绪识别方法主要基于行为数据或生理信号。其中，行为数据包括面部表情、声音、眼球运动等，生理信号则包括皮肤电反应(gsr)、肌电图(emg)、心电图(ecg)、脑电图(eeg)等。前者更符合人类情绪认知的机制，而后者具有一定的防欺诈能力。在各种生理特征中，脑电图因其时间分辨率高、抗欺骗等特点，是目前应用最广泛的情绪识别方式。由于使用多模态融合技术可以为情绪识别提供互补的语义信息，许多研究将eeg与眼动、面部表情等其他模态相结合，以提高情绪识别的鲁棒性和准确性，但同时，模态间结构的异质性给识别任务带来了更大的挑战。以外，在实际应用中，不同被试间的数据分布差异远大于情绪类别差异，这一现象进一步加剧了多模态情绪识别问题的复杂性。近年来，情绪识别中的跨被试分布差异问题越来越受到重视，但是现有的方法都是针对单一模态的跨被试对齐而设计的，并不能有效缓解多模态情绪识别中的跨被试问题。

技术实现思路

1、本发明的目的是提供一种多模态跨被试情绪识别方法、系统、电子设备及介质，可有效缓解多模态情绪识别中的跨被试问题，提高情绪识别结果的准确度。

2、为实现上述目的，本发明提供了如下方案：

3、一种多模态跨被试情绪识别方法，包括：

4、构建多模态跨被试情绪识别网络；所述多模态跨被试情绪识别网络包括：依次连接的跨被试对齐模块、跨模态对齐模块和多模态融合模块；所述跨被试对齐模块包括eeg被试对齐子模块和眼动被试对齐子模块；所述eeg被试对齐子模块包括第一浅层编码器、均与所述第一浅层编码器连接的第一深层编码器和第一域预测器以及与所述第一浅层编码器连接的第一情绪标签预测器；所述眼动被试对齐子模块包括第二浅层编码器、均与所述第二浅层编码器连接的第二深层编码器和第二域预测器以及与所述第二浅层编码器连接的第二情绪标签预测器；所述跨模态对齐模块包括eeg模态对齐子模块和眼动模态对齐子模块；所述eeg模态对齐子模块包括均与所述第一浅层编码器连接的第一自注意力编码器和第一动量编码器；所述眼动模态对齐子模块包括均与所述第二浅层编码器连接的第二自注意力编码器和第二动量编码器；所述多模态融合模块包括与所述第一自注意力编码器和所述第二自注意力编码器连接的交叉注意力层以及均与所述交叉注意力层连接的第一融合分支和第二融合分支；所述第一融合分支和所述第二融合分支均包括顺序连接的全连接层和softmax函数；所述全连接层与所述交叉注意力层连接；

5、获取多个源域数据、一个目标域数据、各所述源域数据的各特征数据集对应的真实情绪和所述目标域数据的各特征数据集对应的真实情绪；一个所述源域数据以及所述目标域数据均包括多个特征数据集；一个特征数据集包括一个对象在相同时刻下的eeg模态特征数据和眼动模态特征数据；

6、采用所有所述源域数据和所述目标域数据对所述多模态跨被试情绪识别网络进行训练，得到训练好的多模态跨被试情绪识别网络；

7、根据训练好的多模态跨被试情绪识别网络构建情绪识别模型，所述情绪识别模型用于进行情绪识别；所述情绪识别模型包括第一浅层编码器、第二浅层编码器、第一自注意力编码器、第二自注意力编码器、交叉注意力层、全连接层和softmax函数；所述第一自注意力编码器与所述第一浅层编码器以及所述交叉注意力层连接，所述第二自注意力编码器与所述第二浅层编码器以及所述交叉注意力层连接，所述交叉注意力层、所述全连接层和softmax函数顺次连接。

8、一种多模态跨被试情绪识别系统，包括：

9、构建模块，用于构建多模态跨被试情绪识别网络；所述多模态跨被试情绪识别网络包括：依次连接的跨被试对齐模块、跨模态对齐模块和多模态融合模块；所述跨被试对齐模块包括eeg被试对齐子模块和眼动被试对齐子模块；所述eeg被试对齐子模块包括第一浅层编码器、均与所述第一浅层编码器连接的第一深层编码器和第一域预测器以及与所述第一浅层编码器连接的第一情绪标签预测器；所述眼动被试对齐子模块包括第二浅层编码器、均与所述第二浅层编码器连接的第二深层编码器和第二域预测器以及与所述第二浅层编码器连接的第二情绪标签预测器；所述跨模态对齐模块包括eeg模态对齐子模块和眼动模态对齐子模块；所述eeg模态对齐子模块包括均与所述第一浅层编码器连接的第一自注意力编码器和第一动量编码器；所述眼动模态对齐子模块包括均与所述第二浅层编码器连接的第二自注意力编码器和第二动量编码器；所述多模态融合模块包括与所述第一自注意力编码器和所述第二自注意力编码器连接的交叉注意力层以及均与所述交叉注意力层连接的第一融合分支和第二融合分支；所述第一融合分支和所述第二融合分支均包括顺序连接的全连接层和softmax函数；所述全连接层与所述交叉注意力层连接；

10、获取模块，用于获取多个源域数据、一个目标域数据、各所述源域数据的各特征数据集对应的真实情绪和所述目标域数据的各特征数据集对应的真实情绪；一个所述源域数据以及所述目标域数据均包括多个特征数据集；一个特征数据集包括一个对象在相同时刻下的eeg模态特征数据和眼动模态特征数据；

11、训练模块，用于采用所有所述源域数据和所述目标域数据对所述多模态跨被试情绪识别网络进行训练，得到训练好的多模态跨被试情绪识别网络；

12、识别模块，用于根据训练好的多模态跨被试情绪识别网络构建情绪识别模型，所述情绪识别模型用于进行情绪识别；所述情绪识别模型包括第一浅层编码器、第二浅层编码器、第一自注意力编码器、第二自注意力编码器、交叉注意力层、全连接层和softmax函数；所述第一自注意力编码器与所述第一浅层编码器以及所述交叉注意力层连接，所述第二自注意力编码器与所述第二浅层编码器以及所述交叉注意力层连接，所述交叉注意力层、所述全连接层和softmax函数顺次连接。

13、一种电子设备，包括：

14、存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的多模态跨被试情绪识别方法。

15、一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的多模态跨被试情绪识别方法。

16、根据本发明提供的具体实施例，本发明公开了以下技术效果：

17、本发明的多模态跨被试情绪识别网络，通过设置跨模态对齐模块和多模态融合模块，使得在模型训练时可以对两个模态的信息进行融合，提取互补信息，使得训练得到的模型可有效缓解多模态情绪识别中的跨被试问题，提高情绪识别结果的准确度。