一种基于图卷积网络的多模态情感识别方法

本发明涉及多模态情感识别，尤其涉及一种基于图卷积网络的多模态情感识别方法。

背景技术：

1、多模态情感识别作为人机交互的热门领域，其技术已经被运用于医学、教育、安全驾驶电子商务等领域，多模态情感可以使用音频、视频、文本三种模态进行表达分类，但单种情感表达方式和具体表达的情感并不是简单的线性关系，多模态情感是一系列人体行为与环境因素的综合体现，多模态情感的识别研究应从音频、视频、文本等多维度进行研究。

2、现有的基于局部特征的方法，主要是使用音频、视频、文本通过循环神经网络(recurrentneuralnetwork，rnn)获得时序关系，然后使用图结构如(graphconvolutionnetwork，gcn)或者图神经网络(graphneuralnetwork，gnn)融合不同模态，最后使用全连接层分类，现有方法通常将重点放在如何更好的使用图结构去收集话语间的信息，未注重对于模态内或模态间特征潜在的联系进行挖掘，多模态情感识别的准确率低。

3、现实中，为提高多模态情感识别的准确率，需要关注模态内或模态间特征的融合，并通过进一步的融合与训练来提升多模态情感识别分类的精度。

4、文献号为cn112559835b的专利文献公开一种多模态情感识别方法，包括分别提取帧级别的音频特征、帧级别的视频特征和词级别的文本特征；将提取出的特征分别输入到特征编码器进行建模，得到编码后的音频编码、视频编码和文本编码特征；将编码后的特征先分别经过各自的自注意力模块对模态内的交互关系进行建模，将其进行两两排序组合输入至跨模态注意力模块对两两模态间的交互关系进行建模；对上述自注意力模块和跨模态注意力模块的输出进行时序池化得到各模态内的全局交互特征，两两模态间的全局交互特征；利用注意力机制分别将这上述模态内和模态间的全局交互特征进行加权融合得到整个待测样本模态内和模态间的特征表示，将二者进行拼接经过全连接网络得到最终的情感分类结果。但其重点是利用图结构去收集话语间的信息，对多模态内或多模态间的特征联系没有深度融合，不利于提高多模态情感识别的准确率。

技术实现思路

1、本发明的目的在于提供一种基于图卷积网络的多模态情感识别方法，解决对多模态情感模态内或模态间特征潜在联系融合训练不深入，多模态情感识别情分类准确率低的问题。

2、本发明的目的可以通过以下技术方案实现：一种基于图卷积网络的多模态情感识别方法，包括以下步骤：

3、s1、对视频、音频和文本原始特征进行预处理，获取文本、视频和音频特征；

4、s2、构建文本、视频和音频特征之间的话语时序关系，嵌入说话人信息，采用图卷积网络gcn融合文本模态、视频模态和音频模态中任意两模态，获得三种模态高维度融合特征，并对高维度融合特征进行训练；

5、s3、进一步构建三种高维度融合特征的时序关系，对三种高维度融合特征进行图卷积网络gcn再融合，提升多模态情感识别分类的精度，通过全连接层fc得到预测结果，然后通过训练提升多模态情感识别分类的精度。

6、作为本发明再进一步的方案：所述s1中对视频、音频、文本原始特征进行预处理，包括使用textcnn算法提取对文本原始特征处理；使用具有is10配置的opensmile工具包对音频原始特征进行提取处理；使用densenet算法在面部表情识别plus(fer+)语料库上进行视觉面部表情视频原始特征进行预训练提取处理。

7、作为本发明再进一步的方案：所述s2中获取三种高维度融合特征包括以下步骤：

8、s21、将视频与音频特征通过双向长短期记忆网络lstm获得视频与音频的话语时序关系；

9、s22、将视频与音频的话语时序关系嵌入说话人信息，构建全联通图；

10、s23、建立视频模态与音频模态对应于同一话语节点之间的边缘连接，利用图卷积网络gcn融合视频与音频两个模态，得到视频与音频高维度融合特征；

11、s24、对视频与音频高维度融合特征进行训练，并通过训练获得先验信息，得到较好视频与音频高维度融合特征。

12、s25、重复s21至s24的方法，获得训练后较好视频与文本高维度融合特征、文本与音频高维度融合特征；

13、作为本发明再进一步的方案：所述s3的步骤包括：

14、s31、三种高维度融合特征通过双向gru，构建三种高维度融合特征的时序关系；

15、s32、将三种高维度融合特征经过图卷积网络gcn融合，获得高维度高融合特征；

16、s33、将再训练后的高维度高融合特征通过多头注意力，提取话语情感倾向，挖掘视频、文本和音频三个模态的潜在联系；

17、s34、通过全连接层fc得到预测结果；

18、s35、通过训练提升多模态情感识别分类的精度。

19、作为本发明再进一步的方案：所述训练使用分类交叉熵和l2正则化作为训练的损失函数:

20、

21、其中n代表对话的数量，c(i)代表对话i中的话语数量，pi,j是预测的对话i中的话语j的情感标签的概率分布，yi,j是真实的对话i中的话语j的情感标签，λ是l2正则化的权重，θ是可训练参数。

22、作为本发明再进一步的方案：所述s33中多头注意力具有两个注意力头。本发明的有益效果：

23、1、本发明通过对音频、视频、文本三种模态特征进行两个阶段的图卷积网络gcn融合与训练，对多模态情感模态间特征的潜在联系进行进一步融合，提升多模态情感识别分类精度。

24、2、通过双向lstm获得音频、视频和文本的话语时序关系，嵌入说话人信息，构建全联通图，利用图卷积网络gcn融合音频、视频、文本三种模态中两个模态，得到视频与音频高维度融合特征，提高音频、视频、文本三种模态间高维度融合特征。

25、3、通过双向gru进一步构建三种高维度融合特征的时序关系，通过对三种高维度融合特征进行进一步图卷积网络gcn融合，获得高维度高融合特征，提高了多模态情感模态间特征的潜在联系，提升多模态情感识别分类精度。

技术特征：

1.一种基于图卷积网络的多模态情感识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图卷积网络的多模态情感识别方法，其特征在于：所述s1中对视频、音频、文本原始特征进行预处理，包括使用textcnn算法提取对文本原始特征处理；使用具有is10配置的opensmile工具包对音频原始特征进行提取处理；使用densenet算法在面部表情识别plus(fer+)语料库上进行视觉面部表情视频原始特征进行预训练提取处理。

3.根据权利要求1所述的一种基于图卷积网络的多模态情感识别方法，其特征在于：所述s2中获取三种高维度融合特征包括以下步骤：

4.根据权利要求1所述的一种基于图卷积网络的多模态情感识别方法，其特征在于：所述s3的步骤包括：

5.根据权利要求3或4所述的一种基于图卷积网络的多模态情感识别方法，其特征在于：所述训练使用分类交叉熵和l2正则化作为训练的损失函数：

6.根据权利要求4所述的一种基于图卷积网络的多模态情感识别方法，其特征在于：所述s33中多头注意力具有两个注意力头。

技术总结
本发明公开了一种基于图卷积网络的多模态情感识别方法，包括步骤S1、对视频、音频和文本原始特征进行预处理，获取文本、视频和音频特征；S2、构建文本、视频和音频特征之间的话语时序关系，嵌入说话人信息，采用图卷积网络GCN融合文本模态、视频模态和音频模态中任意两模态，获得三种模态高维度融合特征；S3、进一步构建三种高维度融合特征的时序关系，对三种高维度融合特征进行图卷积网络GCN再融合提升分类的精度，通过全连接层FC得到预测结果。本发明通过对音频、视频、文本三种模态特征进行两个阶段的图卷积网络GCN融合与训练，对多模态情感模态间特征的潜在联系进行深度融合训练，提升多模态情感识别分类精度。

技术研发人员：樊春晓,林杰,李心平
受保护的技术使用者：合肥工业大学
技术研发日：
技术公布日：2024/1/13