基于情感感知表征解耦与偏移的多模态情感分析方法及产品

本发明实施例涉及人工智能与情感计算，尤其涉及一种基于情感感知表征解耦与偏移的多模态情感分析方法及产品。

背景技术：

1、随着移动设备和社交网络的快速发展和广泛普及，人们越来越喜欢在视频社交平台上生成和发布短视频，以分享他们的经历和表达情感。分析这些用户生成的视频中所包含的情感和情绪在各种相关实际应用中扮演着重要角色，比如人机交互和心理健康监测等。

2、与仅依赖语言的早期情感分析相比，多模态情感分析（msa）具有数据互补性、模型鲁棒性和性能优越性等优点，因此越来越受到关注。

3、多模态情感分析基本上遵循特征提取、特征融合和特征到情感映射的流程。目前多模态情感分析面临的主要挑战是如何提取每个模态的判别性特征并融合多模态表示。相关技术中，msa方法主要集中在设计复杂的融合机制，以整合多个模态的分别提取的特征。早期融合技术基本上是无模型的，包括特征级（早期）融合、决策级（晚期）融合和混合融合。尽管这些方法很容易理解，但它们无法很好地建模多模态特征的交互作用。

4、近年来，出现了基于模型的融合技术，主要分为以下几种类型：

5、（1）张量级多模态特征融合，该方法主要使用向量外积，例如循环神经网络（rnn）和长短期记忆网络（lstm），来融合提取的特征，具体的，张量融合模型（tfn）使用三重笛卡尔积来融合多模态特征；记忆融合网络（mfn）使用lstm提取单模态特征，并使用delta记忆注意力网络和多视角门记忆进行模态交互；低秩多模态融合方法使用模态特定的低秩因子进行多模态融合，加快了融合过程。（2）单词级多模态特征融合，该方法需要使用强制对齐进行语音和音频之间的单词对齐，以获取单词级特征，具体的，递归关注变异嵌入网络（raven）使用注意力门控模块将单词级特征融合，动态利用非语言特征来偏移单词嵌入；在bert中引入了多模态适应门，使用偏移后的单词级特征替代原始单词嵌入。相关技术提出的msa方法中，不同模态的特征通常是独立提取的，忽视了单模态情感可能受到其他模态信息影响的现象。

技术实现思路

1、本发明实施例提供了一种基于情感感知表征解耦与偏移的多模态情感分析方法及产品。

2、本发明实施例第一方面提供了一种基于情感感知表征解耦与偏移的多模态情感分析方法，应用于情感感知表征解耦与偏移系统，所述方法包括：

3、获取多模态特征，所述多模态特征包括：文本模态特征和多个非文本模态特征；

4、通过交互式情感感知的表征解耦模块，分别以每个非文本模态特征为输入，以文本模态特征和其他非文本模态特征为引导，进行情感极性分析，得到每个非文本模态特征对应的情感极性表示，以每个非文本模态特征为输入，以文本模态特征、其他非文本模态特征以及每个非文本模态特征对应的情感极性表示为引导，进行情感分析，得到每个非文本模态特征对应的情感表示；

5、通过注意力跨模态表示偏移解耦模块，将多个非文本模态特征对应的情感表示均投影到文本表示空间，根据多个非文本模态特征各自对应的偏移缩放因子、投影后的非文本模态特征对应的情感表示和文本模态特征，得到情感偏移文本向量；

6、将情感偏移文本向量输入微调后的预训练语言模型，得到情感分类结果。

7、可选地，所述交互式情感感知的表征解耦模块包括：粗粒度交叉注意力自编码器和细粒度交叉注意力自编码器，粗粒度交叉注意力自编码器用于进行情感极性分析，细粒度交叉注意力自编码器进行情感分析；

8、粗粒度交叉注意力自编码器包括：粗粒度情感极性编码器、粗粒度非情感极性编码器以及粗粒度情感极性解码器，

9、粗粒度情感极性编码器以每个非文本模态特征、文本模态特征和其他非文本模态特征为输入，以每个非文本模态特征对应的情感极性表示为输出；

10、粗粒度非情感极性编码器以每个非文本模态特征为输入，以每个非文本模态特征对应的非情感极性表示为输出；

11、粗粒度情感极性解码器以粗粒度情感极性编码器的输出、粗粒度非情感极性编码器的输出、文本模态特征和其他非文本模态特征为输入，以重建的粗粒度非文本模态特征为输出。

12、可选地，所述细粒度交叉注意力自编码器包括：细粒度情感编码器、细粒度非情感编码器以及细粒度情感解码器，

13、细粒度情感编码器以每个非文本模态特征、文本模态特征、其他非文本模态特征和每个非文本模态特征对应的情感极性表示为输入，以每个非文本模态特征对应的情感表示为输出；

14、细粒度非情感编码器以每个非文本模态特征和所述每个非文本模态特征对应的情感极性表示为输入，以每个非文本模态特征对应的非情感表示为输出；

15、细粒度情感解码器以细粒度情感编码器的输出、细粒度非情感编码器的输出、文本模态特征和其他非文本模态特征为输入，以重建的细粒度非文本模态特征为输出。

16、可选地，所述粗粒度交叉注意力自编码器和细粒度交叉注意力自编码器的重构损失为：

17、；

18、其中，表示一批样本，表示粗粒度交叉注意力自编码器的重构损失，表示细粒度交叉注意力自编码器的重构损失；表示第 i个样本的非文本模态特征，表示第i个样本的重建的粗粒度非文本模态特征，表示第 i个样本的重建的细粒度非文本模态特征；

19、 ,；

20、其中，是粗粒度情感极性解码器，是细粒度情感解码器；

21、；

22、；

23、是每个非文本模态特征对应的情感极性表示，是每个非文本模态特征对应的非情感极性表示；

24、是每个非文本模态特征对应的情感表示是每个非文本模态特征对应的非情感表示；是非文本模态特征，是其他非文本模态特征，是粗粒度情感极性编码器，是粗粒度非情感极性编码器，是细粒度情感编码器，是细粒度非情感语义编码器；

25、所述粗粒度交叉注意力自编码器和细粒度交叉注意力自编码器的对比损失为：

26、；

27、 ，

28、；

29、其中，是粗粒度交叉注意力自编码器的对比损失，是细粒度交叉注意力自编码器的对比损失，是中的所有正样本或者所有负样本；包括或者，和通过情感极性进行区分，或者，和通过情感类别进行区分，或者，和通过非文本模态特征进行区分；x取,表示数据集d中第 i个样本得到的，表示中除了第 i个样本以外的其他样本得到的；

30、所述粗粒度交叉注意力自编码器和细粒度交叉注意力自编码器的正交损失为：

31、；

32、其中，是粗粒度交叉注意力自编码器的正交损失，是细粒度交叉注意力自编码器的正交损失，分别是第 i个样本得到的非文本模态特征对应的情感极性表示和非情感极性表示，分别是第 i个样本得到的非文本模态特征对应的情感表示和非情感表示。

33、可选地，所述注意力跨模态表示偏移解耦模块包括投影模块和偏移模块，所述投影模块，将多个非文本模态特征对应的情感表示均投影到文本表示空间，所述偏移模块基于多个非文本模态特征各自对应的偏移缩放因子控制情感偏移文本向量的偏移程度，所述偏移缩放因子为：

34、；

35、其中，表示第 m个非文本模态特征对应的偏移缩放因子，，表示投影后的非文本模态特征对应的情感表示，是一个超参数。

36、可选地，所述预训练语言模型的损失函数为：

37、或；

38、；是第 i个样本的情感真实值，是第 i个样本的情感预测值，是预训练语言模型；为情感种类数，为二值指示函数，表示基于第 i个样本得到的情感偏移文本向量。

39、可选地，所述情感感知表征解耦与偏移系统是基于以下步骤训练得到的：

40、获取预训练语言模型，冻结预训练的语言模型的参数；

41、使用多模态分析数据集，使用基于第一平衡系数的训练所述情感感知表征解耦与偏移系统，更新交互式情感感知的表征解耦模块和注意力跨模态表示偏移解耦模块的各个参数；

42、使用情感分类数据集，使用基于第二平衡系数的更新投影模块和预训练语言模型的各个参数；

43、；表示第一平衡系数或者第二平衡系数。

44、本发明实施例第二方面提供了一种基于情感感知表征解耦与偏移的多模态情感分析装置，应用于情感感知表征解耦与偏移系统，所述装置包括：

45、获取模块，用于获取多模态特征，所述多模态特征包括：文本模态特征和多个非文本模态特征；

46、表示模块，用于通过交互式情感感知的表征解耦模块，分别以每个非文本模态特征为输入，以文本模态特征和其他非文本模态特征为引导，进行情感极性分析，得到每个非文本模态特征对应的情感极性表示，以每个非文本模态特征为输入，以文本模态特征、其他非文本模态特征以及每个非文本模态特征对应的情感极性表示为引导，进行情感分析，得到每个非文本模态特征对应的情感表示；

47、情感偏移文本向量确定模块，用于通过注意力跨模态表示偏移解耦模块，将多个非文本模态特征对应的情感表示均投影到文本表示空间，根据多个非文本模态特征各自对应的偏移缩放因子、投影后的非文本模态特征对应的情感表示和文本模态特征，得到情感偏移文本向量；

48、分类模块，用于将情感偏移文本向量输入微调后的预训练语言模型，得到情感分类结果。

49、本发明实施例第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如本发明第一方面所述的基于情感感知表征解耦与偏移的多模态情感分析方法。

50、本发明实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面所述的基于情感感知表征解耦与偏移的多模态情感分析方法。

51、本发明实施例第五方面提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器实现如本发明第一方面所述的基于情感感知表征解耦与偏移的多模态情感分析方法中的步骤。

52、本发明实施例中，在得到每个非文本模态特征对应的情感表示的过程中，考虑了不同模态的信息，具体而言，通过交互式情感感知的表征解耦模块，在多种模态的信息的交互和相互影响下提取了特定的情感表示，并且去除了每个非文本模态特征中与情感无关的冗余特征，使用解耦的每个非文本模态特征对应的情感表示来偏移原始的文本模态特征，使得大量冗余和不相关的信息不会偏移到文本模态特征中；偏移操作不会破坏原始的文本模态特征，降低了下游预训练语言模型微调的难度。

53、此外，在本发明实施例中，基于多模态特征对应的数据的情感标签即可得到情感分类标签和情感极性标签，基于这两种标签即可训练得到情感感知表征解耦与偏移系统，无需对单模态特征进行标签标注。