图文情感分析方法

本申请涉及图文情感分析的，具体涉及一种图文情感分析方法。

背景技术：

1、方面级情感分类（aspect-based sentiment analysis, absa）是一种细粒度情感分类任务，旨在判断给定文本中特定方面的情感极性，一直以来受到学术界的广泛关注。虽然目前这一类方法在纯文本的数据上已经能取得了卓越的效果，但是随着互联网和社交平台的发展，人们的情感表达更加多元化，各种各样的多模态评论/帖子（多模态数据）层出不穷，如图文结合或同时包括图片和文字的评论等，此时，传统的基于文本的方面级情感分类无法结合图片进行更准确的情感分析。

技术实现思路

1、本申请的目的在于克服现有技术中的缺点与不足，提供一种图文情感分析方法，可以提高图文情感分析的准确性。

2、本申请的第一实施例提供了一种图文情感分析方法，包括：

3、获取初始情感分析模型以及所述图文训练样本；所述图文训练样本包括句子训练样本、方面词训练样本和图像训练样本；

4、对所述句子训练样本、所述方面词训练样本和所述图像训练样本分别进行编码和特征提取，得到句子特征表示、方面词特征表示、第一图像表示和实体名词特征表示；其中，所述方面词特征表示的首个位置令牌的表示为方面词全局表示；

5、根据所述方面词全局表示和所述实体名词特征表示，获取名词与方面词训练样本的反向注意力权重、实体名词的正向注意力表示和实体名词的反向注意力表示；

6、根据所述方面词全局表示、所述正向注意力表示和所述反向注意力表示，构建对比内容溯源损失函数；

7、根据所述正向注意力表示及其对应的名词，所述反向注意力表示及其对应的名词，构建对比内容交换损失函数；

8、根据所述实体名词特征表示和所述第一图像表示，得到各个实体名词感知的第二图像表示；

9、根据所述反向注意力权重和所述第二图像表示对所述第一图像表示进行过滤，得到目标图像表示；

10、根据所述方面词特征表示、所述句子特征表示和所述目标图像表示，得到训练样本的目标多模态融合全局表示；

11、将所述目标多模态融合全局表示的输入至分类器，得到所述训练样本的情感分析结果；

12、根据所述情感分析结果构建情感损失函数，根据所述情感损失函数、所述对比内容溯源损失函数和所述对比内容交换损失函数构建训练约束函数；

13、根据所述训练约束函数训练所述初始情感分析模型，得到图文情感分析模型；

14、将包含句子、方面词和图像的待分析图文数据输入至所述图文情感分析模型，得到所述待分析图文数据的情感分析结果。

15、相对于相关技术，本申请根据方面词训练样本的方面词全局表示、图像训练样本、名词与方面词训练样本的反向注意力权重、实体名词的正向注意力表示和实体名词的反向注意力表示构建对比内容溯源损失函数，根据正向注意力表示及其对应的名词、反向注意力表示及其对应的名词构建对比内容交换损失函数，以及根据训练样本的情感分析结果构建情感损失函数，然后根据对比内容溯源损失函数、对比内容交换损失函数和情感损失函数构建训练约束函数训练初始情感分析模型，得到图文情感分析模型，再将包含句子、方面词和图像的待分析图文数据输入至所述图文情感分析模型，可以准确得到待分析图文数据的情感分析结果。

16、为了能更清晰的理解本申请，以下将结合附图说明阐述本申请的具体实施方式。

技术特征：

1.一种图文情感分析方法，其特征在于，包括：

2.根据权利要求1所述的图文情感分析方法，其特征在于，所述根据所述方面词特征表示、所述句子特征表示和所述目标图像表示，得到训练样本的目标多模态融合全局表示的步骤，包括：

3.根据权利要求2所述的图文情感分析方法，其特征在于，所述根据所述方面词特征表示和所述句子特征表示，获取目标方面感知文本表示的步骤，包括：

4.根据权利要求2所述的图文情感分析方法，其特征在于，所述根据所述目标方面感知文本表示和所述目标方面感知图像表示，获取方面感知图像的第一跨模态输出和方面感觉文本的第二跨模态输出的步骤，包括：

5.根据权利要求2所述的图文情感分析方法，其特征在于，所述根据所述第一跨模态输出和所述第一自注意力输出，获得多模态融合图像表示的步骤，包括：

6.根据权利要求1所述的图文情感分析方法，其特征在于，所述根据所述方面词全局表示和所述实体名词特征表示，获取名词与方面词训练样本的反向注意力权重、实体名词的正向注意力表示和实体名词的反向注意力表示的步骤，包括：

7.根据权利要求6所述的图文情感分析方法，其特征在于，所述根据所述方面词全局表示和所述实体名词特征表示，获取各个名词与方面词训练样本的过渡注意力分数的步骤，包括：

8.根据权利要求6所述的图文情感分析方法，其特征在于，所述根据各个所述过渡注意力分数和所有所述过渡注意力分数，获取各个名词与方面词训练样本的正向注意力权重和反向注意力权重的步骤，包括：

9.根据权利要求6所述的图文情感分析方法，其特征在于，所述根据名词的所述实体名词特征表示，以及该名词与方面词训练样本的所述正向注意力权重，获得该名词与方面词训练样本的正向注意力表示的步骤，包括：

10.根据权利要求6所述的图文情感分析方法，其特征在于，所述根据名词的所述实体名词特征表示，以及该名词与方面词训练样本的所述反向注意力权重，获得该名词与方面词训练样本的反向注意力表示的步骤，包括：

技术总结
本申请提供一种图文情感分析方法，包括：根据方面词训练样本的方面词全局表示、图像训练样本、名词与方面词训练样本的反向注意力权重、实体名词的正向注意力表示和实体名词的反向注意力表示构建对比内容溯源损失函数，根据正向注意力表示及其对应的名词、反向注意力表示及其对应的名词构建对比内容交换损失函数，以及根据训练样本的情感分析结果构建情感损失函数，然后根据对比内容溯源损失函数、对比内容交换损失函数和情感损失函数构建训练约束函数训练初始情感分析模型，得到图文情感分析模型，再将包含句子、方面词和图像的待分析图文数据输入至图文情感分析模型，可以准确得到待分析图文数据的情感分析结果。

技术研发人员：陈一帆,薛云,熊浩良
受保护的技术使用者：华南师范大学
技术研发日：
技术公布日：2024/2/19