主题导向的多模态数据情感分析方法

本发明涉及机器学习，具体涉及一种主题导向的多模态数据情感分析方法。

背景技术：

1、传统的情感分析方法通常根据先验的知识对文本数据进行情感分析，如情感词典等方法。近年来，随深度学习方法在自然语言处理领域的发展，transformer、lstm等先进神经网络模型被应用于情感分析方法，这些模型通常以带情感标注的文本序列作为输入，以监督学习的方式实现情感的分类预测。

2、然而，随互联网技术的发展，网络社交媒体中的内容逐渐多模态、多形式化，不同模态的数据间存在相互印证、相互补足，使信息更为完整的关系。但是现有的深度学习方法大多仅考虑社交媒体中的文本内容，无法有效利用图片这一常见模态的信息，导致情感分析准确性不足。同时，目前的图文多模态数据融合情感分析领域存在多模态数据融合效果不佳、情感预测准确性不足等问题，难以训练出能够应用于实际任务的深度神经网络模型。

3、总之，现有技术不能对多模态数据进行有效融合，并得到更为准确的情感分析结果。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种主题导向的多模态数据情感分析方法。

2、本发明提供了一种主题导向的多模态数据情感分析方法，用于通过文本信息text和图片信息image预测情感极性yp，具有这样的特征，包括以下步骤：步骤s1，将图片信息image输入预训练视觉骨干模型，再经由卷积层，得到图片特征向量i；步骤s2，将文本信息text输入第一预训练语言模型，再经由卷积层，得到文本特征向量t；步骤s3，将文本信息text输入预训练主题模型，得到文本主题信息topic，再将文本主题信息topic输入第二预训练语言模型，再经由卷积层，得到主题特征向量tt；步骤s4，将图片特征向量i和主题特征向量tt输入第一跨模态transformer模块，得到主题相关的图片信息it；步骤s5，将主题相关的图片信息it和文本特征向量t输入第二跨模态transformer模块，得到双向数据融合结果zt→i；步骤s6，将文本特征向量t和主题相关的图片信息it输入第三跨模态transformer模块，得到双向数据融合结果zi→t；步骤s7，将双向数据融合结果zt→i和双向数据融合结果zi→t经由contact操作进行连接，再输入标准transformer网络，得到图文融合表示z；步骤s8，将图文融合表示z依次经由全连接层和softmax计算，得到情感极性yp，其中，第一跨模态transformer模块、第二跨模态transformer模块和第三跨模态transformer模块均为包括d个跨模态注意力模块的跨模态transformer模块，第一跨模态transformer模块、第二跨模态transformer模块和第三跨模态transformer模块各自参数独立。

3、在本发明提供的主题导向的多模态数据情感分析方法中，还可以具有这样的特征：其中，跨模态transformer模块将型为da行dk列的二维向量a和型为db行dk列的二维向量b作为输入，得到输出za→b的具体过程为：将二维向量a和二维向量b输入第1个跨模态注意力模块，得到第1个跨模态注意力模块的输出将第n-1个跨模态注意力模块的输出和二维向量b输入第n个跨模态注意力模块，得到第n个跨模态注意力模块的输出则第d个跨模态注意力模块的输出为输出za→b，跨模态transformer模块得到输出za→b的计算过程表示为：za→b＝fθ(ln(cmab(ln(a),ln(b))+ln(a)))+cmab(ln(a),ln(b))+ln(a)，式中fθ为前反馈网络计算，ln为层标准化计算，wa、均为可学习参数。

4、在本发明提供的主题导向的多模态数据情感分析方法中，还可以具有这样的特征：其中，在步骤s1中，预训练视觉骨干模型为vit模型，预训练主题模型为bertopic模型，第一预训练语言模型和第二预训练语言模型均为bert模型。

5、在本发明提供的主题导向的多模态数据情感分析方法中，还可以具有这样的特征：其中，在步骤s8中，全连接层的输入大小与图文融合表示z的大小一致，全连接层的输出大小为情感极性yp可以对应的情感极性类别的总数量。

6、在本发明提供的主题导向的多模态数据情感分析方法中，还可以具有这样的特征：其中，通过包括多组训练文本信息text和训练图片信息image以及对应的情感极性标签的训练数据集，对卷积层、第一跨模态transformer模块、第二跨模态transformer模块、第三跨模态transformer模块、标准transformer网络和全连接层进行参数更新具体包括以下步骤：步骤t1，将训练图片信息image输入预训练视觉骨干模型，再经由卷积层，得到训练图片特征向量i；步骤t2，将训练文本信息text输入第一预训练语言模型，再经由卷积层，得到训练文本特征向量t；步骤t3，将训练文本信息text输入预训练主题模型，得到训练文本主题信息topic，再将训练文本主题信息topic输入第二预训练语言模型，再经由卷积层，得到训练主题特征向量tt；步骤t4，将训练图片特征向量i和训练主题特征向量tt输入第一跨模态transformer模块，得到主题相关的训练图片信息it；步骤t5，将主题相关的训练图片信息it和训练文本特征向量t输入第二跨模态transformer模块，得到双向数据融合训练结果zt→i；步骤t6，将训练文本特征向量t和主题相关的训练图片信息it输入第三跨模态transformer模块，得到双向数据融合训练结果zi→t；步骤t7，将双向数据融合训练结果zt→i和双向数据融合训练结果zi→t经由contact操作进行连接，再输入标准transformer网络，得到训练图文融合表示z；步骤t8，将训练图文融合表示z依次经由全连接层和softmax计算，得到预测情感极性；步骤t9，根据预测情感极性和情感极性标签计算交叉熵损失，得到损失结果；步骤t10，根据损失结果，通过梯度下降法对卷积层、第一跨模态transformer模块、第二跨模态transformer模块、第三跨模态transformer模块、标准transformer网络和全连接层的参数进行更新；步骤t11，重复执行步骤t1至步骤t10，直至模型在训练数据集上训练充分，则卷积层、第一跨模态transformer模块、第二跨模态transformer模块、第三跨模态transformer模块、标准transformer网络和全连接层更新完成。

7、在本发明提供的主题导向的多模态数据情感分析方法中，还可以具有这样的特征：其中，在步骤t9中，损失结果的计算公式如下：loss＝-[ylog(yp)+(1-y)log(1-yp)]，式中loss为损失结果，y为情感极性标签，yp为预测情感极性。

8、发明的作用与效果

9、根据本发明所涉及的主题导向的多模态数据情感分析方法，因为通过从文本信息text中提取文本主题信息topic，并使用文本主题信息topic对图片信息image进行过滤，降低了图片中无效信息对图文数据融合及后续情感分析过程的干扰，实现了更好的图文多模态数据融合情感分析效果，并提高了预测的情感极性的准确性。所以，本发明的主题导向的多模态数据情感分析方法能够实现图文多模态数据融合情感分析，并提高情感分析预测结果的准确性。