多模态生成式情感分析模型的鲁棒增强方法及分类方法

本发明涉及自然语言处理，具体涉及一种多模态生成式情感分析模型的鲁棒增强方法及分类方法。

背景技术：

1、社交媒体是用户分享体验和意见的核心平台，提供了丰富的多模态数据，包括文本、图像和视频，为情感分析提供了新机遇。多模态内容的吸引力在于其直观性，例如用户在购买产品之前会先浏览产品评论，图像和视频能更清晰地展示产品特性，对消费者决策有显著影响。

2、多模态情感分析通过综合分析不同模态的数据，全面理解用户情绪，对品牌监控、舆论分析等有重要应用价值。它帮助把握消费者的需求和偏好，优化产品和市场策略。多模态情感分析包含情感分类、反讽识别、时序分析等子任务。其中，情感分类是基础，而多模态目标级情感分类（tmsc）是情感分类的一项细粒度任务，专注于根据多模态内容，对特定目标的情感判断。

3、现有的tmsc研究根据目标类型，以分散的方式从方面级和实体级两个任务开展。这是因为方面本身具有语义，可以作为单独的文本输入，而实体类型的核心是如何借助实体的上下文更好地理解其语义信息。tmsc的研究进展显著，从长短时记忆网络到基于bert的和bart的预训练模型，展现了深度学习和多模态技术的发展。

4、网络语言的自由表达特性和逻辑约束弱的特点对情感分析模型的鲁棒性提出了更高要求。与传统书面语不同，网络语言的灵活性和随意性要求模型能够适应不断变化的语言使用习惯。

5、传统的评估nlp( natural language processing, 自然语言处理)模型鲁棒性的方法包括对抗性攻击和数据分布偏移等方法。然而，对抗性攻击需要人工设计对抗性扰动，数据分布偏移需要收集大量数据以模拟数据分布变化。

6、在多模态目标级情感分类领域，研究者们致力于探索如何有效融合文本和图像特征，以实现情感的准确预测。尽管现有技术已取得进展，但仍面临如何集成处理不同目标类型、如何提升模型对网络语言的鲁棒性等挑战。

7、综上，现有的多模态目标级情感分类方法存在着无法有效地对模型的鲁棒性进行分析的问题。

技术实现思路

1、有鉴于此，有必要提供一种多模态生成式情感分析模型的鲁棒增强方法及分类方法，用以解决现有的多模态目标级情感分类方法存在着无法有效地对模型的鲁棒性进行分析的技术问题。

2、为了解决上述问题，一方面，本发明提供了一种多模态生成式情感分析模型的鲁棒增强方法，包括：

3、获取原始输入集，基于所述原始输入集以及目标蜕变关系，构建新输入集；所述原始输入集中包括文本和图像；

4、将所述原始输入集和所述新输入集分别输入至初始的多模态生成式情感分析模型，得到情感标签；

5、基于所述情感标签从所述原始输入集和所述新输入集中选取符合预期的数据，构建训练集；

6、基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析模型，得到新的多模态生成式情感分析模型。

7、在一种可能的实现方式中，所述目标蜕变关系，包括：

8、句子顺序变动下的一致性目标蜕变关系、关键句重定位下的一致性目标蜕变关系、实体替换下的一致性目标蜕变关系，以及修饰词反转下的不一致性目标蜕变关系。

9、在一种可能的实现方式中，所述初始的多模态生成式情感分析模型为多层注意力网络；基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析模型，得到新的多模态生成式情感分析模型，包括：

10、将所述训练集中的文本输入至任务转述多层感知机，得到新文本集，并对所述新文本集进行特征提取，得到文本特征；

11、对所述训练集中的图像添加连续提示，得到新图像集，并对所述新图像集进行特征提取，得到图像特征；

12、基于所述文本特征、所述图像特征和对应的情感标签训练多层注意力网络，得到新的多模态生成式情感分析模型。

13、在一种可能的实现方式中，基于所述文本特征、所述图像特征和对应的情感标签训练多层注意力网络，得到新的多模态生成式情感分析模型，包括：

14、将所述文本特征和所述图像特征输入至多层注意力网络，以对多层注意力网络进行训练，并在训练过程中，将多层注意力网络输出的文本模态特征和图像模态特征进行交叉注意融合，得到多模态融合特征；

15、基于所述多模态融合特征，确定预测的情感标签与所述文本特征和所述图像特征对应的真实情感标签之间的交叉熵损失；

16、基于所述交叉熵损失，优化训练后的多层注意力网络，得到新的多模态生成式情感分析模型。

17、在一种可能的实现方式中，基于所述多模态融合特征，确定预测的情感标签与所述文本特征和所述图像特征对应的真实情感标签之间的交叉熵损失，包括：

18、将所述多模态融合特征的隐状态输入至转述多层感知机，得到预测分数概率；

19、基于所述预测分数概率，计算得到预测的情感标签与所述文本特征和所述图像特征对应的真实情感标签之间的交叉熵损失。

20、在一种可能的实现方式中，基于所述原始输入集以及目标蜕变关系，构建新输入集，包括：

21、在所述原始输入集为文本的情况下，基于任务描述生成所述原始输入集的种子提示和关键字；

22、从所述种子提示中派生出与任务最相关的转述提示；

23、基于所述转述提示、所述关键字和所述原始输入集，并结合目标蜕变关系，构建新输入集。

24、在一种可能的实现方式中，基于所述原始输入集以及目标蜕变关系，构建新输入集，包括：

25、在所述原始输入集为图像的情况下，将所述原始输入集划分为多个区域，并为每个区域初始化一个向量，得到一系列的连续向量；

26、基于所述连续向量和目标蜕变关系，构建新输入集。

27、在一种可能的实现方式中，基于所述连续向量和目标蜕变关系，构建新输入集，包括：

28、基于所述原始输入集中图像嵌入的初始向量作为连续向量的前缀；

29、基于所述连续向量和所述连续向量的前缀，并结合目标蜕变关系，构建新输入集。

30、另一方面，本发明还提供一种多模态情感分类方法，包括：

31、获取待识别的数据集；

32、将所述待识别的数据集输入至上述任一项所述的多模态生成式情感分析模型的鲁棒增强方法得到的多模态生成式情感分析模型中，得到情感类型。

33、另一方面，本发明还提供一种多模态生成式情感分析模型的鲁棒增强装置，包括：

34、数据获取模块，用于获取原始输入集，基于所述原始输入集以及目标蜕变关系，构建新输入集；所述原始输入集中包括文本和图像；

35、标签提取模块，用于将所述原始输入集和所述新输入集分别输入至初始的多模态生成式情感分析模型，得到情感标签；

36、训练集构建模块，用于基于所述情感标签从所述原始输入集和所述新输入集中选取符合预期的数据，构建训练集；

37、模型训练模块，用于基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析模型，得到新的多模态生成式情感分析模型。

38、采用上述实现方式的有益效果是：本发明提供的多模态生成式情感分析模型的鲁棒增强方法及分类方法，通过获取原始输入集，基于所述原始输入集以及目标蜕变关系，构建新输入集； 将所述原始输入集和所述新输入集分别输入至初始的多模态生成式情感分析模型，得到情感标签；基于所述情感标签从所述原始输入集和所述新输入集中选取符合预期的数据，构建训练集；基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析模型，得到新的多模态生成式情感分析模型。通过蜕变测试，分析模型的鲁棒性，对模型进行了针对性的训练强化，针对网络语言的自由表达的特点，设计了基于属性的目标蜕变关系，应用蜕变测试有效地对模型的鲁棒性进行分析，综合考虑情感文本中的句子位置、实体和修饰词，通过添加数据级变换增强模型训练，而无需额外的人工标注。这种方法不仅提高了模型对网络语言的适应性和稳定性，还为用户提供了更为精确的情感分析工具，具有重要的实际应用价值。