情感识别与情感图像生成方法及装置

本申请涉及情感人工智能，尤其是情感识别与情感图像生成方法及装置。

背景技术：

1、目前，情感识别任务和情感图像生成任务通常被视为两个相互独立的任务，每个任务的实现往往依赖于独立的模型。然而，此方式不仅忽视了情感识别任务和情感图像生成任务之间的内在关联性，无法充分发挥两者协同作用的潜力，还限制了模型在情感识别任务和情感图像生成任务之间的信息共享和协同优化。此外，有一些方法尝试探索情感识别任务和情感图像生成任务之间的相关性，但是这些方法往往仅使用一者的知识信息来辅助识别另一者，目前鲜少有针对情感识别任务和情感图像生成任务进行联合训练和同步处理的方式。

技术实现思路

1、本申请实施例提供了情感识别与情感图像生成方法及装置，用于实现对情感识别任务和情感图像生成任务的联合训练和同步处理。

2、一方面，本申请实施例提供了情感识别与情感图像生成方法，包括以下步骤：

3、获取样本场景查询标识、样本物体查询标识和样本图像集；其中，所述样本场景查询标识用于指示所有所述样本图像的场景特征，所述样本物体查询标识用于指示所有所述样本图像的物体特征，所述样本图像集包括若干个样本图像和各所述样本图像对应的情感标签；

4、根据所述样本场景查询标识、所述样本物体查询标识和所述样本图像集进行模型训练，得到目标场景查询标识、目标物体查询标识和联立处理模型；其中，所述目标场景查询标识用于引导所述联立处理模型识别待测图像的场景特征，所述目标物体查询标识用于引导所述联立处理模型识别所述待测图像的物体特征；

5、根据所述目标场景查询标识、所述目标物体查询标识和所述联立处理模型对所述待测图像进行情感识别和情感图像生成，得到所述待测图像的情感类型和若干个与所述待测图像的情感类型相关联的情感图像。

6、另一方面，本申请实施例提供了情感识别与情感图像生成装置，包括：

7、获取模块，用于获取样本场景查询标识、样本物体查询标识和样本图像集；其中，所述样本场景查询标识用于指示所有所述样本图像的场景特征，所述样本物体查询标识用于指示所有所述样本图像的物体特征，所述样本图像集包括若干个样本图像和各所述样本图像对应的情感标签；

8、训练模块，用于根据所述样本场景查询标识、所述样本物体查询标识和所述样本图像集进行模型训练，得到目标场景查询标识、目标物体查询标识和联立处理模型；其中，所述目标场景查询标识用于引导所述联立处理模型识别待测图像的场景特征，所述目标物体查询标识用于引导所述联立处理模型识别所述待测图像的物体特征；

9、双任务处理模块，用于根据所述目标场景查询标识、所述目标物体查询标识和所述联立处理模型对所述待测图像进行情感识别和情感图像生成，得到所述待测图像的情感类型和若干个与所述待测图像的情感类型相关联的情感图像。

10、本申请的有益效果是：提供情感识别与情感图像生成方法及装置，首先，获取样本场景查询标识、样本物体查询标识和样本图像集；其中，样本场景查询标识用于指示所有样本图像的场景特征，样本物体查询标识用于指示所有样本图像的物体特征，样本图像集包括若干个样本图像和各样本图像对应的情感标签；然后，根据样本场景查询标识、样本物体查询标识和样本图像集进行模型训练，得到目标场景查询标识、目标物体查询标识和联立处理模型；其中，目标场景查询标识用于引导联立处理模型识别待测图像的场景特征，目标物体查询标识用于引导联立处理模型识别待测图像的物体特征；最后，根据目标场景查询标识、目标物体查询标识和联立处理模型对待测图像进行情感识别和情感图像生成，得到待测图像的情感类型和若干个与待测图像的情感类型相关联的情感图像。本申请能够实现对情感识别任务和情感图像生成任务的联合训练和同步处理，提高情感识别的精度和效率以及情感图像生成的精度和效率。

11、本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种情感识别与情感图像生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的情感识别与情感图像生成方法，其特征在于，所述联立处理模型包括：

3.根据权利要求2所述的情感识别与情感图像生成方法，其特征在于，所述目标情感识别模型包括：

4.根据权利要求2所述的情感识别与情感图像生成方法，其特征在于，所述目标扩散模型包括：

5.根据权利要求4所述的情感识别与情感图像生成方法，其特征在于，所述根据所述目标场景中间标识、所述目标物体中间标识和所述目标类别中间标识，得到待测扩散条件，包括：

6.根据权利要求1所述的情感识别与情感图像生成方法，其特征在于，所述根据所述样本场景查询标识、所述样本物体查询标识和所述样本图像集进行模型训练，得到目标场景查询标识、目标物体查询标识和联立处理模型，包括：

7.根据权利要求6所述的情感识别与情感图像生成方法，其特征在于，所述根据所述样本场景查询标识、所述样本物体查询标识和所述样本图像集对预设的神经网络模型进行第一阶段的训练，得到原始情感识别模型、预训练场景查询标识和预训练物体查询标识，包括：

8.根据权利要求6所述的情感识别与情感图像生成方法，其特征在于，所述根据所述预训练场景查询标识、所述预训练物体查询标识和所述样本图像集对所述原始处理模型进行第二阶段的训练，得到所述目标场景查询标识、所述目标物体查询标识和所述联立处理模型，包括：

9.根据权利要求8所述的情感识别与情感图像生成方法，其特征在于，所述对第k’+1批次的样本图像子集进行扩增处理，得到第k’+1批次的扩增图像集合，包括：

10.一种情感识别与情感图像生成装置，其特征在于，包括：

技术总结
本申请公开了情感识别与情感图像生成方法及装置，应用于情感人工智能技术领域，方法包括：获取样本场景查询标识、样本物体查询标识和样本图像集；根据样本场景查询标识、样本物体查询标识和样本图像集进行模型训练，得到目标场景查询标识、目标物体查询标识和联立处理模型，目标场景查询标识引导联立处理模型识别待测图像的场景特征，目标物体查询标识引导联立处理模型识别待测图像的物体特征；根据目标场景查询标识、目标物体查询标识和联立处理模型对待测图像进行情感识别和情感图像生成，得到待测图像的情感类型和若干个与待测图像的情感类型相关联的情感图像。本申请能够实现情感识别任务和情感图像生成任务的联立训练和同步处理。

技术研发人员：余梓彤,朱翌杰,张铃森,邵睿,余梓荣,聂礼强
受保护的技术使用者：大湾区大学（筹）
技术研发日：
技术公布日：2025/4/10