图像生成模型的训练、图像生成方法、装置、设备和介质与流程

本公开涉及计算，尤其涉及一种图像生成模型的训练、图像生成方法、装置、设备和介质。

背景技术：

1、图像生成领域中，一般可以利用图像描述(也可以称为文本提示即prompt)来指导图像的生成。具体的，根据图像描述，通过基于内容生成技术的图像生成模型，得到前述图像描述相应的图像。

2、在上述过程中，为了保证所生成图像的质量，需要所利用的图像生成模型具有更好的图像生成能力，那么，如何提供一种训练得到具有更好的图像生成能力的图像生成模型成为亟待解决的问题。

技术实现思路

1、本公开一个或多个实施例提供了一种图像生成模型的训练方法、装置、设备和介质、以及图像生成方法、装置、设备和介质，以实现训练得到具有更好的图像生成能力的图像生成模型。

2、根据第一方面，提供一种图像生成模型的训练方法，包括：

3、获取第一图像描述及其对应的第一样本图像；

4、利用所述第一图像描述，通过第一图像生成模型，得到第一生成图像；

5、利用所述第一生成图像和所述第一图像描述，通过目标奖励模型，得到预测权重值，所述预测权重值与所述第一生成图像的图像质量正相关，和/或，与所述第一图像描述和所述第一生成图像之间的匹配度正相关；

6、基于所述第一生成图像与所述第一样本图像之间的差异以及所述预测权重值，调整所述第一图像生成模型的参数。

7、在一种可选实施方式中，所述调整所述第一图像生成模型的参数，包括：利用预设损失函数，根据所述第一生成图像与所述第一样本图像之间的差异，确定中间预测损失；基于所述中间预测损失与所述预测权重值的乘积，确定第一预测损失；以最小化所述第一预测损失为目标，调整所述第一图像生成模型的参数。本实施方式中，基于中间预测损失与预测权重值的乘积确定第一预测损失，可以使得在训练第一图像生成模型的过程中，更侧重利用所对应预测权重值更高的图文对来确定第一预测损失，即更侧重利用质量好的图文对来训练第一图像生成模型，以实现更好的提高第一图像生成模型的图像生成能力，保证其图像生成能力的稳定性。

8、在一种可选实施方式中，还包括：利用第一图像描述输，通过预训练过的第二图像生成模型，得到第二生成图像；所述调整所述第一图像生成模型的参数，包括：基于所述第一生成图像与所述第一样本图像之间的差异、所述预测权重值以及所述第一生成图像与所述第二生成图像之间的差异，调整所述第一图像生成模型的所述参数。本实施方式中，结合第一生成图像与第二图像生成模型所生成的第二生成图像之间的差异，来调整第一图像生成模型的参数，可以实现在提高第一图像生成模型的图像生成能力的同时，避免第一图像生成模型所生成的图像偏离第二图像生成模型所生成的图像过多，以避免出现第一图像生成模型生成混乱的图像(与所输入的图像描述不匹配的图像)来欺骗目标奖励模型，致使目标奖励模型对第一图像生成模型生成混乱的图像输出数值较高的预测权重值的情况的发生。

9、在一种可选实施方式中，所述调整所述第一图像生成模型的所述参数，包括：基于所述第一生成图像与所述第二生成图像之间的差异，确定所述第一生成图像与所述第二生成图像之间的图像差异值；基于所述第一生成图像与所述第一样本图像之间的差异、所述预测权重值以及所述图像差异值，确定第一预测损失；以最小化所述第一预测损失为目标，调整所述第一图像生成模型的参数本实施方式中，利用第一生成图像和第二生成图像之间的图像差异值，来惩罚第一图像生成模型所生成的图像偏离第二图像生成模型所生成的图像太远的情况，其中，图像差异值越大惩罚越大，以避免出现第一图像生成模型生成混乱的图像来欺骗目标奖励模型，致使目标奖励模型对第一图像生成模型生成混乱的图像输出数值较高的预测权重值的情况的发生。

10、在一种可选实施方式中，所述确定所述第一生成图像与所述第二生成图像之间的图像差异值，包括：利用预设散度算法，基于所述第一生成图像和所述第二生成图像之间的差异，确定散度值；基于所述散度值，确定所述图像差异值。本实施方式中，利用预设散度算法，可以更准确地确定出第一生成图像和第二生成图像之间的图像差异，进而可以更好的避免出现第一图像生成模型生成混乱的图像来欺骗目标奖励模型，致使目标奖励模型对第一图像生成模型生成混乱的图像输出数值较高的预测权重值的情况的发生。

11、在一种可选实施方式中，所述第一样本图像为利用所述第二图像生成模型，根据所述第一图像描述而生成的图像。本实施方式中，利用第二图像生成模型，根据第一图像描述而生成的图像及相应的第一图像描述所构成的图文对的质量相对更好，利用该类图文对训练第一图像生成模型，有助于训练得到可以生成质量更好的图像的第一图像生成模型。

12、在一种可选实施方式中，还包括：获取第二图像描述及其对应的第二样本图像；利用所述第二图像描述，通过所述第一图像生成模型，得到第三生成图像；利用所述第二样本图像与所述第三生成图像之间的差异，确定第二预测损失；所述以最小化所述第一预测损失为目标，调整所述第一图像生成模型的参数，包括：以最小化所述第一预测损失和所述第二预测损失为目标，调整所述第一图像生成模型的参数。本实施方式中，在训练第一图像生成模型的过程中，还增加真实图像及其对应的图像描述对第一图像生成模型进行训练，增加了训练第一图像生成模型的数据的多样性，更好的提高了第一图像生成模型的图像生成能力。

13、在一种可选实施方式中，还包括：获取所述第三图像描述以及所述第三样本图像；获取与所述第三图像描述及所述第三样本图像相对应的所述标签权重值，所述标签权重值与所述第三样本图像的图像质量正相关，和/或，与所述第三图像描述以及所述第三样本图像之间的匹配度正相关；利用所述第三图像描述及所述第三样本图像，通过待训练的奖励模型，得到评估权重值；利用所述评估权重值和所述标签权重值，确定第三预测损失；以最小化所述第三预测损失为目标，调整所述待训练的奖励模型，以得到达到第一收敛条件的目标奖励模型。本实施方式中，利用第三图像描述及第三样本图像，以及与其两者相对应的标签权重值，训练待训练的奖励模型，以得到达到第一收敛条件的目标奖励模型，可以实现对待训练的奖励模型的确定结果的监督训练，保持其准确性，提高了待训练的奖励模型的确定结果的准确性。

14、在一种可选实施方式中，所述标签权重值基于如下至少一个信息确定：所述第三样本图像的清晰度分值、所述第三样本图像的美学分值以及所述第三样本图像与所述第三图像描述之间的匹配度值。本实施方式中，通过若干可以表征图像的质量和/或图像及其图像描述的质量和匹配度的信息，来确定标签权重值，在一定程度上，可以使得该标签权重值可以更好的表征出人类对相应图像及其图像描述的质量评价，进而提高目标奖励模型所输出的预测权重值的准确性，使得预测权重值更适配人类反馈。

15、根据第二方面，提供一种图像生成方法，包括：

16、获取待处理图像描述；

17、利用所述待处理图像描述，通过利用第一方面所述的图像生成模型的训练方法训练所得的图像生成模型，得到目标图像。

18、根据第三方面，提供一种图像生成模型的训练装置，包括：

19、第一获取模块，配置为获取第一图像描述及其对应的第一样本图像；

20、第一得到模块，配置为利用所述第一图像描述，通过第一图像生成模型，得到第一生成图像；

21、第二得到模块，配置为利用所述第一生成图像和所述第一图像描述，通过目标奖励模型，得到预测权重值，所述预测权重值与所述第一生成图像的图像质量正相关，和/或，与所述第一图像描述和所述第一生成图像之间的匹配度正相关；

22、第一调整模块，配置为基于所述第一生成图像与所述第一样本图像之间的差异以及所述预测权重值，调整所述第一图像生成模型的参数。

23、根据第四方面，提供一种图像生成装置，包括：

24、第二获取模块，配置为获取待处理图像描述；

25、第三得到模块，配置为利用所述待处理图像描述，通过利用第三方面所述的图像生成模型的训练装置训练所得的图像生成模型，得到目标图像。

26、根据第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面所述的方法。

27、根据第六方面，提供一种电子设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面所述的方法。

28、根据本公开实施例提供的图像生成模型的训练、图像生成方法、装置、设备和介质，获取到第一图像描述及其对应的第一样本图像之后，利用第一图像描述，通过第一图像生成模型，得到第一生成图像，之后利用第一生成图像和第一图像描述，通过目标奖励模型，得到预测权重值，该预测权重值与第一生成图像的图像质量正相关，和/或，与第一图像描述和第一生成图像之间的匹配度正相关，相应的，该预测权重值可以表征出第一生成图像的图像质量好坏、和/或第一生成图像与第一图像描述之间的匹配度即关联性的强弱，接着基于第一生成图像与第一样本图像之间的差异以及该预测权重值，调整第一图像生成模型的参数，以实现结合第一生成图像与第一样本图像之间的差异，以及可以表征出第一生成图像的图像质量好坏、和/或第一生成图像与第一图像描述之间的匹配度即关联性强弱的预测权重值，共同训练第一图像生成模型，使得在训练过程中，更好更及时地引入人类的反馈信息，训练所得的图像生成模型具有更好的图像生成能力。