一种图像生成方法、装置、设备及存储介质与流程

本发明涉及计算机视觉，特别涉及一种图像生成方法、装置、设备及存储介质。

背景技术：

1、随着人工智能技术的不断发展，图像生成技术已经取得了长足的进步。但是，如何更精准的实现图像定制化生成，使生成的图像更加符合用户期望是目前亟需解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种图像生成方法、装置、设备及介质，能够实现用户可以根据自己的特定需求自由定制图像。其具体方案如下：

2、第一方面，本申请公开了一种图像生成方法，包括：

3、获取用户输入的条件图像；

4、按照目标图像处理方式对所述条件图像进行图像处理，生成所述条件图像对应的条件特征信息；

5、获取输入数据，将所述输入数据和所述条件特征信息输入扩散模型，并获取所述扩散模型输出的与所述条件图像对应的目标图像。

6、可选的，所述按照目标图像处理方式对所述条件图像进行图像处理，生成所述条件图像对应的条件特征信息，包括：

7、按照目标图像处理方式对所述条件图像进行图像处理；

8、根据图像处理结果得到所述条件图像对应的条件特征信息；所述条件特征信息为语义分割图、边缘信息图或深度图。

9、可选的，所述获取用户输入的条件图像，包括：

10、获取用户输入的手绘简图或参考图，并将所述手绘简图或所述参考图作为所述条件图像。

11、可选的，所述输入数据为输入文本和/或输入图像。

12、可选的，所述将所述输入数据和所述条件特征信息输入扩散模型，并获取所述扩散模型输出的与所述条件图像对应的目标图像之后，还包括：

13、获取针对所述条件特征信息的修改指令，基于条件特征信息所述根据所述修改指令生成新的条件特征信息；

14、将所述输入数据和所述新的条件特征信息输入扩散模型，并获取所述扩散模型输出的新的目标图像。

15、可选的，所述将所述输入数据和所述条件特征信息输入扩散模型，并获取所述扩散模型输出的与所述条件图像对应的目标图像，包括：

16、通过所述扩散模型确定所述条件特征信息对应的梯度信息和曲率信息；

17、根据所述输入数据、所述梯度信息和所述曲率信息，通过所述扩散模型输出的与所述条件图像对应的目标图像。

18、可选的，所述按照目标图像处理方式对所述条件图像进行图像处理，生成所述条件图像对应的条件特征信息，包括：

19、将所述条件图像输入至条件图生成模型，并根据所述条件图生成模型的输出得到所述条件图像对应的条件特征信息；

20、所述条件图生成模型为按照初始化为0的卷积网络、分割模型的浅层和中层网络、初始化为0的卷积网络的顺序构建的。

21、第二方面，本申请公开了一种图像生成装置，包括：

22、条件图像获取模块，用于获取用户输入的条件图像；

23、条件特征信息生成模块，用于按照目标图像处理方式对所述条件图像进行图像处理，生成所述条件图像对应的条件特征信息；

24、图像生成模块，用于获取输入数据，将所述输入数据和所述条件特征信息输入扩散模型，并获取所述扩散模型输出的与所述条件图像对应的目标图像。

25、第三方面，本申请公开了一种电子设备，包括：

26、存储器，用于保存计算机程序；

27、处理器，用于执行所述计算机程序，以实现前述的图像生成方法。

28、第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的图像生成方法。

29、本申请中，获取用户输入的条件图像；按照目标图像处理方式对所述条件图像进行图像处理，生成所述条件图像对应的条件特征信息；获取输入数据，将所述输入数据和所述条件特征信息输入扩散模型，并获取所述扩散模型输出的与所述条件图像对应的目标图像。根据用户输入的条件图像生成对应的条件特征信息，基于条件特征信息结合输入数据生成图像，以便生成的目标图像中具备条件图像的特征，可以在保持图像整体性的同时，对特定区域或特定结构内容进行细致的生成，实现用户可以根据自己的特定需求自由定制图像。

技术特征：

1.一种图像生成方法，其特征在于，包括：

2.根据权利要求1所述的图像生成方法，其特征在于，所述按照目标图像处理方式对所述条件图像进行图像处理，生成所述条件图像对应的条件特征信息，包括：

3.根据权利要求1所述的图像生成方法，其特征在于，所述获取用户输入的条件图像，包括：

4.根据权利要求1所述的图像生成方法，其特征在于，所述输入数据为输入文本和/或输入图像。

5.根据权利要求1所述的图像生成方法，其特征在于，所述将所述输入数据和所述条件特征信息输入扩散模型，并获取所述扩散模型输出的与所述条件图像对应的目标图像之后，还包括：

6.根据权利要求1所述的图像生成方法，其特征在于，所述将所述输入数据和所述条件特征信息输入扩散模型，并获取所述扩散模型输出的与所述条件图像对应的目标图像，包括：

7.根据权利要求1至6任一项所述的图像生成方法，其特征在于，所述按照目标图像处理方式对所述条件图像进行图像处理，生成所述条件图像对应的条件特征信息，包括：

8.一种图像生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像生成方法。

技术总结
本申请公开了一种图像生成方法、装置、设备及存储介质，涉及计算机视觉技术领域。该方法包括：获取用户输入的条件图像；按照目标图像处理方式对所述条件图像进行图像处理，生成所述条件图像对应的条件特征信息；获取输入数据，将所述输入数据和所述条件特征信息输入扩散模型，并获取所述扩散模型输出的与所述条件图像对应的目标图像。根据用户输入的条件图像生成对应的条件特征信息，基于条件特征信息结合输入数据生成图像，以便生成的目标图像中具备条件图像的特征，可以在保持图像整体性的同时，对特定区域或特定结构内容进行细致的生成，实现用户可以根据自己的特定需求自由定制图像。

技术研发人员：张辉,刘思远,甘启,章子维,张璐,陶明
受保护的技术使用者：上海任意门科技有限公司
技术研发日：
技术公布日：2024/1/15