绘画图像生成方法、装置、电子设备及存储介质与流程

本发明涉及人工智能，尤其涉及一种绘画图像生成方法、装置、电子设备及存储介质。

背景技术：

1、相关技术可知，业界利用扩散模型（又称diffusion模型）作为绘画图像生成的主要工具。相比于其他生成模型，diffusion模型拥有多轮迭代，逐步去噪的特点，因此生成的绘画图像具有更高的水准。

2、然而，在对生成的绘画图像的内容控制方面，需要借助辅助神经网络模型整合到diffusion模型中来实现。由于在生成绘画图像的过程中需要引入其他的辅助神经网络模型，这将增大显存以及图形处理器运行负载，提高了绘画图像的生成成本。

技术实现思路

1、本发明提供一种绘画图像生成方法、装置、电子设备及存储介质，实现了在无需额外引入其他的辅助神经网络模型的情况下，可以自动得到具有特征控制图像的图像特征的待生成绘画图像，从而可以减少显存以及图形处理器运行负载，降低了绘画图像的生成成本。

2、本发明提供一种绘画图像生成方法，所述方法包括：获取文本信息以及特征控制图像，其中，所述文本信息为描述待生成绘画图像的图像画面的文本，所述待生成绘画图像具有所述特征控制图像的图像特征；基于所述文本信息，得到与所述文本信息对应的文本编码；基于所述文本编码，对扩散模型在多轮次迭代推理过程中各轮次推理得到的图像编码进行干预，得到各轮次推理的基础图像编码；基于所述特征控制图像，得到与所述特征控制图像对应的特征控制图像编码；基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，以得到所述待生成绘画图像。

3、根据本发明提供的一种绘画图像生成方法，所述基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，具体包括：在所述目标轮次推理在参考轮次推理之前的情况下，基于所述特征控制图像编码，按照第一预设替换率对所述基础图像编码进行全面替换并干预，直至推理过程结束，其中，所述第一预设替换率大于或等于替换率阈值；在所述参考轮次推理之前得到的所述基础图像编码的高斯噪声大于或等于噪声阈值。

4、根据本发明提供的一种绘画图像生成方法，所述基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，具体包括：在所述目标轮次推理在参考轮次推理之后的情况下，基于所述特征控制图像编码，按照第二预设替换率对与激活区域对应的所述基础图像编码进行局部替换并干预，直至推理过程结束，其中，所述第二预设替换率小于替换率阈值；所述激活区域为根据所述特征控制图像的图像特征确定的所述待生成绘画图像中需要进行干预的干预区域；在所述参考轮次推理之后得到的所述基础图像编码的高斯噪声小于噪声阈值。

5、根据本发明提供的一种绘画图像生成方法，所述特征控制图像包括两个或两个以上，对应的所述特征控制图像编码包括两个或两个以上；所述基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，具体包括：分别确定每一所述特征控制图像编码的替换权重值；按照所述替换权重值，基于所述特征控制图像编码对目标轮次推理的所述基础图像编码进行替换并干预直至推理过程结束。

6、根据本发明提供的一种绘画图像生成方法，所述基于所述特征控制图像编码对目标轮次推理的所述基础图像编码进行替换并干预直至推理过程结束，具体包括：将所述特征控制图像编码进行多轮次迭代加噪至所述目标轮次推理所对应的轮次，得到加噪后特征控制图像编码；基于所述加噪后特征控制图像编码，对目标轮次推理的所述基础图像编码进行替换并干预直至推理过程结束。

7、根据本发明提供的一种绘画图像生成方法，在所述扩散模型为由深度信息到图像的扩散模型的情况下，所述基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，具体包括：基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码的目标通道进行干预直至推理过程结束，其中，所述目标通道为与深度信息对应通道之外的其他通道，所述深度信息为与所述基础图像编码对应的图像深度信息。

8、根据本发明提供的一种绘画图像生成方法，所述特征控制图像包括具有预设深度图像特征的特征控制图像、具有预设边缘结构图像特征的特征控制图像以及具有预设位姿图像特征的特征控制图像中的一种或几种。

9、本发明还提供一种绘画图像生成装置，所述装置包括：获取模块，用于获取文本信息以及特征控制图像，其中，所述文本信息为描述待生成绘画图像的图像画面的文本，所述待生成绘画图像具有所述特征控制图像的图像特征；文本编码模块，用于基于所述文本信息，得到与所述文本信息对应的文本编码；干预模块，用于基于所述文本编码，对扩散模型在多轮次迭代推理过程中各轮次推理得到的图像编码进行干预，得到各轮次推理的基础图像编码；图像编码模块，用于基于所述特征控制图像，得到与所述特征控制图像对应的特征控制图像编码；生成模块，用于基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，以得到所述待生成绘画图像。

10、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的绘画图像生成方法。

11、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的绘画图像生成方法。

12、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的绘画图像生成方法。

13、本发明提供一种绘画图像生成方法、装置、电子设备及存储介质，获取文本信息以及特征控制图像，基于与文本信息对应的文本编码，对扩散模型在多轮次迭代推理过程中各轮次推理得到的图像编码进行干预，以得到各轮次推理的基础图像编码，再基于与特征控制图像对应的特征控制图像编码，对目标轮次推理的基础图像编码进行干预直至推理过程结束，从而可以在无需额外引入其他的辅助神经网络模型的情况下，能够自动得到具有特征控制图像的图像特征的待生成绘画图像，进而可以减少显存以及图形处理器运行负载，降低了绘画图像的生成成本。

技术特征：

1.一种绘画图像生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的绘画图像生成方法，其特征在于，所述基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，具体包括：

3.根据权利要求1所述的绘画图像生成方法，其特征在于，所述基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，具体包括：

4.根据权利要求1至3中任意一项所述的绘画图像生成方法，其特征在于，所述特征控制图像包括两个或两个以上，对应的所述特征控制图像编码包括两个或两个以上；

5.根据权利要求4所述的绘画图像生成方法，其特征在于，所述基于所述特征控制图像编码对目标轮次推理的所述基础图像编码进行替换并干预直至推理过程结束，具体包括：

6.根据权利要求1所述的绘画图像生成方法，其特征在于，在所述扩散模型为由深度信息到图像的扩散模型的情况下，所述基于所述特征控制图像编码，对目标轮次推理的所述基础图像编码进行干预直至推理过程结束，具体包括：

7.根据权利要求1所述的绘画图像生成方法，其特征在于，所述特征控制图像包括具有预设深度图像特征的特征控制图像、具有预设边缘结构图像特征的特征控制图像以及具有预设位姿图像特征的特征控制图像中的一种或几种。

8.一种绘画图像生成装置，其特征在于，所述装置包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的绘画图像生成方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的绘画图像生成方法。

技术总结
本发明提供一种绘画图像生成方法、装置、电子设备及存储介质，涉及人工智能技术领域，所述方法包括：获取文本信息以及特征控制图像，其中，文本信息为描述待生成绘画图像的图像画面的文本，待生成绘画图像具有特征控制图像的图像特征；基于文本信息，得到与文本信息对应的文本编码；基于文本编码，对扩散模型在多轮次迭代推理过程中各轮次推理得到的图像编码进行干预，得到各轮次推理的基础图像编码；基于特征控制图像，得到与特征控制图像对应的特征控制图像编码；基于特征控制图像编码，对目标轮次推理的基础图像编码进行干预直至推理过程结束，以得到待生成绘画图像。实现了减少显存以及图形处理器运行负载，降低了绘画图像的生成成本。

技术研发人员：陈煌榕,门征,徐元春
受保护的技术使用者：北京红棉小冰科技有限公司
技术研发日：
技术公布日：2024/1/15