一种基于多重损失和分辨率的图像转图像的方法与流程

本发明涉及图像处理，具体涉及一种基于多重损失和分辨率的图像转图像的方法。

背景技术：

1、随着互联网的快速发展，内容分享已经成为了当前的一个热点；而在内容分享领域，图像生成是其中非常重要的一项技术。图像生成领域存在大量的子任务，其中由图像生成图像是一个非常有价值的应用问题。由图像生成图像任务又可称为图像转图像，该任务是将输入图像生成另一张图像；常见的应用包括风格迁移、转换等等。

2、对于图像转图像任务，当前主流技术都是采用深度模型；具体而言，可以细分为三个大类：一类是采用对抗生成网络框架，通过使用深度卷积神经网络作为生成器，并搭配相应的判别器网络进行训练；一类是采用变分自编码器模型，通过采用编码解码结构进行图像到图像生成；最后一类是采用扩散模型，通过扩散过程来完成相应的任务。

3、但无论采用上述的哪类方法，都会用到深度模型，会涉及到深度模型的训练问题。如何训练得到一个更好的生成深度模型，使得模型可以生成更高质量的图像仍然是一个非常困难的问题。

技术实现思路

1、针对现有技术中存在的不足之处，本发明提供一种基于多重损失和分辨率的图像转图像的方法，其通过采用多重损失和多重分辨率框架，充分利用不同分辨率下的尺度信息，可以有效提高生成图像的质量。

2、本发明公开了一种基于多重损失和分辨率的图像转图像的方法，包括：

3、获取输入图像，并对图像进行多分辨率预处理；

4、将得到的不同分辨率图像输入到已经训练好的深度模型；其中，所述深度模型根据多个不同的分辨率，先从低分辨率模块至高分辨率模块依次进行训练，再进行整个模型的联合训练；在模型训练中，构造的损失函数包括：每个分辨率下的生成图像和真实图像之间的l1损失、由判别模型判断的生成图像是否真实的损失和生成图像和真实图像之间的风格损失；

5、不同分辨率的图像通过深度模型进行整合最终得到相对应的图像。

6、作为本发明的进一步改进，所述图像包括轮廓图像、分割图像和真实图像。

7、作为本发明的进一步改进，所述对图像进行多分辨率预处理，包括：

8、对输入的图像进行缩小操作，得到包括原图在内的多个不同分辨率的图像。

9、作为本发明的进一步改进，采用插值法对输入的图像进行缩小操作，所述插值法包括最近邻插值法、双线性插值法、双三次插值法和lanczos插值法中的一种。

10、作为本发明的进一步改进，不同分辨率的图像对应输入至深度模型的不同分辨率的模块中。

11、作为本发明的进一步改进，不同分辨率的图像通过深度模型进行整合最终得到相对应的图像，包括：

12、不同分辨率的图像通过深度模型的不同模块后，其编码的特征根据分辨率的大小进行逐层融合，之后通过联级的解码器生成相应的图像。

13、作为本发明的进一步改进，深度模型在训练时，输入n个不同分辨率的图像，则其输出也有n个不同分辨率；训练好的深度模型在使用时，输入n个不同分辨率的图像，输出和原始输入图像一样尺寸的图像。

14、与现有技术相比，本发明的有益效果为：

15、本发明充分利用图像的不同分辨率信息，结合应用多重损失训练好的深度模型，可以有效提高转换图像的质量。

技术特征：

1.一种基于多重损失和分辨率的图像转图像的方法，其特征在于，包括：

2.如权利要求1所述的基于多重损失和分辨率的图像转图像的方法，其特征在于，所述图像包括轮廓图像、分割图像和真实图像。

3.如权利要求1所述的基于多重损失和分辨率的图像转图像的方法，其特征在于，所述对图像进行多分辨率预处理，包括：

4.如权利要求3所述的基于多重损失和分辨率的图像转图像的方法，其特征在于，采用插值法对输入的图像进行缩小操作，所述插值法包括最近邻插值法、双线性插值法、双三次插值法和lanczos插值法中的一种。

5.如权利要求1所述的基于多重损失和分辨率的图像转图像的方法，其特征在于，不同分辨率的图像对应输入至深度模型的不同分辨率的模块中。

6.如权利要求1所述的基于多重损失和分辨率的图像转图像的方法，其特征在于，不同分辨率的图像通过深度模型进行整合最终得到相对应的图像，包括：

7.如权利要求1所述的基于多重损失和分辨率的图像转图像的方法，其特征在于，深度模型在训练时，输入n个不同分辨率的图像，则其输出也有n个不同分辨率；训练好的深度模型在使用时，输入n个不同分辨率的图像，输出和原始输入图像一样尺寸的图像。

技术总结
本发明公开了一种基于多重损失和分辨率的图像转图像的方法，包括：获取输入图像，并对图像进行多分辨率预处理；将得到的不同分辨率图像输入到已经训练好的深度模型；其中，深度模型根据多个不同的分辨率，先从低分辨率模块至高分辨率模块依次进行训练，再进行整个模型的联合训练；在模型训练中，构造的损失函数包括：每个分辨率下的生成图像和真实图像之间的L1损失、由判别模型判断的生成图像是否真实的损失和生成图像和真实图像之间的风格损失；不同分辨率的图像通过深度模型进行整合最终得到相对应的图像。本发明充分利用图像的不同分辨率信息，结合应用多重损失训练好的深度模型，可以有效提高转换图像的质量。

技术研发人员：虞钉钉,徐清,王晓梅,沈伟林,沈旭立,曹培
受保护的技术使用者：华院计算技术（上海）股份有限公司
技术研发日：
技术公布日：2024/1/13