基于文本提示的图像复原方法、装置

本申请涉及计算机，具体而言，本申请涉及一种基于文本提示的图像复原方法、装置。

背景技术：

1、图像复原技术主要是针对成像过程中的“退化”而提出来的，而成像过程中的“退化”现象主要指成像系统受到各种因素的影响，诸如成像系统的散焦、设备与物体间存在相对运动或者是器材的固有缺陷等，导致图像的质量不能够达到理想要求。

2、但是，当前图像复原技术在工业界面临重大挑战。传统的图像修复方法依赖于专业人员的手工操作，这不仅耗时耗力，而且成本高昂，难以适应大规模图像处理的需求。此外，尽管卷积神经网络(cnn)在图像处理领域取得了一定的进展，但其在图像复原任务中的表现并不尽如人意，尤其是在处理低质量图像时，常常导致图像细节的过度平滑或局部结构的损坏，影响了复原图像的质量和真实性。

3、由上可知，如何提高图像复原的质量仍有待解决。

技术实现思路

1、本申请各提供了一种基于文本提示的图像复原方法、装置、电子设备及存储介质，可以解决相关技术中存在的如何提高图像复原的质量的问题。所述技术方案如下：

2、根据本申请的一个方面，一种基于文本提示的图像复原方法，包括：获取低质量图像，将所述低质量图像输入到预先训练的图像质量评价大语言模型中获取所述低质量图像对应的评价信息；将所述评价信息交互给用户，获取对应的先验数据，其中，先验数据为用户修改后的评价信息，评价信息包括退化信息与语义信息；将所述低质量图像与所述先验数据预先训练好的多模态复原网络中，获取对应的高质量图像。

3、根据本申请的一个方面，一种基于文本提示的图像复原装置，包括：

4、评价信息获取模块，获取低质量图像，将所述低质量图像输入到预先训练的图像质量评价大语言模型中用于获取所述低质量图像对应的评价信息；

5、先验数据获取模型，将所述评价信息交互给用户，用于获取对应的先验数据，其中，先验数据为用户修改后的评价信息，评价信息包括退化信息与语义信息；

6、高质量图像获取模块，将所述低质量图像与所述先验数据预先训练好的多模态复原网络中，用于获取对应的高质量图像。

7、在一示例性实施例中，所述装置包括不限于：

8、超参数据调取模块，用于调取多模态复原网络对应的超参数据，其中，超参数据为图像质量评价大语言模型对低质量图像对应的复原参数；

9、修改模块，用于将所述超参数据与所述评价信息共同交互用户进行修改。

10、在一示例性实施例中，所述装置包括不限于：

11、训练图像获取模块，获取高质量训练图像，将所述高质量训练图像进行退化并用于获取对应的低质量训练图像；

12、训练模块，调取多模态复原训练模型，用于将所述低质量训练图像输入多模态复原训练模型确定对应的高质量复原图像；

13、复原模型确定模块，将所述高质量复原图像与所述高质量训练图像确定对应的训练损失函数，基于训练损失函数修改多模态复原训练模型内的参数，不断重复得到高质量复原图像的训练过程，直至多模态复原训练模型训练收敛，用于确定对应的多模态复原网络。

14、在一示例性实施例中，所述装置包括不限于：所述多模态复原训练模型训练采用梯度下降法。

15、在一示例性实施例中，所述装置包括不限于：

16、获取对应的退化模型，将所述高质量训练图像输入到所述退化模型中，退化模型对高质量训练图像随机进行噪声、模糊、锐化、色彩量化、压缩、分辨率调整中的一种或者多种，得到对应的低质量训练图像。

17、根据本申请的一个方面，一种电子设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器上存储有计算机可读指令；所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的基于文本提示的图像复原方法。

18、根据本申请的一个方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的基于文本提示的图像复原方法。

19、根据本申请的一个方面，一种计算机程序产品，计算机程序产品包括计算机可读指令，计算机可读指令存储在存储介质中，电子设备的一个或多个处理器从存储介质读取计算机可读指令，加载并执行该计算机可读指令，使得电子设备实现如上所述的基于文本提示的图像复原方法。

20、本申请提供的技术方案带来的有益效果是：

21、在上述技术方案中，获取低质量图像，将低质量图像输入到预先训练的图像质量评价大语言模型中获取低质量图像对应的评价信息；将所述评价信息交互给用户，获取对应的先验数据，其中，先验数据为用户修改后的评价信息，评价信息包括退化信息与语义信息；然后将低质量图像与先验数据预先训练好的多模态复原网络中，从而可以获取对应的高质量图像；在上述过程中，通过得到的语义信息和退化信息，在图像复原过程中加入文本信息进行引导，并且在评价信息交互给用户之后，用户判断评价信息是否存在误差，若是在没有误差的情况下，可以直接将评价信息直接输入到多模态复原模型中，否则可以针对有误差的评价信息进行修改，并且将修改完的评价信息再输入到多模态复原模型中，可以进一步引导多模态复原模型对低质量图像的复原过程，能够显著提升复原的通用性和泛化性，从而能够有效地解决相关技术中存在的如何提高图像复原的质量的问题。

技术特征：

1.一种基于文本提示的图像复原方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，在所述将所述评价信息交互给用户，获取对应的先验数据的过程中，还包括：

3.如权利要求1所述的方法，其特征在于，在训练多网络复原模型的过程中，包括：

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

5.如权利要求3所述的方法，其特征在于，在所述将所述高质量训练图像进行退化并获取对应的低质量训练图像的过程中，还包括：

6.一种基于文本提示的图像复原装置，其特征在于，包括：

7.如权利要求6所述的装置，其特征在于，所述方法还包括：

8.如权利要求6所述的装置，其特征在于，所述方法还包括：

9.一种电子设备，其特征在于，包括：至少一个处理器以及至少一个存储器，其中，

10.一种存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被一个或多个处理器执行，以实现如权利要求1至5中任一项所述的基于文本提示的图像复原方法。

技术总结
本申请提供了一种基于文本提示的图像复原方法、装置、电子设备及存储介质，涉及计算机技术领域。其中，该方法包括：获取低质量图像，将所述低质量图像输入到预先训练的图像质量评价大语言模型中获取所述低质量图像对应的评价信息；将所述评价信息交互给用户，获取对应的先验数据，其中，先验数据为用户修改后的评价信息，评价信息包括退化信息与语义信息；将所述低质量图像与所述先验数据预先训练好的多模态复原网络中，获取对应的高质量图像。本申请解决了相关技术中如何提高图像复原的质量的问题。

技术研发人员：李哲远,喻方桦,尤志远,顾津锦,董超
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：
技术公布日：2024/8/20