一种基于学习退化信息的图像盲超分辨率方法

本发明涉及图像处理，尤其是涉及一种基于学习退化信息的图像盲超分辨率方法。

背景技术：

1、近年来，随着摄像机、相机、手机等各类视觉采集设备的普及，接收和使用图像成为了人们生活不可分割的一部分。图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，它体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度，更能为人们提供有效帮助。然而，由于采集设备、环境影响、传输介质与带宽等诸多因素的约束，我们通常难以直接得到具有边缘锐化、无明显噪声或成块模糊的理想高分辨率图像。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但这样需要投入大量的资金且可改进幅度较小。因此，研究人员提出了另一种解决方案，即利用超分辨率重建方法，从软件和算法的角度入手，在现有的低质量图像上进行计算，模拟出高质量的图像。图像超分辨率重建技术在多个领域都有着广泛的应用范围和研究意义。

2、随着深度学习技术在图像处理领域的不断发展，图像超分辨率重建的技术成为了一门热点研究课题。大多数现有的超分辨率方法往往假设退化模型是已知的，例如采用从高质量图像中简单的双三次下采样来构造低分辨率和高分辨率图像对进行训练。然而，当假设的退化模型偏离真实图像中的退化模型，则难以取得较好的性能。因此，准确地学习图像中的退化信息并加以去除是十分必要的，也更符合真实世界的需求。

技术实现思路

1、本发明的目的是为了解决现有技术所存在的上述问题。

2、为实现上述目的，本发明提供了一种基于学习退化信息的图像盲超分辨率方法，具体步骤如下：

3、步骤s1：制备训练集；

4、步骤s2：训练无监督退化表示网络，无监督退化表示网络为有监督全局上下文信息注意超分网络提供用于辅助的退化信息；

5、步骤s3：通过步骤s2中的退化信息进行整体网络的训练；

6、步骤s4：计算损失函数值并确定的网络模型；

7、步骤s5：将测试数据集输入步骤s4中确定的网络模型，得到超分结果。

8、优选的，步骤s1具体步骤如下：

9、步骤s11：选取div2k数据集和flickr2k数据集中的图像组合成df2k_hr数据集并进行编号；

10、步骤s12：对df2k_hr数据集中的图像通过双三次插值操作下采样，得到df2kx4_bicubic数据集，并对df2kx4_bicubic数据集中的图像进行编号；

11、步骤s13：对df2kx4_bicubic数据集中图像加各向同性高斯模糊得到低分辨率模糊数据集，记为df2kx4_gtblur数据集，并对df2kx4_gtblur数据集中的图像进行编号；

12、步骤s14：对df2kx4_bicubic数据集中图像加各向异性高斯模糊得到低分辨率模糊数据集，记为df2kx4_gyblur数据集，并对df2kx4_gyblur数据集中的图像进行编号；

13、步骤s15：对df2kx4_gyblur数据集加入高斯噪声得到低分辨率噪声模糊数据集，记为df2kx4_bn数据集，并对df2kx4_bn数据集中的图像进行编号；

14、步骤s16：将df2k_hr数据集和df2kx4_gyblur数据集中的图像按照编号顺序组成图像对，由图像对组成的数据集作为合成自然图像实验的训练集，将数据集df2k_hr和df2kx4_bn中的图像按对应编号顺序组成图像对，作为真实自然图像实验的训练集；

15、步骤s17：随机选取设定数量的低分辨率数据集的图像并在每张图像中裁剪出设定数量和尺寸的图像块，

16、具体的：

17、当进行合成自然图像实验时，选取来自df2kx4_gtblur数据集的图像并切块，得到的图像块记为

18、当进行真实自然图像的实验时，选取来自df2kx4_bn数据集的图像并切块，得到的图像块记为

19、优选的，步骤s2具体步骤如下：

20、步骤s21：将低分辨率的图像块输入无监督退化表示网络中，

21、当进行合成自然图像实验时，将图像块输入到无监督退化表示网络；

22、当进行真实自然图像的实验时，将图像块输入到无监督退化表示网络；

23、步骤s22：开始训练，设定无监督退化表示网络的循环训练次数参数，循环训练次数参数初始值为零；

24、步骤s23：依次经过卷积结构和全局平均池化层得到退化表示；

25、步骤s24：计算合成图像实验的合成对比损失，进行设定次数的循环训练，直至合成对比损失达到收敛要求，停止训练；否则将合成对比损失值反向传播，通过adam优化算法重新更新参数，再一次进入步骤s22和步骤s23，循环重复训练；

26、计算真实图像实验的真实对比损失，进行设定次数的循环训练，直至真实对比损失达到收敛要求，停止训练；否则将真实对比损失值反向传播，通过adam优化算法重新更新参数，再一次进入步骤s22和步骤s23，循环重复训练。

27、优选的，步骤s3具体为：

28、步骤s31：将低分辨率图像块同时输进无监督退化表示网络与有监督全局上下文信息注意网络中，

29、对于合成自然图像实验来说，将低分辨率模糊图像块输进网络；

30、对于真实自然图像实验来说，将低分辨率噪声模糊图像块输进网络；

31、步骤s32：开始训练，分别设定合成图像实验中网络循环训练次数参数和真实图像实验中网络循环训练次数参数，且初始值均为零；

32、步骤s33：将低分辨率图像块经过卷积层和全局平均池化层，得到退化表示，并进行提取浅层特征；同时将低分辨率图像块输入另一卷积层，获取浅层特征图；

33、步骤s34：进行深层特征提取，将浅层特征图和退化表示同时输入深层特征提取网络中得到深层特征图；

34、步骤s35：采用上采样模块得到重构后的高分辨率图像sr。

35、优选的，在步骤s34中，深层特征提取网络包括若干全局上下文信息注意残差组和合并层，若干全局上下文信息注意残差组依次连接并通过跳跃连接与合并层连接，合并层进行逐元素求和操作后输出；

36、每个全局上下文信息注意残差组包括若干退化信息注意块、第一卷积层以及可选择卷积核块，若干退化信息注意块依次连接后再与第一卷积层和可选择卷积核块依次连接，第一卷积层的输出与全局上下文信息注意残差组的输入进行逐元素求和操作后输入可选择卷积核块；

37、每个退化信息注意块包括两个退化信息注意层和两个第二卷积层，退化信息注意层和第二卷积层交替串联；

38、每个可选择卷积核块包括第三卷积层、第四卷积层、全局平均池化层、两个全连接层、批量归一化层、线性整流层和激活函数层，第三卷积层与第四卷积层并列设置，第三卷积层与第四卷积层的输出逐元素求和后输入全局平均池化层，全局平均池化层、第一个全连接层、批量归一化层、线性整流层、第二个全连接层和激活函数层依次连接，第三卷积层和第四卷积层的输出分别与激活函数层的输出进行逐元素相乘操作后再进行逐元素求和操作。

39、优选的，步骤s4具体如下：

40、步骤s41：在合成图像实验中，计算无监督退化网络的合成对比损失，计算有监督全局上下文信息注意超分网络的合成损失；

41、在真实图像实验中，计算无监督退化网络的真实对比损失，计算有监督全局上下文信息注意超分网络的真实损失；

42、步骤s42：分别计算合成图像实验总损失函数值和真实图像实验总损失函数值；

43、计算合成图像实验总损失函数值，计算公式如下：

44、loss_1＝loss_degard_1+loss_sr_1

45、其中，loss_1为合成图像实验总损失函数值，loss_degrad_1为无监督退化网络的合成对比损失，loss_sr_1为有监督全局上下文信息注意超分网络的合成损失；

46、同时，若更新达到设定次数，网络停止训练，保存最后一轮更新得到的训练模型为网络模型；否则再一次进入步骤s3，循环重复训练；

47、计算真实图像实验总损失函数值，计算公式如下：

48、loss_2＝loss_degard_2+loss_sr_2

49、其中，loss_2为真实图像实验总损失函数值，loss_degrad_2为无监督退化网络的真实对比损失，loss_sr_2为有监督全局上下文信息注意超分网络的真实损失，

50、同时，同时，若更新达到设定次数，网络停止训练，保存最后一轮更新得到的训练模型为网络模型；否则再一次进入步骤s3，循环重复训练。

51、因此，本发明采用上述一种基于学习退化信息的图像盲超分辨率方法，主要包含两个阶段：第一阶段是无监督退化表示网络，通过学习特征空间的抽象表示来区分图像中的各种退化；第二阶段是一个有监督的全局上下文信息注意超分网络，可以灵活适应各种退化，并从低分辨率的输入图像中生成高分辨率的结果。我们采用跳过连接将每个残差组的输出进行合并，来更好地融合浅层信息与深层信息。在每个残差组的末端加入了将自注意力应用于内核大小选择上的可选择卷积核块，来更有效地建模全局上下文信息。无论是对于合成或真实的自然图像，不仅可以提高图像分辨率，还能同时去除图像中的噪声、模糊等未知退化因素，有着较高的应用价值。

52、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。