基于对比学习的分段式双重自适应真实图像去噪方法

本发明涉及图像处理，尤其是涉及一种基于对比学习的分段式双重自适应真实图像去噪方法。

背景技术：

1、图像去噪是低层次视觉任务中的一个基本问题，且在多个领域都有着重要的研究意义。图像噪声是指图像在采集和传输过程中会产生异常干扰信号，从而降低图像的信噪比，影响图像的密度分辨率，使图像呈现斑驳、颗粒状、纹理状或雪花状等各种视觉现象。过去多年，人们经过大量的研究，在去除加性高斯白噪声方面达到了接近最佳的性能。然而，在真实的相机系统中，图像噪声往往来自多个来源，比如暗电流噪声、短噪声和热噪声等，甚至还会受到相机内处理管道的影响，比如gamma校正和压缩。这一类的噪声被称为真实噪声，它与高斯白噪声有着很大的区别，如今，对真实世界的噪声照片进行去噪仍然是一个具有挑战性的问题。随着深度学习的迅猛发展，许多基于深度cnn的方法在图像去噪任务中取得了良好的效果，然而，很多方法只针对于合成的高斯白噪声，当将它们应用于真实照片时，效果则会显著退化。近年来，一些针对真实噪声的图像去噪方法被陆续提了出来，比如使用无监督学习配合域自适应，从真实噪声数据中学习不变表示，从而实现图像去噪。或是使用噪声估计子网络搭配噪声去除网络，让模型先学习后工作，同样也取得了不错的性能。然而，这些方法由于自身的学习模式，实际运作较为耗时，模型效果不稳定，除此之外，由于缺少有效的分级，容易造成网络负荷过载，无法提升效率。

技术实现思路

1、本发明的目的是提供一种基于对比学习的分段式双重自适应真实图像去噪方法，解决现有技术图像去噪存在的问题。

2、为实现上述目的，本发明提供了一种基于对比学习的分段式双重自适应真实图像去噪方法，具体步骤如下：

3、步骤s1：制作训练集；

4、步骤s2：构建三阶段卷积神经网络模型，将训练集输入三阶段卷积神经网络模型进行训练；

5、步骤s3：计算损失函数，确定三阶段卷积神经网络模型。

6、优选的，步骤s1具体如下：

7、步骤s11：获取sidd数据集中x对高分辨率清晰—噪声图像对，并对高分辨率清晰—噪声图像对中的高分辨率清晰图像和噪声图像分别进行编号；

8、步骤s12：将编号后的高分辨率清晰图像和噪声图像分布进行裁切成设定分辨率的图像块，将图像块作为标签图像块和噪声图像块并分别进行编号；

9、步骤s13：将y对标签图像块和噪声图像块组成训练集。

10、优选的，步骤s2具体如下：

11、步骤s21：将训练集输入构建三阶段卷积神经网络模型中，设定标签图像块为正样本，噪声图像块为负样本；

12、步骤s22：将负样本输入至三阶段卷积神经网络模型中的第一阶段模块生成第一上下文特征和第一注意增强特征；

13、步骤s23：将负样本、第一上下文特征和第一注意增强特征输入至三阶段卷积神经网络模型中的第二阶段模块生成第二上下文特征、第二注意增强特征；

14、步骤s24：将负样本、第二注意增强特征以及第二上下文特征输入至三阶段卷积神经网络模型中的第三阶段模块得到全分辨率的去噪图像。

15、优选的，步骤s22具体为：

16、步骤s221：将负样本沿两个邻边的中线，平均切为四个样本块并进行编号；

17、步骤s222：将得到的四个样品块输入至浅层特征提取层得到四个第一浅层特征，浅层特征提取层包括依次设置的卷积层和通道注意力块；

18、步骤s223：将四个第一浅层特征输入至上下文特征提取层，上下文特征提取层为u-net结构，u-net结构中的编码器和解码器分别由三个不同尺度的通道注意力块组成；

19、将四个第一浅层特征输入编码器输出编码输出特征，将四个编码输出特征合并为两个并输入至解码器得到两个解码输出特征；

20、步骤s224：将四个编码输出特征和两个解码输出特征分别输入卷积层后再进行合并得到第一上下文特征；

21、步骤s225：将两个解码输出特征输送至多选择卷积核块中得到第一自适应输出特征；

22、步骤s226：将第一自适应输出特征输入至监督块中，得到第一注意增强特征；

23、第一自适应输出特征经过卷积层生成残差图像，将合并后的样本块添加到残差图像中得到第一阶段的去噪图像块，对第一阶段的去噪图像块进行卷积操作后通过sigmoid函数激活生成注意掩码，注意掩码与自适应的输出特征相结合生成第一注意增强特征。

24、优选的，步骤s23具体为：

25、步骤s231：将负样本平均切割为两块样本块；

26、步骤s232：将切割后的两块样本块浅层特征提取层得到两个第二浅层特征；

27、步骤s233：两个第二浅层特征、第一注意增强特征以及第一上下文特征进行加和处理，得到相加特征；

28、步骤s234：将相加特征与第一上下文特征对应合并后输入至上下文特征提取层中，得到两个编码输出特征，两个编码输出特征合并后输入解码器中得到解码输出特征，将解码输出特征和两个编码输出特征分别输入卷积层后再进行合并得到第二上下文特征；

29、步骤s235：将第二上下文特征输入至多选择卷积核块中得到第二自适应输出特征；

30、步骤s236：将第二自适应输出特征输入至监督块中，得到第二注意增强特征；

31、第二自适应输出特征经过卷积层生成残差图像，将合并后的样本块添加到残差图像中得到第二阶段的去噪图像块，对第二阶段的去噪图像块进行卷积操作后通过sigmoid函数激活生成注意掩码，注意掩码与自适应的输出特征相结合生成第二注意增强特征。

32、优选的，步骤s24具体为：

33、步骤s241：将选取全分辨率的负样本块输入至浅层特征提取层得到第三浅层特征；

34、步骤s242：将第三浅层特征、第二注意增强特征以及第二上下文特征进行加和处理，得到相加特征；

35、步骤s243：将步骤s242中得到的相加特征输入至多选择卷积核块中得到第三自适应输出特征；

36、步骤s244：将第三自适应输出特征输入至全分辨率注意网络中，全分辨率注意网络的输出特征经过卷积层输出残差图像，将负样本块添加值残差图像中，得到全分辨率的去噪图像；

37、其中，全分辨率注意网络由多个全分辨率注意块串联而成，每个全分辨率注意块由多个通道注意力模块和一个卷积层串联组成。

38、优选的，步骤s3具体为：

39、步骤s31：为每一阶段的去噪图像与正样本添加端到端优化损失lcb及拉普拉斯边缘损失leg；并加入对比学习损失lct，对正样本、负样本以及目标样本进行特征空间上的约束；

40、步骤s32：计算总损失函数值loss；若更新达到设定次数，则网络停止训练，保存最后一轮更新得到的训练模型为最终的三阶段卷积神经网络模型；否则再一次进入步骤s2，循环重复训练。

41、因此，本发明采用上述一种基于对比学习的分段式双重自适应真实图像去噪方法，通过三阶段卷积神经网络模型的三阶段结构来逐步学习合成自然图像中所包含的真实噪声并进行去噪处理。首先利用通道注意力块进行浅层特征提取，然后在前两个阶段利用一个由通道注意力块堆叠的u-net结构来学习上下文特征，利用多选择卷积核块自适应感受野，以捕获不同尺度的目标物体，同样的，通过阶段之间的有效连接来实现像素自适应，避免信息丢失，以此来实现感受野和像素的双重自适应。在阶段末辅以有效的监督损失来完成该阶段去噪图像的输出，在最后一个阶段则采用一个全分辨率注意块来保留精细的图像细节。在每个阶段输出去除噪声后的图像之前，构造对比学习损失函数来添加额外的约束，从而进一步矫正输出。本发明的技术方案对于合成自然噪声图像有着显著的去噪效果，不仅能够很好地去除图像中所存在的真实噪声，还可以恢复出更加精细的纹理。

42、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。