一种多尺度互补学习的图像去噪方法及装置

本发明涉及一种多尺度互补学习的图像去噪方法及装置，属于图像处理。

背景技术：

1、图像去噪旨在从受噪声干扰的退化图像中尽可能恢复原始的真实图像，它是计算机低层视觉任务中的热门研究课题，如今它运用在多个现实领域，例如灾害救援，医疗诊断以及天气预测等。目前，研究人员探索了各种图像去噪方法，其中典型的传统图像去噪方法包括非局部均值和小波变换。虽然传统去噪方法能获得良好的去噪效果，但是它依赖于图像先验信息以及普适性不强。

2、随着硬件发展，深度学习在图像去噪领域得到了广泛的运用。相较于传统图像去噪方法，基于深度学习的图像去噪方法具有强大的学习能力，不仅可以拟合复杂的噪声分布，还节省了计算时间。经典的卷积神经网络(cnn, convolutional neural network)包括dncnn(denoising convolutional neural network)和ffdnet(fast and flexibledenoising convolutional neural network)等。为了进一步优化神经网络的去噪性能，研究人员在网络中引入了注意力机制，各种卷积的变形以及不断的加深网络层数，例如最深的residual network(resnet)有152层；将空洞卷积与普通卷积相结合的增强卷积网络ecndnet(enhanced convolutional neural denoising network)，扩大了网络的感受野。

3、然而，目前图像去噪方法存在一些缺陷：

4、大部分去噪网络会忽略图像边缘信息以及纹理特征，噪声的去除和细节的保存之间很难达到良好的平衡，从而丢失图像的纹理细节。

5、随着网络层数的不断加深，网络的计算量变大，并且容易产生大量的冗余图像信息，削弱了不同网络层之间特征的互补性，导致不能获得好的去噪效果。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提出一个细节特征和噪声分布双分支多尺度互补学习的图像去噪方法，该方法通过融合来自不同尺度的特征，利用更有区分度的特征，来获得更可靠的空间信息，从而使去噪后的图像更多的保留原图的特征，取得了好的去噪效果。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种多尺度互补学习的图像去噪方法，包括以下步骤：

4、获取待处理图像；

5、对所述待处理图像进行预处理，得到预处理后的图像；

6、将所述预处理后的图像输入训练好的去噪模型中，得到最终的去噪图像；

7、所述将所述预处理后的图像输入训练好的去噪模型中，得到最终的去噪图像，包括：

8、对预处理后的图像进行标准化，得到标准化图片的基层和细节层；

9、直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征；

10、直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第二图像细节特征；

11、基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征；

12、将所述最终的图像细节特征和所述基层相加，得到最终的去噪图像。

13、进一步的，所述去噪模型包括：

14、低通滤波器，用于对预处理后的图像进行标准化，得到标准化图片的基层和细节层；

15、细节特征学习分支，用于基于标准化图片的细节层，直接学习图像细节特征，进行细节特征提取，获得第一图像细节特征；采用u型网络结构，包含编码器和解码器；编码器包括resnet-50的stage1-3，每层设置多尺度减法模块进行层与层之间特征的互补学习，解码器包含上采样和密集特征融合块；

16、噪声学习分支，用于基于标准化图片的细节层，直接学习噪声分布而间接学习图像细节特征，进行细节特征提取，获得第二图像细节特征，由密集特征提取块构成；

17、融合模块，用于融合两个学习分支的输出，得到最终的图像细节特征；

18、输出模块，用于将最终的图像细节特征与基层相加，得到最终的去噪图像。

19、进一步的，对所述待处理图像进行预处理，得到预处理后的图像，包括：

20、将输入的待处理图像 i c的大小裁剪为预设尺寸；

21、添加不同水平的噪声分布 n，得到预处理后的图像。

22、进一步的，对预处理后的图像进行标准化，得到标准化图片的基层和细节层，包括：

23、将噪声图像 i n分为基层 i base和细节层 i detail，其中噪声分布 n在细节层 i detail中，将细节层 i detail和噪声分布 n相减得到图像细节特征，

24、在第一个维度拼接图像细节特征和噪声分布 n得到目标图像对；

25、对细节层 i detail和基层 i base进行图像增强操作，得到标准化图片的基层和细节层。

26、进一步的，直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征，包括：

27、输入细节层 i detail，使用二维离散余弦变换将细节层 i detail从空间域转换到频率域，生成频率张量；

28、将所述频率张量送入细节特征学习分支得到图像细节特征，所述细节特征学习分支是一个编码-解码的u形结构，包含编码器和解码器；

29、所述编码器用于基于经过余弦离散变换的频率张量，提取频率张量的细节特征，输出固定维度的细节特征图；

30、所述解码器用于基于固定维度的细节特征图，从固定维度的细节特征图中合成所需维度的频率张量；

31、基于所需维度的频率张量，使用二维离散余弦逆变换将特征图从频率域转换到空间域得到第一图像细节特征。

32、进一步的，直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第二图像细节特征，包括：

33、使用卷积层增加细节层 i detail的通道数；

34、送入噪声学习分支进行特征提取，得到学习的噪声分布；

35、所述噪声学习分支包括6个密集特征提取块，每个块由3对卷积和激活函数relu构成；

36、6个密集特征提取块block包括：

37、block1：输入64×80×80大小特征图，输出128×80×80大小特征图；

38、block2-5：输入128×80×80大小特征图，输出128×80×80大小特征图；

39、block6：输入128×80×80大小特征图，输出64×80×80大小特征图；

40、将学习的噪声分布与增加细节层 i detail的通道数后的结果相减，得到特征图，使用卷积层将特征图进行降维至一维，得到第二图像细节特征。

41、进一步的，基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征，包括：

42、将第一图像细节特征和第二图像细节特征在第一个维度上用torch框架内置cat函数进行拼接得到图像细节特征；

43、使用1×1卷积对所述图像细节特征进行降维最终得到的图像细节特征。

44、进一步的，所述去噪模型的损失函数包括：

45、将所述学习的噪声分布和所述第一图像细节特征在第一个维度上进行拼接得到图像对，计算目标图像对和拼接得到的图像对的平均绝对误差记为 loss；

46、损失函数表示为：

47、；

48、其中， β为损失权重，为第一图像细节特征和图像细节特征的平均绝对误差，为学习的噪声分布和噪声分布 n的平均绝对误差， x、y为图像细节特征的像素宽和像素高； i、 j表示像素点的横坐标和纵坐标，表示第一图像细节特征中第（ i, j）个像素点的值，表示图像细节特征中第（ i, j）个像素点的值，表示学习得到的噪声分布中第（ i, j）个像素点的值，表示目标噪声分布中第（ i, j）个像素点的值；

49、所述去噪模型的训练方法包括：

50、预处理预先获取的训练数据集，并将预处理后的训练数据集输入去噪模型中，利用随机梯度下降算法对去噪模型进行反向迭代，更新权重和损失，当损失更新到最小值的时候，得到所述训练好的去噪模型。

51、第二方面，一种多尺度互补学习的图像去噪装置，包括：

52、输入模块：用于获取待处理图像；

53、预处理模块：用于对所述待处理图像进行预处理，得到预处理后的图像；

54、去噪模块：用于将所述预处理后的图像输入训练好的去噪模型中，得到最终的去噪图像；

55、所述将所述预处理后的图像输入训练好的去噪模型中，得到最终的去噪图像，包括：

56、对预处理后的图像进行标准化，得到标准化图片的基层和细节层；

57、直接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第一图像细节特征；

58、直接学习标准化图片的细节层的噪声分布，间接学习标准化图片的细节层的图像细节特征，进行细节特征提取，获得第二图像细节特征；

59、基于第一图像细节特征和第二图像细节特征进行融合，得到最终的图像细节特征；

60、将所述最终的图像细节特征和所述基层相加，得到最终的去噪图像。

61、第三方面，一种多尺度互补学习的图像去噪装置，包括处理器及存储介质；

62、所述存储介质用于存储指令；

63、所述处理器用于根据所述指令进行操作以执行所述方法的步骤。

64、与现有技术相比，本发明所达到的有益效果：

65、1、通过融合两个学习分支的输出，得到最终的图像细节特征，在细节特征学习分支中通过减法操作得到网络层之间的差别特征，使用融合操作获得丰富的多尺度差异特征，有效地增强了不同网络层之间特征的互补性，保留了更多的细节特征。当噪声水平越高时，去噪模型的去噪效果越好，由此可见本发明的设计可以使噪声的去除和细节的保留之间达到良好的平衡；

66、2、通过对预处理后的图像进行标准化，分为基层和细节层，将本发明主要解决了目前图像去噪丢失图像纹理细节以及网络层之间特征互补性的削弱的问题，建立一种新的双分支多尺度互补学习的图像去噪方法，获得了良好的去噪性能；

67、3、在本方法中，只使用了细节层参与去噪模型训练，极大减少了计算量，使得去噪模型本身所需训练参数大幅降低。本发明在包含公开数据集set12在内的多个数据集上都获得了优秀的去噪效果。