一种基于自监督的多尺度图像去噪方法及装置

本发明涉及一种基于自监督的多尺度图像去噪方法及装置，属于计算机视觉和图像处理领域。

背景技术：

1、在图像采集过程中，由于成像环境和设备限制，噪声往往难以避免。因此，图像去噪是计算机视觉中的重要任务。随着卷积神经网络的出现，已经提出了一些基于学习的去噪算法。传统方法通常采用合成干净-噪声图像对，通过添加加性高斯白噪声(awgn)来进行监督学习，以获取大规模的训练数据。

2、然而，由于真实世界的噪声特征与awgn存在显著差异，使用合成噪声训练的模型在真实世界的复杂和多变的噪声场景中通常表现较差。而构建干净-噪声图像对通常需要严格控制的环境，以及复杂的拍摄和后期处理，因此耗时且劳动密集，不同相机和照明条件下的噪声统计数据各不相同，无法为每种设备和场景捕获图像对。

技术实现思路

1、本发明提供了一种基于自监督的多尺度图像去噪方法及装置，解决了背景技术中披露的问题。提出了自监督图像去噪方法，仅需在噪声图像上进行训练。提出了从成对的噪声图像中学习模型的方法，但在实践中存在限制。随后，利用掩码策略将噪声图像分为输入和目标对，通过多个网络分支或扩张和掩码卷积将每个输出像素的感受野中的相应输入噪声像素排除。多尺度架构能够更好地平衡对图像细节和整体结构的恢复需求，从而提升图像去噪效果。提出了一种多尺度自适应网络用于图像去噪，通过引入自适应特征块、自适应多尺度块和自适应融合块，实现尺度内特性与跨尺度互补性的融合，但是该模型的参数量比较大，对于服务设备有一定的要求。因此本文使用自监督的方法，避免了干净-噪声图像对繁琐的制作过程，只需对噪声图像进行训练，同时将上下文模块中加入了具有不同扩张率的扩张卷积，对多尺度特征融合，捕获更多的上下文信息，提高去噪性能。

2、为了解决上述技术问题，本发明所采用的技术方案是：

3、一种基于自监督的多尺度图像去噪方法：

4、包括预训练阶段和微调阶段，所述预训练阶段用于预训练去噪模块，所述微调阶段用于将真实的噪声图像输入预训练好的去噪模块，输出去噪后的图像；

5、所述预训练阶段包括：

6、从合成噪声数据集中选取合成的噪声图像输入到预训练框架中，采用像素重组下采样pd对噪声图像进行固定步长因子的子采样，打破噪声空间相关性，得到像素重组后的噪声图像；

7、针对像素重组后的噪声图像，通过最小化去噪损失函数来优化去噪模块的参数；

8、利用自监督学习将去噪模块的输出经过像素重组下采样的反向操作像素重组上采样pu，恢复图像的结构信息，输出去噪后的图像；

9、将去噪后的图像与原始的输入图像进行比较，计算两者之间的损失函数；

10、所述微调阶段包括：

11、将真实噪声图片输入到预训练好的去噪模块中，去噪模块使用多尺度特征提取，上下文模块全面地捕获不同尺度下的噪声特征，输出去噪后的图像。

12、进一步地，从合成噪声数据集中选取合成的噪声图像的过程为：

13、使用srgb伽马校正函数γ来在图像的srgb颜色域x和raw线性颜色域y之间进行转换：

14、

15、其中，a＝0.055，b＝0.0031308，m＝12.92，γ＝2.4；首先在图像x上应用逆函数γ-1，得到原始图像y＝γ-1(x)；在干净图像中，噪声被定义为线性信号的标准偏差，范围从0到1。给定位置p处的真实信号强度yp，对应于噪声raw图像中的噪声测量值通过一个双参数、信号相关的高斯分布来进行估计:

16、

17、其中，σs和σr表征不同的传感器增益(iso)。

18、进一步地，损失函数lmdm：

19、

20、

21、是来自pds和mdm去噪模块的输出，使用l1范数；将给定的含噪图像分解为s2个子图像，其中对子图像应用mdm去噪模块，使用pd反向操作重构输出

22、进一步地，所述微调阶段中，预训练好的去噪模块引入上下文块以捕获多尺度信息，通过多个具有不同膨胀率的膨胀卷积来扩展感受野；增加特征提取的范围，在上下文块中使用了四个不同的扩张率，分别为1、2、3和4，以获得不同尺度的特征；从不同扩张率的膨胀卷积中提取的特征被融合起来，用于预测输出图像；在融合设置中，使用1×1卷积来输出融合特征，其通道数与原始输入特征的通道数相同；x(p)表示输入特征图x中位置p处的特征；相应的输出特征y(p)通过以下方式获得：

23、

24、其中，n(p)表示位置p处的邻域，其大小等于卷积核的大小；wi表示卷积核中位置p处的权重，pi表示n(p)中的位置；

25、去除了批归一化层，同时应用了局部跳跃连接；采用了l1损失进行训练：

26、

27、通过最小化l1损失，网络的参数将被优化以使预测去噪图像与目标无限接近，从而实现图像去噪的效果。

28、相应地，一种基于自监督的多尺度图像去噪装置，包括：

29、自监督预训练去噪模块，用于引入辅助任务，打破噪声相关性并监督噪声之间的差异，引导模型学习与图像内容相关的特征表示，区分噪声与信号；

30、像素重组下采样模块，用于通过对图像进行固定步长因子的子采样，使得原本相邻的像素被分散到不同的子图像中；

31、多尺度去噪模块，用于处理不同尺度下的图像信息，保护图像细节和结构；

32、上下文模块，用于从不同感受野提取的信息进行综合估计，在编码器和解码器之间的最小尺度中引入膨胀卷积，全面捕获了图像特征。

33、相应地，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据上述述的方法中的任一方法。

34、相应地，一种计算设备，其特征在于，包括：

35、一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据上述的方法中的任一方法的指令。

36、本发明所达到的有益效果：

37、本发明提出一种基于自监督的多尺度图像去噪方法及装置，利用自监督方法，对网络中的去噪模块预训练，避免了手动标注的干净图像和噪声图像对，降低了数据需求和准备的复杂度；本发明将真实的噪声图像作为输入到去噪模块中，利用多个卷积层和残差块进行多尺度提取特征，上下文模块捕获多尺度信息，保护图像细节和结构，获得更干净的图像。

技术特征：

1.一种基于自监督的多尺度图像去噪方法，其特征在于：

2.根据权利要求1所述的基于自监督的多尺度图像去噪方法，其特征在于：

3.根据权利要求1所述的基于自监督的多尺度图像去噪方法，其特征在于：

4.根据权利要求1所述的基于自监督的多尺度图像去噪方法，其特征在于：

5.一种基于自监督的多尺度图像去噪装置，其特征在于，包括

6.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至4所述的方法中的任一方法。

7.一种计算设备，其特征在于，包括：

技术总结
本发明公开了一种基于自监督的多尺度图像去噪方法及装置，以实现图像噪声去除。方法包括两个关键阶段：预训练阶段和微调阶段。在预训练阶段，利用合成噪声图像进行去噪模块的预训练，为网络建立初始的去噪能力。为了解决真实噪声图像中存在的空间相关性，引入像素重组下采样技术，有效地破解噪声之间的相关性。输出去噪后的图像，并与输入的原始图像计算两者之间的损失函数L<subgt;MDM</subgt;。在微调阶段，通过多个卷积层和残差块实现多尺度特征提取，同时应用上下文模块捕获多尺度信息，从而有效地进行图像去噪。本发明利用自监督学习，对真实世界中的噪声图像进行去噪，实现了图像噪声去除。

技术研发人员：谢雨欣,于莉
受保护的技术使用者：南京信息工程大学
技术研发日：
技术公布日：2024/1/5