基于噪声迭代估计的自监督图像降噪增强方法及装置

本发明属于计算摄像科学。

背景技术：

1、图像去噪(image denoising)是图像处理领域的一个重要研究问题，其目标是在保留原始图像的细节和结构的同时去除噪声。图像去噪不仅有助于人眼感知的视觉质量，还有助于下游成像问题，包括遥感、医学成像和显微镜成像等。近年来，随着计算资源的快速发展，基于深度学习的方法，特别是基于卷积神经网络(cnn)的方法由于其强大的表征和空间特征提取能力而受到越来越多的关注，且取得了远高于传统去噪方法的性能。然而，此类方法的训练依赖于高质量噪声/干净训练对，因此在实际场景中的应用受到限制。

2、目前，解决上述问题的方法通常有以下两类方式。

3、一是使用合成的带噪/干净图像对来训练，从而避免了真实图像对的采集。对于此类方法，需要确保带噪图像尽可能地接近真实带噪图像，故对真实噪声分布的精确建模十分关键。早期的方法使用简单的高斯模型来建模噪声分布。近年来，wei等人提出了更准确的生成模型和复杂的统计模型，可以更好地描述真实的传感器噪声分布。虽然精确的噪声建模可以作为成对真实数据的良好替代，但对噪声的建模、标定同样受到人力、物力、环境的限制，无法覆盖更多使用场合。

4、二是设计无监督和自监督的训练策略，使网络不再依赖于噪声/干净图像对进行训练。反之，此类方法可以通过更易获取的成对图像甚至单张带噪图进行训练。例如，noise2noise需要要同一场景的两张不同带噪图像来进行网络学习。为了进一步提高实用性，近年来更多的方法尝试从单个噪声图像中恢复出清晰图像。在这些方法中，有的方法是对noise2noise进行的进一步优化，他们从单张带噪图像中生成噪声/噪声图像对，使得noise2noise的学习不再需要成对的带噪图像。然而，这些方法大多需要前提知道噪声模型的分布和大小。另一类方法提出盲点网络来从单张带噪图像中学习去噪过程。盲点网络的设计旨在避免恒等映射，但设计过程导致丢弃了重要的像素信息，因此也对去噪效果造成了影响。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明的目的在于提出一种基于噪声迭代估计的自监督图像降噪增强方法，用于在仅有单张带噪图的情况下完成噪声估计和去除。

3、为达上述目的，本发明第一方面实施例提出了一种基于噪声迭代估计的自监督图像降噪增强方法，包括：

4、获取带噪图像，构建盲点预处理去噪网络；

5、构建并基于所述盲点预处理去噪网络训练噪声估计网络，通过所述噪声估计网络生成成对带噪图像；

6、利用成对带噪图训练深度所述盲点预处理去噪网络，得到深度去噪网络；

7、对所述深度去噪网络和所述噪声估计网络进行迭代优化；

8、使用训练好的深度去噪网络和噪声估计网络对真实带噪图像进行去噪与成像。

9、另外，根据本发明上述实施例的一种基于噪声迭代估计的自监督图像降噪增强方法还可以具有以下附加的技术特征：

10、进一步地，在本发明的一个实施例中，所述构建盲点预处理去噪网络，包括：

11、给定带噪图像y，通过掩码m随机选择y中10％的像素作为盲点；

12、将所述盲点的掩码作用于带噪图像y，并作为输入送入去噪网络f(·,θ)，得到盲点网络输出

13、

14、其中，θ为去噪网络的参数。

15、采用l2损失函数训练盲点网络，盲点网络的损失函数表示为：

16、

17、进一步地，在本发明的一个实施例中，所述构建并基于所述盲点预处理去噪网络训练噪声估计网络，包括：

18、使用所述盲点预处理去噪网络对带噪图像y进行去噪，得到当前阶段网络预测的干净图像：

19、

20、将所述干净图像与带噪图像y同时输入噪声估计网络得到噪声参数图：

21、

22、对干净信号x，在传感器采集的过程中所产生的信号n用异方差高斯分布表示：

23、

24、其中，表示高斯分布，和分别表示与信号有关的方差系数和与信号无关的噪声方差；则噪声估计网络的输出mnl为图像上每个像素的和值；

25、使用mnl并利用重参数化技巧重新生成两张合成的带噪图：

26、

27、其中，zi表示标准正态分布采样的噪声，即i∈{1,2}，i表示单位矩阵。

28、进一步地，在本发明的一个实施例中，其特征在于，还包括：

29、将生成的两张合成的带噪图块方差与真实带噪图的块方差计算损失，块方差函数表示为：

30、

31、其中，表示将图像转化为多个p×p大小的块。

32、进一步地，在本发明的一个实施例中，其特征在于，所述利用成对带噪图训练所述深度盲点预处理去噪网络，训练的损失函数表示为：

33、

34、其中，yn1和yn2表示成对带噪图像。

35、进一步地，在本发明的一个实施例中，所述对所述深度去噪网络和所述噪声估计网络进行迭代优化，包括：

36、迭代优化去噪-加噪-去噪训练流程，其中迭代总损失函数为：

37、

38、其中，μ、γ、λ分别表示块方差损失、深度去噪网络损失、盲点预处理去噪网络所对应的权重。

39、为达上述目的，本发明第二方面实施例提出了一种基于噪声迭代估计的自监督图像降噪增强装置，包括以下模块：

40、第一训练模块，用于获取带噪图像，构建盲点预处理去噪网络；

41、第二训练模块，用于构建并基于所述盲点预处理去噪网络训练噪声估计网络，通过所述噪声估计网络生成成对带噪图像；

42、第三训练模块，用于利用成对带噪图训练深度所述盲点预处理去噪网络，得到深度去噪网络；

43、迭代模块，用于对所述深度去噪网络和所述噪声估计网络进行迭代优化；

44、降噪模块，用于使用训练好的深度去噪网络和噪声估计网络对真实带噪图像进行去噪与成像。

45、为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的一种基于噪声迭代估计的自监督图像降噪增强方法。

46、为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的一种基于噪声迭代估计的自监督图像降噪增强方法。

47、本发明实施例提出的基于噪声迭代估计的自监督图像降噪增强方法，不依赖于昂贵的硬件成本，是一种普遍适用的去噪方法。该方法可用于不同传感器图像的噪声去除，并且可以在没有特定相机拍摄的成对数据集或标定数据的情况下进行。本发明的方法能够通过仅使用单张带噪数据集，完成噪声参数估计和去噪网络的训练，解放了深度去噪网络对成对数据的强依赖性，本发明对于科学研究和工业探测等领域的发展具有重要意义。