一种基于深度学习的超高分辨率图像去噪方法

本发明属于图像处理的，具体涉及一种基于深度学习的超高分辨率图像去噪方法。

背景技术：

1、随着成像技术的进步，相机拍摄图像的分辨率大大增加，已经出现了许多超高分辨率(如分辨率超过1亿像素)的图像，人们对这类图像的质量要求也越来越高。然而，相比普通的图像，这些超高分辨率图像的噪声普遍偏大，无法很好地满足人们的视觉需求。

2、图像去噪是图像处理领域一项基本技术，由于去噪性能的优越性，目前前沿的去噪方法普遍基于深度学习。然而，利用深度学习处理超高分辨率图像的最大困难是计算资源问题，现有的基于深度学习的去噪方法通常将图像直接输入到网络中进行训练与推理来获得去噪后的图像，而其中伴随诸多卷积运算，耗费的计算资源很大，导致输入图像不能过大，因此此类超大规模图像无法直接应用在这些去噪方法中。一种解决方法是将此类图像下采样至较小尺寸，再进行网络处理，然而，由于在下采样过程中丢失了大量的信息，这种方法处理的效果很差。

技术实现思路

1、针对现有去噪方法大多仅针对普通的低分辨率图像，无法直接用于超高分辨率图像的技术问题，本发明提出一种基于深度学习的超高分辨率图像去噪方法。

2、为了解决上述问题，本发明采用以下技术方案：

3、一种基于深度学习的超高分辨率图像去噪方法，包括如下步骤：

4、步骤1，获得超高分辨率的图像作为干净图像，并通过添加噪声获得其噪声图像；

5、步骤2，对所述干净图像和噪声图像分别进行四叉树切割和位置编码，获得不同大小的干净图像块和噪声图像块；

6、步骤3，分别将所述干净图像块和所述噪声图像块进行不同程度的归一化，使所有图像块大小一致，构造干净图像块序列和噪声图像块序列，获得训练与测试数据；

7、步骤4，构建图像去噪网络模型，包括3个阶段，分别用于初步降噪、精细降噪、结果微调，每个阶段包含下采样以增强去噪性能；

8、步骤5，将所述噪声图像块序列输入到所述图像去噪网络模型中得到干净图像块；

9、步骤6，将步骤5得到的干净图像块解码并进行拼接，得到去噪后的超高分辨率图像。

10、进一步地，所述步骤2进行四叉树切割时，先将噪声图像视为一个树的根节点，判断其中所有像素值的最大值与最小值之差的绝对值是否小于阈值，如果小于，则认为当前节点已经属于纹理简单的区域，停止四分，如果大于，则认为当前节点纹理仍然较为复杂，继续进行四分；重复上述过程直到所有节点都达到了预设条件或是停止条件。

11、进一步地，所述预设条件包括当前节点的尺寸达到最小值128*128。

12、进一步地，所述预设条件还包括当前节点的尺寸最大值2048*2048，如果当前节点满足停止条件时此节点尺寸大于尺寸最大值，则强制对此节点进行四分。

13、进一步地，所述步骤2中，位置编码取节点左上第一个像素在原超高分辨率图像上的位置，同时计算节点的尺寸，噪声图上的位置编码与四叉树切割同步进行。

14、进一步地，所述步骤2中，先将噪声图像进行四叉树切割与位置编码，获得所有图像块，再根据位置编码在所述干净图像上找到相应位置的图像块，切割并使其与噪声图像的图像块一一对应。

15、进一步地，所述步骤3中，所述归一化的具体方法为：将大于最小值的图像块下采样至最小尺寸，使所有图像块尺寸相同，所有的图像块被排列成一个图像块序列。

16、进一步地，所述步骤4中，3个阶段相互独立，各个阶段的输入输出尺寸相同，3个阶段共同训练。

17、进一步地，所述步骤4中，下采样的次数随阶段的增加而减少，之后通过多个卷积运算和激活函数获得特征，依次由低到高将低尺寸的特征上采样并融合至高尺寸特征，上采样过程没有信息丢失，在经过后续一系列卷积运算后，输出作残差连接。

18、进一步地，所述步骤6中，依次提取所述图像去噪网络模型输出的干净图像块，根据其编码的位置信息进行解码，将其位置还原为原始超高分辨率图像上的位置，并将其尺寸还原为原始图像上切割时的尺寸，拼接所有图像块获得最终去噪后的超高分辨率图像。

19、本发明通过将图像进行切割并预处理，归一化后使用卷积神经网络(cnn)进行降噪，最终得到降噪后的图像，使深度学习方法可以应用于此类图像，获得了很好的去噪结果。网络模型可以端到端训练，在实际超高分辨率图像处理场景中实用性较高。另外，本发明的方法不仅可以用于去噪，甚至可以推广至诸多计算机视觉任务中。

技术特征：

1.一种基于深度学习的超高分辨率图像去噪方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述步骤2进行四叉树切割时，先将噪声图像视为一个树的根节点，判断其中所有像素值的最大值与最小值之差的绝对值是否小于阈值，如果小于，则认为当前节点已经属于纹理简单的区域，停止四分，如果大于，则认为当前节点纹理仍然较为复杂，继续进行四分；重复上述过程直到所有节点都达到了预设条件或是停止条件。

3.根据权利要求2所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述预设条件包括当前节点的尺寸达到最小值128*128。

4.根据权利要求3所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述预设条件还包括当前节点的尺寸最大值2048*2048，如果当前节点满足停止条件时此节点尺寸大于尺寸最大值，则强制对此节点进行四分。

5.根据权利要求1所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述步骤2中，位置编码取节点左上第一个像素在原超高分辨率图像上的位置，同时计算节点的尺寸，噪声图上的位置编码与四叉树切割同步进行。

6.根据权利要求1所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述步骤2中，先将噪声图像进行四叉树切割与位置编码，获得所有图像块，再根据位置编码在所述干净图像上找到相应位置的图像块，切割并使其与噪声图像的图像块一一对应。

7.根据权利要求1所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述步骤3中，所述归一化的具体方法为：将大于最小值的图像块下采样至最小尺寸，使所有图像块尺寸相同，所有的图像块被排列成一个图像块序列。

8.根据权利要求1所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述步骤4中，3个阶段相互独立，各个阶段的输入输出尺寸相同，3个阶段共同训练。

9.根据权利要求8所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述步骤4中，下采样的次数随阶段的增加而减少，之后通过多个卷积运算和激活函数获得特征，依次由低到高将低尺寸的特征上采样并融合至高尺寸特征，上采样过程没有信息丢失，在经过后续一系列卷积运算后，输出作残差连接。

10.根据权利要求1所述的一种基于深度学习的超高分辨率图像去噪方法，其特征在于，所述步骤6中，依次提取所述图像去噪网络模型输出的干净图像块，根据其编码的位置信息进行解码，将其位置还原为原始超高分辨率图像上的位置，并将其尺寸还原为原始图像上切割时的尺寸，拼接所有图像块获得最终去噪后的超高分辨率图像。

技术总结
本发明公开了一种基于深度学习的超高分辨率图像去噪方法，属于图像处理的技术领域。其中方法包括：步骤1、构建超高分辨率图像切割与编码模型；步骤2、将噪声图像和干净图像输入到切割与编码模型中，获得图像块；步骤3、将图像块进行不同程度的归一化，构造图像块序列，获得训练与测试数据；步骤4、构建基于图像去噪网络模型；步骤5、将图像块输入到图像去噪网络模型中得到干净图相块；步骤6、将网络输出的干净图像块解码并拼接为原图像，得到去噪后的超高分辨率图像。本发明提出的方法在超高分辨率图像上取得了很好的效果，网络模型可以端到端训练，在实际超高分辨率图像处理场景中实用性较高。

技术研发人员：岳涛,刘昊,胡雪梅
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/1/13