图像超分辨率重建方法、装置、计算机设备和存储介质

本发明涉及图像处理的，特别涉及一种图像超分辨率重建方法、装置、计算机设备和存储介质。

背景技术：

1、近年来，图像超分辨率重建技术发展迅速，多种图像重建方法相继提出，对混合噪声和复杂点扩散函数影响下的模糊等退化信息均能做到有效处理。随着sr技术的逐渐成熟，现有算法可大致分为基于重构方向和基于模型学习两大类。

2、一方面，基于重构的算法大多使用高分辨率图像（high resolution, hr）先验和噪声先验等知识对解空间进行约束，以保证重建超分辨率图像符合高分辨率图像统计特征的同时，尽可能减弱由低分辨率图像重建到高分辨率图像所带来的噪声放大的效应，使得重建超分辨率图像的噪声信息相对较少、边缘纹理信息尽可能保持精确。

3、另一方面，基于模型学习的方法通常包含一个模型搭建和数据训练的过程，通过合理选择与待处理低分辨率图相似的、噪声信息相近的外部数据集，学习低分辨率-高分辨率图像对之间的映射关系，并将其作为先验项融入到超分辨率图像的重建工作。由于选取数量较大且场景信息各异的外部训练集，该做法对待重建低分辨率图像的原始特征进行了补充，因此模型学习的方法泛化能力普遍较强，重建效率与对纹理信息重建的准确性均相对较高，近年来得到越来越多领域内研究者的注意。与此同时，该类算法在现实中的应用场景逐渐丰富，从早期应用到天文图像，到近期的输电线路螺栓缺陷、岩石ct扫描结果分析、文物数字化保护等场景下拍摄的原始图像，均可以采用模型学习方法的超分辨率重建技术对图像中较小目标进行前期处理。

4、目前，常用的图像重建方法包括：

5、srcnn：该方法是深度神经网络在sr领域的早期尝试，整个srcnn的网络结构是基于端到端训练的3层网络结构，通过使用标准训练数据集和最小化损失函数来学习从低分辨率到高分辨率图像的映射函数。

6、所构造的神经网络结构主要由三个阶段组成：提取特征层（patch extraction）、非线性映射层（non-linear mapping）、重建层（reconstruction）。

7、其中提取特征层将输入的lr图像进行切割，生成一组固定尺寸的图像块。该阶段利用滑动窗口在输入图像上进行操作，提取了多个图像块作为特征输入。

8、非线性映射层是srcnn的核心部分。它由多个卷积层组成，这些卷积层通过学习图像的特征来提取和表示输入图像块的高级特征，用于学习从低分辨率到高分辨率的非线性映射。在非线性映射层中，卷积滤波器通过非线性激活函数对特征图进行激活，以引入非线性映射的能力。

9、重建层是srcnn的最后一个阶段。它负责将经过非线性映射层处理的特征图重建为高分辨率图像。在重建层中，通常使用像素化（pixel-shuffle）技术，将低分辨率特征图扩展为高分辨率结果图。

10、edsr：是一种单纯卷积神经网络结构，其内部包含特征提取层，深度残差堆叠块和图像重构层，所构造的深度网络接近160层。

11、其中在特征提取层中，通过3个卷积层来提取输入图像的低级特征。这些卷积层的引入有助于网络学习图像局部结构，并为后续的处理提供更具表征性的特征。进一步地，深度残差堆叠块是edsr算法的核心组件。它由conv+relu组合来作为基本残差块。在每个基本残差块内部，输入特征图被逐层处理，在最后一个残差块之前，还有一个跳跃连接将输入的特征图直接添加到残差块的输出。通过堆叠32个基本残差块，且让第一个残差块的前置输出通过跳跃连接的方式快速连接到第32个残差块的输出，该做法能降低梯度消失发生的可能性，从而降低训练难度。引入深度残差堆叠块，加深网络结构的同时，使得edsr有效提取和重建图像的高级特征。

12、最后，重构层负责将深度残差堆叠块处理得到的特征图重建为高分辨率图像，其通常由一个卷积层和一个上采样层组成。卷积层进一步提取lr图的高级特征表示。上采样层则根据放大目标去使用1次或多次pixel-shuffle技术，将特征图的分辨率提高到目标分辨率，得到重建的sr图像。

13、lapsrn：其网络结构部分包括输入层、拉普拉斯金字塔特征提取层(featureextraction branch, feb)、金字塔残差块和重建层(image reconstruction branch,irb)。

14、在拉普拉斯金字塔特征提取层中，输入图像通过多个卷积层进行特征提取，这些卷积层帮助网络学习图像的局部特征，并为后续的处理提供更具表征性的图像高频残差信息。其中，拉普拉斯金字塔特征提取层是由金字塔残差块构造，其作为lapsrn模型的核心组件，与edsr模型中所采取的做法基本相似。通过堆叠多个金字塔残差块，该技术可以有效提取和重建图像的高频特征。由于使用金字塔技术进行逐步重构，该方法对较高放大倍数的超分辨率重建结果有较优秀的效果，纹理、边缘的重建精度较高。

15、irb层负责通过三次样条插值方法放大lr图像的低频信息，通过对两个分支得到的输出值相加来得到最终重建sr图像。

16、在提供充足训练数据的前提下，现有技术所构建神经网络层级较低。在浅层网络结构下，往往难以利用训练数据学习到复杂的映射函数，从而无法准确拟合出图像从lrghr的重建信息。进一步地，直接通过平面堆叠卷积块(plain network)形成深层网络这一路径往往不可行，因为特征信息在层与层之间的缓慢传递、梯度值信息更新低效，因此该做法很难保证平面堆叠卷积块对重建结果的有效性。

17、现有技术所提出的深度网络，会造成网络参数的快速增加，随之而来的是训练难度的提升，具体体现在损失函数收敛缓慢，训练过程不稳定，损失值振荡幅度变大。深度网络的初始学习率通常设定为一个较低的值，到达训练后期，该值不断降低，损失值变化幅度变小，但付出的代价是更漫长的训练时间。

技术实现思路

1、本发明的主要目的为提供一种图像超分辨率重建方法、装置、计算机设备和存储介质，旨在提升使用低分辨率图像进行图像超分辨率重建的效率和效果。

2、为实现上述目的，本发明提供了一种图像超分辨率重建方法，包括以下步骤：

3、获取低分辨率图像输入至残差密集跳接网络模型中，所述残差密集跳接网络模型包括浅层特征抽取模块、密集跳接模块、嵌套网络重建模块、融合模块；

4、基于浅层特征抽取模块，提取低分辨率图像的低频特征；

5、基于密集跳接模块对所述低频特征进行处理，得到高频细节特征；其中，所述密集跳接模块由嵌套残差密集跳接块作为基本单元，使用递归跳接的方式将不同层的嵌套残差密集跳接块抽取得到的不同特征粒度的信息通过通道加权求和方式进行结合，得到所述高频细节特征；

6、基于嵌套网络重建模块，对所述高频细节特征进行降维，得到降维高频细节特征；

7、基于融合模块通过全局跳接结构，将低频特征与降维高频细节特征进行融合，得到融合特征；使用混叠插值方法将融合特征映射到高频特征，基于高频特征输出重建后的高分辨率图像。

8、进一步地，所述浅层特征抽取模块包括两个卷积层，第一个卷积层使用3个3x3x3的滤波器对低分辨率图像进行滤波，增加特征图谱的总数量；第二个卷积层用于提取低频特征并输入到密集跳接模块。

9、进一步地，所述密集跳接模块由嵌套残差密集跳接块作为基本单元，所述嵌套残差密集跳接块是将残差密集跳接块内部堆叠的卷积块替换为残差密集跳接块。

10、进一步地，所述残差密集跳接块包括密集跳接层、局部特征融合层以及局部残差学习层；

11、密集跳接层：通过密集连接的方式使得网络中的每一层都直接连接到后续所有层；

12、局部特征融合层：将不同层或不同分支的局部特征合并，增强网络的表示能力和泛化能力；

13、局部残差学习层：通过引入残差连接，将当前层的输出与之前的局部层进行相加，得到最终输出。

14、进一步地，所述密集跳接层内部堆叠有卷积块，所述卷积块由卷积层、带参数的调整线性单元prelu和偏置bias组成。

15、进一步地，所述嵌套网络重建模块使用两个并行通路对输入信息进行整合；

16、其中第一个通路先使用1x1的卷积核对先前信息进行降维，第二个通路则依次使用1x1、3x3的卷积核进行信息降维和二次映射。

17、进一步地，基于金字塔残差学习策略降低残差密集跳接网络模型的训练难度，使用全局残差学习和在低分辨率空间进行参数训练的方式，以降低计算量并提高超分辨率图像的重建效果。

18、本发明还提供了一种图像超分辨率重建装置，包括：

19、输入单元，用于获取低分辨率图像输入至残差密集跳接网络模型中，所述残差密集跳接网络模型包括浅层特征抽取模块、密集跳接模块、嵌套网络重建模块、融合模块；

20、提取单元，用于基于浅层特征抽取模块，提取低分辨率图像的低频特征；

21、处理单元，用于基于密集跳接模块对所述低频特征进行处理，得到高频细节特征；其中，所述密集跳接模块由嵌套残差密集跳接块作为基本单元，使用递归跳接的方式将不同层的嵌套残差密集跳接块抽取得到的不同特征粒度的信息通过通道加权求和方式进行结合，得到所述高频细节特征；

22、降维单元，用于基于嵌套网络重建模块，对所述高频细节特征进行降维，得到降维高频细节特征；

23、输出单元，用于基于融合模块通过全局跳接结构，将低频特征与降维高频细节特征进行融合，得到融合特征；使用混叠插值方法将融合特征映射到高频特征，基于高频特征输出重建后的高分辨率图像。

24、本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

25、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

26、本发明提供的图像超分辨率重建方法、装置、计算机设备和存储介质，包括：获取低分辨率图像输入至残差密集跳接网络模型中，所述残差密集跳接网络模型包括浅层特征抽取模块、密集跳接模块、嵌套网络重建模块、融合模块；基于浅层特征抽取模块，提取低分辨率图像的低频特征；基于密集跳接模块对所述低频特征进行处理，得到高频细节特征；其中，所述密集跳接模块由嵌套残差密集跳接块作为基本单元，使用递归跳接的方式将不同层的嵌套残差密集跳接块抽取得到的不同特征粒度的信息通过通道加权求和方式进行结合，得到所述高频细节特征；基于嵌套网络重建模块，对所述高频细节特征进行降维，得到降维高频细节特征；基于融合模块通过全局跳接结构，将低频特征与降维高频细节特征进行融合，得到融合特征；使用混叠插值方法将融合特征映射到高频特征，基于高频特征输出重建后的高分辨率图像。本发明，提升使用低分辨率图像进行图像超分辨率重建的效率和效果。