一种基于多尺度残差层级密连接网络的图像超分辨率方法

1.本发明涉及计算机视觉领域，具体涉及一种基于多尺度残差层级密连接网络的图像超分辨率方法。


背景技术：

2.随着科技的进步和设备的更新，智能手机、数码相机等设备在生活中十分常见，人们常常使用这些成像设备来记录和分享生活，高清的图像和视频能记录更多更清晰的人物风景。此外，在遥感卫星图像、交通监控、安防、医疗、军事侦察等领域，图像和视频是重要的记录载体，高质量的图像和视频起着至关重要的作用。同时，在计算机视觉的高阶任务中，高质量的图像和视频有助于提升任务的性能。
3.图像是一种重要的信息载体，而图像分辨率是衡量图像质量的重要标准之一，指图像中存储的信息量，是每英寸图像内包含的像素点数目。分辨率较高的图像包含更多像素点，提供更多的细节和纹理信息，能满足各个领域中的需求。但是在实际生活中，由于成像设备的物理限制、拍摄条件不足、网络带宽限制、网络传输可能存在信息损失等原因，得到的图像质量往往不高。图像超分辨率主要指通过软件技术来提高图像的分辨率，提高图像的质量。这项技术比通过硬件手段来增强图像分辨率更为简单、经济、易行。因此研究先进的图像超分辨率技术具有重要的意义和广泛的应用。
4.图像超分辨率是指从给定的低分辨率图像中恢复出高质量的高分辨率图像。图像插值通过插值方法来增大图像的尺寸，虽然重建的速度比较快，但是重建出来的图像往往不能满足需求。近年来，具有强大学习能力的深度学习广泛应用于计算机视觉领域，并取得巨大的进步。董超等人在2014年提出论文srcnn(dong c,et al.“image super
‑
resolution using deep convolutional networks”)首次将深度卷积神经网络应用到图像超分辨率任务中，利用神经网络端对端地学习低分辨率图像与高分辨率图像之间的映射关系，比传统的基于学习的方法，如基于稀疏表示的图像超分辨率(yang et al“image super
‑
resolution via sparse representation”)，取得更好的重建效果和较快的重建速度。随后，大量的基于卷积神经网络的图像超分辨率方法，如lapsrn(la,et al.“deep laplacian pyramid networks for fast and accurate super
‑
resolution”.)、edsr(lim b,et al.“enhanced deep residual networks for single image super
‑
resolution.”)、rdn(zhang et al.“residual dense network for image super
‑
resolution”)被提出来，重建质量也不断提高。
5.图像中尺度信息对图像超分辨率也是重要的，不同的物体需要不同的尺度信息；另一方面，多数图像超分辨率网络结构对于多层级的神经网络特征利用不充足，不同的层级特征具有不同的感受野和包含不同的信息，这些网络忽略了层级特征之间的相互作用。
6.本发明根据图像超分辨率重建的特点和图像的特性设计了基于多尺度残差层级密连接的图像超分辨率方法，使用两层密连接的结构来提取多层次的特征，增强梯度传播，优化网络中的信息传播和重用，使用多尺度模块来提取不同尺度的信息，使用多个残差连
接来稳定网络的训练，提高网络的重建性能。


技术实现要素：

7.本发明为了解决上述的技术问题提供了一种基于多尺度残差层级密连接网络的图像超分辨率方法，涉及到图像超分辨率重建方法的改进、多尺度残差层级密连接网络在图像超分辨率领域的实现与应用。
8.本发明的目的至少通过如下技术方案之一实现。
9.一种基于多尺度残差层级密连接网络的图像超分辨率方法，包括训练流程以及测试流程，具体包括以下步骤：
10.s1、制作训练数据集、验证数据集；
11.s2、建立多尺度残差层级密连接网络模型；
12.s3、初始化步骤s2中建立的多尺度残差层级密连接网络模型，确定损失函数，选取优化器，设置多尺度残差层级密连接网络模型训练的参数；
13.s4、训练多尺度残差层级密连接网络模型，每个epoch使用验证集来测试模型的性能，得到训练好的多尺度残差层级密连接网络模型；
14.s5、获取测试数据集，将测试数据集输入训练好的多尺度残差层级密连接网络模型中执行测试，生成超分辨率图像；
15.s6、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比和结构相似度。
16.进一步地，步骤s1中，采用div2k的若干张2k图像来制作成对的低分辨率
‑
高分辨率图像作为训练数据集；使用ntire2017图像超分辨率比赛中公开的数据集div2k数据集，其包含了1000张高质量的2k分辨率图像，它们包含了丰富的场景，800张用于训练网络，100张用于验证网络的性能，剩余的100张用于测试网络的重建能力(未公开)；采用双三次核插值的方法对2k图像进行某一缩放倍数的下采样处理，得到低分辨率图像(lr)，与真实图像(hr)构成训练样本对，用于训练多尺度残差层级密连接网络模型；由于原始的图像尺寸太大，直接输入到网络模型中去训练会造成网络模型计算量过大，减慢训练速度，因此对低分辨率图像进行随机剪裁，将其裁剪为a
×
d大小的图像块，对应的高分辨率图像裁剪为ar
×
dr，其中a和d分别代表着图像块的高度和宽度，r为放大因子；为了增强训练数据集中数据的多样性和扩展数据量，对训练数据集中的低分辨率图像和高分辨率图像进行翻转和旋转，包括90
°
、180
°
和270
°
；
17.所述验证数据集采用set5，由5张图像组成，在网络训练过程用于评估生成网络的重建性能，利于观察生成网络模型的收敛程度。
18.进一步地，步骤s2中，所述多尺度残差层级密连接网络模型包括浅层特征提取模块、深度特征提取模块和重建模块；
19.所述浅层特征提取模块包括一个卷积层，用于将3通道的输入图像转换为64通道的浅层特征图，如下所示：
20.h0＝f
sf
(i
lr
)；
21.其中，h0是浅层特征，而i
lr
是输入的低分辨率图像，f
sf
代表浅层特征提取模块；
22.所述深层特征提取模块包括m个多尺度残差层级密连接块、特征融合块和全局跳
跃连接；多尺度残差层级密连接块从浅层特征h0中提取多尺度、多层次的深层特征，特征融合块将提取的多尺度、多层次深层特征进行融合，全局跳跃连接将浅层特征传递到多尺度残差层级密连接网络模型中深层特征提取模块的尾部，使得网络模型的主要部分即多尺度残差层级密连接块专注于提取高频信息，同时加快网络模型的收敛速度，具体如下：
23.h
df
＝f
df
(h0)＝h0+f
gf
([h1，h2，
…
，h
m
，
…
，h
m
])；
[0024]
其中，h
df
是提取的深层特征，f
df
代表深层特征提取模块，h
m
是第m个多尺度残差层级密连接块提取的特征，f
gf
代表特征融合块，[
·
]代表串联；
[0025]
所述重建模块包括上采样块和一个卷积层，用于将提取的深层特征进行相应倍数的放大并重建出最终的高分辨率图像i
sr
；所述上采样块采用亚像素卷积，具体如下：
[0026]
i
sr
＝f
rec
(h
df
)＝f
conv
(f
up
(h
df
))；
[0027]
其中，f
rec
代表重建部分，f
conv
和f
up
分别代表上采样块和卷积层。
[0028]
进一步地，所述多尺度残差层级密连接块包括层级密连接模块、记忆单元、多尺度块和局部跳跃连接；
[0029]
所述层级密连接模块用于提取多层次的特征，由k个次密连接块以密连接的形式连接组成，如下所示：
[0030][0031]
其中，是第m个多尺度残差层级密连接块中的层级密连接模块提取的特征，代表第m个多尺度残差层级密连接块的层级密连接模块，代表层级密连接模块中的k个次密连接块，s
k
是第k个次密连接块提取的特征，[
·
]代表串联操作；
[0032]
所述记忆单元用于将层级密连接模块提取的特征整合起来，自适应地提取出统一的信息，同时减少特征图的通道数量，从而减少多尺度残差层级密连接块中后续的层级密连接块的计算量，如下所示：
[0033][0034]
其中，是第m个多尺度残差层级密连接块的记忆单元提取的特征；
[0035]
所述多尺度块包括膨胀空间金字塔池化结构和跳跃连接；所述膨胀空间金字塔池化结构包括并行的1
×
1卷积、三个膨胀率分别为1、2、4的3
×
3卷积层、池化层，一个融合上述卷积层提取的特征图的1
×
1的卷积层和跳跃连接，用于提取融合的特征中不同感受野下的特征，有助于提高整体网络的重建性能；所述跳跃连接用于将记忆单元提取的特征与膨胀空间金字塔池化结构的输出连接，有利于提高网络的效率和稳定性；如下所示：
[0036][0037]
其中，代表第m个多尺度残差层级密连接块中的膨胀空间金字塔池化结构，是第m个多尺度残差层级密连接块的多尺度块提取的特征；
[0038]
第m个多尺度残差层级密连接块提取的特征h
m
如下所示：
[0039]
[0040]
进一步地，所述次密连接块用于提取局部的多层次特征，包括特征压缩块、局部密连接组、融合块、输入跳跃连接和压缩跳跃连接；
[0041]
特征压缩块将次密连接块的输入特征进行通道数压缩，以减少局部密连接组的计算量；所述局部密连接组的卷积层数由次密连接块的输入特征的通道数k
×
g所决定，g为增长率；如下所示：
[0042][0043]
其中，是第k个次密连接块中的局部密连接组提取的特征，s
blc
是特征压缩块压缩后的特征，s
k
‑
1,d
是第k个次密连接块中的局部密连接组的第d个卷积层提取的特征；
[0044]
所述融合块将局部密连接组提取的特征进行融合、压缩，第k个次密连接块提取的特征s
k
如下所示：
[0045]
s
k
＝s
blc
十f
fb
(s
k
‑1十s
ldg
)；
[0046]
其中，f
fb
表示融合块，所述输入跳跃连接将第k
‑
1个次密连接块提取的特征s
k
‑1传递给融合块，所述压缩跳跃连接将特征压缩块压缩后的特征s
blc
传递到次密连接层的尾部；输入跳跃连接和压缩跳跃连接有助于稳定多尺度残差层级密连接网络模型的训练和提升网络模型性能。
[0047]
进一步地，步骤s3中，采用kaiming高斯初始化方法对多尺度残差层级密连接网络模型的卷积层权值进行初始化；所述多尺度残差层级密连接网络模型训练的参数包括：指定训练数据集和验证数据集的路径、指定放大因子r、输入到网络模型的批数据量b、初始学习率lr_initial、网络模型训练的迭代次数e、输入到网络模型的高分辨率图像块大小patch_size；
[0048]
为了减少多尺度残差层级密连接网络模型的计算复杂度，选用l1损失作为损失函数来优化多尺度残差层级密连接网络模型；在迭代训练的过程中，损失函数可能会产生震荡，表明当前的学习率过大，阻碍网络模型的收敛，即收敛曲线在极值点附近震荡，因此，在网络训练e个epoch后，将学习率减半，加速网络模型的收敛，提高网络模型的性能；
[0049]
选取adam优化器来多尺度残差层级密连接网络模型进行反向梯度传播，更新模型参数。
[0050]
进一步地，步骤s4中，给定训练集l1函数定义如下所示：
[0051][0052]
其中，w、h为低分辨率图像的长、宽，c为通道数目，r为放大因子，f
θ
代表多尺度残差层级密连接网络模型，θ代表网络参数集，在整体网络训练过程进行优化；
[0053]
每个epoch训练都对模型进行验证，使用双立方插值方法对原始高分辨率图像(hr)下采样得到对应的低分辨率图像(lr)。
[0054]
进一步地，步骤s6中，将多尺度残差层级密连接网络模型重建的超分辨率图像i
sr
与原始的高分辨率图像i
hr
转换到ycbcr颜色空间，在y通道上计算峰值信噪比和结构相似度，衡量多尺度残差层级密连接网络模型的重建质量；
[0055]
峰值信噪比(psnr)在全局信息上衡量图像重建质量的好坏，计算公式如下：
[0056][0057][0058]
其中h、w为低分辨率图像的长度和宽度，r为放大因子，x为真实的高分辨率图像，为生成的超分辨率图像；mse为均方误差，n为每像素的比特数；psnr的单位是分贝(db)，数值越大表示失真越小，重建质量越好；
[0059]
结构相似度(ssim)衡量图像在结构上的相似程度，利用均值和方差，在全局统计特性下衡量测试图像和参考图像的结构的相似程度，计算公式如下：
[0060][0061]
其中，μ
x
,μ
y
分别是图像x,y的均值；σ
x
,σ
y
分别是图像x,y的方差；其中，μ
x
,μ
y
分别是图像x,y的均值；σ
x
,σ
y
分别是图像x,y的方差；c1＝k1r，c2＝k2r，k1＝0.01，k2＝0.03，r是像素值的动态范围，灰度图像的像素值取值范围为[0,255]；c1,c2是为了防止分母为0；
[0062]
ssim在亮度、对比度和结构上对图像结构的相似程度进行度量，其取值范围为[0,1]，值越大表示两幅图像越相似，反之则越不相似，当两幅图像完全相同时，ssim值为1。
[0063]
相比于现有技术，本发明的优点在于：
[0064]
本发明充分利用图像的多尺度信息和深层卷积神经网络的多层次特征信息，提出一种基于多尺度残差层级密连接网络的图像超分辨率方法，通过两层的密连接结构来提取多层次的特征图，提高特征图的重用和促进网络中的信息流动，而通过多尺度块来提取多尺度的特征图。同时，网络采用多个跳跃连接来稳定训练，提高网络的性能。
附图说明
[0065]
图1本发明实施例中的训练流程图和测试流程图；
[0066]
图2本发明实施例中的多尺度残差层级密连接网络的整体网络结构示意图；
[0067]
图3本发明实施例中的特征融合块结构示意图；
[0068]
图4本发明实施例中的上采样块结构示意图；
[0069]
图5本发明实施例中的多尺度残差层级密连接块的结构示意图；
[0070]
图6本发明实施例中的多尺度块的结构示意图(multi
‑
scale block)；
[0071]
图7本发明实施例中的次层级密连接块的结构示意图(sub
‑
dense block)；
[0072]
图8本发明与其他图像超分辨率方法在放大倍数为4下，在双立方插值下采样条件下(bi)的测试数据集urban100和manga109中的部分重建效果图，其中本发明的重建效果是最好的；
[0073]
图9本发明与其他图像超分辨率方法在放大倍数为3下，在双立方模糊下采样条件
下(bd)的测试数据集urban100、manga109和bsd100中的部分重建效果图，其中本发明的重建效果是最好的；
[0074]
图10本发明与其他图像超分辨率方法在放大倍数为4，在set5上的模型参数量与重建性能(峰值信噪比，psnr)的权衡对比图，本发明的方法在参数量相当的时候取得较好的重建性能。
具体实施方式
[0075]
本发明提出一种基于多尺度残差层级密连接网络的图像超分辨率方法，利用两层密连接结构、多尺度块来提取多层次、多尺度的特征图，能够高效地重建出高分辨率图像。
[0076]
下面结合实施例及附图对本发明的具体实施作进一步详细的描述，但本发明的实施方式不限于此。
[0077]
实施例：
[0078]
一种基于多尺度残差层级密连接网络的图像超分辨率方法，如图1所示，包括训练流程以及测试流程，具体包括以下步骤：
[0079]
s1、制作训练数据集、验证数据集；
[0080]
本实施例中，采用div2k的800张2k图像来制作成对的低分辨率
‑
高分辨率图像作为训练数据集；使用ntire2017图像超分辨率比赛中公开的数据集div2k数据集，其包含了1000张高质量的2k分辨率图像，它们包含了丰富的场景，800张用于训练网络，100张用于验证网络的性能，剩余的100张用于测试网络的重建能力(未公开)；采用双三次核插值的方法对2k图像进行某一缩放倍数的下采样处理，得到低分辨率图像(lr)，与真实图像(hr)构成训练样本对，用于训练多尺度残差层级密连接网络模型；由于原始的图像尺寸太大，直接输入到网络模型中去训练会造成网络模型计算量过大，减慢训练速度，因此对低分辨率图像进行随机剪裁，将其裁剪为a
×
d大小的图像块，对应的高分辨率图像裁剪为ar
×
dr，其中a和d分别代表着图像块的高度和宽度，本实施例中，将其裁剪为48
×
48大小的图像块，对应的高分辨率图像裁剪为48r
×
48r，r为放大因子；为了增强训练数据集中数据的多样性和扩展数据量，本实施例中，对训练数据集中的低分辨率图像和高分辨率图像进行翻转和旋转，包括90
°
、180
°
和270
°
；
[0081]
本实施例中，所述验证数据集采用set5，由5张图像组成，在网络训练过程用于评估生成网络的重建性能，利于观察生成网络模型的收敛程度。
[0082]
s2、建立多尺度残差层级密连接网络模型；
[0083]
如图2所示，所述多尺度残差层级密连接网络模型包括浅层特征提取模块、深度特征提取模块和重建模块；
[0084]
本实施例中，所述浅层特征提取模块包括一个3
×
3的卷积层，用于将3通道的输入图像转换为64通道的浅层特征图，如下所示：
[0085]
h0＝f
sf
(i
lr
)；
[0086]
其中，h0是浅层特征，而i
lr
是输入的低分辨率图像，f
sf
代表浅层特征提取模块；
[0087]
所述深层特征提取模块包括m个多尺度残差层级密连接块、特征融合块和全局跳跃连接，本实施例中，m设置为10；多尺度残差层级密连接块从浅层特征h0中提取多尺度、多层次的深层特征，本实施例中，如图3所示，特征融合块包括串联层(concat)、1
×
1卷积层
(conv)和relu激活层，特征融合块将提取的多尺度、多层次深层特征进行融合，全局跳跃连接将浅层特征传递到多尺度残差层级密连接网络模型中深层特征提取模块的尾部，使得网络模型的主要部分即多尺度残差层级密连接块专注于提取高频信息，同时加快网络模型的收敛速度，具体如下：
[0088]
h
df
＝f
df
(h0)＝h0+f
gf
([h1，h2，
…
，h
m
，
…
，h
m
])；
[0089]
其中，h
df
是提取的深层特征，f
df
代表深层特征提取模块，h
m
是第m个多尺度残差层级密连接块提取的特征，f
g
代表特征融合块，[
·
]代表串联；
[0090]
本实施例中，所述重建模块包括上采样块和一个3
×
3卷积层，用于将提取的深层特征进行相应倍数的放大并重建出最终的高分辨率图像i
sr
；所述上采样块由3
×
3卷积层(conv)、relu激活层、上采样层(upsampling layer)、3
×
3卷积层(conv)、relu激活组成，如图4所示，上采样层采用亚像素层(sub
‑
pixel layer)，用于将提取的深层特征进行相应倍数的放大并重建出最终的高分辨率图像i
sr
，具体如下：
[0091]
i
sr
＝f
rec
(h
df
)＝f
conv
(f
up
(h
df
))；
[0092]
其中，f
rec
代表重建部分，f
conv
和f
up
分别代表上采样块和卷积层。
[0093]
如图5所示，所述多尺度残差层级密连接块包括层级密连接模块、记忆单元、多尺度块和局部跳跃连接；
[0094]
所述层级密连接模块用于提取多层次的特征，由k个次密连接块以密连接的形式连接组成，本实施例中，k设为5，如下所示：
[0095][0096]
其中，是第m个多尺度残差层级密连接块中的层级密连接模块提取的特征，代表第m个多尺度残差层级密连接块的层级密连接模块，代表层级密连接模块中的k个次密连接块，s
k
是第k个次密连接块提取的特征，[
·
]代表串联操作；
[0097]
所述记忆单元用于将层级密连接模块提取的特征整合起来，自适应地提取出统一的信息，同时减少特征图的通道数量，从而减少多尺度残差层级密连接块中后续的层级密连接块的计算量，如下所示：
[0098][0099]
其中，是第m个多尺度残差层级密连接块的记忆单元提取的特征；
[0100]
本实施例中，记忆单元由一个1
×
1的卷积层组成，首先将前面的次密连接块提取的特征图进行串联操作，经过1
×
1卷积进行特征压缩，得到w
×
h
×
g大小的特征图，其中w、h为低分辨率图像块的长、宽，g为增长率(growth rate)，本实施例中，g设为64。
[0101]
所述多尺度块包括膨胀空间金字塔池化结构和跳跃连接；本实施例中，如图6所示，所述膨胀空间金字塔池化结构包括并行的1
×
1卷积、三个膨胀率分别为1、2、4的3
×
3卷积层、池化层，一个融合上述卷积层提取的特征图的1
×
1的卷积层和跳跃连接，用于提取融合的特征中不同感受野下的特征，有助于提高整体网络的重建性能；所述跳跃连接用于将记忆单元提取的特征与膨胀空间金字塔池化结构的输出连接，有利于提高网络的效率和稳定性；如下所示：
[0102][0103]
其中，代表第m个多尺度残差层级密连接块中的膨胀空间金字塔池化结构，是第m个多尺度残差层级密连接块的多尺度块提取的特征；
[0104]
第m个多尺度残差层级密连接块提取的特征h
m
如下所示：
[0105][0106]
如图7所示，所述次密连接块用于提取局部的多层次特征，包括特征压缩块、局部密连接组、融合块、输入跳跃连接和压缩跳跃连接；
[0107]
本实施例中，特征压缩块由一个3
×
3卷积层和relu组成，特征压缩块将次密连接块的输入特征进行通道数压缩，以减少局部密连接组的计算量；所述局部密连接组的卷积层数由次密连接块的输入特征的通道数k
×
g所决定，g为增长率，设为64，局部密连接组由k
‑
1个卷积块组成，其中包括串联、3
×
3卷积层和relu；如下所示：
[0108][0109]
其中，是第k个次密连接块中的局部密连接组提取的特征，s
blc
是特征压缩块压缩后的特征，s
k
‑
1,d
是第k个次密连接块中的局部密连接组的第d个卷积层提取的特征；
[0110]
本实施例中，所述融合块是一层1
×
1卷积层，将局部密连接组提取的特征进行融合、压缩，第k个次密连接块提取的特征s
k
如下所示：
[0111]
s
k
＝s
blc
十f
fb
(s
k
‑1十s
ldg
)；
[0112]
其中，f
fb
表示融合块，所述输入跳跃连接将第k
‑
1个次密连接块提取的特征s
k
‑1传递给融合块，所述压缩跳跃连接将特征压缩块压缩后的特征s
blc
传递到次密连接层的尾部；输入跳跃连接和压缩跳跃连接有助于稳定多尺度残差层级密连接网络模型的训练和提升网络模型性能。
[0113]
s3、初始化步骤s2中建立的多尺度残差层级密连接网络模型，确定损失函数，选取优化器，设置多尺度残差层级密连接网络模型训练的参数；
[0114]
本实施例中，采用kaiming高斯初始化方法对多尺度残差层级密连接网络模型的卷积层权值进行初始化；所述多尺度残差层级密连接网络模型训练的参数包括：指定训练数据集和验证数据集的路径、指定放大因子r、输入到网络模型的批数据量b、初始学习率lr_initial、网络模型训练的迭代次数e、输入到网络模型的高分辨率图像块大小patch_size；
[0115]
本实施例分别训练了2倍、3倍、4倍和8倍的多尺度残差层级密连接网络模型，因此放大因子分别为2、3、4、8；输入到网络模型的批数据量b设为16；初始学习率lr_initial设为1
×
10
‑4；设置网络训练的迭代次数为1000个epoch；输入到网络模型的低分辨率图像块大小为48
×
48，而高分辨率图像块的大小为48r
×
48r，因此当放大因子为4时，其对应的高分辨率图像块大小patch_size设为192。
[0116]
图像超分辨率任务中常用的损失函数有l1、l2、感知损失、对抗损失等，为了减少多尺度残差层级密连接网络模型的计算复杂度，选用l1损失作为损失函数来优化多尺度残差
层级密连接网络模型；在迭代训练的过程中，损失函数可能会产生震荡，表明当前的学习率过大，阻碍网络模型的收敛，即收敛曲线在极值点附近震荡，因此，在网络训练e个epoch后，将学习率减半，加速网络模型的收敛，提高网络模型的性能，本实施例中，e设置为200；
[0117]
选取adam优化器来多尺度残差层级密连接网络模型进行反向梯度传播，更新模型参数，本实施例中，adam的参数设置为：β1＝0.9，β2＝0.999以及ε＝10
‑8。
[0118]
s4、训练多尺度残差层级密连接网络模型，每个epoch使用验证集来测试模型的性能，得到训练好的多尺度残差层级密连接网络模型；
[0119]
本实施例中，对多尺度残差层级密连接网络模型进行1000个周期的训练。
[0120]
给定训练集l1函数定义如下所示：
[0121][0122]
其中，w、h为低分辨率图像的长、宽，c为通道数目，r为放大因子，f
θ
代表多尺度残差层级密连接网络模型，θ代表网络参数集，在整体网络训练过程进行优化；
[0123]
每个epoch训练都对模型进行验证，使用双立方插值方法对原始高分辨率图像(hr)下采样得到对应的低分辨率图像(lr)。
[0124]
s5、获取测试数据集，将测试数据集输入训练好的多尺度残差层级密连接网络模型中执行测试，生成超分辨率图像；
[0125]
本实施例中，采用五个标准的测试数据集进行图像超分辨率模型效果的验证。这个五个测试集是：set5、set14、bsd100、urban100和manga109。set5、set14、bsd100是一些自然图像的集合；urban100是100张具有高频信息的城市图像的集合；manga109是109张日本漫画图像的集合。这些数据集被广泛地应用在各种各样的超分辨率模型验证上，具有极好的代表性和说服力。首先对数据集的高分辨率图像进行下采样操作得到对应的低分辨率图像。也可以获取生产生活中的需要进行放大的低分辨率图像作为测试的输入。
[0126]
执行测试操作，生成超分辨率图像(sr)。
[0127]
s6、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比和结构相似度；
[0128]
将多尺度残差层级密连接网络模型重建的超分辨率图像i
sr
与原始的高分辨率图像i
hr
转换到ycbcr颜色空间，在y通道上计算峰值信噪比和结构相似度，衡量多尺度残差层级密连接网络模型的重建质量；
[0129]
峰值信噪比(psnr)在全局信息上衡量图像重建质量的好坏，计算公式如下：
[0130][0131][0132]
其中h、w为低分辨率图像的长度和宽度，r为放大因子，x为真实图像，为生成的超
分辨率图像；mse为均方误差，n为每像素的比特数，如8、16，因为灰度图像的像素的取值范围为[0,255]，因此本实例中，n取8；psnr的单位是分贝(db)，数值越大表示失真越小，重建质量越好；
[0133]
结构相似度(ssim)衡量图像在结构上的相似程度，利用均值和方差，在全局统计特性下衡量测试图像和参考图像的结构的相似程度，计算公式如下：
[0134][0135]
其中，μ
x
,μ
y
分别是图像x,y的均值；σ
x
,σ
y
分别是图像x,y的方差；其中，μ
x
,μ
y
分别是图像x,y的均值；σ
x
,σ
y
分别是图像x,y的方差；c1＝k1r，c2＝k2r，k1＝0.01，k2＝0.03，r是像素值的动态范围，灰度图像的像素值取值范围为[0,255]，本实例中r取255；c1,c2是为了防止分母为0；
[0136]
ssim在亮度、对比度和结构上对图像结构的相似程度进行度量，其取值范围为[0,1]，值越大表示两幅图像越相似，反之则越不相似，当两幅图像完全相同时，ssim值为1。
[0137]
通过表1、2可以得出，在双立方体下采样和模糊下采样两种情况下，本发明(ms
‑
rhdn)和它的自集成(ms
‑
rhdn+)下的结果较之前的结果更佳，表明本发明的图像超分辨率重建的有效性。图8和图9是视觉效果上的对比，本发明提出的方法(ms
‑
rhdn)恢复的效果比其他方法更好。
[0138]
表1双立方模糊下采样(bd)条件下的定量实验结果对比表
[0139][0140]
表1中，加粗表示的数据为最好结果，下划线表示数据为第二好的结果。
[0141]
表2双立方下采样条件下的定量实验结果对比表
[0142][0143]
[0144]
表2中，加粗表示的数据为最好的结果，下划线表示的数据为第二好的结果。
[0145]
如果将其他来源获取到的低分辨率图像作为测试的输入，则只保存生成的超分辨率图像(sr)，不计算psnr和ssim，因为这些低分辨率图像没有对应的高分辨率图像，而pnsr和ssim的计算需要参考图像(高分辨率图像)。
[0146]
图10为本发明的方法与其他图像超分辨率方法在参数量和模型性能表现的权衡对比。从图中可以得出，本发明的方法在参数量较少的情况下取得最好的重建性能，证明了本发明的有效性。
[0147]
上述实施例是本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。