一种基于多尺度残差层级密连接网络的图像超分辨率方法

文档序号:24809848发布日期:2021-04-23 18:09阅读:来源:国知局

技术特征:
1.一种基于多尺度残差层级密连接网络的图像超分辨率方法,其特征在于,包括训练流程以及测试流程,具体包括以下步骤:s1、制作训练数据集、验证数据集;s2、建立多尺度残差层级密连接网络模型;s3、初始化步骤s2中建立的多尺度残差层级密连接网络模型,确定损失函数,选取优化器,设置多尺度残差层级密连接网络模型训练的参数;s4、训练多尺度残差层级密连接网络模型,每个epoch使用验证集来测试模型的性能,得到训练好的多尺度残差层级密连接网络模型;s5、获取测试数据集,将测试数据集输入训练好的多尺度残差层级密连接网络模型中执行测试,生成超分辨率图像;s6、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比和结构相似度。2.根据权利要求1所述的一种基于多尺度残差层级密连接网络的图像超分辨率方法,其特征在于,步骤s1中,采用div2k的若干张2k图像来制作成对的低分辨率

高分辨率图像作为训练数据集;采用双三次核插值的方法对2k图像进行某一缩放倍数的下采样处理,得到低分辨率图像,与真实图像构成训练样本对,用于训练多尺度残差层级密连接网络模型;由于原始的图像尺寸太大,直接输入到网络模型中去训练会造成网络模型计算量过大,减慢训练速度,因此对低分辨率图像进行随机剪裁,将其裁剪为a
×
d大小的图像块,对应的高分辨率图像裁剪为ar
×
dr,其中a和d分别代表着图像块的高度和宽度,r为放大因子;为了增强训练数据集中数据的多样性和扩展数据量,对训练数据集中的低分辨率图像和高分辨率图像进行翻转和旋转,包括90
°
、180
°
和270
°
;所述验证数据集采用set5,由5张图像组成,在网络训练过程用于评估生成网络的重建性能,利于观察生成网络模型的收敛程度。3.根据权利要求1所述的一种基于多尺度残差层级密连接网络的图像超分辨率方法,其特征在于,步骤s2中,所述多尺度残差层级密连接网络模型包括浅层特征提取模块、深度特征提取模块和重建模块;所述浅层特征提取模块包括一个卷积层,用于将3通道的输入图像转换为64通道的浅层特征图,如下所示:h0=f
sf
(i
lr
);其中,h0是浅层特征,而i
lr
是输入的低分辨率图像,f
sf
代表浅层特征提取模块;所述深层特征提取模块包括m个多尺度残差层级密连接块、特征融合块和全局跳跃连接;多尺度残差层级密连接块从浅层特征h0中提取多尺度、多层次的深层特征,特征融合块将提取的多尺度、多层次深层特征进行融合,全局跳跃连接将浅层特征传递到多尺度残差层级密连接网络模型中深层特征提取模块的尾部,使得网络模型的主要部分即多尺度残差层级密连接块专注于提取高频信息,同时加快网络模型的收敛速度,具体如下:h
df
=f
df
(h0)=h0+f
gf
([h1,h2,

,h
m


,h
m
]);其中,h
df
是提取的深层特征,f
df
代表深层特征提取模块,h
m
是第m个多尺度残差层级密连接块提取的特征,f
gf
代表特征融合块,[
·
]代表串联;所述重建模块包括上采样块和一个卷积层,用于将提取的深层特征进行相应倍数的放
大并重建出最终的高分辨率图像i
sr
;所述上采样块采用亚像素卷积,具体如下:i
sr
=f
rec
(h
df
)=f
conv
(f
up
(h
df
));其中,f
rec
代表重建部分,f
conv
和f
up
分别代表上采样块和卷积层。4.根据权利要求3所述的一种基于多尺度残差层级密连接网络的图像超分辨率方法,其特征在于,所述多尺度残差层级密连接块包括层级密连接模块、记忆单元、多尺度块和局部跳跃连接;所述层级密连接模块用于提取多层次的特征,由k个次密连接块以密连接的形式连接组成,如下所示:其中,是第m个多尺度残差层级密连接块中的层级密连接模块提取的特征,代表第m个多尺度残差层级密连接块的层级密连接模块,代表层级密连接模块中的k个次密连接块,s
k
是第k个次密连接块提取的特征,[
·
]代表串联操作;所述记忆单元用于将层级密连接模块提取的特征整合起来,自适应地提取出统一的信息,同时减少特征图的通道数量,从而减少多尺度残差层级密连接块中后续的层级密连接块的计算量,如下所示:其中,是第m个多尺度残差层级密连接块的记忆单元提取的特征;所述多尺度块包括膨胀空间金字塔池化结构和跳跃连接;所述膨胀空间金字塔池化结构包括并行的1
×
1卷积、三个膨胀率分别为1、2、4的3
×
3卷积层、池化层,一个融合上述卷积层提取的特征图的1
×
1的卷积层和跳跃连接,用于提取融合的特征中不同感受野下的特征,有助于提高整体网络的重建性能;所述跳跃连接用于将记忆单元提取的特征与膨胀空间金字塔池化结构的输出连接,有利于提高网络的效率和稳定性;如下所示:其中,代表第m个多尺度残差层级密连接块中的膨胀空间金字塔池化结构,是第m个多尺度残差层级密连接块的多尺度块提取的特征;第m个多尺度残差层级密连接块提取的特征h
m
如下所示:5.根据权利要求4所述的一种基于多尺度残差层级密连接网络的图像超分辨率方法,其特征在于,所述次密连接块用于提取局部的多层次特征,包括特征压缩块、局部密连接组、融合块、输入跳跃连接和压缩跳跃连接;特征压缩块将次密连接块的输入特征进行通道数压缩,以减少局部密连接组的计算量;所述局部密连接组的卷积层数由次密连接块的输入特征的通道数k
×
g所决定,g为增长率;如下所示:其中,是第k个次密连接块中的局部密连接组提取的特征,s
blc
是特征压缩块压缩后的特征,s
k

1,d
是第k个次密连接块中的局部密连接组的第d个卷积层提取的特征;所述融合块将局部密连接组提取的特征进行融合、压缩,第k个次密连接块提取的特征
s
k
如下所示:s
k
=s
blc
+f
fb
(s
k
‑1+s
ldg
);其中,f
fb
表示融合块,所述输入跳跃连接将第k

1个次密连接块提取的特征s
k
‑1传递给融合块,所述压缩跳跃连接将特征压缩块压缩后的特征s
blc
传递到次密连接层的尾部;输入跳跃连接和压缩跳跃连接有助于稳定多尺度残差层级密连接网络模型的训练和提升网络模型性能。6.根据权利要求1所述的一种基于多尺度残差层级密连接网络的图像超分辨率方法,其特征在于,步骤s3中,采用kaiming高斯初始化方法对多尺度残差层级密连接网络模型的卷积层权值进行初始化;所述多尺度残差层级密连接网络模型训练的参数包括:指定训练数据集和验证数据集的路径、指定放大因子r、输入到网络模型的批数据量b、初始学习率lr_initial、网络模型训练的迭代次数e、输入到网络模型的高分辨率图像块大小patch_size;为了减少多尺度残差层级密连接网络模型的计算复杂度,选用l1损失作为损失函数来优化多尺度残差层级密连接网络模型;在迭代训练的过程中,损失函数可能会产生震荡,表明当前的学习率过大,阻碍网络模型的收敛,即收敛曲线在极值点附近震荡,因此,在网络训练e个epoch后,将学习率减半,加速网络模型的收敛,提高网络模型的性能;选取adam优化器来多尺度残差层级密连接网络模型进行反向梯度传播,更新模型参数。7.根据权利要求1所述的一种基于多尺度残差层级密连接网络的图像超分辨率方法,其特征在于,步骤s4中,给定训练集l1函数定义如下所示:其中,w、h为低分辨率图像i
lr
的长、宽,c为通道数目,r为放大因子,f
θ
代表多尺度残差层级密连接网络模型,θ代表网络参数集,在整体网络训练过程进行优化;每个epoch训练都对模型进行验证,使用双立方插值方法对原始高分辨率图像下采样得到对应的低分辨率图像。8.根据权利要求1所述的一种基于多尺度残差层级密连接网络的图像超分辨率方法,其特征在于,步骤s6中,将多尺度残差层级密连接网络模型重建的超分辨率图像i
sr
与原始的高分辨率图像i
hr
转换到ycbcr颜色空间,在y通道上计算峰值信噪比和结构相似度,衡量多尺度残差层级密连接网络模型的重建质量;峰值信噪比(psnr)在全局信息上衡量图像重建质量的好坏,计算公式如下:峰值信噪比(psnr)在全局信息上衡量图像重建质量的好坏,计算公式如下:
其中h、w为低分辨率图像的长度和宽度,r为放大因子,为x为真实的高分辨率图像,为生成的超分辨率图像;mse为均方误差,n为每像素的比特数;psnr的单位是分贝(db),数值越大表示失真越小,重建质量越好;结构相似度(ssim)衡量图像在结构上的相似程度,利用均值和方差,在全局统计特性下衡量测试图像和参考图像的结构的相似程度,计算公式如下:其中,μ
x
,μ
y
分别是图像x,y的均值;σ
x
,σ
y
分别是图像x,y的方差;c1=k1r,c2=k2r,k1=0.01,k2=0.03,r是像素值的动态范围,灰度图像的像素值取值范围为[0,255];c1,c2是为了防止分母为0;ssim在亮度、对比度和结构上对图像结构的相似程度进行度量,其取值范围为[0,1],值越大表示两幅图像越相似,反之则越不相似,当两幅图像完全相同时,ssim值为1。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1