一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法与流程

本发明涉及在图像平面内的图形图像转换，例如，从位像到位像地建立一个不同图像的技术领域，特别涉及一种可以将已有的低分辨率图像转换成高分辨率图像的拉普拉斯金字塔结构的团网络超分辨率图像重建方法。

背景技术：

超分辨率图像重建是指用信号处理和图像处理的方法，将已有的低分辨率(low-resolution，lr)图像转换成高分辨率(high-resolution，hr)图像的技术，其适用于解决各种计算机视觉方面的任务，如遥感卫星、安全与监视成像、医学成像、图像生成等。

常用的超分辨率图像重建方法包括基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法根据图像先验信息和统计模型进行插值计算，实现简单、计算复杂度低，但是重建结果在边缘处存在环或锯齿效应，使得得到的结果比较模糊；基于重建的方法从同一场景下的多帧lr图像中提取高频信息，融合生成hr图像，但是需要在合适的先验假设下才能获得较好的重建效果；基于学习的方法主要是对高低分辨率训练样本的学习，构造高低分辨率字典对，其可以获得更多的高频信息，从而得到更加清晰的纹理细节，获取更好的重建效果，因此得到更多关注。

在基于学习的超分辨率图像重建方法中，论文“imagesuper-resolutionviasparserepresentation”提出的基于稀疏表示的超分辨率图像重建方法表现最为突出，通过高分辨率图像样本训练出具有相同稀疏表示的高低分辨率字典对，从而重建出较好的高分辨率图像，然而，该方法容易出现块效应；而论文“空间自适应正则化的图像超分重建算法”引入自回归正则化和非局部相似正则化，对稀疏表示系数的求解进行约束，并对重建后的高分辨率图像进行全局优化，该方法对基于稀疏表示的超分辨率图像重建方法进行了优化，提高了方法的鲁棒性与重建图像的质量，然而，此算法对通用图像的超分辨率重建效果却不甚理想。

近年来，随着计算机硬件计算力的大幅提升，卷积神经网络在计算机视觉任务中进行应用，取得了一系列巨大的成功，因此，越来越多的基于深度学习的模型，尤其是卷积神经网络被广泛用于超分辨率图像重建领域。

论文“imagesuper-resolutionusingdeepconvolutionalnetworks”首先提出了srcnn方法，学习非线性lr到hr映射，将一个三层卷积神经网络引入到超分辨率网络中；论文“accurateimagesuper-resolutionusingverydeepconvolutionalnetworks”提出的vdsr方法和论文“deeply-recursiveconvolutionalnetworkforimagesuper-resolution”提出的drcn方法通过裁剪梯度、跳跃连接或递归学习的方式增加网络深度以减轻网络深度增加带来的训练问题；上述方法虽然优于传统的基于学习的方法且更加适用通用图像的超分辨率重建，但在预测之前，直接使用预定义的上采样算子将输入图像升高到期望输出的空间分辨率，将会增加不必要的计算成本，并且经常导致可见的重建伪像。

为了减少不必要的计算成本、削弱可见的伪像，论文“acceleratingthesuper-resolutionconvolutionalneuralnetwork”提出了fsrcnn方法，不再使用预定义的上采样算子，转而直接将原始低分辨率图像作为输入并在最后一步引入转置卷积进行上采样；论文“deeplaplacianpyramidnetworksforfastandaccuratesuper-resolution”提出了基于级联结构的超分辨率方法lapsrn，能够在多个分辨率下生成中间sr预测，并逐步进行优化，取得了较好的重建效果；但是这些方法均采用链式的方式堆叠构建模块，仅重视卷积层之间的前向信息传递，忽视了卷积层之间的反馈交流信息。

技术实现要素：

为了解决上述问题，本发明提出了一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，将论文“convolutionalneuralnetworkswithalternatelyupdatedclique”中的cliquenet的团块cliqueblock引入本发明的方法中，并对cliquenet做进一步的改善，将改进后的结构命名为构建模块(cnb)，作为网络的基本构建模块。

本发明所采用的技术方案是，一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，所述方法包括以下步骤：

步骤1：取数据集图像为待重建图像，将待重建图像分为训练数据集与测试数据集；

步骤2：对训练数据集进行增强，对测试数据集进行预处理；

步骤3：构建拉普拉斯金字塔结构的团网络；

步骤4：将步骤2得到的增强后的训练数据集输入到步骤3构建的拉普拉斯金字塔结构的团网络中，训练拉普拉斯金字塔结构的团网络；

步骤5：将步骤2获得的预处理后的测试数据集输入到步骤4中训练好的拉普拉斯金字塔结构的团网络中，逐级重建超分辨率图像。

优选地，所述步骤2中，对训练数据集进行增强包括以下步骤：

步骤2.1.1：将训练数据集中的图像以α的倍数进行缩放、以β角度进行旋转、以γ的概率进行水平翻转及垂直翻转，得到处理后的图像；α＞0，0＜β＜360°，0＜γ＜1；

步骤2.1.2：将处理后的图像由rgb转换为ycbcr格式，提取y分量；

步骤2.1.3：对步骤2.1.2中提取y分量的图像以m倍进行下采样，得到低分辨率图像，得到增强后的训练数据集；m为正整数。

优选地，所述步骤2中，对测试数据集进行预处理包括以下步骤：

步骤2.2.1：将测试数据集中的所有图像由rgb转换为ycbcr格式，提取y分量；

步骤2.2.2：对步骤2.2.1中提取y分量的图像以m倍进行下采样，得到低分辨率图像，得到预处理后的测试数据集；m为正整数。

优选地，所述步骤3中，构建拉普拉斯金字塔结构的团网络包括以下步骤：

步骤3.1：设置浅层特征提取网络的内核大小、输出通道大小，输出第1层级特征提取分支的输入特征；

步骤3.2：以f0,s作为拉普拉斯金字塔s级的输入，在拉普拉斯金字塔结构的第s级构建n个构建模块，提取输入特征的细节特征fn,s；s≥1；

步骤3.3：以上采样网络使用转置卷积对fn,s进行上采样，得到图像在s级上的上采样特征fup,s＝hup(fn,s)，其中，hup()表示卷积运算；

步骤3.4：以残差提取网络获取在拉普拉斯金字塔s级中生成的残差图像ires,s＝hres(fup,s)，其中，hres()表示卷积运算；

步骤3.5：图像重建。

优选地，所述步骤3.2中，构建模块包含团连通网络与局部特征融合网络，所述团连通网络包括输入节点和若干层结构，任意两个层结构间双向连接。

优选地，所述步骤3.2中，构建模块提取输入特征的细节特征包括以下步骤：

步骤3.2.1：以输入节点通过单向连接初始化所述团连通网络中的所有层结构，令任一构建模块中团连通网络共p层；

步骤3.2.2：在金字塔s层级中，第n个构建模块中团连通网络的第c层输出为其中，σ()表示非线性激活函数，*表示带参数w的卷积运算，l为小于c的所有非负整数，wij,n,s表示更新过程中各层之间的权值，wij,n,s在不同阶段重复使用，i∈[0,l]，j∈[1,c]，每一层都将从最近更新的层接收反馈信息；c≤n；

步骤3.2.3：任意2个层结构交替更新，在金字塔s层级中，第n个构建模块中团连通网络的第c层在第k次循环中的输出为c≥1、k≥2，m为大于c且小于等于p的所有整数；

步骤3.2.4：应用局部特征融合网络融合提取到的局部特征，融合后的第n个构建模块的输出为其中，hlff()表示卷积运算；

步骤3.2.5：输出构建模块提取的输入特征的细节特征。

优选地，所述步骤3.5中，图像重建包括以下步骤：

步骤3.5.1：在金字塔s级中，当s＝1时，使用上采样网络对输入的低分辨率图片进行上采样，当s＞1时，使用上采样网络对s-1级生成的高分辨率图像进行上采样，获得放大的低分辨率图像其中，hup()表示卷积运算，ilr为低分辨率图片，isr,s-1为s-1级重建网络的输出；

步骤3.5.2：将上采样获得的放大的低分辨率图像ilsr,s与步骤3.4获得的残差ires,s融合，获得金字塔s级重建的高分辨率图像isr,s＝ilsr,s+ires,s；

步骤3.5.3：图像重建完成。

优选地，所述步骤4中，训练拉普拉斯金字塔结构的团网络包括以下步骤：

步骤4.1：设置团网络的损失函数；

步骤4.2：设置团网络的动量参数、权值衰减和学习率；

步骤4.3：以设置的损失函数、动量参数、权值衰减和学习率训练团网络。

优选地，所述步骤5中，以重建后的超分辨率图像的y分量上的峰值信噪比和结构相似性评估重建的高分辨率图像。

本发明提供了一种优化的拉普拉斯金字塔结构的团网络超分辨率图像重建方法，通过将待重建图像分为训练数据集与测试数据集并分别进行增强和预处理，构建拉普拉斯金字塔结构的团网络并输入训练数据集进行训练，将测试数据集输入到训练好的拉普拉斯金字塔结构的团网络中，逐级重建超分辨率图像。

本发明的有益效果在于：

1.采用拉普拉斯金字塔结构，通过渐进式重建高分辨率图像的方式，逐步地优化重建结果，更好解决超分辨率图像重建；

2.将残差学习应用到网络中，减少网络参数，避免网络复杂度增加引起的梯度爆炸等问题；

3.在每个cnb模块中，任意两个卷积层之间既有前向又有反馈连接，层间信息交替更新，使层间信息流和反馈机制最大化，层间连接更加密集，提取到更多细节的特征。

附图说明

图1为本发明的流程图；

图2为本发明的拉普拉斯金字塔结构的团网络结构示意图，第一个方框中为拉普拉斯金字塔结构的第1级，第二个方框示意拉普拉斯金字塔结构的第s级；

图3为本发明的构建模块结构示意图；

图4的右上角为本发明的构建模块提取输入特征的细节特征的结构示意图，左边列为将构建模块的卷积层展开后，以箭头表示的第一阶段的交互示意图，底部行为将构建模块的卷积层展开后，以箭头表示的第二阶段的交互示意图；

图5为本发明中以行为单位，第一行为高分辨率原始图像，第二至第五行自上而下顺次展示以bicubic、srcnn、lapsrn和本发明方法完成的2副图像重建的效果对比图。

具体实施方式

下面结合实例与附图对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法，本发明中的同一个构建模块cnb中的任意两个卷积层之间都有前向和反馈连接，层间信息交替更新，以便信息流和反馈机制可以最大化，层间的连接更加密集，同时采用拉普拉斯金字塔结构，通过渐进式重建高分辨率图像的方式，逐步地优化重建结果，将残差学习应用到网络中，减少网络参数，避免梯度爆炸。

图1为本发明实施的流程图，包含5个步骤。

步骤1：取数据集图像为待重建图像，将待重建图像分为训练数据集与测试数据集。

本实施例中，使用510张图像作为训练数据集与测试数据集。

本实施例中，将291张图像作为训练数据集进行分割，其中91张图像来自yang等人，其他的200张图像来自berkeleysegmentationdataset训练集。

本实施例中，将分别来自4个被广泛使用的基准测试数据集set5、set14、bsds100和urban100的剩余图像作为测试数据集，其中，set5、set14和bsds100由自然场景组成，而urban100由具有不同细节的具有挑战的城市场景图像组成。

步骤2：对训练数据集进行增强，对测试数据集进行预处理。

所述步骤2中，对训练数据集进行增强包括以下步骤：

步骤2.1.1：将训练数据集中的图像以α的倍数进行缩放、以β角度进行旋转、以γ的概率进行水平翻转及垂直翻转，得到处理后的图像；α＞0，0＜β＜360°，0＜γ＜1；

步骤2.1.2：将处理后的图像由rgb转换为ycbcr格式，提取y分量；

步骤2.1.3：对步骤2.1.2中提取y分量的图像以m倍进行下采样，得到低分辨率图像，得到增强后的训练数据集；m为正整数。

所述步骤2中，对测试数据集进行预处理包括以下步骤：

步骤2.2.1：将测试数据集中的所有图像由rgb转换为ycbcr格式，提取y分量；

步骤2.2.2：对步骤2.2.1中提取y分量的图像以m倍进行下采样，得到低分辨率图像，得到预处理后的测试数据集；m为正整数。

本实施例中，将训练数据集的图像按照α＝1,0.9,0.8,0.7,0.6,0.5进行缩小后，以β为90度、180度以及270度进行旋转，最后以0.5的概率水平和垂直翻转。一般情况下，缩放、旋转和翻转的顺序并非固定，本领域技术人员可以针对具体的图像、依据需求进行顺序变动。

本发明中，在实际操作中，对训练数据集的处理中，α亦可以为大于1的值，即进行放大处理，但可能会对后续图像重建造成影响，故一般情况下对于训练数据集的处理中α≤1。

本实施例中，将训练数据集的图像由rgb转换为ycbcr格式，且由于本实施例只对亮度通道y进行超分辨重建，因此仅提取亮度通道y的分量值。

本实施例中，使用bicubic双三次插值法，对提取y分量的图像以m倍进行下采样，获得网络低分辨率输入图像。至此，训练集的制作完成。一般情况下，考虑到计算机的内存和实际的计算空间，m为1或2即可，本领域技术人员可以依据需求自行设置。

本实施例中，将训练数据集的图像由rgb转换为ycbcr格式，并提取亮度通道y分量，使用bicubic双三次插值法，以m倍进行下采样，获得网络低分辨率输入图像，与训练数据集的部分处理一致。至此，测试数据集的预处理完成。本领域技术人员可以依据需求自行设置m值，如m为1或2。

步骤3：构建拉普拉斯金字塔结构的团网络。本网络提出拉普拉斯金字塔结构，在拉普拉斯金字塔的每个层级(共s级)中包含特征提取分支与图像重建分支。特征提取分支由cnb构建模块、上采样网络(upnet)、残差提取网络(resnet)三个步骤，其中cnb构建模块包含团连通网络与局部特征融合(lffnet)网络。图像重建分支由上采样网(upnet)和残差融合两个步骤。

所述步骤3中，构建拉普拉斯金字塔结构的团网络包括以下步骤。

步骤3.1：设置浅层特征提取网络的内核大小、输出通道大小，输出第1层级特征提取分支的输入特征。

本实施例中，浅层特征提取网络(sfenet)使用的卷积内核大小为3×3，输出通道设置为64。

本实施例中，在进行卷积之前，需要在输入的边界填充零，以保持输出的大小与输入的大小相同。

本实施例中，事实上来说，步骤3.1输出的是图像的所有像素点的y分量值。

步骤3.2：以f0,s作为拉普拉斯金字塔s级的输入，在拉普拉斯金字塔结构的第s级构建n个构建模块，提取输入特征的细节特征fn,s；s≥1。

所述步骤3.2中，构建模块包含团连通网络与局部特征融合网络，所述团连通网络包括输入节点和若干层结构，任意两个层结构间双向连接。

本实施例中，团连通网络的卷积层内核大小均为3×3，局部特征融合网络(lffnet)的卷积层内核大小为1×1。

本实施例中，以图4为例，为具有4层的团连通网络结构示意图。除了输入节点外，同一网络中的任意两层之间都是双向连接的，即任意一层都是另一层的输入和输出。网络有两个阶段组成，第一个阶段用于初始化块中的所有层，从第二阶段开始，这些层将会被重复提取。其中，矩形是卷积层，包括卷积核和激活函数，f事实上是经过卷积层处理后获得的特征，特征f经过这些矩形块之后，获得新的特征f'，这些特征在矩形块中相互传播，交流信息。

本发明中，显而易见地，n≥1。

所述步骤3.2中，构建模块提取输入特征的细节特征包括以下步骤。

步骤3.2.1：以输入节点通过单向连接初始化所述团连通网络中的所有层结构，令任一构建模块中团连通网络共p层。

步骤3.2.2：在金字塔s层级中，第n个构建模块中团连通网络的第c层输出为其中，σ()表示非线性激活函数，*表示带参数w的卷积运算，l为小于c的所有非负整数，wij,n,s表示更新过程中各层之间的权值，wij,n,s在不同阶段重复使用，i∈[0,l]，j∈[1,c]，每一层都将从最近更新的层接收反馈信息；c≤n。

本实施中，第一阶段中，输入层fn-1,s通过单向连接初始化该团连通网络中的其他所有层，每个更新的层被连接起来以更新下一层。为了便于推导，将第一阶段金字塔s级中的第n个cnb构建模块的输入节点fn-1,s改写为

本实施中，第一阶段作为初始化；第一阶段第一层时，l＝0；第一阶段第二层时，l＝0,1，c＝2；第一阶段第3层时，l＝0,1,2，c＝3；第一阶段第4层时，l＝0,1,2,3，c＝4；第一阶段第5层时候，l＝0,1,2,3,4，c＝5。事实上，l为层数的计数值。

步骤3.2.3：任意2个层结构交替更新，在金字塔s层级中，第n个构建模块中团连通网络的第c层在第k次循环中的输出为c≥1、k≥2，m为大于c且小于等于p的所有整数。

本实施例中，第二阶段开始，各层开始交替更新。第二阶段第1层时，c＝1，m＝2,3,4,5，没有使用l；第二阶段第2层时，c＝2，m＝3,4,5，l＝1；第二阶段第3层时，c＝3，m＝4,5，l＝1,2；第二阶段第4层时，c＝4，m＝5，l＝1,2,3；第二阶段第5层时，c＝5，m没有使用，l＝1,2,3,4。

步骤3.2.4：应用局部特征融合网络融合提取到的局部特征，融合后的第n个构建模块的输出为其中，hlff()表示卷积运算。

本实施例中，由于第二阶段提取了更多的特征，因此应用局部特征融合(lffnet)网络自适应的融合第二阶段第k(k≥2)次循环提取到的局部特征。

本实施例中，使用卷积层内核大小为1×1，自适应地控制输出信息。

步骤3.2.5：输出构建模块提取的输入特征的细节特征。

步骤3.3：以上采样网络使用转置卷积对fn,s进行上采样，得到图像在s级上的上采样特征fup,s＝hup(fn,s)，其中，hup()表示卷积运算。

本实施例中，上采样网络(upnet)使用转置卷积，根据前述m的大小设置需要放大的倍数，基于此，设定卷积层内核大小，如4×4。

步骤3.4：以残差提取网络获取在拉普拉斯金字塔s级中生成的残差图像ires,s＝hres(fup,s)，其中，hres()表示卷积运算。

本实施例中，残差提取网络(resnet)的卷积层内核大小为3×3，至此，拉普拉斯金字塔结构第s级的特征提取完成。

步骤3.5：图像重建。

所述步骤3.5中，图像重建包括以下步骤：

步骤3.5.1：在金字塔s级中，当s＝1时，使用上采样网络对输入的低分辨率图片进行上采样，当s＞1时，使用上采样网络对s-1级生成的高分辨率图像进行上采样，获得放大的低分辨率图像其中，hup()表示卷积运算，ilr为低分辨率图片，isr,s-1为s-1级重建网络的输出；

步骤3.5.2：将上采样获得的放大的低分辨率图像ilsr,s与步骤3.4获得的残差ires,s融合，获得金字塔s级重建的高分辨率图像isr,s＝ilsr,s+ires,s；

步骤3.5.3：图像重建完成。

本实施例中，残差融合网络的卷积层内核大小为1×1。

本实施例中，步骤3.5.2中所述的融合是指放大的低分辨率图像ilsr,s与步骤3.4获得的残差ires,s以像素点一一对应并将对应的y分量值相加，得到的整体的具有更新后的y分量值的图像，图像包括了与ilsr,s和ires,s对应的像素点。

步骤4：训练拉普拉斯金字塔结构的团网络。将步骤2中获得的增强后的训练数据集输入到步骤3所构建的拉普拉斯金字塔结构的团网络中，获得训练好的拉普拉斯金字塔结构的团网络。

训练拉普拉斯金字塔结构的团网络包括以下步骤：

步骤4.1：设置团网络的损失函数。

本实施例中，采用charbonnier函数作为损失函数。

步骤4.2：设置团网络的动量参数、权值衰减和学习率。

本实施例中，动量参数设置为0.9，权值衰减设置为1e-4，学习率设置为1e-4。

步骤4.3：以设置的损失函数、动量参数、权值衰减和学习率训练团网络。

本实施例中，以设定的训练次数，将图像分批进行训练，以获得的训练结果为指导，对训练中的学习率等进行调节，使之满足超分辨率图像重建的需求。此为本领域技术人员容易理解的内容，本领域技术人员可以依据需求对拉普拉斯金字塔结构的团网络进行设置、训练。

步骤5：逐级重建超分辨率图像。将步骤2获得的预处理后的测试数据集输入到步骤4已经训练好的拉普拉斯金字塔结构的团网络，根据放大倍数，逐级重建超分辨率图像。

所述步骤5中，以重建后的超分辨率图像的y分量上的峰值信噪比和结构相似性评估重建的高分辨率图像。

本实施例中，如图5所示，选择n为2、c为5作为模型的最佳参数进行训练并与其他方法进行对比。对分别来自测试集bsds100中的“37073”以及urban中的“image_093”的图像进行4倍放大因子的重建，从主观方面展示了几种方法的重建效果。可以看出，本发明所提出的拉普拉斯金字塔结构的团网络超分辨率方法与其他方法相比，不仅可以恢复出较清晰的边缘特征而且可以准确的重建平行直线和网格直线，重建后的图片更加的接近于真实图片。

本实施例中，可以以重建后的超分辨率图像的y分量上的峰值信噪比psnr和结构相似性ssim评估重建的高分辨率图像，如表1和表2所示，分别为在不同的放大倍数下，不同算法在对基准测试数据集set5、set14、bsds100和urban100进行超分辨率图像重建后的峰值信噪比psnr和结构相似性ssim，可以看到本发明的方法lcn所得到的峰值信噪比psnr和结构相似性ssim均优于其他算法。

表1：2倍放大后，不同算法在对基准测试数据集set5、set14、bsds100和urban100进行超分辨率图像重建后的峰值信噪比psnr和结构相似性ssim

表2：4倍放大后，不同算法在对基准测试数据集set5、set14、bsds100和urban100进行超分辨率图像重建后的峰值信噪比psnr和结构相似性ssim