一种基于渐进式迭代反投影的图像超分辨率重建方法和系统与流程

本发明涉及机器学习、计算机应用技术领域，具体地涉及一种基于渐进式迭代反投影的图像超分辨率重建方法和系统。

背景技术：

图像分辨率表示图像能够提供信息的详细程度，它是衡量图像质量好坏的一个重要指标，可以用单位面积内像素点的数目来定义。分辨率越高表示图像能够提供的可辨识的细节越丰富，所携带的有用信息也就越多。图像超分辨率重建是指利用一帧低分辨率图像或图像序列，最终重建出一帧高分辨率图像)的图像处理技术。重建后的高分辨率图像具有更高的细节分辨能力，在工程实践和实际应用中起到关键作用。

超分辨率重建难点主要在于从低信息量的图片重构至高信息量的图片，缺少必要的细节特征。早年的超分辨率重建代表方法有自适应方法、凸集投影法和正则化方法。这些基于空域的处理虽然能充分利用图像的先验信息，然而受技术所限，它们对低分辨率图像的质量提升相当有限，生成图像丢失了许多细节特征，远不能满足人们对高分辨率图像的需求。

随着机器学习的应用越来越广泛，基于稀疏表示的超分辨率重建研究成为本领域的热门，并诞生了一批基于稀疏表示的超分辨率重建方法，在计算精度和速度上各有所长。然而，图像重建的质量高度依赖于超完备字典中的各个图像块。若需要重建的低分辨率图像块与字典中的图像块相似度不高，会导致重建质量不佳；此外，基于稀疏编码的超分辨率重建对于高分辨率图像细节评估有限，优化不够全面。基于以上原因，研究者们开始寻找能够学习更多细节特征，兼容性更加良好，优化更加全面的方法。

随着近几年深度学习的快速发展，超分辨率重建领域的研究者们也开始将注意力投向深度学习，并提出了一系列应用于图像超分辨率重建的深度学习网络框架：srcnn、vdsr、espcn、srgan、lapsrn、edsr，相较于基于稀疏编码的超分辨率重建方法，这些基于深度学习的超分辨率网络模型取得了更高的精确度。

应用深度学习的超分辨率重建技术已取得了不少突破，然而这些网络通常只针对2x，3x，4x的小倍率超分辨率重建任务，对于大倍率(如8x)的超分辨率重建任务处理效果不佳。本发明的创新点在于使用迭代反投影方法，引入渐进式采样思想，提出了一种金字塔型的迭代反投影深度卷积神经网络模型，克服了传统方法的处理大倍率因子采样时的不足，提高了重建图像的质量。

技术实现要素：

本发明为了满足大倍率超分辨率重建的需求，提出了一种基于渐进式迭代反投影的图像超分辨率重建的方法。本方法通过级联一系列渐进式反投影单元来对输入图像进行带反馈的循环上/下采样，充分利用低分辨率-高分辨率图像块之间的相关性；渐进式分级采样，避免了大倍率因子采样时传统方法中的一次性映射，提高训练效率和生成图像质量。

为实现上述目的，本发明提供技术方案如下：

一种基于渐进式迭代反投影的图像超分辨率重建方法，包括如下步骤：

步骤s1，首先对输入图像进行特征提取，得到多张输入图像的特征图；

步骤s2，利用渐进式迭代反投影方法进一步预测特征图的细节信息，获得放大后的图像，所述渐进式迭代反投影方法是通过构建若干级依次级联的上/下采样反投影单元来实现，每一级反投影单元中，上采样投影单元的数量始终比下采样单元多1；

步骤s3，对放大的图像进行通道压缩，最后输出高分辨率的三通道图像。

进一步的，渐进式迭代反投影方法是根据需要放大的倍率因子r的大小将上/下采样反投影单元分为n级，其中：

n＝log2r。

进一步的，渐进式迭代反投影方法中每一级上/下采样反投影单元对特征图执行2倍的分辨率放大，具体处理过程如下，

步骤s21，输入特征图经过一层亚像素重组层l1进行2倍上采样，其中，亚像素重组层由一层卷积层和一个洗牌器组成，卷积层将原始输入特征m1(hxwxc)的通道数拓宽至原始的4倍(hxwx4c)，再由洗牌器将各通道洗牌合并出一张原始通道数大小的特征图m2(2hx2wxc)；

步骤s22，放大后的特征图m2再经过一次亚像素重组的逆向操作l2(称为逆亚像素重组层)来进行下采样，此时m2(2hx2wxc)先经过一个洗牌器重新得到原始输入尺寸的特征图(hxwx4c)，再经由一层卷积层将通道数压缩为原始输入的通道数大小m3(hxwxc)；

步骤s23，将步骤s22得到的特征图m3与原始输入m1相减得到反馈误差e1，将此误差e1通过本级最后一层亚像素重组层l3进行一次上采样，得到放大后的反馈误差e2；

步骤s24，将放大后的反馈误差e2与步骤s21得到的特征图m2进行相加得到分辨率放大两倍的本级输出o1。

本发明还提供一种基于渐进式迭代反投影的图像超分辨率重建系统，包括如下模块：

特征提取模块，用于对输入图像进行特征提取，得到多张输入图像的特征图；

渐进式迭代反投影模块，用于进一步预测特征图的细节信息，获得放大后的图像，由若干级依次级联的上/下采样反投影单元组成，每一级反投影单元中，上采样投影单元的数量始终比下采样单元多1；

图像重构模块，用于对放大的图像进行通道压缩，最后输出高分辨率的三通道图像。

进一步的，所述特征提取模块包括两层卷积层和一层relu激活单元；所述图像重构模块包括一层卷积层。

进一步的，渐进式迭代反投影模块中根据需要放大的倍率因子r的大小将上/下采样反投影单元分为n级，其中：

n＝log2r。

进一步的，每一级上/下采样反投影单元对特征图执行2倍的分辨率放大，具体处理过程如下，

步骤s21，输入特征图经过一层亚像素重组层l1进行2倍上采样，其中，亚像素重组层由一层卷积层和一个洗牌器组成，卷积层将原始输入特征m1(hxwxc)的通道数拓宽至原始的4倍(hxwx4c)，再由洗牌器将各通道洗牌合并出一张原始通道数大小的特征图m2(2hx2wxc)；

步骤s22，放大后的特征图m2再经过一次亚像素重组的逆向操作l2(称为逆亚像素重组层)来进行下采样，此时m2(2hx2wxc)先经过一个洗牌器重新得到原始输入尺寸的特征图(hxwx4c)，再经由一层卷积层将通道数压缩为原始输入的通道数大小m3(hxwxc)；

步骤s23，将步骤s22得到的特征图m3与原始输入m1相减得到反馈误差e1，将此误差e1通过本级最后一层亚像素重组层l3进行一次上采样，得到放大后的反馈误差e2；

步骤s24，将放大后的反馈误差e2与步骤s21得到的特征图m2进行相加得到分辨率放大两倍的本级输出o1。进一步的，上采样投影单元的数量大于等于5。

与现有的技术相比，本发明具有以下的优点和有益效果：

(1)据科学研究表明，人眼成像系统具有迭代式的反馈机制来引导成像，传统超分辨率重建网络模型缺少反馈机制，没有有效利用低分辨率与高分辨率图像块之间的相关性。各项研究表明迭代反投影的采样方式能大大提高生成图像精确度。

(2)现有的基于迭代式反投影的图像超分辨率重建方法，在面对大倍率采样因子时，依旧采用一次性的映射来实现采样，加大了训练的难度。本发明提出的渐进式上/下反投影单元，通过多级操作避免了一次性的大倍率映射，提高了最终的成像效果。

(3)现有的基于迭代式反投影的图像超分辨率重建方法，均采用卷积/反卷积的方式实现映射。本方法采用亚像素重组和其逆操作替换原始的卷积/反卷积操作，在保持卷积核大小一定的条件下，可扩大每次卷积的感受野，从而使训练更加有效。

附图说明

图1为本发明技术方案的总体框图；

图2为本发明的模型结构图；

图3为渐进式迭代反投影模块内的上采样反投影单元的结构图；

图4为亚像素重组的逆过程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：

本发明实施例所提供的一种基于渐进式迭代反投影的图像超分辨率重建方法包括如下步骤：

步骤s1，首先对输入图像进行特征提取，得到多张输入图像的特征图；

步骤s2，利用渐进式迭代反投影方法进一步预测特征图的细节信息，获得放大后的图像，所述渐进式迭代反投影方法是通过构建若干级依次级联的上/下采样反投影单元来实现，每一级反投影单元中，上采样投影单元的数量始终比下采样单元多1；

步骤s3，对放大的图像进行通道压缩，最后输出高分辨率的三通道图像。

具体实施时，以上流程可采用计算机软件技术实现自动运行流程。参见图1所示，一种基于渐进式迭代反投影的图像超分辨率重建系统，一共含三个模块：特征提取模块、渐进式迭代反投影模块、图像重构模块。其中，特征提取模块用于提取输入图像的特征信息，生成多通道图像特征图；渐进式迭代反投影模块用于对输入图像进行细节预测，采用金字塔型反投影单元对图像特征图进行迭代式采样；图像重构模块用于图像的多通道特征压缩，恢复出分辨率放大后的三通道rgb图像。

本发明实施例的总体结构如图2所示。特征提取模块由两层3x3卷积层和一层relu激活单元组成，输入三通道rgb图像，第一层卷积提取256张特征图，再经由第二层卷积压缩至64张特征图；渐进式迭代反投影模块由一系列渐进式反投影单元组成。其中上/下采样单元依次排列，上采样单元数量始终比下采样多1。单元内采用密集连接的方式，保证每个上/下单元的输入都为之前所有下/上采样单元的输出级联；图像重构模块由一层3x3卷积层组成，目的是压缩通道数，生成三通道rgb图像。

步骤s1，首先将输入图像(默认为三通道rgb图像)通过特征提取模块，得到多张输入图像的特征图。

步骤s2，将特征提取模块得到的图像特征图送入渐进式迭代反投影模块进一步预测细节信息。在该模块中，输入特征图依次通过带有反馈机制的渐进式上/下采样反投影单元，上采样的次数始终比下采样的次数多1以确保最后图像分辨率放大。单元数量决定网络深度，进而决定成像质量，因此上采样单元数量一般设置为大于等于5，具体实施时，本领域技术人员可按照实际需求自行调整。

步骤s3，将渐进式迭代反投影模块输出的放大后的特征送入图像重构单元进行通道压缩，最后输出高分辨率的rgb三通道图像。

所述步骤s2，渐进式迭代反投影模块，具体包含以下步骤：

渐进式迭代反投影模块由一系列上/下采样反投影单元依次级联组成，总单元数量可视情况自定义。上采样投影单元的数量始终比下采样单元多1。以8倍放大的图像超分辨率重建任务为例，将一个上采样反投影单元分为3级，每一级执行2倍的分辨率放大。每一级内：

步骤s21，输入特征经过一层亚像素重组层l1进行2倍上采样。其中，亚像素重组层由一层卷积层和一个洗牌器组成。卷积层将原始输入特征m1(hxwxc)的通道数拓宽至原始的4倍(hxwx4c)，再由洗牌器将各通道洗牌合并出一张原始通道数大小的特征图m2(2hx2wxc)。

步骤s22，放大后的特征图m2再经过一次亚像素重组的逆向操作l2(称为逆亚像素重组层)来进行下采样。此时m2(2hx2wxc)先经过一个洗牌器重新得到原始输入尺寸的特征图(hxwx4c)，再经由一层卷积层将通道数压缩为原始输入的通道数大小m3(hxwxc)。

步骤s23，将步骤s22得到的特征图m3与原始输入m1相减得到反馈误差e1，将此误差e1通过本级最后一层亚像素重组层l3进行一次上采样，得到放大后的反馈误差e2。

步骤s24，将放大后的反馈误差e2与步骤s21得到的特征图m2进行相加得到分辨率放大两倍的本级输出o1。

此后，每一级输出作为下一级的输入重复s21-s24的操作，直到最终放大倍率满足设定需求。渐进式下采样反投影单元与上采样反投影单元结构类似，将步骤s21-s24的上/下采样操作全部替换为下/上采样即可实现。

渐进式反投影单元结构图如图3所示。以上采样单元为例，依据倍率因子r的大小将单元分为n层，其中：

n＝log2r

每一级只进行倍率为2的映射操作，避免传统方法中的一次性大倍率因子映射：给定第n级的输入lⁿ，经过一次上采样得到h0，再对h0进行下采样得到l1；计算l1与本级输入lⁿ之间的反馈误差el，对反馈误差el再次上采样操作得到大分辨率的误差eh，将eh与h0通过加法器得到本级输出hⁿ。每一级的输出hⁿ将作为下一级的输入lⁿ⁺¹，循环执行上述迭代映射投影的操作。

单元内每一次采样采用亚像素重组及其逆操作完成，亚像素重组的逆操作过程如图4所示。输入特征通过洗牌器分解为通道数更多的小图，再经由一层3x3卷积层压缩通道数。

本发明实施例是利用深度卷积神经网络实现的图像超分辨率重建方法。输入图像和目标图像的patchsize分别设置为16x16和128x128(倍率因子为8)，batchsize设置为16，优化器采用adamoptimizer，上采样单元数量设置为5、7、10三种。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。