单张图像超分辨率重建系统及方法与流程

本发明属于图像处理领域，特别涉及一种单张图像的超分辨率重建方法。

背景技术：

单张图像超分辨率是计算机视觉领域的一个热门话题。它广泛应用于各个领域，包括人脸识别、卫星成像和医学成像等。超分辨率重建的目的是从给定的低分辨率图像中恢复高分辨率图像。然而，当上采样因子较大时，恢复图像中的高频信息就变得非常困难。因此，很有必要从低分辨率图像中收集更大范围内有用的上下文信息，以便捕获足够的信息来恢复高分辨率图像中的高频细节。

本发明主要关注的是基于学习的方法，这是近年来最流行的超分辨率重建方法。这种方法主要学习低分辨率图像和高分辨率图像之间的映射关系并且实现了较好的重建效果。

2014年dong等人提出了一种具有三个卷积层的卷积神经网络(srcnn)，直接学习低分辨率图像和高分辨率图像之间的映射，与以前的方法相比，该方法具有更好的性能。然而，当网络层数加深时，网络的收敛速度变得很慢并且网络训练变得非常困难。为了克服srcnn的局限性，kim等人提出了一种非常深的网络(vdsr)，通过采用高学习率去提高收敛速度，同时采用残差学习和梯度裁剪的方式解决了梯度爆炸的问题。同时，kim等人提出了一种深度递归卷积网络(drcn)去解决由于网络层数加深而引起的参数增加的问题，并且运用递归机制和跳跃连接去降低训练的复杂度。为了得到放大因子为8的模型，lai等人提出了一种名为lapsrn的网络，其在一个前馈过程中利用拉普拉斯金字塔去产生不同尺度的中间预测结果。而现存的基于卷积神经网络的方法没有提供如此的灵活性。为了减少参数，lai等人在lapsrn的基础上做了进一步改进，提出了ms-lapsrn，其通过使用递归结构达到了减少参数的目的并且提高了重建性能。

然而，现有技术中，对于单张图像的超分辨率重建，仍然较为复杂，重建效果不佳。

技术实现要素：

本发明的目的是提供一种单张图像的超分辨率重建系统及方法，降低了重建复杂度和提升了重建效果。

为了实现上述目的，本发明提供了一种单张图像的超分辨率重建方法，包括以下步骤：

采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；

两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；

重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；

将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。

可选的，在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征；第二个卷积层的结果要和细提取块的结果相加，第二个卷积层中使用64个大小为3×3的卷积核；

分别定义嵌入网络的输入图像为x，嵌入网络的输出图像为y；对于嵌入网络，两个卷积层用来从原始的低分辨率图像中提取更多特征，该过程可以表示为：

l1＝f1(x),l2＝f2(l1)

其中，f1,f2为特征提取函数，l1,l2分别为第一个卷积层和第二个卷积层提取的特征。

可选的，级联的细提取块由七个卷积层构成。前六个卷积层通过不同数量大小为的卷积核来提取粗到细的特征，第七个卷积层使用64个大小为的卷积核来去除冗余的信息。

可选的，对于两个级联的细提取块，该过程表示为：

l3＝f1(l2),l4＝f2(l3)

其中f1,f2分别代表第一个细提取块和第二个细提取块的映射函数；l3,l4分别为第一个细提取块和第二个细提取块得到的特征图；特别地，对于每一个细提取块；它由六个3×3的卷积层和一个1×1的卷积层构成；在细提取块中，假设每一层输出的特征图的维度为mi(i＝1,...,7)，于是有：

m1-m2＝m3-m1＝m4-m5＝m6-m4

其中m3＝m4；记第三个卷积层的输出为o3；划分出o3特征图的维与嵌入网络第二个卷积层输出的特征图融合在一起，该过程表示为：

t1＝c(s(o3,1/p),l2)

其中s为划分操作，c为融合操作，p为划分因子。划分之后，剩余的部分接着进行卷积操作；记第六个卷积层的输出为o6，将前面融合的结果与第六层的输出相加，该过程表示为：

t2＝o6+t1

接着，通过一个1×1的卷积层去除冗余的信息从而获得了l3：

l3＝f^k(t2),k＝1,2,

其中f¹,f²分别是第一个细提取块和第二个细提取块中1×1卷积层的特征提取函数。

可选的，反卷积操作被用来恢复特征并获得残差图像；该过程为：

d1＝r1(l3),d2＝r2(l4)

其中r1,r2为反卷积操作，d1,d2是重建网络的输出。

可选的，将得到的残差图像与上采样的输入图像相加得到最终重建的高分辨率图像y；通过以下过程实现：

y＝r1(l3)+r2(l4)+b(x)

其中，b为双三次插值操作。

本发明还提供了一种单张图像超分辨率重建系统，包括嵌入网络、级联的细提取块和重建网络，采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。

与现有技术相比，本发明的有益效果在于：

本发明利用了嵌入网络、级联的细提取块和重建网络，利用卷积层提取图像的特征，并运用残差网络学习低分辨率图像和高分辨率图像之间的映射关系，从而更好地表达图像特征。最后结合上采样的低分辨率图像和学习到的残差图像来重建高分辨率图像，考虑到残差学习和级联结构在超分辨率中可以减轻直接重建图像的复杂度。本发明实现了单张图像的超分辨率重建，复杂度低、效果好。

附图说明

图1a放大倍数为2时的低分辨率图像；

图1b放大倍数为2时本发明重建的高分辨率图像；

图2a放大倍数为3时的低分辨率图像；

图2b放大倍数为3时本发明重建的高分辨率图像；

图3为本发明超分辨率图像重建方法总体流程示意图；

图4为本发明超分辨率图像重建算方中细提取块的示意图，其中数字代表特征图的维度。

具体实施方式

本发明利用卷积层提取图像的特征，并运用残差网络学习低分辨率图像和高分辨率图像之间的映射关系，从而更好地表达图像特征。最后结合上采样的低分辨率图像和学习到的残差图像来重建高分辨率图像。

本发明的基本思路为：

首先，使用两个卷积层，用于从原始的低分辨率图像中提取特征；

其次，两个级联的细提取块通过一种粗到细的方式从低分辨率特征中重建高分辨率残差特征；

再次，重建的高分辨率特征被送到重建网络中通过反卷积的操作得到高分辨率残差图像；

最后，上采样的低分辨率图像和高分辨率残差图像经过一个求和操作得到最终的高分辨率图像；

步骤一：

在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征。考虑到宽卷积可能会增加计算的复杂度，并且第二个卷积层的结果要和细提取块的结果相加，所以，第二层中我们使用64个大小为3×3的卷积核。

分别定义网络的输入图像为x，网络的输出图像为y。对于嵌入网络，两个卷积层用来从原始的低分辨率图像中提取更多特征，该过程可以表示为：

l1＝f1(x),l2＝f2(l1)

其中，f1,f2为特征提取函数，l1,l2分别为第一个卷积层和第二个卷积层提取的特征。

步骤二：

级联的细提取块由七个卷积层构成。前六个卷积层通过不同数量大小为3×3的卷积核来提取粗到细的特征，第七个卷积层使用64个大小为1×1的卷积核来去除冗余的信息。

对于两个级联的细提取块，该过程可以表示为：

l3＝f1(l2),l4＝f2(l3)

其中f1,f2分别代表第一个细提取块和第二个细提取块的映射函数。l3,l4分别为第一个细提取块和第二个细提取块得到的特征图。特别地，对于每一个细提取块，它由六个3×3的卷积层和一个1×1的卷积层构成，其结构展示于图4。在细提取块中，假设每一层输出的特征图的维度为mi(i＝1,...,7)，于是有：

m1-m2＝m3-m1＝m4-m5＝m6-m4

其中m3＝m4。记第三个卷积层的输出为o3。接着，划分出o3特征图的维与嵌入网络第二个卷积层输出的特征图融合在一起，该过程可以表示为：

t1＝c(s(o3,1/p),l2)

其中s为划分操作，c为融合操作，p为划分因子。划分之后，剩余的部分接着进行卷积操作。记第六个卷积层的输出为o6，将前面融合的结果与第六层的输出相加，该过程表示为：

t2＝o6+t1

接着，通过一个1×1的卷积层去除冗余的信息从而获得了l3：

l3＝f^k(t2),k＝1,2,

其中f¹,f²分别是第一个细提取块和第二个细提取块中1×1卷积层的特征提取函数。

步骤三：

由于在卷积的过程中，大量有用的信息被丢失，因此，反卷积操作被用来恢复特征并获得残差图像。该过程为：

d1＝r1(l3),d2＝r2(l4)

其中r1,r2为反卷积操作，d1,d2是重建网络的输出。

步骤四：

将得到的残差图像与上采样的输入图像相加得到最终重建的高分辨率图像y。

y＝r1(l3)+r2(l4)+b(x)

其中，b为双三次插值操作。

如图1a所示，是放大倍数为2时的低分辨率图像，图1b所示，是用本发明重建的高分辨率图像。图2a所示，是放大倍数为3时的低分辨率图像，图2b所示，是用本发明重建的高分辨率图像。