基于自注意力机制的图像超分辨率重建方法、设备及介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种基于自注意力机制的图像超分辨率重建方法、设备及介质。


背景技术：

2.目前，视频监控被广泛应用于城市管理系统中，即通过安装在指定区域的摄像头来实现全天候监控城市秩序的目的。在城市建设中，为了减少成本，提高对城市资源的利用率，通常情况下会将视频监控的覆盖面积尽可能扩大，但是受监控距离、天气、光线等因素的影响，摄像头拍摄得到的图像整体质量会随之受到一定程度的影响，进而影响人类的视觉感知和计算机的分析，在此情况下，通常需要增大图像的分辨率后再对图像进行分析。
3.然而，现有的图像分辨率增大方法只是简单放大了图像的尺寸，并没有增加图像的分辨率，导致图像细节信息存在一定的丢失，在一定程度上影响了对图像内容的辨识。


技术实现要素：

4.为了解决上述问题，本技术提出了一种基于自注意力机制的图像超分辨率重建方法，包括：
5.获取训练收敛的图像重建模型，其中，所述图像重建模型包括依次连接的浅层特征提取网络、深层特征提取网络和重建网络；
6.采集待重建的第一分辨率图像，将所述第一分辨率图像输入至所述图像重建模型，以对所述第一分辨率图像进行特征提取，得到所述浅层特征提取网络中各残差单元对应输出的浅层特征图和所述深层特征提取网络输出的深层特征图；
7.将所述各残差单元对应输出的浅层特征图，通过跳跃连接与所述深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图；
8.通过所述重建网络对所述融合特征图进行上采样，以生成全局残差图像；
9.对所述第一分辨率图像进行双三次插值处理，以获得对应的输出图像，并将所述输出图像与所述全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像；其中，所述第二分辨率图像对应的图像分辨率大于所述第一分辨率图像对应的图像分辨率。
10.在本技术的一种实现方式中，将所述第一分辨率图像输入至所述图像重建模型，具体包括：
11.将所述第一分辨率图像由rgb色彩空间转换为yuv色彩空间，得到转换后的第一分辨率图像；
12.对所述转换后的第一分辨率图像进行色彩通道分离，以获得所述转换后的第一分辨率图像所对应的y通道图像；
13.将所述y通道图像输入至所述图像重建模型。
14.在本技术的一种实现方式中，对所述第一分辨率图像进行特征提取，得到所述浅
层特征提取网络中各残差单元分别输出的浅层特征图和所述深层特征提取网络输出的深层特征图，具体包括：
15.通过所述浅层提取网络中级联的多个第一卷积层，对所述第一分辨率图像进行卷积，得到所述浅层特征提取网络中最后一个残差单元输出的浅层特征图；
16.将所述最后一个残差单元输出的浅层特征图输入至所述深层特征提取网络，通过所述深层特征提取网络中并联的多个第二卷积层，分别对所述最后一个残差单元输出的浅层特征图进行卷积，得到所述多个第二卷积层分别输出的第一特征图、第二特征图和第三特征图；
17.根据所述第一特征图和所述第二特征图，计算注意力特征；所述注意力特征用于表示所述浅层特征图中各像素特征之间的依赖关系；
18.将所述注意力特征与所述第三特征图进行矩阵乘法操作，并将经过所述矩阵乘法操作所得到的第一指定特征图，输入至所述深层特征网络中的第三卷积层进行卷积，得到最终的深层特征图。
19.在本技术的一种实现方式中，根据所述第一特征图和所述第二特征图，计算注意力特征，具体包括：
20.对所述第一特征图进行转置，并将转置后的所述第一特征图和所述第二特征图进行矩阵乘法操作，得到第二指定特征图；
21.通过以下公式，对经过所述矩阵乘法操作所得到的第二指定特征图进行归一化，得到注意力特征：
[0022][0023]
其中，s
j，i
表示所述第一特征图中第i行元素对所述第二特征图中第j行元素所能产生的影响值，fi为所述第一特征图中的第i行元素，gj为所述第二特征图中的第j行元素，n为所述第二指定特征图中的元素数量，exp()为指数运算。
[0024]
在本技术的一种实现方式中，通过所述重建网络对所述融合特征图进行上采样，以生成全局残差图像之前，具体包括：
[0025]
确定所述图像重建模型对应的图像放大因子；所述输出图像的大小与所述第一分辨率图像的大小之间的比值为所述图像放大因子；
[0026]
通过所述重建网络中的多个亚像素卷积核，对所述融合特征图进行卷积，并针对卷积后的所述融合特征图，将处于同一像素位置的像素特征以多个图像块的形式进行重新排列，以得到重新排列后的全局残差图像；
[0027]
其中，所述卷积核的数量为所述图像放大因子的平方，所述全局残差图像的大小与所述融合特征图的大小之间的比值为所述图像放大因子，所述图像块的长度和宽度均为所述图像放大因子。
[0028]
在本技术的一种实现方式中，获取训练收敛的图像重建模型，具体包括：
[0029]
获取预设的图像样本库，所述图像样本库包括第一分辨率图像和第二分辨率图像；
[0030]
根据预设的过完备字典对，建立所述第一分辨率图像和所述第二分辨率图像之间
的映射关系，并根据所述映射关系，生成由所述第一分辨率图像及其对应的第二分辨率图像所构成的图像对；所述过完备字典对分别用于对所述第一分辨率图像和所述第二分辨率图像进行稀疏表示；
[0031]
从所述图像样本库中，获取至少部分所述图像对作为训练样本，训练初始图像重建模型，以获得训练收敛的图像重建模型。
[0032]
在本技术的一种实现方式中，根据预设的过完备字典对，建立所述第一分辨率图像和所述第二分辨率图像之间的映射关系，具体包括：
[0033]
确定所述过完备字典对中用于稀疏表示所述第一分辨率图像的第一过完备字典，以及用于稀疏表示所述第二分辨率图像的第二过完备字典；
[0034]
根据所述第一过完备字典对所述第一分辨率图像进行稀疏表示，并计算所述第一分辨率图像对应的稀疏表示系数；
[0035]
根据所述第二过完备字典和所述稀疏表示系数，确定所述第一分辨率图像对应的第二分辨率图像，并建立所述第一分辨率图像和所述第二分辨率图像之间的映射关系。
[0036]
在本技术的一种实现方式中，将所述输出图像与所述全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像，具体包括：
[0037]
针对所述输出图像中的各像素位置，通过以下公式，将所述输出图像与所述全局残差图像中位于所述像素位置的像素特征依次进行相加，得到重建的第二分辨率图像：
[0038]ihr
＝bic(i
lr
)+i
res
[0039]
其中，bic(i
lr
)表示所述输出图像中的像素特征，i
res
表示所述全局残差图像中的像素特征，i
hr
表示所述第二分辨率图像中的像素特征。
[0040]
本技术实施例提供了一种基于自注意力机制的图像超分辨率重建设备，其特征在于，所述设备包括：至少一个处理器；
[0041]
以及，与所述至少一个处理器通信连接的存储器；其中，
[0042]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0043]
获取训练收敛的图像重建模型，其中，所述图像重建模型包括依次连接的浅层特征提取网络、深层特征提取网络和重建网络；
[0044]
采集待重建的第一分辨率图像，将所述第一分辨率图像输入至所述图像重建模型，以对所述第一分辨率图像进行特征提取，得到所述浅层特征提取网络中各残差单元对应输出的浅层特征图和所述深层特征提取网络输出的深层特征图；
[0045]
将所述各残差单元对应输出的浅层特征图，通过跳跃连接与所述深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图；
[0046]
通过所述重建网络对所述融合特征图进行上采样，以生成全局残差图像；
[0047]
对所述第一分辨率图像进行双三次插值处理，以获得对应的输出图像，并将所述输出图像与所述全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像；其中，所述第二分辨率图像对应的图像分辨率大于所述第一分辨率图像对应的图像分辨率。
[0048]
本技术实施例提供了一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：
[0049]
获取训练收敛的图像重建模型，其中，所述图像重建模型包括依次连接的浅层特征提取网络、深层特征提取网络和重建网络；
[0050]
采集待重建的第一分辨率图像，将所述第一分辨率图像输入至所述图像重建模型，以对所述第一分辨率图像进行特征提取，得到所述浅层特征提取网络中各残差单元对应输出的浅层特征图和所述深层特征提取网络输出的深层特征图；
[0051]
将所述各残差单元对应输出的浅层特征图，通过跳跃连接与所述深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图；
[0052]
通过所述重建网络对所述融合特征图进行上采样，以生成全局残差图像；
[0053]
对所述第一分辨率图像进行双三次插值处理，以获得对应的输出图像，并将所述输出图像与所述全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像；其中，所述第二分辨率图像对应的图像分辨率大于所述第一分辨率图像对应的图像分辨率。
[0054]
通过本技术提出的一种基于自注意力机制的图像超分辨率重建方法能够带来如下有益效果：
[0055]
通过学习图像所有像素位置的特征之间的联系，使得相似的特征相互关联，能够捕捉到更加全局的特征，帮助恢复图像更多的纹理细节。将提取到的浅层特征图和深层特征图通过concat进行不同尺度特征图的融合，从而综合利用局部和全局特征，结合网络的上下文信息，为重建图像提供更多的细节信息。将通过双三次插值操作放大后的第一分辨率图像，与其大小相同的全局残差图像进行像素叠加，在实现图像分辨率增大的同时，还恢复了图像放大过程中丢失的纹理细节。
附图说明
[0056]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0057]
图1为本技术实施例提供的一种基于自注意力机制的图像超分辨率重建方法的流程示意图；
[0058]
图2为本技术实施例提供的另一种基于自注意力机制的图像超分辨率重建方法的流程示意图；
[0059]
图3为本技术实施例提供的一种深度特征提取网络结构示意图；
[0060]
图4为本技术实施例提供的一种亚像素卷积的流程示意图；
[0061]
图5为本技术实施例提供的一种基于自注意力机制的图像超分辨率重建设备的结构示意图。
具体实施方式
[0062]
为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0063]
以下结合附图，详细说明本技术各实施例提供的技术方案。
[0064]
如图1所示，本技术实施例提供的一种基于自注意力机制的图像超分辨率重建方法，包括：
[0065]
s101：获取训练收敛的图像重建模型，其中，图像重建模型包括依次连接的浅层特征提取网络、深层特征提取网络和重建网络。
[0066]
在对第一分辨率图像进行重建前，需预先训练出可将第一分辨率图像转换为第二分辨率图像的图像重建模型，而在训练图像重建模型时，所采用的训练样本为第一分辨率图像-第二分辨率图像所构成的图像对。需要说明的是，第二分辨率图像对应的图像分辨率大于第一分辨率图像对应的图像分辨率。
[0067]
具体地，获取预设的图像样本库，图像样本库包括第一分辨率图像和第二分辨率图像。
[0068]
进一步地，根据预设的过完备字典对，建立第一分辨率图像和第二分辨率图像之间的映射关系，从而根据得到的映射关系，生成由第一分辨率图像及其对应的第二分辨率图像所构成的图像对。过完备字典对是一组过完备字典，包括用于对第一分辨率图像进行稀疏表示的第一过完备字典d1和对第二分辨率图像进行稀疏表示的第二过完备字典d2。过完备字典对分别能够使得第一分辨率图像和第二分辨率图像在其上具有相同的稀疏表示，比如，对于第一分辨率图像y1，可将其表示为y1＝d1x，其中x为稀疏表示系数。
[0069]
需要说明的是，对于具有映射关系的第一分辨率图像和第二分辨率图像来说，其关于各自的过完备字典具有相似的稀疏表示，所对应的稀疏表示系数是相同的，因此，第一分辨率图像和第二分辨率图像之间的映射关系可根据稀疏表示系数来确定。首先，确定过完备字典对中用于稀疏表示第一分辨率图像的第一过完备字典d1，以及用于稀疏表示第二分辨率图像的第二过完备字典d2。然后，根据第一过完备字典d1对第一分辨率图像进行稀疏表示即y1＝d1x，并计算第一分辨率图像对应的稀疏表示系数x。在计算得到稀疏表示系数x后，由于第一分辨率图像和第二分辨率图像所对应的稀疏表示系数相同，根据第二分辨率图像对应的稀疏表示模型y2＝d2x，以及第二过完备字典d2和稀疏表示系数x，可确定出第一分辨率图像对应的第二分辨率图像，这样，便可根据过完备字典对，建立出相对应的第一分辨率图像和第二分辨率图像之间的映射关系。
[0070]
进一步地，在生成图像对后，可从图像样本库中，获取至少部分图像对作为训练样本来训练初始图像重建模型，直至模型训练收敛时，得到最终的图像重建模型。在图像重建模型的训练过程中，所学习的是第一分辨率图像和第二分辨率图像之间的关系，需不断调整该映射关系直至达到局部最优，从而确定出与第一分辨率图像相对应的第二分辨率图像。模型的训练效果会受限于训练样本数量，为尽可能保证图像重建模型的训练效果，在进行模型训练之前可对训练样本进行数据增强操作来扩大样本数量，比如，将训练样本分别旋转0
°
、90
°
、180
°
和270
°
，并进行镜像操作，每进行上述任一类型操作后，都可将操作后相应得到的图像添加至训练样本，有效提高了训练样本规模。
[0071]
在训练出已收敛的图像重建模型后，将采集到的第一分辨率图像输入至该图像重建模型中，便可相应输出重建后的第二分辨率图像。如图2所示的另一种基于自注意力机制的图像超分辨率重建方法的流程示意图，图像重建模型包括依次连接的浅层特征提取网络、深层特征提取网络和重建网络。
[0072]
s102：采集待重建的第一分辨率图像，将第一分辨率图像输入至图像重建模型，以
对第一分辨率图像进行特征提取，得到浅层特征提取网络中各残差单元对应输出的浅层特征图和深层特征提取网络输出的深层特征图。
[0073]
通过设置于城市指定区域的图像采集装置，比如摄像头、照相机等，采集待重建的第一分辨率图像。为保证图像分析的准确度，需将第一分辨率图像输入至训练收敛的图像重建模型，以获取相对应的第二分辨率图像。
[0074]
在将第一分辨率图像输入至图像重建模型之前，为减少计算量，加快图像重建速度，可对第一分辨率图像进行通道分离，并从中选取人眼最为敏感的通道图像作为参与特征映射学习的图像。首先，需将第一分辨率图像由rgb色彩空间转换为yuv色彩空间，得到转换后的第一分辨率图像。在yuv色彩空间中，y通道用于表示亮度，u通道和v通道用于表示色度，对转换后的第一分辨率图像进行色彩通道分离，可得到上述三种色彩通道。由于人眼对亮度较为敏感，在进行特征映射关系学习时只选用y通道图像即可，这样将分离得到的y通道图像输入至图像重建模型中，在大大降低计算量的基础上，还不会影响图像的重建质量。
[0075]
需要说明的是，将第一分辨率图像(即y通道图像)输入图像重建模型后，若要对第一分辨率图像进行卷积，还需预先对地分辨率图像进行补零操作，充分利用图像的边缘信息，以便于能够提取出更为精细的纹理信息。该过程可通过以下公式实现：
[0076]fl
(y)＝max(λ*(w
l
*f
l-1
(y)+b
l
),w
l
*f
l-1
(y)+b
l
)
[0077]
其中，w
l
表示第l层卷积核，可以表示为n
×k×k×
c，其中n表示卷积核的数量，取值为64，k表示卷积核的大小，取值为3，c表示卷积核的通道数。b
l
表示第l层的偏置，f
l-1
(y)表示前一层卷积的输出，λ表示激活函数prelu中可训练的参数。
[0078]
如图2所示，浅层特征提取网络由多个级联的第一卷积层(即残差单元)组成，分别为conv1、conv2、conv3，对应的卷积核分别为3x3、5x5、7x7。将第一分辨率图像输入图像重建模型后，通过浅层特征提取网络中的多个第一卷积层，能够分别对第一分辨率图像进行卷积，从而得到每一残差单元输出的浅层特征图，浅层特征图用于表示第一分辨率图像中的局部特征。最后一个残差单元输出的浅层特征图可直接输入至深层特征提取网络中，深层特征提取网络包括采用了自注意力机制的自注意力模块，自注意力机制不仅可以用于提取图像中的深层特征信息后，还能够学习图像的单个像素特征与所有像素位置对应的像素特征之间的依赖关系，通过学习所有像素位置的像素特征之间的联系使得相似的像素特征相互关联，能够轻松捕捉到更加全局的特征，帮助恢复第二分辨率图像更多的纹理细节。
[0079]
如图3所示的一种深度特征提取网络结构示意图所示，自注意力模块由三个伴随着prelu激活函数的多个1x1的第二卷积层构成，将最后一个残差单元输出的浅层特征图x输入至深层特征提取网络后，通过深层特征提取网络中并联的多个第二卷积层，分别对最后一个残差单元输出的浅层特征图x进行卷积，得到多个第二卷积层分别输出的第一特征图f(x)、第二特征图g(x)和第三特征图h(x)。
[0080]
其中，第一特征图f(x)可与第二特征图g(x)进一步计算出用于表示浅层特征图中各像素特征之间的依赖关系的注意力特征。首先，对第一特征图f(x)进行转置，并将转置后的第一特征图和第二特征图进行矩阵乘法操作，得到第二指定特征图。在得到第二指定特征图后，需通过softmax层对其进行归一化，具体可通过以下公式进行：
[0081][0082]
其中，s
j，i
表示所述第一特征图中第i行元素对第二特征图中第j行元素所能产生的影响值，fi为第一特征图中的第i行元素，gj为第二特征图中的第j行元素，n为第二指定特征图中的元素数量。exp()表示指数运算。
[0083]
两个像素位置对应的像素特征之间越相似，其响应值s
j，i
越大，关联性也就越大。在对第二指定特征图中的各像素位置的元素均进行归一化操作后，便可得到以矩阵形式存在的注意力特征s(x)。
[0084]
通过自注意力模块得到注意力特征s(x)后，将注意力特征s(x)与第三特征图h(x)进行矩阵乘法操作，并将经过矩阵乘法操作所得到的第一指定特征图，输入至深层特征网络中的1x1第三卷积层进行卷积，得到最终的深层特征图。深层特征图表示着所有像素位置的特征，因此具有全局上下文信息，其与浅层特征图融合时可以根据自注意力特征选择性地聚集上下文信息，恢复图像中更多的纹理细节。
[0085]
s103：将各残差单元对应输出的浅层特征图，通过跳跃连接与深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图。
[0086]
如图2和图3所示，浅层特征提取网络中各残差单元conv1、conv2、conv3卷积后对应输出的浅层特征图，可通过跳跃连接与深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图a(x)。对浅层特征图和深层特征图进行不同尺度特征图的融合，能够综合利用局部特征和全局特征，融合神经网络的上下文信息，为重建图像提供更多的细节信息。
[0087]
s104：通过重建网络对融合特征图进行上采样，以生成全局残差图像。
[0088]
如图2所示，重建网络依次由concat层、并联的卷积结构、concat层、1x1卷积层和亚像素卷积层组成。其中，并联的卷积结构一层为1x1的卷积层，另一层为级联的1x1和3x3卷积层。1x1卷积层用于自适应融合一系列不同层次的特征，3
×
3卷积层为了进一步提取特征然后进行全局残差学习。此结构在减少进入重建网络的特征图的维数、加快计算速度、减少信息损失的同时，还增加了更多的非线性，提高了神经网络的鲁棒性。concat层可对并联卷积层所输出的特征进行融合。
[0089]
本技术实施例采用全局残差学习的方式，以进一步降低计算成本，加快图像重建速度。残差是预测值与观测值之间的差异，残差函数用f()表示，假设卷积层有l层，则可以表示为：
[0090][0091]
其中，x
l
表示第l层特征图，xi表示第i层的特征图，表示i层卷积特征图到l层卷积特征图的残差值。
[0092]
进行反向传播后，浅层提取网络第i层的梯度里包含了深层第l层的梯度信息，由于第一分辨率图像与第二分辨率图像之间存在大量相似的低频信息，所以全局残差结构，可以避免重复学习低频信息，重点学习高频细节信息。
[0093]
亚像素卷积层位于1x1卷积层之后，融合特征图在经过并联卷积结构的卷积、concat特征融合以及1x1卷积层的卷积后，可通过亚像素层进行上采样来获取放大后的全局残差图像。亚像素卷积是在常规卷积层后面添加相位移层改变图像尺寸，使用在上采样的过程中，插值函数被隐含地包含在前面的1x1卷积层中，可以被自动学习，亚像素卷积包括卷积和排列两个步骤：
[0094]
确定图像重建模型对应的图像放大因子，对于放大因子为k的网络，亚像素卷积层的卷积核数量应该设置为r2(r＝k)，通过上述多个亚像素卷积核，能够对经过前面卷积操作的融合特征图再次进行卷积，并针对卷积后的融合特征图，将处于同一像素位置的像素特征以多个图像块的形式进行重新排列，以得到重新排列后的全局残差图像。其中，卷积核的数量为图像放大因子的平方r2，全局残差图像的大小与融合特征图的大小之间的比值为图像放大因子k，图像块的长度和宽度均为图像放大因子k。也就是说，如图4所示，将融合特征图的每个像素的r2个通道按照特定的顺序重新排列成一个r
×
r的区域，对应第二分辨率图像中的一个r
×
r大小的图像块，从而大小为r2×h×
w的特征图像被重新排列成1
×
rh
×
rw大小的全局残差图像块。需要说明的是，位于亚像素卷积层前面的卷积过程是在第一分辨率图像上进行的，并且排列不需要卷积，效率较高。
[0095]
s105：对第一分辨率图像进行双三次插值处理，以获得对应的输出图像，并将输出图像与全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像；其中，第二分辨率图像对应的图像分辨率大于第一分辨率图像对应的图像分辨率。
[0096]
在得到包含有大量的高频信息的全局残差图像后，仅通过用于反映图像小范围细节信息的全局残差图像是无法完成图像重建的，还需将其与包含有用于反映图像大尺度信息的低频信息的图像进行叠加，这样才可以得到边缘更为锐利、视觉效果更高的第二分辨率图像。
[0097]
具体地，将经过色彩通道分离的第一分辨率图像进行双三次插值操作，以得到相应的输出图像。双三次插值操作可将第一分辨率图像放大k倍，也就是说，输出图像的大小与第一分辨率图像的大小之间的比值为图像放大因子。此时，输出图像与全局残差图像的大小相同，将输出图像与全局残差图像中位于相同像素位置的像素特征依次进行相加，便可得到重建的第二分辨率图像。针对输出图像中的各像素位置，如何得到第二分辨率图像，具体可通过以下公式实现：
[0098]ihr
＝bic(i
lr
)+i
res
[0099]
其中，bic(i
lr
)表示输出图像中的像素特征，i
res
表示全局残差图像中的像素特征，i
hr
表示第二分辨率图像中的像素特征。
[0100]
以上为本技术提出的方法实施例。基于同样的思路，本说明书一个或多个实施例还提供了上述方法对应的设备及介质。
[0101]
图5为本技术实施例提供的一种基于自注意力机制的图像超分辨率重建设备的结构示意图，设备包括：至少一个处理器；
[0102]
以及，与至少一个处理器通信连接的存储器；其中，
[0103]
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
[0104]
获取训练收敛的图像重建模型，其中，图像重建模型包括依次连接的浅层特征提
取网络、深层特征提取网络和重建网络；
[0105]
采集待重建的第一分辨率图像，将第一分辨率图像输入至图像重建模型，以对第一分辨率图像进行特征提取，得到浅层特征提取网络中各残差单元对应输出的浅层特征图和深层特征提取网络输出的深层特征图；
[0106]
将各残差单元对应输出的浅层特征图，通过跳跃连接与深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图；
[0107]
通过重建网络对融合特征图进行上采样，以生成全局残差图像；
[0108]
对第一分辨率图像进行双三次插值处理，以获得对应的输出图像，并将输出图像与全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像；其中，第二分辨率图像对应的图像分辨率大于第一分辨率图像对应的图像分辨率。
[0109]
本技术实施例提供了一种非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：
[0110]
获取训练收敛的图像重建模型，其中，图像重建模型包括依次连接的浅层特征提取网络、深层特征提取网络和重建网络；
[0111]
采集待重建的第一分辨率图像，将第一分辨率图像输入至图像重建模型，以对第一分辨率图像进行特征提取，得到浅层特征提取网络中各残差单元对应输出的浅层特征图和深层特征提取网络输出的深层特征图；
[0112]
将各残差单元对应输出的浅层特征图，通过跳跃连接与深层特征提取网络输出的深层特征图进行concat特征融合，得到融合特征图；
[0113]
通过重建网络对融合特征图进行上采样，以生成全局残差图像；
[0114]
对第一分辨率图像进行双三次插值处理，以获得对应的输出图像，并将输出图像与全局残差图像中位于相同像素位置的像素特征依次进行相加，得到重建的第二分辨率图像；其中，第二分辨率图像对应的图像分辨率大于第一分辨率图像对应的图像分辨率。
[0115]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0116]
本技术实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。
[0117]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0118]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0119]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0120]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0121]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0122]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0123]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0124]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0125]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。