图像超分模型的训练方法、装置及计算机可读存储介质与流程

1.本技术属于计算机技术领域，特别是涉及一种图像超分模型的训练方法和装置、图像超分方法和装置及计算机可读存储介质。


背景技术：

2.特效相机、拍摄道具等功能已经成为了视频类应用的标配，但是由于设备算力限制，端上模型只允许以较小的图片分辨率进行推理，导致生成的图像很模糊，因此需要超分算法来提升整体图像效果。
3.相关技术中，可以采用训练好的卷积神经网络模型，来对原始图像进行超分处理，以得到清晰度较高的超分辨率图像。
4.但是，目前方案中，卷积神经网络模型的计算量、参数量和内存读写量都很大，对于本身计算力较弱的设备来说部署困难，使得响应时间难以达到实时性的要求。


技术实现要素：

5.有鉴于此，本技术提供一种图像超分模型的训练方法、装置及计算机可读存储介质，在一定程度上解决了目前方案中卷积神经网络模型的计算量、参数量和内存读写量都很大，对于本身计算力较弱的设备来说部署困难，使得响应时间难以达到实时性的要求的问题。
6.依据本技术的第一方面，提供了一种图像超分模型的训练方法，其特征在于，所述方法包括：
7.获取具有相同内容的低分辨率图像和高分辨率图像，以及初始模型，所述初始模型包括由多个首尾依次连接的信息蒸馏子模块构成的超分模块；所述信息蒸馏子模块包括多个首尾依次连接的残差单元；
8.将所述低分辨率图像输入所述初始模型，提取所述低分辨率图像的浅层特征；
9.通过所述超分模块，从所述浅层特征中提取深层特征；所述残差单元用于将输出的特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元，所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，最后一个信息蒸馏子模块的输出特征为所述深层特征；
10.将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像；
11.根据由所述超分辨率图像和所述高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型。
12.依据本技术的第二方面，提供了一种图像超分方法，所述方法包括：
13.将待处理图像输入图像超分模型，得到所述图像超分模型输出的超分辨率图像；
14.其中，所述图像超分模型由所述的图像超分模型的训练方法训练得到。
15.依据本技术的第三方面，提供了一种图像超分模型的训练装置，所述装置包括：
16.获取模块，用于获取具有相同内容的低分辨率图像和高分辨率图像，以及初始模型，所述初始模型包括由多个首尾依次连接的信息蒸馏子模块构成的超分模块；所述信息蒸馏子模块包括多个首尾依次连接的残差单元；
17.第一提取模块，用于将所述低分辨率图像输入所述初始模型，提取所述低分辨率图像的浅层特征；
18.第二提取模块，用于通过所述超分模块，从所述浅层特征中提取深层特征；所述残差单元用于将输出的特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元，所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，最后一个信息蒸馏子模块的输出特征为所述深层特征；
19.上采样模块，用于将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像；
20.训练模块，用于根据由所述超分辨率图像和所述高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型。
21.依据本技术的第四方面，提供了一种图像超分装置，所述装置包括：
22.超分模块，用于将待处理图像输入图像超分模型，得到所述图像超分模型输出的超分辨率图像；
23.其中，所述图像超分模型由图像超分模型的训练装置训练得到。
24.第五方面，本技术实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像超分模型的训练方法的步骤。
25.针对在先技术，本技术具备如下优点：
26.本技术提供的一种图像超分模型的训练方法，可以设计图像超分模型的结构为：由多个首尾依次连接的信息蒸馏子模块构成的超分模块，以及信息蒸馏子模块包括多个首尾依次连接的残差单元的结构，本技术实施例以残差单元为基础的信息多重蒸馏结构，可以在输入和输出之间添加一个恒等映射来学习输入和输出之间的残差，通过基于残差单元的信息多重蒸馏结构提取精细化的特征并将浅层特征与之进行叠加，从而解决了模型网络处于深层时产生的退化和梯度问题，使得模型更加高效的利用浅层视觉信息，让轻量化模型在保持精度的同时，极大的降低了参数量和计算量。
27.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
28.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
29.图1是本技术实施例提供的一种图像超分模型的训练方法的步骤流程图；
30.图2是本技术实施例提供的一种图像超分模型的架构图；
31.图3是本技术实施例提供的一种信息蒸馏子模块的结构示意图；
32.图4是本技术实施例提供的一种超分模块的结构示意图；
33.图5是本技术实施例提供的一种图像超分方法的步骤流程图；
34.图6是本技术实施例提供的一种图像超分模型的训练方法的具体步骤流程图；
35.图7是本技术实施例提供的一种基础残差单元的结构示意图；
36.图8是本技术实施例提供的一种轻量级残差单元的结构示意图；
37.图9是本技术实施例提供的一种图像超分模型的训练装置的框图；
38.图10是本技术实施例提供的一种图像超分装置的框图。
具体实施方式
39.下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。
40.图1是本技术实施例提供的一种图像超分模型的训练方法的步骤流程图，如图1所示，该方法可以包括：
41.步骤101、获取具有相同内容的低分辨率图像和高分辨率图像，以及初始模型。
42.其中，所述初始模型包括由多个首尾依次连接的信息蒸馏子模块构成的超分模块；所述信息蒸馏子模块包括多个首尾依次连接的残差单元。
43.在本技术实施例中，基于移动终端设备的算力限制，对移动终端上部署的图像超分模型的需求是在满足基本输出精度的前提下，尽量保持模型的轻量化。因此，如何对图像超分模型进行轻量化设计，是本技术实施例旨在解决的主要问题。
44.为了实现上述目的，本技术实施例首先需要设计一种初始模型的轻量化架构，并获取具有相同内容的低分辨率图像和高分辨率图像以组成训练数据对，从而后续通过训练数据对对初始模型进行训练，以得到图像超分模型。
45.参照图2，其示出了本技术实施例提供的一种图像超分模型的架构图，初始模型为训练前的图像超分模型，初始模型和图像超分模型的架构一致，图像超分模型的主体架构包括首尾依次连接的第一卷积模块、超分模块，第二卷积模块和上采样模块，第一卷积模块可以通过卷积操作，提取低分辨率图像的浅层特征，超分模块则用于对浅层特征进行进一步的特征提取，得到深层特征，第二卷积模块用于通过卷积处理对深层特征进行重建，以将深度特征向高频图像特征的方向去转化，上采样模块则用于先将浅层特征和深度特征进行融合，得到融合了低分辨率图像的边缘语义和深层语义的特征，之后基于该特征进行上采样，可以得到保证内容完整性和准确性，且清晰度和分辨率提高的超分辨率图像。
46.为了通过模型的处理从而实现图像的超分，对于模型的需求是模型能够首先提取得到低分辨率图像的准确的深层特征，由于深层特征表达了低分辨率图像的深层语义信息，因此在模型后续的上采样过程中，模型可以基于深层特征和浅层特征的融合特征进行上采样重建，从而得到高清晰度和高分辨率的超分辨率图像。
47.本技术实施例对图像超分模型的结构设计的重点，是对用于提取低分辨率图像深层特征的超分模块的轻量化设计，即在保证提取的深层特征的精度的前提下，进一步实现
超分模块的结构轻量化，使得图像超分模型具有更小的存储要求和更快的响应速度，以降低图像超分模型在低算力设备上的部署难度。
48.具体的，本技术实施例的超分模块的具体架构，可以引入信息多重蒸馏网络(imdn，information multi
‑
distillation network)的思想，该思想下的超分模块架构整体表现为以残差单元为基础的信息多重蒸馏结构，参照图3，其示出了本技术实施例提供的一种信息蒸馏子模块的结构示意图，本技术实施例可以构建包括k个首尾依次相连的残差单元的信息蒸馏子模块，浅层特征输入后，信息蒸馏子模块中的残差单元每次切分一部分有用的精细特征，并将其余粗糙特征继续向下一个残差单元传递，以通过卷积再进行进一步的精细特征的提取(此处体现了多重蒸馏的意义)，全部残差单元运行完成后，将每一残差单元提取出来的精细特征连接起来(concat)，最后利用1
×
1的卷积降维，以调整通道的数量达到需求，得到该信息蒸馏子模块的输出特征，通过多次的切分提取，使得该输出特征包含了比浅层特征更深层的特征。
49.进一步的，为了达到深度特征的较高精细度要求，参照图4，其示出了本技术实施例提供的一种超分模块的结构示意图，本技术实施例还可以在超分模块中，设置多个信息蒸馏子模块首尾依次连接的结构，即通过多轮多重蒸馏的过程，进一步提高深层特征的精细度以达到精细度要求。
50.在本技术实施例中，可以认为神经网络的网络越深的时候，提取到的特征包含的不同层次的信息会越多，而不同层次间的层次信息的组合也会越多，使得提取的这些特征即为深层特征，这也会导致网络越深的时候参数量越大，所需运算资源越多，深度学习对于网络深度遇到的主要问题是梯度消失和梯度爆炸，传统对应的解决方案则是数据的初始化和正则化，但是这样虽然解决了梯度的问题，且深度进一步加深，却带来了另外的问题，就是网络性能的退化问题，使得错误率上升，而以残差单元为基础的信息多重蒸馏结构可以通过在输入和输出之间添加一个恒等映射来学习输入和输出之间的残差，可以解决训练困难的问题，并解决了退化的问题和梯度问题，由多个信息蒸馏子模块，以及信息蒸馏子模块包括的多个残差单元构成的用于多重信息蒸馏的残差结构，还可以充分利用对浅层特征的多重蒸馏以提取精确度较高的深层特征，并将浅层特征与之进行叠加，从而解决了模型网络处于深层时产生的退化和梯度问题，使得模型更加高效的利用浅层视觉信息，让轻量化模型在保持精度的同时，极大的降低了参数量和计算量。
51.可选的，步骤101具体可以包括：
52.子步骤1011、获取高分辨率图像。
53.子步骤1012、通过预设的图像缩放算法对所述高分辨率图像进行下采样，得到所述低分辨率图像。
54.在本技术实施例中，对低分辨率图像和高分辨率图像的获取，具体可以先获取预设的高清图库中的高分辨率图像，之后通过图像缩放算法对高分辨率图像进行下采样，得到对应的低分辨率图像，使得在清晰度不同的基础上，获取了相同内容的低分辨率图像和高分辨率图像。另外，低分辨率图像和高分辨率图像所包含的内容可以具体为某一对象(人物、动物、物体等)，如，该内容可以具体为人物的脸部，此时可以从高清人脸图像数据库中提取图像的人脸区域作为高分辨率图像，之后对高分辨率图像下采样可以得到低分辨率图像。
55.步骤102、将所述低分辨率图像输入所述初始模型，提取所述低分辨率图像的浅层特征。
56.在本技术实施例中，基于步骤101提供的初始模型的架构，具体可以利用由具有相同内容的低分辨率图像和高分辨率图像构成的训练数据对，对初始模型进行训练。
57.在该步骤中，参照图2，输入初始模型的低分辨率图像首先可以被第一卷积模块进行处理，第一卷积模块通过卷积操作对低分辨率图像进行特征提取，以提取得到低分辨率图像的浅层特征，即浅层特征f1＝f1(ilr)，其中，f1为第一卷积模块，第一卷积模块f1的卷积核大小为3
×
3，通道数为c；ilr为低分辨率图像。浅层特征f1是通过卷积操作从低分辨率图像中直接提取到的浅层的特征，通常包含了低分辨率图像中边缘的语义信息。
58.步骤103、通过所述超分模块，从所述浅层特征中提取深层特征。
59.其中，所述残差单元用于将输出的特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元，所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，最后一个信息蒸馏子模块的输出特征为所述深层特征。
60.在该步骤中，参照图2，第一卷积模块输出的浅层特征，可以进一步被输入如图4所示的由多个首尾依次连接的信息蒸馏子模块构成的超分模块中，使得浅层特征首先进入信息蒸馏子模块1进行处理，得到信息蒸馏子模块1的输出特征1，输出特征1被进一步输入信息蒸馏子模块2进行处理，得到信息蒸馏子模块2的输出特征2
…
第n个信息蒸馏子模块的输出特征n可以被作为浅层特征中提取的深层特征。该过程的数学表示为：第i个信息多重蒸馏模块所输出的特征为：
61.其中i∈{1,2,3,...,n}，且为浅层特征f1，为第i个信息蒸馏子模块。
62.进一步的，参照图3，示出了一个信息蒸馏子模块中的结构，即一个信息蒸馏子模块包含了多个首尾依次连接的残差单元，浅层特征输入后，残差单元每次切分一部分有用的精细特征，并将其余粗糙特征继续向下一个残差单元传递，以通过卷积再进行进一步的精细特征的提取，全部残差单元运行完成后，将每一残差单元提取出来的精细特征连接起来，最后利用1
×
1的卷积降维，以调整通道的数量达到需求，得到该信息蒸馏子模块的输出特征，通过多次的切分提取，使得该输出特征包含了比浅层特征更深层的特征。该过程的数学表示为：第j个残差单元所提取到的特征经通道切分后可得到精细特征和粗糙特征使得：
[0063][0064]
其中j∈{1,2,3,...,k
‑
1}，最后一个残差单元的输出特征无需切分，即最后一个残差单元保留的精细特征为该残差单元的输出特征，且输出特征通道的通道数为即：
[0065][0066]
其中，为前一个信息蒸馏子模块的输出特征为前一个信息蒸馏子模块的输出特征为第j个残差单
元，split
j
为第j个通道切分操作。
[0067]
之后，被保留下的精细特征可以通过特征通道连接操作合并在一起，并通过一个1
×
1卷积进行通道维数缩减，即：
[0068][0069]
其中f
distilled
表示信息蒸馏后的所保留的精细特征，f
con
表示1
×
1卷积操作，concat表示特征的通道连接操作。
[0070]
在本技术实施例中，可以认为神经网络的网络越深的时候，出现网络性能的退化问题的几率就越大，使得错误率上升，而以残差单元为基础的信息多重蒸馏结构，则可以充分利用对浅层特征的多重蒸馏以提取深层特征，解决了退化的问题，其同时也解决了梯度问题，使得在网络的性能提升的基础上，极大的降低了计算量，简化了训练难度，从而降低了图像超分模型的存储和算力需求，达到了轻量化的目的。
[0071]
步骤104、将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像。
[0072]
在该步骤中，参照图2，超分模块输出的深层特征可以先通过第二卷积模块的卷积处理对深层特征进行重建，以将深度特征向高频图像特征的方向去转化，之后可以将重建特征输入上采样模块，上采样模块可以将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到初始模型输出的超分辨率图像。该过程的数学表示为：
[0073]
超分辨率图像i
sr
＝f
up
(f1+f3)，其中，f
up
为上采样模块，f3为第二卷积模块输出的重建特征。
[0074]
具体的，上采样模块可以由一个卷积核大小为3
×
3的卷积层和像素洗牌(pixelshuffle)操作层组成。3
×
3卷积层用于将输入特征的通道数由c变为3s2，使得其输出的特征大小为h
lr
×
w
lr
×
3s2，h
lr
、w
lr
分别为低分辨率图像的高和宽，s为低分辨率图像与高分辨率图像之间的分辨率倍数，之后的pixelshuffle操作可以通过周期筛选(periodic shuffing)的方法得到超分辨率图像，使得输出的超分辨图像的大小为sh
lr
×
sw
lr
×
3。
[0075]
进一步的，pixelshuffle操作的功能时将一个h
×
w的低分辨率图像，通过sub
‑
pixel操作将其变为rh
×
rw的高分辨率图像，其实现过程不是直接通过插值等方式产生这个高分辨率图像，而是通过卷积先得到r2个通道的特征图(特征图大小和输入的低分辨率图像一致)，然后通过周期筛选的方法得到这个高分辨率图像，其中r为上采样因子(upscaling factor)，也就是图像的扩大倍率。
[0076]
步骤105、根据由所述超分辨率图像和所述高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型。
[0077]
在本技术实施例中，训练过程中，针对初始模型的低分辨率图像的输入，得到了对应输出的超分辨率图像i
sr
，则该低分辨率图像对应的高分辨率图像i
hr
可以作为标定值，去与超分辨率图像i
sr
计算平均绝对误差(损失值)，并由二者的平均绝对误差确定损失函数：通过损失函数调整初始模型的参数，直至经过多次输入输出和参数调整，使得初始模型达到训练目标后，可以将初始模型作为图像超分模型进行使用。
[0078]
综上，本技术实施例提供的图像超分模型的训练方法中，本技术可以设计图像超分模型的结构为：由多个首尾依次连接的信息蒸馏子模块构成的超分模块，以及信息蒸馏
子模块包括多个首尾依次连接的残差单元的结构，本技术实施例以残差单元为基础的信息多重蒸馏结构，可以在输入和输出之间添加一个恒等映射来学习输入和输出之间的残差，通过基于残差单元的信息多重蒸馏结构提取精细化的特征并将浅层特征与之进行叠加，从而解决了模型网络处于深层时产生的退化和梯度问题，使得模型更加高效的利用浅层视觉信息，让轻量化模型在保持精度的同时，极大的降低了参数量和计算量。
[0079]
图5是本技术实施例提供的一种图像超分方法的步骤流程图，如图5所示，该方法可以包括：
[0080]
步骤201、将待处理图像输入图像超分模型，得到所述图像超分模型输出的超分辨率图像。
[0081]
其中，所述图像超分模型由图1所述的图像超分模型的训练方法训练得到。
[0082]
在本技术实施例中，由于图像超分模型基于残差单元的信息多重蒸馏结构，实现了在保证提取得到准确度较高的深层特征的基础上，进一步通过解决了模型网络处于深层时产生的退化和梯度问题，降低了模型的参数量和计算量，从而实现了图像超分模型轻量化的目的，因此，在模型推理环节，图像超分模型可以以待处理图像为输入，以超分后的超分辨率图像为输出，提高了待处理图像的分辨率和清晰度。并且，由于图像超分模型实现了模型的轻量化，使得图像超分模型具有更小的存储要求和更快的响应速度，从而降低了图像超分模型在低算力设备上的部署难度。
[0083]
可选的，所述图像超分模型包括目标重量模型和目标轻量模型；步骤201具体可以包括：
[0084]
子步骤2011、在当前设备的算力大于预设算力阈值时，将所述待处理图像输入目标重量模型，得到所述目标重量模型输出的超分辨率图像；
[0085]
子步骤2012、在当前设备的算力小于或等于预设算力阈值时，将所述待处理图像输入目标轻量模型，得到所述目标轻量模型输出的超分辨率图像。
[0086]
在本技术实施例中，由于不同设备具有不同的算力基础，因此，针对高算力设备和低算力设备，本技术实施例可以分别设置目标重量模型和目标轻量模型，目标重量模型具有较高的算力需求，并具有较高的输出精度，使得目标重量模型可以部署于高算力设备中进行使用；而目标轻量模型在保证一定的输出精度的基础上，具有轻量化的模型结构，对部署设备的算力需求较低，使得目标轻量模型可以部署于低算力设备中进行使用。
[0087]
具体的，目标重量模型和目标轻量模型都可以基于图2、图3和图4所共同示出的基于残差单元的信息多重蒸馏结构，目标重量模型和目标轻量模型则可以由各自所包含的信息蒸馏子模块的数量，和信息蒸馏子模块所包含的残差单元的数量以及结构所确定。其中，目标重量模型包括的信息蒸馏子模块的第一数量大于或等于目标轻量模型包括的信息蒸馏子模块的第二数量，目标重量模型的信息蒸馏子模块包含的残差单元的数量，大于或等于目标轻量模型的信息蒸馏子模块包含的残差单元的数量。
[0088]
例如，一种实现方式中，针对目标重量模型，其包括的信息蒸馏子模块的数量可以为6，每个信息蒸馏子模块包含的残差单元的数量为6，基础通道数为64，残差单元可以选用基础残差单元；针对目标轻量模型，其包括的信息蒸馏子模块的数量可以为6，每个信息蒸馏子模块包含的残差单元的数量为4，基础通道数为32，残差单元可以选用具有深度可分离卷积结构的轻量级残差单元。
[0089]
另外，高算力设备和低算力设备的区分，可以通过判断设备的算力是否大于预设算力阈值来确定，如，在当前设备的算力大于预设算力阈值时，将当前设备作为高算力设备；在当前设备的算力小于或等于预设算力阈值时，将当前设备作为低算力设备，预设算力阈值可以根据实际需求进行设定。
[0090]
综上，本技术实施例提供的图像超分模型的训练方法中，本技术可以设计图像超分模型的结构为：由多个首尾依次连接的信息蒸馏子模块构成的超分模块，以及信息蒸馏子模块包括多个首尾依次连接的残差单元的结构，本技术实施例以残差单元为基础的信息多重蒸馏结构，可以在输入和输出之间添加一个恒等映射来学习输入和输出之间的残差，通过基于残差单元的信息多重蒸馏结构提取精细化的特征并将浅层特征与之进行叠加，从而解决了模型网络处于深层时产生的退化和梯度问题，使得模型更加高效的利用浅层视觉信息，让轻量化模型在保持精度的同时，极大的降低了参数量和计算量。
[0091]
图6是本技术实施例提供的一种图像超分模型的训练方法的具体步骤流程图，如图6所示，该方法可以包括：
[0092]
步骤301、获取具有相同内容的低分辨率图像和高分辨率图像，以及初始模型。
[0093]
其中，所述初始模型包括由多个首尾依次连接的信息蒸馏子模块构成的超分模块；所述信息蒸馏子模块包括多个首尾依次连接的残差单元。
[0094]
该步骤可以参照上述步骤101，此处不再赘述。
[0095]
步骤302、将所述低分辨率图像输入所述初始模型，提取所述低分辨率图像的浅层特征。
[0096]
该步骤可以参照上述步骤102，此处不再赘述。
[0097]
步骤303、通过所述超分模块，从所述浅层特征中提取深层特征。
[0098]
其中，所述残差单元用于将输出的特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元，所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，最后一个信息蒸馏子模块的输出特征为所述深层特征。
[0099]
该步骤可以参照上述步骤102，此处不再赘述。
[0100]
可选的，步骤303具体可以包括：
[0101]
子步骤3031、通过所述超分模块的残差单元对输入特征进行卷积处理，得到第一卷积结果。
[0102]
子步骤3032、将所述第一卷积结果与所述输入特征叠加，得到所述残差单元的输出特征。
[0103]
在本技术实施例中，超分模块中的基于残差单元的信息多重蒸馏结构的具体运行过程是：每个残差单元先通过卷积处理对输入特征(第一个信息蒸馏子模块的第一个残差单元的输入特征为浅层特征)进行计算，以提取得到输入特征的更深层次的特征。
[0104]
具体的，参照图7，其示出了本技术实施例提供的一种基础残差单元的结构示意图，一个基础残差单元可以由一个具有3
×
3大小的卷积核的卷积层11、一个激活函数(relu)层12、一个具有3
×
3大小的卷积核的卷积层13依次连接构成，使得该残差单元的输入特征依次经过卷积、激活、卷积处理之后得到第一卷积结果，再将第一卷积结果与输入特征进行叠加，得到该基础残差单元的输出特征，该输出特征是相对浅层特征更深层的特征，
包含了更多核心语义信息。
[0105]
子步骤3033、将所述输出特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元；其中，处于末尾的残差单元保留的精细特征为所述残差单元的输出特征。
[0106]
在本技术实施例中，残差单元可以通过卷积操作提取深层的特征，在提取特征后，还可以通过split(分裂)算子进一步对其提取的特征进行通道的切分，将切分后得到的输出特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元；其中，提取的精细特征可以为靠前(1/4)c通道的特征，可以通过多轮训练迭代，实现提取靠前(1/4)c通道的精细特征的目的，残差单元的输出特征的后(3/4)c通道的特征则可以被当做粗糙特征输入下一残差单元，进行更深层次的提取。其中，处于末尾的残差单元则可以再对输出特征进行切分，即处于末尾的残差单元保留的精细特征为该末尾的残差单元的输出特征。
[0107]
子步骤3034、将所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，并将最后一个信息蒸馏子模块的输出特征作为所述深层特征。
[0108]
在该步骤中，一个信息蒸馏子模块的所有残差单元保留的精细特征合并后，可以得到信息蒸馏子模块的输出特征，即信息蒸馏子模块通过基于残差单元的信息多重蒸馏结构进行了浅层特征的精细特征的提取和合并，实现了信息的蒸馏。具体的，所有残差单元保留的精细特征的合并可以通过通道连接操作实现。
[0109]
可选的，所述残差单元为具有深度可分离卷积结构的轻量级残差单元；所述轻量级残差单元包括：首尾依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核大小为1
×
1；所述第二卷积层的卷积核大小为3
×
3。
[0110]
在本技术实施例中，相对于图7示出的基础残差单元的结构图，本技术实施例进一步提供了一种具有深度可分离卷积结构的轻量级残差单元，使得轻量级残差单元对存储和算力需求更小，更能够满足轻量化的部署需求。
[0111]
参照图8，其示出了本技术实施例提供的一种轻量级残差单元的结构示意图，一个轻量级残差单元可以由一个具有1
×
1大小的卷积核的卷积层21、一个激活函数层22、一个具有3
×
3大小的卷积核的深度卷积层23、一个激活函数层24、一个具有1
×
1大小的卷积核的卷积层25依次连接构成，使得该残差单元的输入特征依次经过卷积、激活、深度卷积、激活、卷积处理之后得到处理结果，再将处理结果与输入特征进行叠加，得到该轻量级残差单元的输出特征，该输出特征是相对浅层特征更深层的特征，包含了更多核心语义信息。
[0112]
基于轻量化的设计思想，本技术实施例对图7示出的基础残差单元的结构进行了进一步的轻量化处理，得到了图8示出的轻量级残差单元的结构，这种轻量化的优化即是将基础残差单元中的两个3
×
3大小的卷积层，替换为轻量级残差单元中1
×
1大小的卷积层+3
×
3大小的卷积层+1
×
1大小的卷积层的结构，轻量级残差单元的结构中的中间3
×
3大小的卷积层，可以首先在一个降维1
×
1大小卷积层下通过降维减少了计算量，然后在另一个1
×
1大小的卷积层下做了通道的还原，既保持了精度又减少了计算量，从而达到了轻量化的目的。
[0113]
需要说明的是，针对轻量级残差单元和基础残差单元，在卷积处理后要执行标准化操作，有研究表明，批标准化操作(batch normalization)处理在超分辨率图像中会造成
伪影并限制模型的泛化能力，而权重标准化(weight normalization)处理可以带来更好的超分效果。因此，这里将两种残差单元中的标准化处理层设置为权重标准化处理层，以降低超分辨率图像中会造成伪影的几率，并提高了模型的泛化能力。
[0114]
可选的，步骤303具体可以包括：
[0115]
子步骤3035、将所述信息蒸馏子模块的所有残差单元保留的精细特征合并，得到合并特征。
[0116]
子步骤3036、将所述合并特征与所述浅层特征进行加权融合，得到所述信息蒸馏子模块的输出特征。
[0117]
其中，所述合并特征与所述浅层特征各自的权重分别为自适应权重，且初始值为1。
[0118]
在本技术实施例中，信息蒸馏子模块的所有残差单元保留的精细特征合并操作，可以通过通道连接操作concat，即表示为信息蒸馏子模块的所有残差单元保留的精细特征合并，得到合并特征。
[0119]
具体的，为了充分的利用浅层特征，并抑制深层网络训练时存在的梯度消失和梯度爆炸问题，本技术实施例可以通过自适应加权跳跃连接的方式，将浅层特征f1送入到每个信息蒸馏子模块中，并与信息蒸馏后的输出特征进行加权融合，具体可以表示为：其中，为信息蒸馏子模块加权融合后的输出特征，f
distilled
为合并特征，λ为浅层特征f1的自适应权重，μ为合并特征f
distilled
的自适应权重。自适应权重的初始值为1，可以在训练迭代过程中不断自适应学习，直至训练完成后，自适应权重的值达到最优。
[0120]
可选的，在子步骤3036之后，还可以包括：
[0121]
子步骤3037、将所述合并特征输入卷积核大小为1
×
1的卷积层，得到第二卷积结果。
[0122]
子步骤3038、将所述第二卷积结果与所述浅层特征的加权融合结果作为所述信息蒸馏子模块的输出特征。
[0123]
其中，所述第二卷积结果与所述浅层特征各自的权重分别为自适应权重，且初始值为1。
[0124]
在本技术实施例中，参照图3，在进行加权融合之前，还可以将合并特征输入卷积核大小为1
×
1的卷积层，以进行合并特征的通道维数缩减，得到第二卷积结果，之后利用第二卷积结果与浅层特征的加权融合结果，作为信息蒸馏子模块的输出特征。
[0125]
例如，在图3中，输入残差单元1的特征的通道数为c，则残差单元每一次切分后保留的精细特征的通道数为(1/4)c，使得k个残差单元保留的精细特征合并后得到的合并特征的通道数为(1/4)kc，为了使得最终信息蒸馏子模块输出的特征的通道数也为c，则可以将合并特征输入卷积核大小为1
×
1的卷积层进行合并特征的通道维数缩减，使得缩减后的合并特征的通道数为c。
[0126]
另外，针对图3中除了残差单元1和残差单元k的其他残差单元，其包含的第一个处理层可以为一个卷积核大小为1
×
1的卷积层，其目的是将输入特征的通道数(3/4)c对齐为通道数c。
[0127]
步骤304、提取所述深度特征的特征以进行特征重建，得到重建特征。
[0128]
参照图2，超分模块输出的深层特征可以先通过第二卷积模块的卷积处理对深层特征进行重建，以将深度特征向高频图像特征的方向去转化，
[0129]
步骤305、将所述浅层特征和所述重建特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像。
[0130]
参照图2在执行完特征重建之后，本技术实施例可以将重建特征输入上采样模块，上采样模块可以将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到初始模型输出的超分辨率图像。
[0131]
步骤306、根据由所述超分辨率图像和所述高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型。
[0132]
该步骤可以参照上述步骤105，此处不再赘述。
[0133]
可选的，所述初始模型包括：具有第一数量的第一信息蒸馏子模块的重量模型，以及具有第二数量的第二信息蒸馏子模块的轻量模型；所述图像超分模型包括目标重量模型和目标轻量模型；步骤306具体可以包括：
[0134]
子步骤3061、利用由所述高分辨率图像和所述重量模型输出的超分辨率图像所确定的第一损失函数，对所述重量模型进行训练，得到目标重量模型。
[0135]
可选的，所述第一数量大于或等于所述第二数量，所述第一信息蒸馏子模块包含的残差单元的数量，大于或等于所述第二信息蒸馏子模块包含的残差单元的数量。
[0136]
可选的，所述第一信息蒸馏子模块包含的残差单元为基础残差单元；所述第二信息蒸馏子模块包含的残差单元为具有深度可分离卷积结构的轻量级残差单元所述轻量级残差单元包括：首尾依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核大小为1
×
1；所述第二卷积层的卷积核大小为3
×
3；所述基础残差单元包括：首尾依次连接的第四卷积层、第三激活层和第五卷积层，所述第四卷积层和所述第五卷积层的卷积核大小为3
×
3。
[0137]
在本技术实施例中，由于不同设备具有不同的算力基础，因此，针对高算力设备和低算力设备，本技术实施例可以分别设置目标重量模型和目标轻量模型，目标重量模型具有较高的算力需求，并具有较高的输出精度，使得目标重量模型可以部署于高算力设备中进行使用；而目标轻量模型在保证一定的输出精度的基础上，具有轻量化的模型结构，对部署设备的算力需求较低，使得目标轻量模型可以部署于低算力设备中进行使用。
[0138]
具体的，针对目标重量模型，由于其适用设备的算力较高，则目标重量模型中的残差单元具体可以采用图7示出的基础残差单元，从而提高输出精度。针对目标轻量模型，由于其适用设备需要轻量化的设计，则目标轻量模型中的残差单元具体可以采用图8示出的轻量级残差单元，从而降低模型对存储和算力需求，更能够满足轻量化的部署需求。
[0139]
在该步骤中，由于目标重量模型适用设备的算力较高，则可以直接利用由高分辨率图像和重量模型输出的超分辨率图像所确定的第一损失函数，对重量模型进行训练，得到目标重量模型。其中，第一损失函数到目标重量模型。其中，第一损失函数
[0140]
||i
sr
‑
i
hr
||为超分辨率图像i
sr
与高分辨率图像i
hr
之间的平均绝对误差。
[0141]
子步骤3062、利用目标重量模型对所述轻量模型进行训练，得到目标轻量模型。
[0142]
在本技术实施例中，由于目标轻量模型适用于目前广泛应用的低算力移动终端设
备，则需要在考虑训练轻量化的基础上，保持较高的训练效果。因此，本技术实施例可以在完成对目标重量模型的训练之后，采用目标重量模型进一步对轻量模型进行知识蒸馏训练，从而将有用的信息从目标重量模型传播到轻量模型。
[0143]
可选的，子步骤3062具体可以包括：
[0144]
子步骤a1、在执行将所述低分辨率图像输入所述目标重量模型进行处理的过程中，按照预先设定的多个第一层级，分别提取与每个第一层级对应的第一信息蒸馏子模块的输出特征，并根据所述第一层级对应的输出特征和输出特征的通道数，计算所述第一层级的视觉信息，所述视觉信息用于表征所述输出特征的特征深度。
[0145]
子步骤a2、在执行将所述低分辨率图像输入所述轻量模型进行处理的过程中，按照预先设定的多个第二层级，分别提取与每个第二层级对应的第二信息蒸馏子模块的输出特征，并根据所述第二层级对应的输出特征和输出特征的通道数，计算所述第二层级的视觉信息；所述第一层级与所述第二层级一一对应。
[0146]
子步骤a3、根据所述第一层级的视觉信息、所述第二层级的视觉信息和由所述高分辨率图像和所述目标重量模型输出的超分辨率图像所确定的损失函数，对所述轻量模型的参数进行训练，得到目标轻量模型。
[0147]
在本技术实施例中，通过训练好的目标重量模型进一步对轻量模型进行知识蒸馏训练，是需要对目标重量模型和轻量模型的对应特征进行统计，并约束其在统计量上的相似性。
[0148]
例如，一种实现方式中，针对目标重量模型，其包括的信息蒸馏子模块的数量可以为6，每个信息蒸馏子模块包含的残差单元的数量为6，基础通道数为64，残差单元可以选用基础残差单元；针对目标轻量模型，其包括的信息蒸馏子模块的数量可以为6，每个信息蒸馏子模块包含的残差单元的数量为4，基础通道数为32，残差单元可以选用具有深度可分离卷积结构的轻量级残差单元。
[0149]
假设设定了低、中、高三个层级，则3个第一层级可以包括：目标重量模型的第一个第一信息蒸馏子模块(低层级)、第四个第一信息蒸馏子模块(中层级)、第六个第一信息蒸馏子模块(高层级)；3个第二层级可以包括：轻量模型的第一个第二信息蒸馏子模块(低层级)、第四个第二信息蒸馏子模块(中层级)、第六个第二信息蒸馏子模块(高层级)，使得第一层级与第二层级一一对应。
[0150]
在进行将低分辨率图像分别输入目标重量模型和轻量模型的过程中，可以依次采集目标重量模型中第一个第一信息蒸馏子模块(低层级)的输出特征a、第四个第一信息蒸馏子模块(中层级)的输出特征b、第六个第一信息蒸馏子模块(高层级)的输出特征c；以及采集轻量模型中第一个第二信息蒸馏子模块(低层级)的输出特征d、第四个第二信息蒸馏子模块(中层级)的输出特征e、第六个第二信息蒸馏子模块(高层级)的输出特征f。
[0151]
基于采集的对应层级的输出特征，可以计算得到该层级对应的视觉信息，具体为视觉信息其中，f为当前信息蒸馏子模块的输出特征，c为输出特征的通道数。视觉信息所处的层级越低，其涵盖的都是一些越边缘的信息；视觉信息所处的层级越高，其涵盖的都是一些越核心的语义信息。
[0152]
针对上述视觉信息的计算方法，该示例中可以得到3个第一层级分别对应的视觉
信息：视觉信息a(低层级)、视觉信息b(中层级)、视觉信息c(高层级)；以及3个第二层级分别对应的视觉信息：视觉信息d(低层级)、视觉信息e(中层级)、视觉信息f(高层级)。
[0153]
最后，基于每个第一层级的视觉信息与对应的第二层级的视觉信息之间的平均绝对误差，以及由高分辨率图像和目标重量模型输出的超分辨率图像所确定的损失函数，对所述轻量模型的参数进行训练，得到目标轻量模型。
[0154]
可选的，子步骤a3具体可以包括：
[0155]
子步骤a31、计算相同的第一层级和第二层级的视觉信息之间的差值。
[0156]
子步骤a32、将所有差值与由所述高分辨率图像和所述目标重量模型输出的超分辨率图像所确定的损失函数相加，得到第二损失函数。
[0157]
子步骤a33、通过所述第二损失函数对所述轻量模型的参数进行训练，得到所述目标轻量模型。
[0158]
在本技术实施例中，针对上述示例，在得到3个第一层级分别对应的视觉信息：视觉信息a(低层级)、视觉信息b(中层级)、视觉信息c(高层级)；以及3个第二层级分别对应的视觉信息：视觉信息d(低层级)、视觉信息e(中层级)、视觉信息f(高层级)之后，最终确定的轻量模型的第二损失函数轻量模型的第二损失函数
[0159]
||i
sr
‑
i
hr
||为超分辨率图像i
sr
与高分辨率图像i
hr
之间的平均绝对误差。
[0160]
λ1，λ2,，λ3为损失函数的平衡系数，为预设值。为视觉信息a；为视觉信息d；为视觉信息b，为视觉信息e；为视觉信息c，为视觉信息f。
[0161]
最后，可以利用第二损失函数仅对轻量模型的参数进行训练，得到目标轻量模型。
[0162]
综上所述，本技术实施例提供的图像超分模型的训练方法，本技术可以设计图像超分模型的结构为：由多个首尾依次连接的信息蒸馏子模块构成的超分模块，以及信息蒸馏子模块包括多个首尾依次连接的残差单元的结构，本技术实施例以残差单元为基础的信息多重蒸馏结构，可以在输入和输出之间添加一个恒等映射来学习输入和输出之间的残差，通过基于残差单元的信息多重蒸馏结构提取精细化的特征并将浅层特征与之进行叠加，以及将浅层特征通过自适应加权融合的方式输入到每个信息蒸馏子模块中，使得模型更加高效的利用低层视觉信息，同时解决梯度消失和梯度爆炸问题，使得模型更加高效的利用浅层视觉信息，另外，以可分离卷积的残差单元为基础，实现了对网络结构的轻量化设计，让模型在保持精度的同时，极大的降低了参数量和计算量。
[0163]
进一步的，本技术实施例通过对信息蒸馏子模块、信息蒸馏子模块包括的残差单元的个数和模型整体的通道基数的调节，可以划分出两个具有不同大小和推理性能的超分辨率模型，从而能够为不同计算量级的设备提供不同大小和性能的模型。
[0164]
进一步的，通过训练好的超分辨率大模型对超分辨率小模型进行蒸馏训练，可以
有效提升超分辨率小模型的超分精度，使得本技术实施例可以在完成对超分辨率大模型的训练之后，采用超分辨率大模型进一步对超分辨率小模型进行知识蒸馏训练，从而将有用的信息从超分辨率大模型传播到超分辨率小模型。
[0165]
图9是本技术实施例提供的一种图像超分模型的训练装置的框图，如图9所示，该装置40可以包括：
[0166]
获取模块401，用于获取具有相同内容的低分辨率图像和高分辨率图像，以及初始模型，所述初始模型包括由多个首尾依次连接的信息蒸馏子模块构成的超分模块；所述信息蒸馏子模块包括多个首尾依次连接的残差单元；
[0167]
第一提取模块402，用于将所述低分辨率图像输入所述初始模型，提取所述低分辨率图像的浅层特征；
[0168]
第二提取模块403，用于通过所述超分模块，从所述浅层特征中提取深层特征；所述残差单元用于将输出的特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元，所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，最后一个信息蒸馏子模块的输出特征为所述深层特征；
[0169]
上采样模块404，用于将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像；
[0170]
训练模块405，用于根据由所述超分辨率图像和所述高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型。
[0171]
可选的，所述第二提取模块403包括：
[0172]
第一卷积子模块，用于通过所述超分模块的残差单元对输入特征进行卷积处理，得到第一卷积结果；
[0173]
叠加子模块，用于将所述第一卷积结果与所述输入特征叠加，得到所述残差单元的输出特征；
[0174]
切分子模块，用于将所述输出特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元；其中，处于末尾的残差单元保留的精细特征为所述残差单元的输出特征；
[0175]
合并子模块，用于将所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，并将最后一个信息蒸馏子模块的输出特征作为所述深层特征。
[0176]
可选的，所述合并子模块，包括：
[0177]
合并单元，用于将所述信息蒸馏子模块的所有残差单元保留的精细特征合并，得到合并特征；
[0178]
加权单元，用于将所述合并特征与所述浅层特征进行加权融合，得到所述信息蒸馏子模块的输出特征；
[0179]
其中，所述合并特征与所述浅层特征各自的权重分别为自适应权重，且初始值为1。
[0180]
可选的，所述加权单元，包括：
[0181]
卷积子单元，用于将所述合并特征输入卷积核大小为1
×
1的卷积层，得到第二卷
积结果；
[0182]
加权子单元，用于将所述第二卷积结果与所述浅层特征的加权融合结果作为所述信息蒸馏子模块的输出特征；
[0183]
其中，所述第二卷积结果与所述浅层特征各自的权重分别为自适应权重，且初始值为1。
[0184]
可选的，所述残差单元为具有深度可分离卷积结构的轻量级残差单元；
[0185]
所述轻量级残差单元包括：首尾依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核大小为1
×
1；所述第二卷积层的卷积核大小为3
×
3。
[0186]
可选的，所述初始模型包括：具有第一数量的第一信息蒸馏子模块的重量模型，以及具有第二数量的第二信息蒸馏子模块的轻量模型；所述图像超分模型包括目标重量模型和目标轻量模型；
[0187]
所述训练模块405，包括：
[0188]
第一训练子模块，用于利用由所述高分辨率图像和所述重量模型输出的超分辨率图像所确定的第一损失函数，对所述重量模型进行训练，得到目标重量模型；
[0189]
第二训练子模块，用于利用目标重量模型对所述轻量模型进行训练，得到目标轻量模型。
[0190]
可选的，所述第一数量大于或等于所述第二数量，所述第一信息蒸馏子模块包含的残差单元的数量，大于或等于所述第二信息蒸馏子模块包含的残差单元的数量。
[0191]
可选的，所述第一信息蒸馏子模块包含的残差单元为基础残差单元；所述第二信息蒸馏子模块包含的残差单元为具有深度可分离卷积结构的轻量级残差单元；
[0192]
所述轻量级残差单元包括：首尾依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核大小为1
×
1；所述第二卷积层的卷积核大小为3
×
3；
[0193]
所述基础残差单元包括：首尾依次连接的第四卷积层、第三激活层和第五卷积层，所述第四卷积层和所述第五卷积层的卷积核大小为3
×
3。
[0194]
可选的，所述第二训练子模块，包括：
[0195]
第一划分单元，用于在执行将所述低分辨率图像输入所述目标重量模型进行处理的过程中，按照预先设定的多个第一层级，分别提取与每个第一层级对应的第一信息蒸馏子模块的输出特征，并根据所述第一层级对应的输出特征和输出特征的通道数，计算所述第一层级的视觉信息，所述视觉信息用于表征所述输出特征的特征深度；
[0196]
第二划分单元，用于在执行将所述低分辨率图像输入所述轻量模型进行处理的过程中，按照预先设定的多个第二层级，分别提取与每个第二层级对应的第二信息蒸馏子模块的输出特征，并根据所述第二层级对应的输出特征和输出特征的通道数，计算所述第二层级的视觉信息；所述第一层级与所述第二层级一一对应；
[0197]
融合训练单元，用于根据所述第一层级的视觉信息、所述第二层级的视觉信息和由所述高分辨率图像和所述目标重量模型输出的超分辨率图像所确定的损失函数，对所述轻量模型的参数进行训练，得到目标轻量模型。
[0198]
可选的，所述融合训练单元，包括：
[0199]
计算子单元，用于计算相同的第一层级和第二层级的视觉信息之间的差值；
[0200]
加和子单元，用于将所有差值与由所述高分辨率图像和所述目标重量模型输出的超分辨率图像所确定的损失函数相加，得到第二损失函数；
[0201]
训练子单元，用于通过所述第二损失函数对所述轻量模型的参数进行训练，得到所述目标轻量模型。
[0202]
可选的，所述装置还包括：
[0203]
第三提取模块，用于提取所述深度特征的特征以进行特征重建，得到重建特征；
[0204]
所述上采样模块404，包括：
[0205]
上采样子模块，用于将所述浅层特征和所述重建特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像。
[0206]
可选的，所述获取模块，包括：
[0207]
获取子模块，用于获取高分辨率图像；
[0208]
下采样子模块，用于通过预设的图像缩放算法对所述高分辨率图像进行下采样，得到所述低分辨率图像。
[0209]
综上所述，本技术实施例提供的图像超分模型的训练装置，本技术可以设计图像超分模型的结构为：由多个首尾依次连接的信息蒸馏子模块构成的超分模块，以及信息蒸馏子模块包括多个首尾依次连接的残差单元的结构，本技术实施例以残差单元为基础的信息多重蒸馏结构，可以在输入和输出之间添加一个恒等映射来学习输入和输出之间的残差，通过基于残差单元的信息多重蒸馏结构提取精细化的特征并将浅层特征与之进行叠加，从而解决了模型网络处于深层时产生的退化和梯度问题，使得模型更加高效的利用浅层视觉信息，让轻量化模型在保持精度的同时，极大的降低了参数量和计算量。
[0210]
图10是本技术实施例提供的一种图像超分装置的框图，如图10所示，该装置50可以包括：
[0211]
超分模块501，用于将待处理图像输入图像超分模型，得到所述图像超分模型输出的超分辨率图像；
[0212]
其中，所述图像超分模型由所述的图像超分模型的训练装置训练得到。
[0213]
可选的，所述图像超分模型包括目标重量模型和目标轻量模型；超分模块501，包括：
[0214]
第一超分子模块，用于在当前设备的算力大于预设算力阈值时，将所述待处理图像输入目标重量模型，得到所述目标重量模型输出的超分辨率图像；
[0215]
第二超分子模块，用于在当前设备的算力小于或等于预设算力阈值时，将所述待处理图像输入目标轻量模型，得到所述目标轻量模型输出的超分辨率图像。
[0216]
综上所述，本技术实施例提供的图像超分模型的训练装置，本技术可以设计图像超分模型的结构为：由多个首尾依次连接的信息蒸馏子模块构成的超分模块，以及信息蒸馏子模块包括多个首尾依次连接的残差单元的结构，本技术实施例以残差单元为基础的信息多重蒸馏结构，可以在输入和输出之间添加一个恒等映射来学习输入和输出之间的残差，通过基于残差单元的信息多重蒸馏结构提取精细化的特征并将浅层特征与之进行叠加，从而解决了模型网络处于深层时产生的退化和梯度问题，使得模型更加高效的利用浅层视觉信息，让轻量化模型在保持精度的同时，极大的降低了参数量和计算量。
[0217]
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0218]
优选的，本技术实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述图像超分模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0219]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像超分模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read
‑
only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0220]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0221]
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本技术的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
[0222]
在此提供的图像超分模型的训练方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本技术方案的系统所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。
[0223]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0224]
类似地，应当理解，为了精简本技术并帮助理解各个申请方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0225]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0226]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例
中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0227]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的图像超分模型的训练方法中的一些或者全部部件的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0228]
应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。