技术特征：
1.一种图像超分模型的训练方法，其特征在于，所述方法包括：获取具有相同内容的低分辨率图像和高分辨率图像，以及初始模型，所述初始模型包括由多个首尾依次连接的信息蒸馏子模块构成的超分模块；所述信息蒸馏子模块包括多个首尾依次连接的残差单元；将所述低分辨率图像输入所述初始模型，提取所述低分辨率图像的浅层特征；通过所述超分模块，从所述浅层特征中提取深层特征；所述残差单元用于将输出的特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元，所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，最后一个信息蒸馏子模块的输出特征为所述深层特征；将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像；根据由所述超分辨率图像和所述高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型。2.根据权利要求1所述的方法，其特征在于，所述通过所述超分模块，从所述浅层特征中提取深层特征，包括：通过所述超分模块的残差单元对输入特征进行卷积处理，得到第一卷积结果；将所述第一卷积结果与所述输入特征叠加，得到所述残差单元的输出特征；将所述输出特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元；其中，处于末尾的残差单元保留的精细特征为所述残差单元的输出特征；将所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，并将最后一个信息蒸馏子模块的输出特征作为所述深层特征。3.根据权利要求2所述的方法，其特征在于，所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，包括：将所述信息蒸馏子模块的所有残差单元保留的精细特征合并，得到合并特征；将所述合并特征与所述浅层特征进行加权融合，得到所述信息蒸馏子模块的输出特征；其中，所述合并特征与所述浅层特征各自的权重分别为自适应权重，且初始值为1。4.根据权利要求3所述的方法，其特征在于，所述将所述合并特征与所述浅层特征进行加权融合，得到所述信息蒸馏子模块的输出特征，包括：将所述合并特征输入卷积核大小为1
×
1的卷积层，得到第二卷积结果；将所述第二卷积结果与所述浅层特征的加权融合结果作为所述信息蒸馏子模块的输出特征；其中，所述第二卷积结果与所述浅层特征各自的权重分别为自适应权重，且初始值为1。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述残差单元为具有深度可分离卷积结构的轻量级残差单元；所述轻量级残差单元包括：首尾依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核大小为1
×
1；所述第
二卷积层的卷积核大小为3
×
3。6.根据权利要求1所述的方法，其特征在于，所述初始模型包括：具有第一数量的第一信息蒸馏子模块的重量模型，以及具有第二数量的第二信息蒸馏子模块的轻量模型；所述图像超分模型包括目标重量模型和目标轻量模型；所述根据由所述超分辨率图像和所述高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型，包括：利用由所述高分辨率图像和所述重量模型输出的超分辨率图像所确定的第一损失函数，对所述重量模型进行训练，得到目标重量模型；利用目标重量模型对所述轻量模型进行训练，得到目标轻量模型。7.根据权利要求6所述的方法，其特征在于，所述第一数量大于或等于所述第二数量，所述第一信息蒸馏子模块包含的残差单元的数量，大于或等于所述第二信息蒸馏子模块包含的残差单元的数量。8.根据权利要求6或7所述的方法，其特征在于，所述第一信息蒸馏子模块包含的残差单元为基础残差单元；所述第二信息蒸馏子模块包含的残差单元为具有深度可分离卷积结构的轻量级残差单元；所述轻量级残差单元包括：首尾依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核大小为1
×
1；所述第二卷积层的卷积核大小为3
×
3；所述基础残差单元包括：首尾依次连接的第四卷积层、第三激活层和第五卷积层，所述第四卷积层和所述第五卷积层的卷积核大小为3
×
3。9.根据权利要求6所述的方法，其特征在于，所述利用目标重量模型对所述轻量模型进行训练，得到目标轻量模型，包括：在执行将所述低分辨率图像输入所述目标重量模型进行处理的过程中，按照预先设定的多个第一层级，分别提取与每个第一层级对应的第一信息蒸馏子模块的输出特征，并根据所述第一层级对应的输出特征和输出特征的通道数，计算所述第一层级的视觉信息，所述视觉信息用于表征所述输出特征的特征深度；在执行将所述低分辨率图像输入所述轻量模型进行处理的过程中，按照预先设定的多个第二层级，分别提取与每个第二层级对应的第二信息蒸馏子模块的输出特征，并根据所述第二层级对应的输出特征和输出特征的通道数，计算所述第二层级的视觉信息；所述第一层级与所述第二层级一一对应；根据所述第一层级的视觉信息、所述第二层级的视觉信息和由所述高分辨率图像和所述目标重量模型输出的超分辨率图像所确定的损失函数，对所述轻量模型的参数进行训练，得到目标轻量模型。10.根据权利要求9所述的方法，其特征在于，所述根据所述第一层级的视觉信息、所述第二层级的视觉信息和由所述高分辨率图像和所述目标重量模型输出的超分辨率图像所确定的损失函数，对所述轻量模型的参数进行训练，得到目标轻量模型，包括：计算相同的第一层级和第二层级的视觉信息之间的差值；将所有差值与由所述高分辨率图像和所述目标重量模型输出的超分辨率图像所确定的损失函数相加，得到第二损失函数；
通过所述第二损失函数对所述轻量模型的参数进行训练，得到所述目标轻量模型。11.根据权利要求1所述的方法，其特征在于，所述方法还包括：提取所述深度特征的特征以进行特征重建，得到重建特征；所述将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像，包括：将所述浅层特征和所述重建特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像。12.根据权利要求1所述的方法，其特征在于，所述获取具有相同内容的低分辨率图像和高分辨率图像，包括：获取高分辨率图像；通过预设的图像缩放算法对所述高分辨率图像进行下采样，得到所述低分辨率图像。13.一种图像超分方法，其特征在于，所述方法包括：将待处理图像输入图像超分模型，得到所述图像超分模型输出的超分辨率图像；其中，所述图像超分模型由如权利要求1至11任一项所述的图像超分模型的训练方法训练得到。14.根据权利要求13所述的方法，其特征在于，所述图像超分模型包括目标重量模型和目标轻量模型；所述将待处理图像输入图像超分模型，得到所述图像超分模型输出的超分辨率图像，包括：在当前设备的算力大于预设算力阈值时，将所述待处理图像输入目标重量模型，得到所述目标重量模型输出的超分辨率图像；在当前设备的算力小于或等于预设算力阈值时，将所述待处理图像输入目标轻量模型，得到所述目标轻量模型输出的超分辨率图像。15.一种图像超分模型的训练装置，其特征在于，所述装置包括：获取模块，用于获取具有相同内容的低分辨率图像和高分辨率图像，以及初始模型，所述初始模型包括由多个首尾依次连接的信息蒸馏子模块构成的超分模块；所述信息蒸馏子模块包括多个首尾依次连接的残差单元；第一提取模块，用于将所述低分辨率图像输入所述初始模型，提取所述低分辨率图像的浅层特征；第二提取模块，用于通过所述超分模块，从所述浅层特征中提取深层特征；所述残差单元用于将输出的特征的部分精细特征保留，以及将剩余的粗糙特征输入下一残差单元，所述信息蒸馏子模块的所有残差单元保留的精细特征合并后与所述浅层特征叠加，得到所述信息蒸馏子模块的输出特征，最后一个信息蒸馏子模块的输出特征为所述深层特征；上采样模块，用于将所述浅层特征和所述深层特征加和融合后进行上采样处理，得到所述初始模型输出的超分辨率图像；训练模块，用于根据由所述超分辨率图像和所述高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型。16.一种图像超分装置，其特征在于，所述装置包括：超分模块，用于将待处理图像输入图像超分模型，得到所述图像超分模型输出的超分
辨率图像；其中，所述图像超分模型由如权利要求15所述的图像超分模型的训练装置训练得到。17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至14任一所述的图像超分模型的训练方法。
技术总结
本申请提供了一种图像超分模型的训练方法、装置，包括：初始模型包括由多个首尾依次连接的信息蒸馏子模块构成的超分模块；信息蒸馏子模块包括多个首尾依次连接的残差单元；将低分辨率图像输入初始模型，提取低分辨率图像的浅层特征；通过超分模块，从浅层特征中提取深层特征；将浅层特征和深层特征加和融合后进行上采样处理，得到初始模型输出的超分辨率图像；根据由超分辨率图像和高分辨率图像确定的损失函数，对初始模型进行训练，得到图像超分模型。本申请可以利用以残差单元为基础的信息多重蒸馏结构提取精细化的特征，并将浅层特征与之进行叠加，解决了模型网络处于深层时产生的退化和梯度问题，极大的降低了参数量和计算量。量。量。
技术研发人员：梁彦军
受保护的技术使用者：北京奇艺世纪科技有限公司
技术研发日：2021.09.24
技术公布日：2021/12/23