图像增强模型训练方法、图像增强方法以及相关装置与流程

文档序号:24064369发布日期:2021-02-26 12:25阅读:来源:国知局

技术特征:
1.一种图像增强模型训练方法,其特征在于,所述图像增强模型训练方法包括:获取到清晰样本图像和所述清晰样本图像对应的退化图像;对所述退化图像进行特征提取,得到所述退化图像的第一图像特征;通过多个级联的残差网络对所述第一图像特征进行特征挖掘,得到第二图像特征;基于所述第二图像特征对所述退化图像进行图像增强,得到预测图像;利用所述预测图像与所述清晰样本图像之间的差异对所述图像增强模型进行训练。2.根据权利要求1所述的图像增强模型训练方法,其特征在于,所述通过多个级联的残差网络对所述第一图像特征进行特征挖掘,得到第二图像特征的步骤包括:通过多个级联的第一残差网络对所述第一图像特征进行特征编码,得到编码图像特征;通过多个级联的第二残差网络对所述编码图像特征进行特征解码,得到与所述退化图像大小匹配的解码图像特征,并将所述解码图像特征确定为所述第二图像特征。3.根据权利要求2所述的图像增强模型训练方法,其特征在于,所述通过多个级联的第一残差网络对所述第一图像特征进行特征编码,得到所述第一图像特征的编码图像特征的步骤包括:通过至少四个依次级联的第一残差网络使用步长为2的卷积层对所述第一图像特征进行下采样,得到所述编码图像特征;其中,每个所述第一残差网络中还包括稠密连接的4个核尺寸为3x3的卷积层和一个核尺寸为1x1的卷积层。4.根据权利要求2所述的图像增强模型训练方法,其特征在于,所述通过多个级联的第二残差网络对所述编码图像特征进行特征解码,得到与所述退化图像大小匹配的解码图像特征,并将所述解码图像特征确定为所述第二图像特征的步骤包括:通过至少四个依次级联的第二残差网络使用像素重组对所述第一图像特征进行上采样,得到与所述退化图像大小匹配的解码图像特征;其中,每个所述第二残差网络中还包括稠密连接的4个核尺寸为3x3的反卷积层和一个核尺寸为1x1的反卷积层。5.根据权利要求1所述的图像增强模型训练方法,其特征在于,所述基于所述第二图像特征对所述退化图像进行图像增强,得到预测图像的步骤包括:通过核尺寸为3x3卷积层对所述第二图像特征进行处理,得到高频残差信息;将所述高频残差信息与所述退化图像进行叠加,得到所述预测图像。6.根据权利要求1所述的图像增强模型训练方法,其特征在于,所述利用所述预测图像与所述清晰样本图像之间的差异对所述图像增强模型进行训练的步骤包括:通过所述预测图像与所述清晰样本图像之间的差异得到所述图像增强模型的损失函数;通过所述损失函数对所述图像增强模型进行参数调整,以训练所述图像增强模型。7.根据权利要求6所述的图像增强模型训练方法,其特征在于,所述损失函数包括重建损失函数,感知损失函数,对抗损失函数中的至少一种。8.根据权利要求7所述的图像增强模型训练方法,其特征在于,所述损失函数包括重建损失函数时,所述通过所述预测图像与所述清晰样本图像之间的差异得到所述图像增强模
型的损失函数的步骤包括:基于所述预测图像与所述清晰样本图像计算得到所述预测图像与所述清晰样本图像之间的曼哈顿距离;对所述清晰样本图像进行高斯核为设定值的高斯模糊,得到所述清晰样本图像的模糊图像;将所述清晰样本图像与所述模糊图像进行作差,得到所述清晰样本图像的纹理残差;对所述纹理残差进行归一化处理,得到所述清晰样本图像各位置的空间权重;将所述空间权重与所述曼哈顿距离相乘,得到所述图像增强模型的重建损失函数。9.根据权利要求1所述的图像增强模型训练方法,其特征在于,所述获取到清晰样本图像和对应的退化图像的步骤包括:获取到所述清晰样本图像,其中,所述清晰样本图像的分辨率超过分辨率阈值;对所述清晰样本图像进行转码退化和噪声退化,得到所述退化图像。10.根据权利要求1所述的图像增强模型训练方法,其特征在于,所述图像增强模型训练方法还包括:通过l1范式判断所述图像增强模型训练中的各卷积层中的卷积核是否重要;如果所述卷积核不重要,基于剪枝比例去除所述卷积核,并调整图像增强模型上的模型参数。11.一种图像增强模型训练装置,其特征在于,包括:获取模块,用于获取到清晰样本图像和所述清晰样本图像对应的退化图像;特征提取模块,用于对所述退化图像进行特征提取,得到所述退化图像的第一图像特征;挖掘模块,用于通过多个级联的残差网络对所述第一图像特征进行特征挖掘,得到第二图像特征;增强模块,用于基于所述第二图像特征对所述退化图像进行图像增强,得到预测图像;训练模块,用于利用所述预测图像与所述清晰样本图像之间的差异对所述图像增强模型进行训练。12.一种图像增强方法,其特征在于,所述图像增强方法包括:获取到待增强图像和图像增强模型,其中,所述图像增强模型是通过如权利要求1-10任一项的图像增强模型训练方法训练得到的;利用所述图像增强模型对所述待增强图像进行特征提取,得到所述待增强图像的第一图像特征;通过所述图像增强模型中多个级联的残差网络对所述第一图像特征进行特征挖掘,得到所述待增强图像的第二图像特征;通过所述图像增强模型基于所述第二图像特征对所述待增强图像进行图像增强,得到增强后的图像。13.一种图像增强装置,其特征在于,所述图像增强装置包括:获取模块,用于获取到待增强图像和图像增强模型,其中,所述图像增强模型是通过如权利要求1-10任一项的图像增强模型训练方法训练得到的;特征提取模块,用于利用所述图像增强模型对所述待增强图像进行特征提取,得到所
述待增强图像的第一图像特征;挖掘模块,用于通过所述图像增强模型中多个级联的残差网络对所述第一图像特征进行特征挖掘,得到所述待增强图像的第二图像特征;增强模块,用于通过所述图像增强模型基于所述第二图像特征对所述待增强图像进行图像增强,得到增强后的图像。14.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现如权利要求1至10任一项所述的图像增强模型训练方法或如权利要求12所述的图像增强方法。15.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现如权利要求1至10任一项所述的图像增强模型训练方法或如权利要求12所述的图像增强方法。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1