图像处理方法、模型训练方法、装置、设备及存储介质与流程

文档序号:32247713发布日期:2022-11-19 00:04阅读:来源:国知局

技术特征:
1.一种图像处理方法,其特征在于,所述方法包括:获取第一分辨率图像;对所述第一分辨率图像进行特征提取处理,得到所述第一分辨率图像的高频特征,所述高频特征用于描述所述第一分辨率图像中的高频信息;对所述第一分辨率图像进行特征提取处理,得到所述第一分辨率图像的降质特征,所述降质特征用于描述所述第一分辨率图像在降质特征空间中的噪声损失信息;根据所述第一分辨率图像的所述高频特征和所述降质特征,重构得到第二分辨率图像,所述第二分辨率图像的分辨率高于所述第一分辨率图像。2.根据权利要求1所述的方法,其特征在于,所述方法基于图像处理模型执行,所述降质特征是由所述图像处理模型中的降质提取网络提取得到的,所述降质提取网络包括编码子网络和降质编码本;所述对所述第一分辨率图像进行特征提取处理,得到所述第一分辨率图像的降质特征,包括:调用所述编码子网络对所述第一分辨率图像进行编码处理,得到所述第一分辨率图像的编码特征;根据所述降质编码本和所述编码特征,对所述编码特征对应的编码特征空间进行约束处理,得到所述降质特征,所述降质特征对应有所述降质特征空间。3.根据权利要求2所述的方法,其特征在于,所述编码子网络包括像素编码子网络和/或块编码子网络;所述编码特征包括像素编码特征和/或块编码特征;所述调用所述编码子网络对所述第一分辨率图像进行编码处理,得到所述第一分辨率图像的编码特征,包括:调用所述像素编码子网络基于第一感受野,对所述第一分辨率图像进行编码处理,得到所述像素编码特征;和/或,调用所述块编码子网络基于第二感受野,对所述第一分辨率图像进行编码处理,得到所述块编码特征,所述第一感受野小于所述第二感受野。4.根据权利要求1所述的方法,其特征在于,所述方法基于图像处理模型执行,所述高频特征是由所述图像处理模型中的高频提取网络提取得到的;所述对所述第一分辨率图像进行特征提取处理,得到所述第一分辨率图像的高频特征,包括:调用所述高频提取网络对所述第一分辨率图像进行提取处理,得到所述第一分辨率图像的高频特征。5.根据权利要求1至4任一所述的方法,其特征在于,所述方法基于图像处理模型执行,所述图像处理模型包括重构网络;所述根据所述第一分辨率图像的所述高频特征和所述降质特征,重构得到第二分辨率图像,包括:调用所述重构网络对所述第一分辨率图像的所述高频特征和所述降质特征进行重构处理,得到所述第二分辨率图像。6.根据权利要求5所述的方法,其特征在于,所述图像处理模型还包括融合网络;
所述调用所述重构网络对所述第一分辨率图像的所述高频特征和所述降质特征进行重构处理,得到所述第二分辨率图像,包括:调用所述融合网络根据自注意力机制对所述高频特征和所述降质特征进行融合处理,得到融合特征;调用所述重构网络对所述融合特征进行重构处理,得到所述第二分辨率图像。7.一种图像处理模型的训练方法,其特征在于,所述图像处理模型包括降质提取网络和高频提取网络;所述方法包括:获取样本图像对,所述样本图像对包括第一样本图像和第二样本图像,所述第一样本图像的分辨率小于所述第二样本图像;调用所述高频提取网络对所述第一样本图像进行特征提取处理,得到第一样本图像的预测高频特征;调用所述降质提取网络对所述第一样本图像进行特征提取处理,得到第一样本图像的预测降质特征;根据所述第一样本图像的所述预测高频特征和所述预测降质特征,重构得到预测图像,所述预测图像的分辨率高于所述第一样本图像;根据所述预测图像和所述第二样本图像之间的误差,对所述图像处理模型进行训练,得到训练后的图像处理模型。8.一种图像处理装置,其特征在于,所述装置包括:获取模块,用于获取第一分辨率图像;提取模块,用于对所述第一分辨率图像进行特征提取处理,得到所述第一分辨率图像的高频特征,所述高频特征用于描述所述第一分辨率图像中的高频信息;所述提取模块,还用于对所述第一分辨率图像进行特征提取处理,得到所述第一分辨率图像的降质特征,所述降质特征用于描述所述第一分辨率图像在降质特征空间中的噪声损失信息;重构模块,用于根据所述第一分辨率图像的所述高频特征和所述降质特征,重构得到第二分辨率图像,所述第二分辨率图像的分辨率高于所述第一分辨率图像。9.一种图像处理模型的训练装置,其特征在于,所述图像处理模型包括降质提取网络和高频提取网络;所述装置包括:获取模块,用于获取样本图像对,所述样本图像对包括第一样本图像和第二样本图像,所述第一样本图像的分辨率小于所述第二样本图像;提取模块,用于调用所述高频提取网络对所述第一样本图像进行特征提取处理,得到第一样本图像的预测高频特征;所述提取模块,还用于调用所述降质提取网络对所述第一样本图像进行特征提取处理,得到第一样本图像的预测降质特征;重构模块,用于根据所述第一样本图像的所述预测高频特征和所述预测降质特征,重构得到预测图像,所述预测图像的分辨率高于所述第一样本图像;训练模块,用于根据所述预测图像和所述第二样本图像之间的误差,对所述图像处理模型进行训练,得到训练后的图像处理模型。10.一种计算机设备,其特征在于,所述计算机设备包括:处理器和存储器,所述存储器
中存储有至少一段程序;所述处理器,用于执行所述存储器中的所述至少一段程序以实现上述如权利要求1至6任一所述的图像处理方法,和/或如权利要求7所述的图像处理模型的训练方法。11.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有可执行指令,所述可执行指令由处理器加载并执行以实现上述如权利要求1至6任一所述的图像处理方法,和/或如权利要求7所述的图像处理模型的训练方法。

技术总结
本申请公开了一种图像处理方法、模型训练方法、装置、设备及存储介质,属于人工智能技术领域。该方法包括:获取第一分辨率图像;对第一分辨率图像进行特征提取处理,得到第一分辨率图像的高频特征;对第一分辨率图像进行特征提取处理,得到第一分辨率图像的降质特征,降质特征用于描述第一分辨率图像中的噪声损失信息;根据第一分辨率图像的高频特征和降质特征,重构得到第二分辨率图像,第二分辨率图像的分辨率高于第一分辨率图像。本申请通过提取图像携带的降质信息,描述对图像在降质特征空间中的噪声损失信息,充分提取了第一分辨率图像中携带的噪声损失情况,拓展了重构第二分辨率图像过程中的依据,提高了图像分辨率放大的效果。效果。效果。


技术研发人员:林楚铭 周逸峰 罗栋豪 刘永 邰颖 汪铖杰
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2022.08.17
技术公布日:2022/11/18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1