图像修复模型的训练方法及图像修复方法、装置及设备与流程

文档序号:31417009发布日期:2022-09-03 16:38阅读:来源:国知局

技术特征:
1.一种图像修复模型的训练方法,其特征在于,所述方法包括:对原图图像进行随机掩膜操作,生成缺陷图像;将所述缺陷图像分离为多个单通道图像;将所述多个单通道图像分别输入单通道图像修复模块中,获得每个单通道图像分别对应的单通道预测图像;所述图像修复模型包括所述单通道图像修复模块;将所述多个单通道图像分别对应的单通道预测图像进行合并,获得预测图像;根据所述原图图像和所述预测图像,获取所述图像修复模型的损失值;根据所述损失值训练所述图像修复模型,重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中,获得每个单通道图像分别对应的单通道预测图像以及后续步骤,直至达到预设条件。2.根据权利要求1所述的方法,其特征在于,所述对原图图像进行随机掩膜操作,生成缺陷图像,包括:按照预设尺寸对原图图像进行划分,获取第一数量的原图图像块;每个所述原图图像块的尺寸均为所述预设尺寸;按照预设掩膜比例对所述第一数量的原图图像块进行随机掩膜操作,生成缺陷图像;所述缺陷图像由第二数量的原图图像块和第三数量的缺陷图像块组成;所述第二数量和所述第三数量之和为所述第一数量,所述第三数量为所述第一数量与所述预设掩膜比例的乘积。3.根据权利要求1或2所述的方法,其特征在于,所述单通道图像由第二数量的单通道原图图像块和第三数量的单通道缺陷图像块组成;所述单通道图像修复模块包括特征编码器和特征解码器,所述将所述多个单通道图像分别输入单通道图像修复模块中,获得每个单通道图像分别对应的单通道预测图像,包括:对目标单通道图像中的所述第二数量的单通道原图图像块进行展平操作,获得第一图像特征;所述目标单通道图像分别为所述多个单通道图像中的每一个;对所述目标单通道图像中的所述第三数量的单通道缺陷图像块进行展平操作,获得第二图像特征;将所述第一图像特征输入所述特征编码器中,以使所述特征编码器对所述第一图像特征进行特征提取,获得第三图像特征;将所述第二图像特征和所述第三图像特征进行特征拼接,获得第四图像特征;将所述第四图像特征输入所述特征解码器中,以使所述特征解码器对所述第四图像特征中的每个值进行预测,获得第五图像特征;根据所述第五图像特征,获得所述目标单通道图像对应的单通道预测图像。4.根据权利要求3所述的方法,其特征在于,所述图像修复模型还包括平滑处理模块,所述将所述多个单通道图像分别对应的单通道预测图像进行合并,获得预测图像,包括:将所述多个单通道图像分别对应的单通道预测图像进行合并,获得合并图像;将所述合并图像输入所述平滑处理模块,以使所述平滑处理模块对所述合并图像进行平滑处理操作,获得预测图像。5.根据权利要求4所述的方法,其特征在于,所述根据所述损失值训练所述图像修复模型,重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中,获得每个单通
道图像分别对应的单通道预测图像以及后续步骤,直至达到预设条件,包括:根据所述损失值训练所述特征编码器、所述特征解码器以及所述平滑处理模块,重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中,获得每个单通道图像分别对应的单通道预测图像以及后续步骤,直至达到预设条件。6.根据权利要求4所述的方法,其特征在于,所述平滑处理模块为门控卷积神经网络。7.根据权利要求1所述的方法,其特征在于,所述多个单通道图像为r通道图像、g通道图像以及b通道图像。8.一种图像修复方法,其特征在于,所述方法包括:将待修复图像分离为多个待修复单通道图像;将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中,获得多个修复后的单通道图像;所述图像修复模型是根据权利要求1-7任一项所述的图像修复模型的训练方法训练得到的;将所述多个修复后的单通道图像进行合并,获得修复后的图像。9.根据权利要求8所述的方法,其特征在于,所述单通道图像修复模块包括特征编码器和特征解码器;所述待修复图像由缺失部分图像和真实部分图像组成,所述将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中,获得多个修复后的单通道图像,包括:对目标待修复单通道图像中的所述真实部分图像进行展平操作,获得第一特征;所述目标待修复单通道图像分别为所述多个待修复单通道图像中的每一个;对所述目标单通道图像中的所述缺失部分图像进行展平操作,获得第二特征;将所述第一特征输入所述特征编码器中,以使所述特征编码器对所述第一特征进行特征提取,获得第三特征;将所述第二特征和所述第三特征进行特征拼接,获得第四特征;将所述第四特征输入所述特征解码器中,以使所述特征解码器对所述第四特征中的每个值进行预测,获得第五特征;根据所述第五特征,获得所述目标待修复单通道图像对应的修复后的单通道图像。10.根据权利要求9所述的方法,其特征在于,所述图像修复模型还包括平滑处理模块,所述将所述多个修复后的单通道图像进行合并,获得修复后的图像,包括:将所述多个修复后的单通道图像进行合并,获得待处理合并图像;将所述待处理合并图像输入所述平滑处理模块,以使所述平滑处理模块对所述待处理合并图像进行平滑处理操作,获得修复后的图像。11.一种图像修复模型的训练装置,其特征在于,所述装置包括:生成单元,用于对原图图像进行随机掩膜操作,生成缺陷图像;分离单元,用于将所述缺陷图像分离为多个单通道图像;输入单元,用于将所述多个单通道图像分别输入单通道图像修复模块中,获得每个单通道图像分别对应的单通道预测图像;所述图像修复模型包括所述单通道图像修复模块;合并单元,用于将所述多个单通道图像分别对应的单通道预测图像进行合并,获得预测图像;获取单元,用于根据所述原图图像和所述预测图像,获取所述图像修复模型的损失值;
训练单元,用于根据所述损失值训练所述图像修复模型,重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中,获得每个单通道图像分别对应的单通道预测图像以及后续步骤,直至达到预设条件。12.一种图像修复装置,其特征在于,所述装置包括:分离单元,用于将待修复图像分离为多个待修复单通道图像;输入单元,用于将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中,获得多个修复后的单通道图像;所述图像修复模型是根据权利要求1-7任一项所述的图像修复模型的训练方法训练得到的;合并单元,用于将所述多个修复后的单通道图像进行合并,获得修复后的图像。13.一种电子设备,其特征在于,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像修复模型的训练方法,或者权利要求8-10中任一所述的图像修复方法。14.一种计算机可读介质,其特征在于,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的图像修复模型的训练方法,或者权利要求8-10中任一所述的图像修复方法。15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如权利要求1-7中任一所述的图像修复模型的训练方法,或者权利要求8-10中任一所述的图像修复方法。

技术总结
本申请公开了一种图像修复模型的训练方法、装置及设备,对原图图像进行随机掩码操作,生成缺陷图像。将缺陷图像分离为多个单通道图像,并将多个单通道图像分别输入单通道图像修复模块中,获得每个单通道图像分别对应的单通道预测图像。图像修复模型包括单通道图像修复模块。将多个单通道图像分别对应的单通道预测图像进行合并,获得预测图像。由原图图像和预测图像获得的图像修复模型的损失值训练图像修复模型,直到达到预设条件。基于多个单通道图像的分层修复,能够充分学习图像的语义信息。预测图像的整体像素数值,能够降低已修复区域存在波纹、扭曲等失真情况的发生。如此,使得训练完成的图像修复模型对缺陷图像的修复效果更好。效果更好。效果更好。


技术研发人员:毛晓飞 黄灿
受保护的技术使用者:北京有竹居网络技术有限公司
技术研发日:2022.06.16
技术公布日:2022/9/2
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1