基于上下文的多特征融合网络的两阶段图像修复方法

文档序号:26052984发布日期:2021-07-27 15:29阅读:来源:国知局

技术特征:

1.基于上下文的多特征融合网络的两阶段图像修复方法,其特征在于,包括以下步骤:

步骤一,构建数据集,所述数据集包括训练集和测试集;

步骤二,构建基于上下文的多特征融合网络模型,所述的多特征融合网络模型包括图像去除模糊子网络和图像修复子网络,所述的图像去除模糊子网络通过多尺度融合精化网络去除模糊,旨在将模糊图像锐利化,所述的图像修复子网络通过基于上下文协作网络恢复信息,旨在恢复缺失像素的信息;

步骤三,训练所述的多特征融合网络模型,利用步骤一中的训练集对基于上下文的多特征融合网络模型进行训练,得到训练完成的基于上下文的多特征融合网络模型;

步骤四,利用训练后的基于上下文的多特征融合网络模型,对步骤一中的测试集进行处理,快速生成质量较高且画面要素完整的图像。

2.根据权利要求1所述的基于上下文的多特征融合网络的两阶段图像修复方法,其特征在于:步骤二中所述的图像去除模糊子网络,用于去除图像模糊特征,输入为随机模糊缺损图像,输出为较清晰的缺损图像;所述的图像修复子网络通过不同尺度的网络结构对去除模糊后的图像细节和轮廓进行反复学习,然后提取细节纹理特征和轮廓形状,最后结合周围背景信息对缺失部分像素进行填充,其输入为去除模糊后的图像,输出为最终像素完整画质清晰的图像。

3.根据权利要求2所述的基于上下文的多特征融合网络的两阶段图像修复方法,其特征在于:对训练集和测试集加入多重模糊处理,所述的图像去除模糊子网络包括两阶段的处理过程:基于上下文的模糊特征提取阶段和模糊特征融合阶段,模糊特征提取阶段中采取由粗到细的多路径迭代式提取模糊特征的方法,使用4个卷积层,每个卷积层的输出特征图尺寸表示为高×宽×通道数,4个卷积层输出特征图尺寸依次为h/2×w/2×32,h/4×w/4×64,h/8×w/8×128,h/16×w/16×256;模糊特征融合阶段采用相反的方法,即由细到粗的模糊特征融合手段,使用另外4个卷积层,另外4个卷积层输出特征图尺寸依次为h/16×w/16×256,h/8×w/8×128,h/4×w/4×64,h/2×w/2×32,其中,h和w分别表示图像的高和宽。

4.根据权利要求3所述的基于上下文的多特征融合网络的两阶段图像修复方法,其特征在于:所述的图像修复子网络包括两个阶段的处理过程,第一阶段为提取图像细节纹理特征阶段,第二阶段为多尺度图像细节轮廓填充阶段;两个阶段均采用多路径提取和融合的模式,第一阶段使用的卷积层数多于第二阶段。

5.根据权利要求4所述的基于上下文的多特征融合网络的两阶段图像修复方法,其特征在于:所述的提取图像细节纹理特征阶段使用11个卷积层,每个卷积层输出特征图尺寸依次为h/2×w/2×48,h/4×w/4×96,h/8×w/8×192,h/16×w/16×384,h/32×w/32×768,h/16×w/16×384,h/8×w/8×192,h/4×w/4×96,h/2×w/2×48,h/4×w/4×96,h/8×w/8×192;所述的多尺度图像细节轮廓填充阶段使用7个卷积层,每个卷积层输出特征图尺寸依次为h/2×w/2×48,h/4×w/4×96,h/8×w/8×192,h/4×w/4×96,h/2×w/2×48,h×w×12,h×w×3。

6.根据权利要求1所述的基于上下文的多特征融合网络的两阶段图像修复方法,其特征在于:步骤一中所述的训练集和测试集的样本数量比例为9:1,训练过程中开发出边缘结构感知损失函数,以提高训练效率和模型精确度。

7.根据权利要求1所述的基于上下文的多特征融合网络的两阶段图像修复方法,其特征在于:步骤三中所述的基于上下文的多特征融合网络模型的训练过程使用caffe、tensorflow或pytorch深度学习框架。


技术总结
本发明公开了基于上下文的多特征融合网络的两阶段图像修复方法,包括以下步骤:构建数据集,包括训练集和测试集;构建基于上下文的多特征融合网络模型,所述的多特征融合网络模型包括图像去除模糊子网络和图像修复子网络;训练所述的多特征融合网络模型;利用训练后的基于上下文的多特征融合网络模型,对测试集进行处理,快速生成质量较高且画面要素完整的图像。本发明的方法利用基于上下文的多特征融合网络通过多路径融合单元和多路径上下文注意力模块对清晰度低的缺失图像进行修复,显著提高了图像的清晰度,高效准确的还原了图像缺失的信息,这对于处理极端天气时或带有前景遮挡等的航拍图像和其他生活场景具有很好的应用前景。

技术研发人员:张智超;陈晖;尹晓晴;李卫丽;邓劲生
受保护的技术使用者:中国人民解放军国防科技大学
技术研发日:2021.05.20
技术公布日:2021.07.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1