基于上下文的多特征融合网络的两阶段图像修复方法

本发明涉及图像处于与修复技术，具体涉及基于上下文的多特征融合网络的两阶段图像修复方法。

背景技术：

图像修复包括去模糊、去噪、还原缺失画质等，是计算机视觉领域的核心问题之一。通过特定的算法对缺损的图像进行修复和还原操作，在尽可能多的保留原始图像的纹理特征的前提下恢复图像缺失的像素，在目标检测、目标识别、航拍监控等领域有着非常广泛的应用。传统方法主要采用基于数据库填充的方法，通过搜索补丁数据库获得最相似的补丁对图像缺失部位进行填补；现代方法利用卷积神经网络对背景和前景进行匹配的方法，用相似的背景信息补充前景缺失信息；当代方法通过大规模数据集进行语义特征学习，采用端到端的方式还原不完整的图像。

现有图像修复算法的主要弊端在于：

(1)对局部缺失区域的复杂细节感知重建方面不够精确，严重时会引起图像失真或者产生伪影；

(2)无论是基于数据库填充、背景前景匹配还是语义特征的学习，都缺乏对图像细节特征进行反复提取学习的环节；

(3)对于包含复杂干扰(如噪声、变形等)的图像的修复效果较差。

技术实现要素：

本发明为解决上述问题，提出了一种基于上下文的多特征融合网络的两阶段图像修复方法，由多路径融合单元和上下文注意力模块组成，并将去模糊算法融入其中，通过反复搜索特征来恢复图像，以解决现有方法对图像的重建结果不准确和细节特征提取效果较差等问题。

本发明方法，基于上下文的多特征融合网络的两阶段图像修复方法，包括以下步骤：

步骤一，构建数据集，所述数据集包括训练集和测试集；

步骤二，构建基于上下文的多特征融合网络模型，所述的多特征融合网络模型包括图像去除模糊子网络和图像修复子网络，所述的图像去除模糊子网络通过多尺度融合精化网络去除模糊，旨在将模糊图像锐利化，所述的图像修复子网络通过基于上下文协作网络恢复信息，旨在恢复缺失像素的信息；

步骤三，训练所述的多特征融合网络模型，利用步骤一中的训练集对基于上下文的多特征融合网络模型进行训练，得到训练完成的基于上下文的多特征融合网络模型；

步骤四，利用训练后的基于上下文的多特征融合网络模型，对步骤一中的测试集进行处理，快速生成质量较高且画面要素完整的图像。

具体地，步骤二中所述的图像去除模糊子网络，用于去除图像模糊特征，输入为随机模糊缺损图像，输出为较清晰的缺损图像；所述的图像修复子网络通过不同尺度的网络结构对去除模糊后的图像细节和轮廓进行反复学习，然后提取细节纹理特征和轮廓形状，最后结合周围背景信息对缺失部分像素进行填充，其输入为去除模糊后的图像，输出为最终像素完整画质清晰的图像。

更进一步地，所述的图像去除模糊子网络包括两阶段的处理过程：基于上下文的模糊特征提取阶段和模糊特征融合阶段，模糊特征提取阶段中采取由粗到细的多路径迭代式提取模糊特征的方法，使用4个卷积层，每个卷积层的输出特征图尺寸表示为高×宽×通道数，4个卷积层输出特征图尺寸依次为h/2×w/2×32，h/4×w/4×64，h/8×w/8×128，h/16×w/16×256；模糊特征融合阶段采用相反的方法，即由细到粗的模糊特征融合手段，使用另外4个卷积层，另外4个卷积层输出特征图尺寸依次为h/16×w/16×256，h/8×w/8×128，h/4×w/4×64，h/2×w/2×32，其中，h和w分别表示图像的高和宽。

更进一步地，所述的图像修复子网络包括两个阶段的处理过程，第一阶段为提取图像细节纹理特征阶段，第二阶段为多尺度图像细节轮廓填充阶段；两个阶段均采用多路径提取和融合的模式，第一阶段使用的卷积层数多于第二阶段。

优选地，所述的提取图像细节纹理特征阶段使用11个卷积层，每个卷积层输出特征图尺寸依次为h/2×w/2×48，h/4×w/4×96，h/8×w/8×192，h/16×w/16×384，h/32×w/32×768，h/16×w/16×384，h/8×w/8×192，h/4×w/4×96，h/2×w/2×48，h/4×w/4×96，h/8×w/8×192；所述的多尺度图像细节轮廓填充阶段使用7个卷积层，每个卷积层输出特征图尺寸依次为h/2×w/2×48，h/4×w/4×96，h/8×w/8×192，h/4×w/4×96，h/2×w/2×48，h×w×12，h×w×3。

优选地，步骤一中所述的训练集和测试集的样本数量比例为9：1，训练过程中开发出边缘结构感知损失函数，以提高训练效率和模型精确度。

特别地，步骤三中所述的基于上下文的多特征融合网络模型的训练过程使用caffe、tensorflow或pytorch深度学习框架。

本发明有益效果：

与现有图像修复算法相比，本发明的方法结合图像上下文信息利用基于上下文的多特征融合网络模型，按照由粗到细、由大到小的顺序反复学习缺失图像的细节纹理特征和边缘轮廓，能够深入挖掘输入图像的细节特征和局部轮廓，准确填充缺失区域的像素特征，而且添加了图像去除模糊子网络，显著提高了图像质量。基于上下文的多特征融合网络模型包括两个子网络：图像去除模糊子网络和图像修复子网络。其中，经过图像去除模糊子网络得到的图像将作为图像修复子网络的输入，而图像修复子网络的输出图像为画质清晰且图像完整的图像。

附图说明

图1是本发明方法的流程图；

图2是完整图像数据样本；

图3是随机模糊缺损图像数据集样本示意图；

图4是本发明基于上下文的多特征融合网络的图像修复算法网络结构图；

图5是图像修复子网络的网络结构图；

图6是图片相似度匹配对比算法的形象化示例之一；

图7是图片相似度匹配对比算法的形象化示例之二；

图8是places2数据集上本发明的修复结果示意图；

图9是visdrone数据集上本发明的修复结果示意图之一；

图10是visdrone数据集上本发明的修复结果示意图之二。

具体实施方式

下面将结合本发明实施中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例提供的基于上下文的多特征融合网络的两阶段图像修复方法，主要实施步骤如下：

步骤一：随机模糊的缺损图像数据集的构建，主要分为训练集和测试集两部分。在具体实施过程中，随机模糊缺损数据集的样本数量为18000(包含主流的places2和visdrone数据集)，其中训练集和测试集的样本数量比例为9：1。各训练集包括图像内生缺损遮挡图像数据集、缺损遮挡图像数据集。该数据集主要用于对中心大面积残缺图像进行内生性图像高级修复，区别于一般的图像初级处理修复(去除模糊、边缘精化、去除噪声等)。图2是完整图像数据样本，随机模糊缺损图像数据集样本示意图如图3所示。

步骤二：构建基于上下文的多特征融合网络模型，模型总体结构如图4所示。模型输入为随机模糊的缺损图像数据集，输出为像素完整的清晰图像，由两部分组成：图像去除模糊子网络和图像修复子网络。与现有技术不同的是，本专利将去除模糊的初步图像精化过程应用于图像内生缺损的修复过程。去除模糊的网络结构同时包括了上采样与下采样的多尺度提取精化与多轮递归迭代式的逐步精化相结合的组合策略。

图像去除模糊子网络，主要用于去除图像噪声，通过多尺度融合净化网络来实现去除模糊的效果。输入为随机模糊缺损图像，输出为较清晰的缺损图像；在训练过程中分两阶段进行：首先提取模糊特征，然后对模糊特征进行融合。前一阶段采取由粗到细的多路径提取模糊特征的方法，包括4个卷积层，每个卷积层的输出特征图尺寸表示为高×宽×通道数，4个卷积层输出特征图尺寸依次为h/2×w/2×32，h/4×w/4×64，h/8×w/8×128，h/16×w/16×256；模糊特征融合阶段采用相反的方法，即由细到粗的模糊特征融合手段，使用另外4个卷积层，另外4个卷积层输出特征图尺寸依次为h/16×w/16×256，h/8×w/8×128，h/4×w/4×64，h/2×w/2×32，其中，h和w分别表示图像的高和宽。

图像修复子网络主要用于填充图像缺失部分的像素，通过基于上下文的多特征融合网络实现。首先通过不同尺寸的网络结构，采用由粗到细、由小到大的方式对去除模糊后的图像细节和轮廓进行反复学习，然后提取细节纹理特征和轮廓形状，最后结合周围背景信息对缺失部分像素进行填充。输入为去除模糊后的图像，输出为像素完整且画质清晰的图像，图5为本发明图像修复子网络的网络结构图，图6和图7为图片相似度匹配对比算法的形象化示例。图像修复子网络也分为两阶段进行，第一阶段为提取图像细节纹理特征阶段，第二阶段为多尺度图像细节轮廓填充阶段。这两阶段均采用多路径提取与融合的模式，不同之处在于前一阶段的卷积层数多于后一阶段。前者包括11个卷积层，每个卷积层输出特征图尺寸依次为h/2×w/2×48，h/4×w/4×96，h/8×w/8×192，h/16×w/16×384，h/32×w/32×768，h/16×w/16×384，h/8×w/8×192，h/4×w/4×96，h/2×w/2×48，h/4×w/4×96，h/8×w/8×192；所述的多尺度图像细节轮廓填充阶段使用7个卷积层，每个卷积层输出特征图尺寸依次为h/2×w/2×48，h/4×w/4×96，h/8×w/8×192，h/4×w/4×96，h/2×w/2×48，h×w×12，h×w×3。

在具体实施过程中，h＝256，w＝256。

步骤三：利用步骤一中随机模糊的缺损图像训练集对基于上下文的多特征融合网络进行训练。基于上下文的多特征融合网络区别于现有技术中的将背景注意力机制多次应用于图像内生缺陷的逐步精细性修复，本发明的上下文指背景注意力修复缺陷的算法，而不是广义上的借鉴周边图像。在训练过程中，输入为步骤一中的随机模糊缺损图像训练集，得到训练完成的基于上下文的多特征融合网络。在训练过程中，采用adam算法(β1＝0.9，β2＝0.999)对模型在tensorflow深度学习框架下进行训练，初始学习率设置为10-⁴，每训练100000轮后衰减一半，总的训练次数为5000000次，使用4个11gb的nividartx2080tigpu进行深度学习模型的训练。事实上，对模型的训练还可使用caffe或者pytorch等深度学习框架。

步骤四：将步骤一中的测试集作为输入放入步骤三得到的基于上下文的多特征融合网络模型中进行测试，测试集中的图像为低质量图像(模糊的、含噪声的、缺损的图像)。测试效果如图8、图9和图10所示，图8是places2数据集的结果示意图，图9、图10是visdrone数据集的结果示意图，其中图10最右边的一列图像为最终的修复结果，本发明方法能够在图像像素缺失且受到复杂干扰的条件下，依然可以高效还原缺损像素并且保持图像画质清晰。

以上所描述的仅为本发明一种较佳的实例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。