一种一阶段图像修复方法、装置及存储介质与流程

本发明涉及图像处理，尤其是涉及一种一阶段人像修复和目标移除方法、装置及存储介质。

背景技术：

1、随着智能技术的发展，金融领域对于新技术的跨界融合程度不断提高。线上移动支付以及各类金融手机app在为客户提供便携性的同时，也需要客户提供相应的身份认证作为交易的安全性和唯一性的保障。依托于手机摄像头，客户能够轻易地获取数字图像。由于数字图像所用到的成像系统、存储设备以及传输过程中介质的良莠不齐，数字图像往往容易受到多种噪声的干扰，通常会造成图像缺失、白块、模糊等，很大程度上影响图像的视觉效果。通过计算机能够较方便的对数字图像进行后期处理，以尽可能的解决上述问题。数字图像修复技术指借助已知的图像信息推测并修复污损的图像区域。

2、传统的数字图像修复方法一般从像素的角度出发，其核心思想是通过提取图像中完好区域的像素信息，根据相似性将其填充到待修补区域。基于深度学习的数字图像修复方法通过对大量数据的学习理解，能够更深层次的理解图像的语义信息，由此构建的网络模型能够对污损区域产生更加合理的预测，从而取得更好的修复效果。

3、基于上下文编码器(context encoder)的图像修复方法，该方法能够修复图像中心矩形区域污损。模型的整体框架是一个简单的编码-解码器。编码器接受部分区域缺失的图像作为输入，然后输出用于表示这幅图像的潜在特征。解码器接受这些表示特征，然后输出缺失的图像区域。

4、基于门控卷积(gated convolution)的图像修复方法，该方法通过在所有层的每个空间位置为每个通道提供可学习的动态特征选择机制来解决传统卷积将所有输入像素视为有效像素的问题的不合理性。该方法能够修复任意区域污损的图像并显著提升图像修复性能，但是对于纹理细节的处理上仍有改进空间。该方法通过改变卷积结构来规避传统卷积将所有输入像素都视为有效的问题，但是没有跳过传统编码解码器的限制，网络在下采样中丢失了纹理细节信息，导致修复结果虽整体上一致，但是局部细节缺失。

5、中国专利申请202111019820.1公开了一种基于门控和上下文注意力机制的图像修复方法，但是传统的卷积层网络不能在同一层上补货较远区域的信息，为了获得更大的感受野，需要对网络进行堆叠，然后过深的网络往往会导致局部细节纹理信息的丢失，这些细节对图像修复任务来说是不容忽视的，这将导致修复后的图像在整体上一致，局部细节纹理模糊。

技术实现思路

1、本发明的目的是克服上述现有技术存在的缺陷而提供一种一阶段图像修复方法。

2、本发明的目的可以通过以下技术方案来实现：

3、作为本发明的第一方面，提供一种一阶段图像修复方法，所述方法步骤包括：

4、获取到所需修复的图像，并标注污损区域；

5、将需要修复的图像和标注的污损区域输入训练好的生成式对抗网络的生成器并输出修复后图像；

6、所述生成式对抗网络的生成器采用基于门控卷积的编解码器网络，编解码器网络中设置有能够学习图像特征中的序列信息的上下文卷积结构。

7、进一步的，所述生成器基于门控卷积的编解码器网络结构具体为：通过门控卷积进行下采样编码；使用上下文卷积结构进行特征增强，所述上下文卷积结构间维护有共享特征传递层；对增强的特征矩阵进行二次门控卷积特征提取后与自身聚合；在依次进行多次对等采样后使用空洞卷积进一步提取特征；使用上下文卷积再次进行特征增强；使用转置卷积进行上采样后使用门卷积输出最终的修复结果图。

8、进一步的，所述上下文卷积结构具体实现为：将图像特征矩阵分解为多个补丁序列；使用归一化内积计算分解的补丁序列与共享序列中每一个补丁的相似度，得到相似度矩阵；按照相似度矩阵对共享序列中每一个补丁进行加权求和，得到该补丁的输出结果；以此类推对每一个补丁进行计算得到一个新的矩阵，并将其恢复为增强特征矩阵得到上下文卷积的结果。

9、进一步的，原始补丁序列作为共享序列供下层网络使用。

10、进一步的，所述生成器基于门控卷积的编解码器网络的目标函数采用l1损失，包括生成对抗损失、像素重建损失和风格损失。

11、进一步的，所述生成式对抗网络的生成器鉴别器网络使用sn-patchgan，将输入映射到表示图像区域来自于真实图像概率的矩阵并输出。

12、进一步的，所述生成式对抗网络的训练步骤具体如下：

13、获取训练数据集，随机生成mask，将mask和数据集中原始图像结合模拟污损图像；

14、污损图像和随机生成的mask作为生成器输入，原始图像作为真实标签数据；

15、将生成器修复结果和原始图像作为判别器的输入，得到判别矩阵；

16、不断重复对生成式对抗网络进行训练调优，得到训练完成的生成式对抗网络。

17、进一步的，所述生成式对抗网络的训练过程中使用测试集测试模型效果，通过峰值信噪比psnr和结构相似度ssim评价修复图像质量。

18、作为本发明的第二方面，提供一种一阶段人像修复装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如上任一所述的一阶段图像修复方法。

19、作为本发明的第三方面，提供一种存储介质，其上存储有程序，所述程序被执行时实现如上任一所述的一阶段图像修复方法。

20、与现有技术相比，本发明具有以下有益效果：

21、1)本发明提出一种新的图像修复结构和新的卷积结构上下文卷积，通过将图像解包为补丁序列和共享的重建空间序列，使得本层网络不仅能够学习到较远区域的纹理细节信息，又能借用邻近层的补丁。该卷积结构能够从较远特征的特征空间中借用或复制特征，使得网络能够在有限的深度获得足够大的感受野，进而保留更多细节纹理信息。

22、2)并且本发明提出的方法为一阶段的修复网络，相较于粗细二阶段修复网络能够显著提升图像修复速度。

23、3)本发明的编解码器网络的目标函数采用l1损失，包括生成对抗损失、像素重建损失和风格损失。其中，像素重建损失和风格损失通过利用预训练模型的视觉特征，可以帮助生成更加符合人类视觉感知的图像。感知损失更加关注于图像的高层次特征，而不是低级像素值，通过上述损失函数能够使得生成的图像更加真实。

技术特征：

1.一种一阶段图像修复方法，其特征在于，所述方法步骤包括：

2.根据权利要求1任一所述的一种一阶段图像修复方法，其特征在于，所述生成器基于门控卷积的编解码器网络结构具体为：

3.根据权利要求2所述的一种一阶段图像修复方法，其特征在于，所述上下文卷积结构具体实现为：

4.根据权利要求3所述的一种一阶段图像修复方法，其特征在于，原始补丁序列作为共享序列供下层网络使用。

5.根据权利要求4所述的一种一阶段图像修复方法，其特征在于，所述生成器基于门控卷积的编解码器网络的目标函数采用l1损失，包括生成对抗损失、像素重建损失和风格损失。

6.根据权利要求1所述的一种一阶段图像修复方法，其特征在于，所述生成式对抗网络的生成器鉴别器网络使用sn-patchgan，将输入映射到表示图像区域来自于真实图像概率的矩阵并输出。

7.根据权利要求1任一所述的一种一阶段图像修复方法，其特征在于，所述生成式对抗网络的训练步骤具体如下：

8.根据权利要求7所述的一种一阶段图像修复方法，其特征在于，所述生成式对抗网络的训练过程中使用测试集测试模型效果，通过峰值信噪比psnr和结构相似度ssim评价修复图像质量。

9.一种一阶段人像修复装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的一阶段图像修复方法。

10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的一阶段图像修复方法。

技术总结
本发明涉及一种一阶段图像修复方法、装置及存储介质，该方法步骤包括：获取到所需修复的图像，并标注污损区域；将需要修复的图像和标注的污损区域输入训练好的生成式对抗网络的生成器并输出修复后图像；生成式对抗网络的生成器采用基于门控卷积的编解码器网络，编解码器网络中设置有能够学习图像特征中的序列信息的上下文卷积结构。本发明提出一种新的图像修复结构和新的卷积结构上下文卷积能够从较远特征的特征空间中借用或复制特征，使得网络能够在有限的深度获得足够大的感受野，进而保留更多细节纹理信息，并且本发明提出的方法为一阶段的修复网络，相较于粗细二阶段修复网络能够显著提升图像修复速度。

技术研发人员：刘健文
受保护的技术使用者：交通银行股份有限公司
技术研发日：
技术公布日：2024/3/17