基于门控卷积和门控注意力机制的图像修复系统

本发明涉及图像处理领域，具体涉及基于门控卷积和门控注意力机制的图像修复领域。

背景技术：

1、随着科学技术的蓬勃发展，图像的传递和存储更加方便，图像也逐渐成为人们日常生活中的重要交流媒介。但是，在传输和存储图像时，难免会产生部分图像缺失和分辨率降低等问题，因此图像修复技术应运而生。

2、图像修复指的是在保持图像整体一致性的同时重建图像受损区域的过程，这是一种典型的底层视觉任务。在实际应用中，图像修复技术的应用非常广泛。生活中，老照片的修复，壁画及文物图像的修复，还有被污染图片的修复都与它相关。医学领域的拍摄图像受损问题和卫星图像远距离传输造成的图像受损问题，也需要图像修复技术。文艺影视行业，经常需要将图像部分内容进行修改或替换，有时出现待处理图像数量庞大且问题较单一的情况，也适合使用图像修复技术代替人工修改。

3、传统方法在处理背景复杂，如色彩多样、人物或风景丰富，或相邻像素间差值较大的图像时，性能急剧下降。现有背景复杂和高分辨率深度学习图像修复算法面临一些急需解决的问题：首先，修复背景复杂、纹理精细图像时，生成的结构模糊，破损区域边缘会产生重叠或伪影。其次，修复高分辨率图像的细节时，虽然能生成纹理像素，但整体的语义一致性差，修复图像不贴近真实图像。

技术实现思路

1、本发明目的是提供一种生成的结构更合理，确保修复不同程度受损图像时，能生成合理、逼真的纹理细节，提高修复精确度，保证既能修复原有的图像又不降低补全后图像质量的图像修复方法。

2、本发明为实现上述目的，通过以下技术方案实现：

3、基于门控卷积和门控注意力机制的图像修复系统，包括：

4、图像预处理模块，对数据集进行预处理，构成缺损图像数据集；

5、图像修复模型训练模块，将缺损图像数据集中的图像输入到ga network图像修复模型中，以获得训练后修复的图像和预训练模型，所述图像修复模型训练模块在编码器使用门控卷积模块进行下采样进行特征提取，在编码器结束位置，设计门控注意力机制集成到图像修复模型，与门控卷积相契合；

6、图像修复模型测试模块，将掩码(mask)嵌入到数据集的每张图像中，构成缺损图像数据集。将缺损图像测试数据集输入到训练完成的ga network图像修复模型，利用预训练的ga network图像修复模型的参数权重代入到修复框架，进行特征提取，从而完成图像缺损部位的修复补全。

7、进一步的，图像修复模型训练模块在解码器阶段采用门控卷积，获得训练后修复的图像作为伪样本，与真实样本集中的样本数据计算损失值，获得预训练模型。

8、优选的，图像修复模型训练模块中引入跳跃连接，将各层编码器特征和对应的解码器相连接。

9、所述掩码分成规则掩码和不规则掩码，分别构造矩形规则区域缺损和不规则缺损的掩码数据集，不规则掩码占图像的20％-30％或者40％-50％来进行训练和测试，不规则缺损区域随机分布在图像中。

10、为了使生成的图像更接近原图，通过基于深度学习方法来获取缺失部分的特征信息时，从上下文语义和空间上来获取特征。

11、优选的，对图像数据集进行裁剪预处理。

12、优选的，图像修复模型训练模块的解码器阶段在上采样过程中使用门控注意力机制，以保持缺失区域的内部和外部像素之间的高度关联性，从而提高模型的修复性能。

13、本发明的优点在于：

14、卷积过程中边缘区域获得信息的效率低，普通的卷积模块并不能修复出足够的细节信息。本发明将研究近几年所提出的针对图像修复的卷积模块，门控卷积为所有层中的每个空间位置的每个通道提供一个可学习的动态特征选择机制来泛化普通卷积，经实验验证，在网络中运用门控卷积可以增强生成网络对输入图像中有效元素和边缘元素的利用，提高对缺失区域图像的推理合成能力。

15、为了避免网络较深导致门控卷积损失的信息较多，因此通过尝试，本发明将注意力机制集成到图像修复模型中以提高模型性能，解码器特性更加接近真实编码器内容，使得生成的内容更加接近原图。并且针对通过基于深度学习方法来获取缺失部分的特征信息时，解决了特征信息利用不足，对图像的关键区域关注不够，以及远处的细节信息丢失等问题。

16、本发明提出在网络中使用门控注意力机制,在网络不同阶段分别实现深层特征图和浅层特征图的修复。门控注意力机制适用于任意形状缺失区域的修复，并且可以构建出已知区域与缺失区域的深层次特征的内部联系，为图像修复过程提供语义合理且像素信息更准确的特征图。

17、本发明建立一个基于深度学习的图像修复补全模型，该模型既能降低计算成本，又具有生成的图像结构合理、纹理细节清晰的功能。

技术特征：

1.基于门控卷积和门控注意力机制的图像修复系统，其特征在于，包括：

2.根据权利要求1所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，所述图像修复模型训练模块在编码器解码器中采用门控卷积，获得训练后修复的图像作为伪样本，与真实样本集中的样本数据计算损失值，获得预训练模型。

3.根据权利要求1所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，所述图像修复模型训练模块中引入跳跃连接，将各层编码器特征和对应的解码器特征相连接。

4.根据权利要求1所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，对图像数据集进行裁剪预处理。

5.根据权利要求1所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，将掩码嵌入到数据集的每张图像中，构成缺损图像数据集。

6.根据权利要求5所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，所述掩码分成规则掩码和不规则掩码，分别构造矩形规则区域缺损(128×128)和不规则缺损(破损区域占图像面积20％-30％,40％-50％)的掩码数据集，缺损区域随机分布在图像中。

7.根据权利要求1所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，通过基于深度学习方法来获取缺失部分的特征信息时，从上下文语义和空间上来获取特征。

8.根据权利要求1所述的基于门控卷积和门控注意力机制的图像修复系统，其特征在于，所述图像修复模型训练模块的解码器阶段在上采样过程中使用门控注意力机制，以保持缺失区域的内部和外部像素之间的高度关联性，从而提高模型的修复性能。

技术总结
本发明致力于生成的结构更合理，确保修复不同程度受损图像时，能生成合理、逼真的纹理细节，提高修复精确度，保证既能修复原有的图像又不降低补全后的图像质量。所以，针对以上问题，搭建一个合适的深度学习框架成了本研究的首要方案选择。本发明提供了一种基于门控卷积和门控注意力机制的图像修复系统，包括：图像预处理模块，图像修复模型训练模块，图像修复模型测试模块，图像修复模型训练模块在编码器使用门控卷积模块进行下采样进行特征提取，在编码器结束位置，设计门控注意力机制集成到图像修复模型，与门控卷积相契合。该模型既能降低计算成本，又具有生成的图像结构合理、纹理细节清晰的功能。

技术研发人员：赵盛荣,邱冉,梁虎
受保护的技术使用者：齐鲁工业大学（山东省科学院）
技术研发日：
技术公布日：2024/1/14