基于纹理和结构融合先验的图像修复方法和电子设备

本发明涉及图像处理，具体涉及基于纹理和结构融合先验的图像修复方法和电子设备。

背景技术：

1、近年来，深度学习在图像修复任务中展示出了强大的能力，特别是在填充像素方面表现出非常符合人类视觉的特性。然而，待修复图像的背景复杂、大面积区域缺失等问题，使得图像修复结果中仍然存在伪影现象。现有的大部分图像修复模型利用先验信息引导图像内容修复，因为它非常有助于理解图像的整体结构细节，并能够在缺失区域中合成与周围纹理相匹配的内容，例如纹理、结构、边缘或形状。但是，现有的模型易受限于卷积核感受野大小，导致它们不能很好的捕捉到图像特征的长距离依赖关系。相比之下，基于transformer的方法凭借其能够有效捕捉全局特征的能力，在图像修复任务中引起了广泛的关注。然而，由于二次计算复杂度的增加，使得这些模型在处理效率上面临很大的挑战。

技术实现思路

1、为了优化图像修复效果，本发明提供基于纹理和结构融合先验的图像修复方法和电子设备。

2、本发明第一方面提供了一种基于纹理和结构融合先验的图像修复方法，其包括以下步骤：

3、训练包含细节修复网络和图像内容补全网络的图像修复模型；

4、将待修复图像输入到所述图像修复模型，并由所述图像修复模型输出目标图像；

5、其中，将待修复图像的纹理特征和结构特征融合并作为先验信息，与待修复图像一起输入到所述细节修复网络中，并施加空间注意力，输出细节图像；

6、将所述细节图像作为引导信息，与待修复图像一起输入到所述图像内容补全网络中，并施加线性注意力，输出目标图像（输出图像）。

7、在本发明中，将融合后的纹理特征和结构特征作为先验信息引导破损图像修复，对于提升图像细节修复效果，保持修复内容与已知内容的合理性和一致性具有非常重要的作用。具体来说，纹理特征能够帮助理解图像的细节和表面特征，如细微纹理，以确保修复区域与周围区域的自然过渡。同时，结构特征能够指导修复图像的整体布局和几何形状，确保修复后的图像在视觉上能够与人眼保持更好的一致性和合理性。另外，通过施加空间注意力，利用不同层级特征的局部位置关系，提高了破损图像的细节修复能力。通过施加线性注意力，在很好地修复出破损图像内容的同时，进一步增强了图像的细节修复效果。

8、在一些实施方式中，所述纹理特征由gabor滤波器提取得到。gabor滤波器的频率和方向与人类的视觉系统非常相似，其提取的纹理特征提供了更丰富的图像细节。

9、在一些实施方式中，所述结构特征由canny算子提取得到。canny算子能够找到一个最优的边缘或找寻一幅图像中灰度强度变化最强的位置，其提取的结构特征提供了图像的整体形状信息。

10、在一些实施方式中，将待修复图像的纹理特征和结构特征融合并作为先验信息包括：将所述纹理特征和结构特征进行融合，并将融合后的特征图用于图像的细节修复。

11、在一些实施方式中，所述细节修复网络包括编码器、解码器、跳跃连接模块和空间注意力模块；通过所述编码器对输入特征图进行doubleconv操作、最大池化操作和下采样操作；通过所述解码器对特征图进行上采样操作和doubleconv操作；通过所述跳跃连接模块在所述编码器和解码器之间传递特征信息；通过所述空间注意力模块在通道维度对特征图进行平均池化操作和最大池化操作，并将平均池化结果和最大池化结果拼接起来，再将拼接结果进行卷积操作后，经过sigmoid激活函数生成一个注意力映射，然后将注意力映射与输入特征图进行逐元素相乘，得到空间注意力的加权结果。空间注意力模块在精确定位和处理破损图像中发挥着关键作用，它能够优先处理图像中的重要区域，例如高频纹理或关键结构特征等，从而显著提升图像细节修复的效果和效率。

12、在一些实施方式中，所述doubleconv操作包括两次卷积操作、两次dropblock操作、两次batchnorm2d函数处理和两次relu激活函数处理。

13、在一些实施方式中，所述图像内容补全网络包括编码器、解码器、跳跃连接模块和线性注意力模块；通过所述编码器对输入特征图进行卷积操作；通过所述解码器对特征图进行反卷积操作和relu函数处理；通过所述跳跃连接模块在所述编码器和解码器之间传递特征信息；通过所述线性注意力模块计算线性注意力，并经过1×1卷积和gelu激活函数处理产生门控机制输出，再将门控机制输出和线性注意力相乘，得到目标图像。

14、在一些实施方式中，所述细节修复网络的参数根据损失lp进行更新；

15、；

16、其中，

17、；

18、；

19、；

20、表示细节修复网络中待修复图像未破损区域的重构损失，表示细节修复网络中待修复图像破损区域的重构损失，表示细节修复网络的对抗损失；表示细节修复网络中待修复图像破损区域的重构损失权重，表示细节修复网络的对抗损失权重；m表示掩膜图像，表示掩膜图像m中非零元素的个数，表示真实图像，表示输出图像，表示hadamard乘积；表示最小化生成器生成数据为假的概率，表示最大化判别器判别真实图像和生成图像的概率，表示细节修复网络的生成器，表示真实图像的细节特征图，表示对真实图像数据分布下的所有取值的期望，表示细节修复网络的判别器，表示修复的细节图像，表示对破损图像数据分布下的所有取值的期望。

21、在一些实施方式中，所述图像内容补全网络的参数根据损失lg进行更新；

22、；

23、其中，

24、；

25、；

26、；

27、；

28、表示图像内容补全网络中待修复图像的重构损失，表示图像内容补全网络的对抗损失，表示图像内容补全网络的感知损失，表示图像内容补全网络的风格损失；表示图像内容补全网络的对抗损失权重，表示图像内容补全网络的感知损失权重，表示图像内容补全网络的风格损失权重；表示最小化生成器生成数据为假的概率，表示最大化判别器判别真实图像和生成图像的概率，表示真实图像的期望，表示图像内容补全网络的判别器，表示图像内容补全网络的生成器，表示真实图像，表示输出图像，表示输出图像的期望；表示vgg-16在imagenet数据集上得到的预训练网络模型的第i层的激活映射，；。

29、本发明第二方面提供了基于纹理和结构融合先验的图像修复电子设备，其包括存储器和处理器，其中，所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行所述基于纹理和结构融合先验的图像修复方法。

30、本发明实施例的技术方案具有以下有益效果：

31、（1）提出了包含细节修复网络和图像内容补全网络的图像修复模型，这是一种端到端的纹理和结构共同引导的双注意力机制的图像修复模型，通过全局和局部特征的多层次融合，在有效提升模型的准确性和细节还原能力的同时，也很大程度改善了模型的训练效率；

32、（2）通过施加空间注意力，对特征图中不同位置的空间关系进行建模，生成精确的空间注意力图，不仅提升了模型对不同位置特征重要性的确定能力，还显著改善了模型修复图像局部细节的能力和效率；

33、（3）通过施加线性注意力，有效缓解了传统卷积中的有限感受野对图像修复的影响，提升了模型捕捉特征的长距离依赖关系的能力，有效修复出图像的全局细节信息。