一种基于Transformer的多阶段水下图像增强方法

本发明涉及数字图像处理领域，尤其涉及一种基于transformer的多阶段水下图像增强方法。

背景技术：

1、随着陆地资源的日益短缺，人们对蕴藏着丰富石油和矿产资源的海洋进行了热切的探索。获得高质量、清晰的水下图像对于海洋环境的开发和资源的利用起着至关重要的作用。然而，由于水下光线的衰减和散射，水下图像会出现色偏严重、图像模糊和对比度低等问题。

2、近年来，越来越多的研究学者关注水下图像增强，以提高水下图像的视觉质量，并在提高水下图像质量上取得了较好的效果。这些方法大致分为三类：基于物理模型的方法、基于非物理模型的方法和基于学习的方法。基于物理模型的方法旨在分析图像降质的物理过程，侧重于构建出适用于水下图像的降质模型，通过估算模型中的参数反推出整个退化过程，以获得恢复的水下图像。基于非物理模型的水下图像增强算法则是从图像的像素点强度出发，通过对图像的像素强度值进行重新分布来增强图像。随着卷积神经网络与生成对抗网络的兴起，深度学习方法在水下图像增强领域取得了较大成功。

3、现有的一些深度学习网络虽然能够一定程度的完成退化水下图像处理的任务，但仍存在局限：一方面，这些网络使用的卷积算子感受野有限，无法捕获图像中的长距离依赖，无法充分提取不同尺度特征。另一方面，在推理时具有静态权重，该策略对视觉输入的适应能力较弱，面对水体类型的多样性和水下图像复杂的退化程度更加困难。

技术实现思路

1、为了解决上述技术问题：一些深度学习网络在图像增强处理上存在：一方面，这些网络使用的卷积算子感受野有限，无法捕获图像中的长距离依赖，无法充分提取不同尺度特征。另一方面，在推理时具有静态权重，该策略对视觉输入的适应能力较弱，面对水体类型的多样性和水下图像复杂的退化程度更加困难。

2、本发明提供一种基于transformer的多阶段水下图像增强方法，包括如下步骤：

3、建立图像训练集，获取参考图像和待处理的水下图像；

4、构建基于transformer骨干的多阶段水下图像增强网络；

5、构建损失函数，对基于transformer骨干的多阶段水下图像增强网络的训练加以约束，得到训练好的多阶段水下图像增强网络；

6、将参考图像和待处理的水下图像依次输入到训练好的多阶段水下图像增强网络中，实现待处理的水下图像增强处理。

7、进一步地，所述构建基于transformer骨干的多阶段水下图像增强网络的过程如下：

8、将待处理的水下图像输入至特征提取网络，提取水下图像在不同尺度下的特征，生成基础特征图；

9、将基础特征图输入到第一细节保留模块中，保留水下图像在不同尺度下的提取特征时，细节信息并减少信息丢失；

10、构建transformer骨干，以捕获基础特征图的图像相似块之间的长期依赖关系，对基础特征图进行全局特征增强处理；

11、将进行全局特征增强处理后的图像输入到第二细节保留模块中，保留捕获基础特征图的图像相似块之间的长期依赖关系时，细节信息并减少信息丢失；

12、构建自适应的神经网络结构，对增强后的全局结构特征进行重构和细化，完成基于transformer骨干的多阶段水下图像增强网络的构建。

13、进一步地，，所述建立图像训练集具体步骤为：从uieb数据集和euvp数据集，随机抽取不同散射程度、不同程度色偏现象和多种水下场景下的水下图像，以建立图像训练集。

14、进一步地，所述将待处理的水下图像输入至特征提取网络，提取水下图像在不同尺度下的特征，生成基础特征图具体步骤为：

15、待处理的目标图像首先经由一个3×3卷积，提取低水平特征图；

16、经由特征提取网络，充分提取目标图像在不同尺度下的特征，获得高水平特征图。

17、进一步地，所述特征提取网络包含一个基于小波变换的多级学习模块，经由特征提取网络，充分提取目标图像在不同尺度下的特征，获得高水平特征图具体步骤为：

18、首先使用离散小波变换获得三个不同尺度的水下图像特征，并采用卷积的方法将特征通道调整为：

19、

20、其中：表示多级学习模块的输入；

21、多级学习模块在每个尺度特征采用残差注意模块(attention residual block,arb)来学习水下图像的背景信息：

22、

23、残差注意模块包含三个se模块和一个3×3卷积，且每个残差块都通过跳跃连接将其输入与输出进行逐元素相加，以实现信息复用；

24、最后，多级学习模块使用卷积来调整特征通道的大小，并通过iwt对其进行上采样，同时，上采样后的结果加到多学习模块的输出中。

25、

26、进一步地，所述transformer骨干包含一个改进的多头自注意力和一个多层感知机；同时，在改进的多头自注意力和一个多层感知机每个块之前使用层归一化，并且在每个块之后也应用残差连接每个块。

27、进一步地，所述自适应的神经网络结构，包含操作层和注意层，

28、操作层包含多个并行操作，包括卷积核大小为1×1、3×3、5×5、7×7的深度可分离卷积；卷积核大小为3×3、5×5、7×7的扩张卷积；扩张率为2和尺寸大小为3×3的最大池化和平均池化操作。

29、注意力层结构基于senet，根据输入的特征来自适应的选择相应的操作，然后对不同的操作进行赋予注意力权重，最后注意力权重和来自不同操作的输出加权就得到最终输出增强后的特征。

30、进一步地，所述第一细节保留模块和第一细节保留模块结构相同；所述第一细节保留模块包括差值通道先验模块和指导融合模块，所述差值通道先验模块和指导融合模块并联连接；

31、差值通道先验是最亮通道值和最暗通道值之间的差值，使用差值通道先验以消除后向散射的影响，差值通道先验模块计算过程表示为：

32、

33、其中，表示每一阶段输出的特征图经过差值通道先验后得到的结果，分别为最亮通道值和最暗通道值；

34、指导融合模块计算过程表示为：

35、

36、u表示来自上一阶段输出的特征图，表示上一阶段输出的特征图经过差值通道先验后得到的结果，表示像素值相乘，表示像素值相加，v表示经过指导融合模块处理后得到的特征图。

37、进一步地，所述s6的具体步骤为：所述构建损失函数，使用以均方误差损失和结构相似度损失结合的方法以端到端方式训练基于transformer骨干的多阶段水下图像增强网络；

38、l＝lmse+lssim (6)

39、lmse是均方误差损函数，lssim是结构相似损失函数；

40、综合损失函数表述为：

41、

42、其中，j表示参考图像，g(i)i表示不同阶段的输出结果。

43、一种基于transformer的多阶段水下图像增强装置，包括：

44、建立模块：用于建立图像训练集，获取参考图像和待处理的水下图像；

45、构建模块：用于构建基于transformer骨干的多阶段水下图像增强网络；

46、训练模块：用于构建损失函数，对基于transformer骨干的多阶段水下图像增强网络的训练加以约束，得到训练好的多阶段水下图像增强网络；

47、处理模块：用于将参考图像和待处理的水下图像依次输入到训练好的多阶段水下图像增强网络中，实现待处理的水下图像增强处理。

48、与现有水下图像增强方法相比，发明提出一种基于transformer的水下图像增强方法，构建了多阶段的整体架构，逐步学习从退化的水下图像到高质量水下图像的映射过程，从而将退化水下图像处理过程划分成更容易的子过程，本发明的基于transformer的多阶段网络经过特征提取阶段、全局特征增强阶段和局部特征细化阶段。采用多阶段策略可以在前一阶段整合重要信息，逐步学习从退化的水下图像到高质量水下图像的映射过程，有选择地处理更重要的信息，摒弃冗余信息，进而更好的指导后一阶段的任务。本发明能够针对不同水下场景下(散射的水下图像、暗场景水下图像、以及部分细节模糊的水下图像等多种场景)，有效地改善水下因后向散射导致的色偏和对比度低的问题，同时增强了图像的细节和纹理，提高水下降质图像的视觉感知效果。