基于自适应特征融合的轻量级水下图像增强方法

本发明涉及图像增强，尤其涉及一种基于自适应特征融合的轻量级水下图像增强方法。

背景技术：

1、水下图像增强是水下作业中关键的图像处理任务，旨在解决由光吸收和散射引起的图像对比度低、色彩失真和模糊问题。传统的基于物理模型和统计特性的图像增强方法在复杂动态的水下环境中常常受限。近年来，深度学习方法的快速发展使得神经网络逐渐在水下图像增强中得到应用，能够自主学习复杂的图像增强模式，卷积神经网络由于其视觉特征学习能力，被广泛应用于水下图像增强任务。然而，现有深度学习模型在资源受限的嵌入式平台上往往受到大量参数和高计算复杂度的制约。

2、为了解决水下环境中嵌入式平台计算资源有限的问题，现有技术提出了一些轻量化的水下图像增强模型，比其他方法使用更少的计算资源。例如，five a+[1]网络采用两级增强结构。第一阶段旨在将具有挑战性的水下退化分解为子问题，而第二阶段包含多分支颜色增强模块和像素注意力模块，以放大网络对细节的感知。song等人[2]提出了一种具有多个目标的高效残差密集块搜索算法，以识别用于图像超分辨率的快速，轻量级和准确的网络，其方法通过在神经架构搜索过程中结合残差密集块，并利用强化学习策略优化网络性能。guo等人[4]提出了一种有效的低光图像增强方法，该方法单独估计每个像素的照度，并使用结构先验对其进行改进。shallow-uwnet[3]网络通过引入轻量级网络组件和残差卷积块构建了一个浅层网络。nu2net[5]提出了一种ranker loss的方法，专门用于水下图像增强。该方法通过学习来判断图像增强的优劣并优化增强过程，以提高水下图像的质量。这些方法都保持了模型的轻量化。

3、然而，水下图像因光吸收和散射导致对比度降低、色彩失真以及图像模糊，始终严重影响了水下操作的视觉效果和后续处理的准确性，如说明书附图1所示。当前水下图像增强的主要技术问题包括：

4、对比度低：水下环境中的光源有限，且短波光线迅速被水吸收，导致图像对比度低，细节信息丢失。

5、色彩失真：由于水对不同波长的光线吸收速率不同，尤其是红光几乎完全吸收，使得水下图像常出现偏蓝或偏绿色彩失真现象。这不仅影响视觉效果，还影响后续图像处理任务的准确性。

6、图像模糊：水中颗粒物悬浮、光线散射等因素导致水下图像模糊，这对增强处理提出了挑战，尤其在增强细节和边缘时难以取得理想效果。

7、实时性要求：在水下机器人等嵌入式应用场景中，计算资源受限，且需要实时处理图像。然而，现有的深度学习模型往往参数量大、计算复杂度高，难以在资源受限的平台上实现高效运行。

8、多尺度信息利用不足：水下环境动态复杂，传统的图像增强方法或深度学习模型往往无法充分利用图像中的多尺度信息，导致增强效果欠佳，特别是在需要同时处理全局信息和局部细节时。

9、为了解决这些技术问题，需要开发一种能够在低计算成本下实时处理的轻量级水下图像增强网络，并且能够有效处理多尺度特征，以提高图像质量、增强细节，同时适应复杂水下环境的变化。li等人[6]提出了一种通过介质传输引导的多色空间嵌入的水下图像增强网络，称为ucolor。huo等人[7]采用小波增强学习单元将分层特征分解为高频和低频分量，然后使用归一化和注意力机制来加强它们。虽然这种方法已经表现出出色的视觉效果，但其广泛的网络参数和计算要求使其不适合现有的水下设备。此外，它不能有效地解决颜色失真的问题。

10、本发明涉及的参考文献包括：

11、[1]jingxia jiang,tian ye,jinbin bai,sixiang chen,wenhao chai,shi jun,yun liu,and erkang chen.five a+network:you only need 9k parameters forunderwater image enhancement.in british machine vision conference,pages 149–151,2023.

12、[2]dehua song,chang xu,xu jia,yiyi chen,chunjing xu,and yunhewang.efficient residual dense block search for image super-resolution.inproceedings ofthe aaai conference on artificial intelligence,volume 34,pages12007–12014,2020.

13、[3]ankita naik,apurva swarnakar,and kartik mittal.shallow-uwnet:compressed model for underwater image enhancement(student abstract).inproceedings ofthe aaai conference on artificial intelligence,volume35,pages15853–15854,2021.

14、[4]xiaojie guo,yu li,and haibin ling.lime:low-light image enhancementvia illumi-nation map estimation.ieee transactions on image processing,26(2):982–993,2017.

15、[5]chunle guo,ruiqi wu,xin jin,linghao han,zhi chai,weidong zhang,andchongyi li.underwater ranker:learn which is better and how to be better.inproceedings oftheaaai conference onartificial intelligence,2023.

16、[6]chongyi li,saeed anwar,junhui hou,runmin cong,chunle guo,and wenqiren.underwater image enhancement via medium transmission-guided multi-colorspace embedding.ieee transactions on image processing,30:4985–5000,2021.

17、[7]fushuo huo,bingheng li,and xuegui zhu.efficient wavelet boostlearning-based multi-stage progressive refinement network for underwaterimage enhancement.in proceedings of the ieee/cvf international conference oncomputer vision,pages 1944–1952,2021.

18、[8]dosovitskiy,alexey,et al."an image is worth 16x16 words:transformers for image recognition at scale."arxiv preprint arxiv：2010.11929(2020).

19、[9]jari korhonen and junyong you.peak signal-to-noise ratiorevisited:is simple beautiful？in 2012 fourth international workshop onquality of multimedia experience,pages 37–38,2012.

20、[10]zhou wang,alan c bovik,hamid r sheikh,and eero p simoncelli.imagequality assessment:from error visibility to structural similarity.ieeetransactions on image processing,13(4):600–612,2004.

21、[11]miao yang and arcot sowmya.an underwater color image qualityevaluation metric.ieee transactions on image processing,24(12):6062–6071,2015.

22、[12]karen panetta,chen gao,and sos agaian.human-visual-system-inspired underwater image quality measures.ieee journal of oceanicengineering,41(3):541–551,2016.

23、[13]chongyi li,chunle guo,wenqi ren,runmin cong,junhui hou,sam kwong,and dacheng tao.an underwater image enhancement benchmark dataset andbeyond.ieee transactions on image processing,29：4376–4389,2019.

24、[14]zhenqi fu,wu wang,yue huang,xinghao ding,and kai-kuangma.uncertainty inspired underwater image enhancement.in computer vision–eccv2022:17th european conference,telaviv,israel,october 23–27,2022,proceedings,part xviii,pages 465–482.springer,2022。

技术实现思路

1、针对上述现有技术存在的缺陷和不足，本发明提出了一种新的水下图像增强网络，基于自适应特征融合的轻量级水下图像增强网络(laff-net)，将水下图像增强任务分解为两个分支任务---强先验增强任务和细粒度增强任务，以便充分利用图像内的多尺度信息，最大限度地减少参数和计算复杂性，同时在复杂水下场景中提供出色的图像增强性能。本发明引入了多尺度特征聚合模块和全局通道注意力模块。自适应特征融合模块和分段卷积前馈网络组成多尺度特征聚合模块。这些技术结合了特征的全局与局部信息，并通过通道间的信息关联，自适应地调整各个通道的重要性，能够在嵌入式平台上实现高效的图像增强，同时保持低参数量，从而更适合嵌入式场景下的实时应用。具体来说，所提出的算法首先在强先验增强任务中为网络提供全局特征和低级别特征，构建了整个网络的基础。细粒度增强任务中则专注于增强图像的局部细节和颜色，从而改善视觉质量。其旨在在嵌入式平台上保持模型的低参数量和计算复杂度的条件下，仍能有效提取复杂的水下图像多尺度特征。该技术在水下机器人等实际场景中有广泛应用。

2、本发明具体采用以下技术方案：

3、一种基于自适应特征融合的轻量级水下图像增强方法：采用基于自适应特征融合的轻量级水下图像增强网络，将水下图像增强任务分解为强先验增强任务和细粒度增强任务，以充分利用图像内的多尺度信息；所述强先验增强任务用于提取图像的全局和低层特征；所述细粒度增强任务用于提升图像的局部细节和颜色恢复，从而改善视觉质量；所述轻量级水下图像增强网络包括由自适应特征融合模块与分段卷积前馈网络组成的多尺度特征聚合模块和全局通道注意力模块，用于结合特征的全局与局部信息，并通过通道间的信息关联，自适应地调整各个通道的重要性。

4、所述轻量级水下图像增强网络的各模块中采用轻量化卷积并在特征聚合时通过控制通道维度，以实现低参数的精确控制。

5、进一步地，所述轻量级水下图像增强网络中，输入图像经过逐点卷积后首先执行所述强先验增强任务，在强先验增强任务当中，一个分支经多分支颜色增强模块、多尺度特征聚合模块和全局通道注意力模块，另一分支经多尺度增强网络然后共同输入混合域特征交互模块进行融合后转入所述细粒度增强任务；在细粒度增强任务中，首先经过逐点卷积，然后依次输入多尺度特征聚合模块、全局通道注意力模块、多分支颜色增强模块和通道注意力层。

6、所述全局通道注意力模块通过计算通道权重提升特征图中重要通道的表征能力，所述多尺度特征聚合模块通过全局和局部信息的特征提取与融合，增强网络处理全局与局部信息的能力。

7、进一步地，所述多尺度特征聚合模块结合自适应特征融合模块和分段卷积前馈网络；首先通过自适应特征融合模块进行特征的空间增强，提取全局特征并增强局部细节；接着通过分段卷积前馈网络保留部分原始特征，同时对部分特征进行增强；并将特征标准化应用于每一步骤的特征输入，以确保输入特征在数值上保持稳定性。

8、进一步地，所述自适应特征融合模块结合自注意力近似和局部细节估计两个分支；所述自注意力近似用于通过自适应池化方法捕获全局特征，降低计算复杂度；所述局部细节估计用于增强局部细节处理能力，通过1×1卷积实现细节恢复：

9、通过卷积层将输入特征进行通道增加，之后在通道维度进行分割成两部分，分别得到特征图x1和x2；

10、对于特征图x1，首先进行自适应最大池化，生成降采样后的特征图，捕捉空间上下文信息；随后，通过深度卷积进一步处理池化结果，增强局部细节信息；并计算特征图x1在空间维度上的方差以提取全局统计信息，获得特征图的全局上下文；将局部池化后的特征乘以可学习的权重参数alpha，放大局部特征信息；将全局方差特征乘以另一个可学习的参数belt，增强全局特征信息；将局部和全局特征进行加权求和，融合不同尺度的信息；通过gelu激活函数非线性处理融合后的特征，通过1x1卷积进一步压缩和调整融合后的特征；最后采用最近邻插值，将融合后的特征从降采样大小恢复到原始的大小；

11、对于特征图x2通过深度可分离卷积层和逐点卷积层，以及gelu激活函数进行局部增强；所述深度可分离卷积层由深度卷积和逐点卷积组合构成。

12、进一步地，所述分段卷积前馈网络首先通过1x1卷积进行维度变换，然后使用激活函数gelu增强非线性，将输入的特征维度扩展；然后在训练阶段使用分割操作在通道维度将隐层特征平分为两部分：一部分通过3x3卷积学习局部特征，使用激活函数gelu增强非线性特征表达；另一部分保持原始特征不变；通过不同的卷积层进行处理，再将这些特征重新拼接，使用1x1卷积进行维度变换；在推理阶段，直接对局部特征进行卷积，不使用分割操作以简化推理过程。

13、进一步地，所述全局通道注意力模块通过通道级注意力机制对输入特征图进行加权处理，以增强重要特征的表示能力；并使用激活函数softsign平衡性能和计算复杂度，得到每个通道的权重系数；

14、所述全局通道注意力模块首先对每个通道执行全局平均池化并计算权重，表示为：

15、

16、zf＝flatten(zm),

17、y1＝s(w1zf),

18、y2＝s(w2y1),

19、其中xm表示已提取的第m个特征图；zm表示第m通道的平全局均池化；zf指的是将张量zm展平为一维向量的过程，w1和w2是权重矩阵，用于对zf进行线性变换，使用w1对一维向量zf进行通道衰减，由原来的通道数减少到原来的1/4，之后使用w2对一维向量y1进行升维得到每个通道的权重；符号s表示softsign激活函数，y1通过使用权重矩阵对zf进行降维得到，y2作为维度恢复后通道关注权重的初始结果，是一个一维向量；

20、然后重新调整通道的尺寸和权重：

21、ae＝expand(y2),

22、x′＝x×ae,

23、其中ae表示调整y2的维度以匹配输入特征图x的维度；

24、最后，将权重ae与输入特征图x相乘，得到一个新的特征图x'。

25、进一步地，所述轻量级水下图像增强网络通过组合损失项进行优化；训练目标分为感知损失lvgg，ssim loss，charbonnier loss，通过加权的方式组合：

26、ltotal＝λ1lvgg1+λ2lssim+λ3lc+λ4lvgg2

27、其中，λ1,λ2,λ3,λ4都是权重参数；

28、charbonnier loss的公式如下：

29、

30、其中x为预测值，y为目标值；∈用于防止平方和接近零时产生的数值不稳定。

31、一种基于自适应特征融合的轻量级水下图像增强系统，包括：基于自适应特征融合的轻量级水下图像增强网络，包括强先验增强任务模组和细粒度增强任务模组，以充分利用图像内的多尺度信息；所述强先验增强任务模组用于提取图像的全局和低层特征；所述细粒度增强任务模组用于提升图像的局部细节和颜色恢复，从而改善视觉质量；所述轻量级水下图像增强网络包括由自适应特征融合模块与分段卷积前馈网络组成的多尺度特征聚合模块和全局通道注意力模块，用于结合特征的全局与局部信息，并通过通道间的信息关联，自适应地调整各个通道的重要性。

32、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于自适应特征融合的轻量级水下图像增强方法的步骤。

33、一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的基于自适应特征融合的轻量级水下图像增强方法的步骤。

34、与现有技术相比，本发明及其优选方案具有以下优势：

35、本发明的网络比现有方案增强了特征的表达能力，特别是在复杂的水下环境中，它能够捕捉到更丰富的细节和全局信息，确保在处理模糊、低对比度图像时既能保持全局一致性，又能精确增强局部细节。主要体现在以下几点：

36、更好的特征表达：全局通道注意力模块通过自适应调整通道注意力，使得网络可以重点关注更具代表性的通道，避免通道信息的冗余或丢失，且计算复杂度很低。多尺度特征聚合模块通过多路径结构处理全局和局部的特征，使得特征表达更加全面和精确，有采用残差链接，保证特征信息不会丢失。

37、增强细节捕捉能力：水下图像由于光照条件差、物理障碍和噪声等问题，通常存在模糊和细节丢失的问题。多尺度特征聚合模块通过其独特的局部增强机制，能够在保持全局信息的同时，增强局部细节的表达，有助于捕捉到更多有效信息，并且通过计算方差来获取全局统计信息，从而进一步保持全局特征的完整性。

38、自适应性强：水下环境的复杂性使得网络必须具备很强的自适应性。全局通道注意力模块和多尺度特征聚合模块通过在训练过程引入可学习的权重(如gcam中的自适应通道注意力权重、mfa中的alpha和belt参数)，使得网络可以根据输入的特征自适应调整，从而更加灵活地处理不同类型的水下图像。