一种基于上下文分解特征融合的水下图像增强方法

1.本发明涉及水下图像增强技术领域，特别是涉及一种基于上下文分解特征融合的水下图像增强方法。


背景技术：

2.随着陆地资源紧张、人口增多、环境破坏等问题日益突出，海洋资源的研究和开发正在世界范围内兴起，然而海洋信息的获取和处理成为了海洋资源开发的第一步。因此，水下图像处理技术受到了越来越多的关注，水下图像增强技术在改善水下图像质量中发挥着重要的作用，为后续人们对水下信息的处理提供了帮助。
3.在现有的水下图像增强技术中，采用基于注意力的多尺度水下图像增强网络进行水下图像增强是一种非常有效的方法，其先通过下采样进行多尺度特征提取，并在反卷积阶段将相同大小的特征层连接，最后引入了注意力机制模块。该方法使网络关注不同尺度的特征，增强整体颜色和细节的恢复。
4.但是上述方法在进行特征信息融合时局限于连接下采样和上采样的中间层，忽略了空间尺度中的场景级上下文信息，导致许多不利的影响，比如细节丢失、颜色不饱和、伪影等。


技术实现要素：

5.有鉴于此，本发明的目的在于提出一种基于上下文分解特征融合的水下图像增强方法，并实现高质量水下图像的生成以及应用，以解决现有水下图像增强技术中在特征信息融合时因忽略空间尺度中的场景级上下文信息而导致不利影响的技术问题。
6.为此，本发明提供了以下技术方案：
7.一方面，本发明提供了一种基于上下文分解特征融合的水下图像增强方法，所述方法包括：
8.获取失真的水下图像，形成训练集和测试集；
9.构建基于上下文分解特征融合的水下图像增强网络模型；其中，所述水下图像增强网络模型以失真的水下图像为输入，输出增强之后的高质量水下图像，特征融合时采用上下文分解特征融合的方式，所述上下文分解特征融合包括：将下采样的特征分别与相同尺度下对应的上采样特征进行融合，将得到的结果进行级联传到下一层；
10.将训练集输入到构建好的所述水下图像增强网络模型中进行训练；
11.将测试集图像输入到训练好的所述水下图像增强网络模型中，输出图像增强之后的高质量水下图像。
12.进一步地，所述水下图像增强网络模型的网络结构包括：
13.由两个unet网络结构组成的双层估计机制，两个过程同时优化图像；unet网络结构包含10个基本块，每个块由3个卷积层组成，其中每个下采样阶段包括两个conv+bn+relu层和一个max pooling层，每个上采样阶段包括一个up sampling层和两个conv+relu层。
14.进一步地，在特征融合时，对下层unet网络结构的相同尺度下的特征分别与上层unet网络结构的对应上采样特征执行乘法操作，然后将得出的结果进行级联操作传到下一层，从而实现上下文分解特征的融合。
15.进一步地，unet网络结构中还包括：通道注意力模块和像素注意力模块。
16.进一步地，在通道注意力模块中，使用全局平均池化、两个卷积层和激活函数层将全局信息转化为通道权重信息，使不同通道特征具有不同的加权信息。
17.进一步地，在像素注意力模块中，使用两个卷积层和一个激活函数层将每个像素值加权。
18.进一步地，所述水下图像增强网络模型在训练时采用的损失函数包括：l1损失函数和对比度损失函数。
19.又一方面，本发明还提供了一种基于上下文分解特征融合的水下图像增强装置，所述装置包括：
20.图像获取单元，用于获取失真的水下图像，形成训练集和测试集；
21.模型构建单元，用于构建基于上下文分解特征融合的水下图像增强网络模型；其中，所述水下图像增强网络模型以失真的水下图像为输入，输出增强之后的高质量水下图像，特征融合时采用上下文分解特征融合的方式，所述上下文分解特征融合包括：将下采样的特征分别与相同尺度下对应的上采样特征进行融合，将得到的结果进行级联传到下一层；
22.训练单元，用于将训练集输入到构建好的水下图像增强网络模型中进行训练；
23.输出单元，用于将测试集图像输入到训练好的水下图像增强网络模型中，输出图像增强之后的高质量水下图像。
24.进一步地，所述水下图像增强网络模型的网络结构包括：
25.由两个unet网络结构组成的双层估计机制，两个过程同时优化图像；unet网络结构包含10个基本块，每个块由3个卷积层组成，其中每个下采样阶段包括两个conv+bn+relu层和一个max pooling层，每个上采样阶段包括一个up sampling层和两个conv+relu层。
26.又一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现上述基于上下文分解特征融合的水下图像增强方法。
27.本发明的优点和积极效果：本发明中，通过上下文特征信息融合的方式，扩展了图像处理上特征融合的方式，也为模型的局部和全局分析建立了纽带，改善了水下图像增强的效果，避免了如细节丢失、颜色不饱和、伪影等不利影响的出现。其次，本发明中的水下图像增强技术也将推动相关的二维图像处理与应用，比如水下目标检测、识别、重建等应用。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明实施例中基于上下文分解特征融合的水下图像增强的流程图；
30.图2是本发明实施例中基于上下文分解特征融合的水下图像增强的网络结构图；
31.图3是本发明实施例中上下文分解特征融合模块的结构示意图；
32.图4是本发明实施例中特征注意力模块的结构示意图。
具体实施方式
33.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
34.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
35.本发明针对水下图像出现的色偏和色散现象，提出一种基于上下文分解特征融合的水下图像增强方法，可应用于水下导航，水下目标检测、识别和海底资源探索中。
36.如图1所示，本发明实施例中的一种基于上下文分解特征融合的水下图像增强方法，包括以下具体步骤：
37.s1、获取失真的水下图像，形成训练集和测试集；
38.s2、构建基于上下文分解特征融合的水下图像增强网络模型；
39.其中，水下图像增强网络模型以失真的水下图像为输入，输出增强之后的高质量水下图像，特征融合时采用的是上下文分解特征融合的方式，具体包括：将下采样的特征分别与相同尺度下对应的上采样特征进行融合，将得到的结果进行级联传到下一层。通过这种上下文分解特征的融合，可以充分挖掘多尺度上的上下文依赖关系，将上下文信息进行聚合，从而得到更有价值的特征信息，以便准确估计出图像，可以实现图像具有生动的颜色、足够的细节和很少的噪声。
40.s3、将训练集输入到构建好的水下图像增强网络模型中进行训练；
41.通过有限次的迭代学习以判断损失是否达到最小值，并且在学习过程中也不断地反向传播优化参数；在网络损失方面，本发明实施例中采用l1损失函数和对比度损失函数，该损失函数可以在训练阶段约束生成的图像和高质量的水下图像越来越接近。
42.l1损失函数为：
43.其中，x，y分别为模糊的水下图像和清晰的水下图像，n(x)为输入图像经过网络后输出的图像。
44.对比度损失函数lc为：
45.其中，v为vgg网络的第relu 5_3层。
46.经过训练之后，将失真的水下图像输入到网络中，图像将实现在保持正常颜色的同时减少模糊程度，提高图像的对比度。
47.s4、将测试集图像输入到训练好的水下图像增强网络模型中，输出图像增强之后的高质量水下图像。
48.为了便于理解，下面对上述基于上下文分解特征融合的水下图像增强网络模型进行详细说明。
49.上述基于上下文分解特征融合的水下图像增强网络模型的网络结构图如图2所示，为了实现上下文分解特征的融合，引入了由两个unet结构组成的双层估计机制，两个过程同时优化图像。unet的编码器用以提取目标特征，减少参数量，unet的解码器用以重建特征并逐步恢复图像结构和纹理细节信息。unet的网络结构包含10个基本块，每个块由3个卷积层组成，其中每个下采样阶段都包括两个conv+bn+relu层和一个max pooling层，每个上采样阶段都包括一个up sampling层和两个conv+relu层。在特征融合时采用上下文分解特征融合的方式，以上层unet网络解码器学习到的潜在空间特征为指导，将其与下层unet网络提取的多尺度特征相融合，这有助于实现全局信息和局部信息的增强。具体地，如图3所示，上下文分解特征融合模块(即图2中的msp)，包括：对下层unet网络结构的相同尺度下的特征分别与上层unet网络结构的对应上采样特征执行乘法操作，然后将得出的结果进行级联操作传到下一层。
50.双层unet网络可以表示为：
[0051][0052][0053]
其中：n
tun
，n
lun
分别为上层unet网络和下层unet网络；为上层unet网络的第i个上采样提取的特征，mi，分别为下层unet网络第i个下采样和上采样提取的特征；xu为输入图像。
[0054]
上下文分解特征融合可以表示为：
[0055][0056][0057][0058]
其中：为执行乘法操作产生的特征，c为级联操作。
[0059]
为了充分挖掘隐藏在水下图像背后的真实颜色信息，使水下图像增强网络对不同的通道特征、不同的像素特征进行加权，关注到更重要的区域，比如图像的模糊区域。本发明在unet的最小尺度加入了特征增强模块，包括通道注意力模块和像素注意力模块，在水下图像增强网络中，这两个模块可以自适应地学习不同特征的不同权重。
[0060]
如图4所示，特征注意力模块(即图2中的ufeb)：包括通道注意力和像素注意力。在通道注意力模块中，使用全局平均池化、两个卷积层和激活函数层将全局信息转化为通道权重信息，使不同通道特征具有不同的加权信息；在像素注意力模块中，使用两个卷积层和
一个激活函数层将每个像素值加权。
[0061]
通道注意力模块具体操作为：
[0062]a1＝
g(i)；g为全局平均池化操作，i为模块的输入；
[0063]
a2＝cr(a1)；cr为卷积+激活函数层；
[0064]
a3＝c(a2)；c为卷积层；
[0065]
a4＝sigmoid(a3)；sigmoid为激活函数；
[0066]
像素注意力模块具体操作为：
[0067]
a5＝cr(a4)；cr为卷积+激活函数层；
[0068]
a6＝c(a5)；c为卷积层；
[0069]
a7＝sigmoid(a6)；sigmoid为激活函数。
[0070]
基于上下文分解特征融合的水下图像增强网络模型的网络整体的算法如下所示：
[0071][0072]
上述本发明实施例中，通过上下文特征信息融合的方式，扩展了图像处理上特征融合的方式，也为模型的局部和全局分析建立了纽带，改善了水下图像增强的效果，避免了如细节丢失、颜色不饱和、伪影等不利影响的出现。
[0073]
对应本发明中的一种基于上下文分解特征融合的水下图像增强方法，本发明还提
供了一种基于上下文分解特征融合的水下图像增强装置，包括：
[0074]
图像获取单元，用于获取失真的水下图像，形成训练集和测试集；
[0075]
模型构建单元，用于构建基于上下文分解特征融合的水下图像增强网络模型；
[0076]
其中，水下图像增强网络模型以失真的水下图像为输入，输出增强之后的高质量水下图像，特征融合时采用的是上下文分解特征融合的方式，具体包括：将下采样的特征分别与相同尺度下对应的上采样特征进行融合，将得到的结果进行级联传到下一层。通过这种上下文分解特征的融合，可以充分挖掘多尺度上的上下文依赖关系，将上下文信息进行聚合，从而得到更有价值的特征信息，以便准确估计出图像，可以实现图像具有生动的颜色、足够的细节和很少的噪声。
[0077]
训练单元，用于将训练集输入到构建好的水下图像增强网络模型中进行训练；
[0078]
通过有限次的迭代学习以判断损失是否达到最小值，并且在学习过程中也不断地反向传播优化参数；在网络损失方面，采用l1损失函数和对比度损失函数，该损失函数可以在训练阶段约束生成的图像和高质量的水下图像越来越接近。经过训练之后，将失真的水下图像输入到网络中，图像将实现在保持正常颜色的同时减少模糊程度，提高图像的对比度。
[0079]
输出单元，用于将测试集图像输入到训练好的水下图像增强网络模型中，输出图像增强之后的高质量水下图像。
[0080]
对于本发明实施例的基于上下文分解特征融合的水下图像增强装置而言，由于其与上面实施例中的基于上下文分解特征融合的水下图像增强方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中基于上下文分解特征融合的水下图像增强方法部分的说明即可，此处不再详述。
[0081]
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的基于上下文分解特征融合的水下图像增强方法。
[0082]
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0083]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0084]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0085]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式
体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0086]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。