一种基于多残差联合学习的水下图像增强方法与流程

[0001]
本发明涉及深度学习技术领域，具体地说，涉及一种基于多残差联合学习的水下图像增强方法。


背景技术：

[0002]
水下图像增强技术由于其在海洋工程和水上机器人领域的重要意义而备受关注。由于复杂的水下环境，摄像机在水下拍摄的图像会出现对比度低、颜色偏差和细节模糊等问题。
[0003]
由于在成像过程中受到很多因素的影响，如辅助照明光源发出的光准直性差、在摄像场景中光照明强度分布不均匀，摄取到的水下图像背景亮暗分布具有较大的差异。另外，由于水对光具有吸收和散射作用，光在水中传输时受到强烈的衰减，水下摄像环境能见度低，获得的水下图像的细节特征不清晰，对比度低。目前成熟的水下成像技术虽然在一定程度上改善了水下图像质量，但仍具有光照非均匀性、对比度差、信噪比低等特点的水下图像无法满足人们的实际应用需求。
[0004]
近几年提出了许多水下图像增强算法，并且可以将其分为：基于非物理模型，基于物理模型以及数据驱动的方法。基于非物理模型的方法旨在修改图像像素值以提高视觉质量，忽略了水下光学特性。
[0005]
基于物理模型的方法将水下图像的增强视为反问题，其中从给定图像估计图像形成模型的潜在参数。这些方法通常遵循相同的流程：建立退化的物理模型；估计未知模型参数；解决这个逆问题。其依赖于假设条件和先验知识，而这些条件和知识并不能完全适应水下环境。


技术实现要素：

[0006]
本发明的目的是提供一种基于多残差联合学习的水下图像增强方法，可以很好的适应各种水下环境。
[0007]
为了实现上述目的，本发明提供的基于多残差联合学习的水下图像增强方法，包括以下步骤：
[0008]
1)将包含降质图像与对应参考图像的水下图像数据集中不同分辨率的图片随机裁剪成相同分辨率的图像，建立水下图像增强模型的训练集；
[0009]
2)对训练集中裁剪后的降质图像分别采用多种预处理方法进行处理，每种预处理方法对应得到一张预处理后的图像；
[0010]
3)以参考图像作为降质图像的标签，将降质图像的原始图像和经过预处理后的降质图像输入多残差联合学习的多分支卷积神经网络中进行训练，得到图像增强模型；
[0011]
4)将待增强图像输入所述图像增强模型中，得到处理后的增强图像。
[0012]
步骤1)中，所述的预处理方法包括：
[0013]
对图像进行sigmoid纠正；
[0014]
对图像进行gamma校正；
[0015]
对图像进行限制对比度自适应直方图均衡处理；
[0016]
对图像进行白平衡处理。
[0017]
步骤1)中，将图片随机裁剪成256*256大小的相同分辨率图像。
[0018]
步骤2)中，所述的多分支卷积神经网络包括第一分支—通道注意分支网络和第二分支—卷积增强分支网络，所述第一分支设有实现下采样的第一卷积单元和第二卷积单元，以及连接在所述第一卷积单元和第二卷积单元之后的若干包含多个残差通道注意块的残差组；
[0019]
所述第二分支设有实现卷积操作的第三卷积单元、第四卷积单元和第五卷积单元；
[0020]
所述第一分支和第二分支级联合并后设有第六卷积单元。
[0021]
在第一分支中，下采样后的图像特征作为第一个残差组中第一个残差通道注意块的输入，第一个残差注意块的输出作为第一个残差组中第二个残差注意块的输入，以此类推；在每个残差组中，最后一个残差通道注意块的输出经过卷积单元后与第一个残差通道注意块的输入级联，并作为下一个残差组中第一个残差通道注意块的输入，以此类推；下采样后的图像特征经过多个残差组，进行卷积操作后，与原先的下采样图像特征进行级联，将级联后的图像特征进行上采样回输入图像大小，最后进行卷积操作，输出通道为3。
[0022]
在第二分支中，输入图像经过三个卷积单元后，对每个卷积后的图像特征与输入的图像特征进行密集级联，并作为下一个卷积单元的输入，重复以上操作，经过3个相同的卷积单元，对每个卷积后的图像特征与第一次级联的图像特征进行级联，并作为下一个卷积单元的输入，以此类推进行；在经过第三次级联操作后，对级联后的图像特征进行卷积操作，输入3通道的图像特征并进行sigmoid操作，记作sigmoid 1。
[0023]
在合并网络中，对第一分支与第二分支的输出进行级联操作，对级联后的图像特征进行3次卷积操作，对卷积后的图像特征进行sigmoid操作，记作sigmoid 2；最后，将sigmoid 1与sigmoid 2的结果分别与第一分支的输出图像特征矩阵进行逐元素相乘操作后，将两个相乘的结果逐元素相加，最终得到多分支卷积神经网络的输出。
[0024]
与现有技术相比，本发明的有益之处在于：
[0025]
本发明利用深度学习算法中的卷积神经网络实现了水下图像的增强，针对水下图像获取的困难，使用端到端自编码网络，不依赖于专业物理先验知识和水下成像模型，通过现有水下图像基准数据集实现卷积神经网络的训练，设计联合损失函数，在保持原始结构和纹理的同时，减少质量不好的水下图像的偏色、对比度降低以及细节模糊等问题，提高水下图像的质量，得到增强的水下图像，改善水下图像偏色严重，质量低下的情况。
附图说明
[0026]
图1为本发明实施例中多残差联合学习神经网络的结构示意图；
[0027]
图2为本发明实施例中多残差联合学习神经网络的残差组示意图；
[0028]
图3为本发明实施例中多残差联合学习神经网络中残差通道注意模块的示意图；
[0029]
图4为本发明实施例2中鉴别网络的示意图。
具体实施方式
[0030]
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0032]
实施例1
[0033]
本实施例中基于多残差联合学习的水下图像增强方法包括以下步骤：
[0034]
s100，将包含降质图像与对应参考图像的水下图像数据集中不同分辨率的图片随机裁剪成相同分辨率的图像，建立水下图像增强模型的训练集；
[0035]
s200，对训练集中裁剪后的降质图像分别采用多种预处理方法进行处理，每种预处理方法对应得到一张预处理后的图像；
[0036]
s300，以参考图像作为降质图像的标签，将降质图像的原始图像和经过预处理后的降质图像输入多残差联合学习的多分支卷积神经网络中进行训练，得到图像增强模型；
[0037]
s400，将待增强图像输入所述图像增强模型中，得到处理后的增强图像。
[0038]
本实施例中，选择underwater image enhancement benchmark(uieb)数据集。uieb数据集包含950张现实世界的水下图像，涵盖各种各样的水下场景，不同的质量下降特征以及广泛的图像内容。其中890张具有相应的参考图像。本实施例主要用uieb数据集提供的低质量水下图像和对应的参考图像，针对颜色失真、对比度降低、细节模糊等问题，训练出图像增强模型。
[0039]
数据集中包含890张不同分辨率的真实水下图像，选取其中的800张图像作为训练集，剩余的90张图像作为测试集。由于计算机硬件限制，将输入的图像对，参考图像与失真图像进行分割。每张图像分割成256
×
256大小的图像块，便于输入网络进行训练。对训练集和测试集图像进行sigmoid校正。其作用在于调整图像的对比度。在将每个像素缩放到[0,1]范围后，依据等式
[0040][0041]
对输入图像的每个像素进行校正。gain表示s型函数的指数幂的常数乘数，默认值为10；cutoff为截止值，用于改变水平方向上特征曲线的s形函数的截止，默认值为0.5。
[0042]
对训练集和测试集图像进行gamma校正，其作用在于增强图像对比度和饱和度。在将每个像素缩放到[0,1]范围后，依据等式
[0043]
o＝i
gamma
[0044]
对输入图像的每个像素进行校正，幂数gamma取值2.2。
[0045]
对训练集和测试集图像进行限制对比度自适应直方图均衡(clahe)处理，其作用在于增强对比度和清晰度。clahe通过预先定义的阈值来裁剪直方图以达到限制对比度放大倍数的目的。其详细步骤如下：a)扩展图像边界，使图像能够恰好分为若干子块，对每个子块计算直方图，然后修剪直方图，并进行均衡化；b)遍历操作各个图像块，进行块间线性插值；c)与原图做图层滤色混合操作。
[0046]
对训练集和测试集图像进行白平衡处理，其作用在于纠正色温，还原拍摄主体色彩的白平衡处理；在rgb三通道上分别统计每个像素值的出现次数。将1％的最大值和最小值分别设置为255和0，其余值映射到(0，255)，这样使得每个通道的值在rgb中分布较均匀，达到颜色平衡的效果。
[0047]
步骤s300中，首先设计用于增强水下图像，消除水下图像偏蓝偏绿现象的多残差联合学习网络模型。多残差联合学习网络包括第一分支—通道注意分支网络和第二分支—卷积增强分支网络。
[0048]
第一分支：输入图像为经过裁剪的大小的原始图像。从卷积阶段开始，设有实现下采样的第一卷积单元和第二卷积单元，用于学习图像的低频信息；第一卷积单元和第二卷积单元之后接有若干包含多个残差通道注意块的残差组，用于提取图像高频信息；下采样后的图像特征作为第一个残差组中第一个残差通道注意块的输入，第一个残差注意块的输出作为第一个残差组中第二个残差注意块的输入，以此类推。在每个残差组中，最后一个残差通道注意块的输出经过卷积单元后与第一个残差通道注意块的输入级联，并作为下一个残差组中第一个残差通道注意块的输入，以此类推。最后，下采样后的图像特征经过多个残差组，进行卷积操作后，与原先的下采样图像特征进行级联，将级联后的图像特征进行上采样回输入图像大小，最后进行卷积操作，输出通道为3。
[0049]
第二分支：输入图像为裁剪后的256
×
256大小的原始图像与其分别经过sigmoid纠正、gamma校正、限制对比度自适应直方图均衡以及白平衡处理后的图像的级联。从卷积阶段开始，设有实现卷积操作的第三卷积单元、第四卷积单元、第五卷积单元，输入图像经过三个卷积单元后，对每个卷积后的图像特征与输入的图像特征进行级联，并作为下一个卷积单元的输入，再次重复上面的操作，经过3个相同的卷积单元，对每个卷积后的图像特征与第一次级联的图像特征进行级联，并作为下一个卷积单元的输入，以此类推进行。在经过第三次级联操作后，对级联后的图像特征进行卷积操作，输入3通道的图像特征并进行sigmoid操作(记作sigmoid 1)。
[0050]
随后，对第一分支与第二分支的输出进行级联操作，在经过3个卷积单元后进行sigmoid操作(记作sigmoid 2)。
[0051]
最后，将sigmoid 1与sigmoid 2的结果分别与第一分支输出的特征向量进行逐元素相乘操作后，将两个相乘的结果逐元素相加，最终得到多分支卷积神经网络的输出。
[0052]
详细地说，用于增强水下图像的多残差联合学习网络，采用两分支输入结构，如图1所示。
[0053]
在第一分支中，包含浅层特征提取，残差组深层特征提取，放大模块和重建部分。输入图像为原始未经过任何校正处理的256
×
256大小的rgb水下图像。首先浅层特征提取部分，采用一个平卷积层，两个下采样卷积层，从输入图像中提取特征属性。平卷积层采用卷积核尺寸为3
×
3，卷积步长为1，卷积核数量为64个。下采样卷积层采用卷积核尺寸为3
×
3，卷积步长为2，卷积核数量为64个。经过两个下采样卷积层，图像特征矩阵变为大小64
×
64
×
64。
[0054]
在残差组深层特征提取部分，有3个残差组，如图2所示，用作加深网络层数的基本模块。每个残差组中包含3个残差通道注意块，如图3所示。在第一个残差通道注意模块中，输入提取的浅层图像特征，经过卷积、relu激活、卷积操作后，得到64
×
64
×
64大小的图像特征矩阵c1。对c1依次进行全局池化、卷积、relu激活、卷积操作，得到卷积后的特征矩阵c2。对c2进行sigmoid操作，将特征矩阵c2映射到(0，1)之间，用s1表示。随后，将s1与c1逐元素相乘，再将相乘的结果与输入的图像特征逐元素相加，得到残差通道注意模块的输出。第一个残差通道注意块的输出作为第二个残差通道注意块的输入，第二个残差通道注意块的输出作为第三个残差通道注意块的输入，第三个残差通道注意块的输出经过一次卷积操作后与第一个残差通道注意模块的输入使用跳跃连接进行逐元素相加操作后，作为第二个残差组的输入。第二个残差组的输出作为第三个残差组的输入，第三个残差组的输出经过一个平卷积层后，与第一个残差组的输入使用跳跃连接进行逐元素相加操作。平卷积层采用卷积核尺寸为3
×
3，卷积步长为1，卷积核数量为64个。此时的图像特征矩阵大小为64
×
64
×
64。
[0055]
由于在浅层特征提取模块中，对输入图像进行了两次下采样，每次卷积步长均为2，图像较输入图像缩小了4倍。在放大模块中，采用反卷积方式将经过残差组深层特征提取后的图像放大至输入图像大小，即放大4倍。放大后的图像特征矩阵大小为256
×
256
×
64。
[0056]
最后，重建模组中，缩放后的图像特征经过一个平卷积层，尺寸为3
×
3，卷积步长为1，卷积核数量为3个。至此，输出第一分支的增强图像特征。输出的增强图像特征矩阵大小为256
×
256
×
3。
[0057]
在第二分支中，网络由卷积层和密集级联组成，用以提取图像深层特征，联合优化多期损耗，保持输入图像的原始结构和纹理。将原始未经过任何校正处理的水下图像与其经过gamma校正、sigmoid纠正、白平衡和限制对比度直方图均衡处理后的图像特征矩阵的第三维度(通道)进行级联(拼接)后馈入网络，输入的级联图像特征矩阵大小为256
×
256
×
15。首先是深度特征提取，该功能由3个密集级联块组成，在每个密集级联块中有三个卷积层。在第一个密集级联块中，第一层卷积层由16个大小为3
×3×
3的卷积核组成，为第一层生成16个输出特征图，卷积步长为1；而随后的卷积层则使用3
×3×
16的卷积核生成16个输出特征图，卷积步长为1。输入图像在经过三次卷积后，将每次卷积后的图像特征与输入的图像特征矩阵进行级联，并作为下一个密集级联的输入。
[0058]
同样，在第二个密集级联块中，经过三次卷积后的图像特征与经过一次、两次卷积后的图像特征以及第一个密集级联块输出的图像特征进行级联，并作为第三个密集级联块的输入。依此，在第三个密集级联块中，经过三次卷积后的图像特征与经过一次、两次卷积后的图像特征以及第二个密集级联块输出的图像特征矩阵的通道维度进行级联。输入图像特征在经过三个密集级联块后进行一次卷积，卷积核大小为3
×3×
3，卷积步长为1，输出3层特征图。至此，输出第二分支的图像增强特征。最后对输出的特征矩阵进行sigmoid操作。
[0059]
在总干支线中，将第一分支与第二分支输出的图像增强特征进行级联，并经过一个密集级联块，密集级联方式以及卷积层卷积核大小与步长与第二分支中第一个密集级联块相同。将经过密集级联后的图像特征进行一次卷积操作，卷积核大小为3
×
3，步长为1，输
出通道数为3。随后，对输出的图像特征进行sigmoid操作。
[0060]
最后，将第二分支与总干支线中增强后的图像特征sigmoid的结果分别与第一分支的增强图像特征矩阵逐元素相乘，并将两个相乘的结果进行逐元素相加操作，得到最终的增强图像特征矩阵，进行输出。
[0061]
卷积神经网络的训练过程如下：
[0062]
为了确保神经网络能够生成具有良好视觉效果的图像，本网络使用如下的损失函数。具体而言，本设计中将内容感知损失、mse损失、ssim损失以及梯度下降损失，以一定的权重组合在一起，形成新的损失函数。新的损失函数定义如下：
[0063]
l＝a
×
l
vgg
+b
×
l
mse
+c
×
l
ssim
+d
×
l
gdl
[0064]
其中，a＝0.05，b＝1，c＝0.1，d＝0.01。l
vgg
表示内容损失项，用于让生成器生成具有与目标真实图像相似内容的增强图像。基于预训练的19层vgg网络的relu激活层定义了感知损失，令φ
j
(x)为预训练的vgg19网络φ的第j个激活后的卷积层，j的值设为5。内容损失表示为增强图像i
en
与参考图像i
gt
的特征表示之间的差距：
[0065][0066]
其中n是训练过程中每批的数量；c
j h
j w
j
表示vgg19网络内第j个卷积层的特征图的维度。c
j
，h
j
和w
j
是分别特征图的数量，高度和宽度。
[0067]
l
mse
表示增强图像与参考图像的特征表示之间的mse损失。
[0068]
l
ssim
表示增强图像与参考图像的特征表示之间的ssim损失。
[0069]
l
gdl
表示梯度下降损失，给定增强图像i
e
，参考图像i
g
，同时引入了相邻像素之间的相关性，梯度下降损失的表示为：
[0070][0071]
本实施例中，将图像对参考图像与失真图像输入到卷积神经网络中，对于数据集中的图像对，每次训练随机选取一批16张256
×
256大小的图像对作为网络的输入，对神经网络的权重进行训练，初始学习率是0.001；将所有训练数据按批次输入到网络进行一次训练定义为一个epoch，训练过程利用adam优化算法，动量和权重衰减值设为0.9，经过200个epoch的迭代，使网络达到初步收敛。将学习率降低为初始值的一半，即学习率设置为0.0005，进一步训练200个epoch的迭代，网络达到收敛。
[0072]
实施例2
[0073]
本实施例中，除了卷积神经网络的结构与实施例1不同外，其余均与实施例1相同，此处不再赘述。
[0074]
本实施例的步骤s300中，首先设计用于增强水下图像，消除水下图像偏蓝偏绿现象的多残差联合学习生成对抗网络模型。多残差联合学习生成对抗网络的生成器包含卷积网络单元、残差网络单元、通道注意模块。
[0075]
第一分支：输入图像为经过裁剪的256
×
256大小的原始图像。从卷积阶段开始，设有实现下采样的第一卷积单元和第二卷积单元，用于学习图像的低频信息；第一卷积单元和第二卷积单元之后接有若干包含多个残差通道注意块的残差组，用于提取图像高频信
息；下采样后的图像特征作为第一个残差组中第一个残差通道注意块的输入，第一个残差注意块的输出作为第一个残差组中第二个残差注意块的输入，以此类推。在每个残差组中，最后一个残差通道注意块的输出经过卷积单元后与第一个残差通道注意块的输入级联，并作为下一个残差组中第一个残差通道注意块的输入，以此类推。最后，下采样后的图像特征经过多个残差组，进行卷积操作后，与原先的下采样图像特征进行级联，将级联后的图像特征进行上采样回输入图像大小，最后进行卷积操作，输出通道为3。
[0076]
第二分支，输入图像为裁剪后的图像与其分别经过sigmoid纠正、gamma校正、限制对比度自适应直方图均衡以及白平衡处理后的图像的级联。从卷积阶段开始，设有实现卷积操作的第三卷积单元、第四卷积单元、第五卷积单元，输入图像经过三个卷积单元后，对每个卷积后的图像特征与输入的图像特征进行级联，并作为下一个卷积单元的输入，再次重复上面的操作，经过3个相同的卷积单元，对每个卷积后的图像特征与第一次级联的图像特征进行级联，并作为下一个卷积单元的输入，以此类推进行。在经过第三次级联操作后，对级联后的图像特征进行卷积操作，输入3通道的图像特征并进行sigmoid操作(记作sigmoid 1)。
[0077]
随后，对第一分支与第二分支的输出进行级联操作，在经过3个卷积单元后进行sigmoid操作(记作sigmoid 2)。
[0078]
最后，将sigmoid 1与sigmoid 2的结果分别与第一分支输出的特征向量进行逐元素相乘操作后，将两个相乘的结果再进行逐元素相加，最终得到多分支卷积神经网络增强后的图像特征，进行输出。
[0079]
参见图4，鉴别网络采用5层卷积层，对需要判别的图像进行下采样，最终输出值，用以区分需要判别的图像的真假。
[0080]
生成对抗网络的构建：生成对抗网络gan包含了2个网络，一个是生成网络，另一个是判别网络，gan的最终目的是学习一个高质量的生成器g，gan通过引入判别器d来实现得到高质量的生成器g。g在训练过程中的目的是生成尽可能逼真的图片去让判别器判断不了这张图片到底是真实图片还是生成的虚假照片，d在训练过程中的目的就是尽可能取辨别真假图片，所以g是希望是d的犯错率最大化，而d则是希望自己犯错率最小化，二者互为对抗，在竞争中共同进步。理论上这种关系可以达到一个平衡点，即所谓的纳什均衡，也就是说g生成的图片d判别它为真实数据的概率是0.5，也即现在判别器已经无法区分生成器所生成的图片的真假，那么生成器的目的也就达到了，以假乱真了。这样，本实施例可以得到一个生成网络，用来将水下图像的质量增强。
[0081]
生成网络采用两分支输入结构，如图1所示。在第一分支中，包含浅层特征提取，残差组深层特征提取，放大模块和重建部分。输入图像为原始未经过任何校正处理的256
×
256大小的rgb水下图像。首先浅层特征提取部分，采用一个平卷积层，两个下采样卷积层，从输入图像中提取特征属性。平卷积层采用卷积核尺寸为3
×
3，卷积步长为1，卷积核数量为64个。下采样卷积层采用卷积核尺寸为3
×
3，卷积步长为2，卷积核数量为64个。经过两个下采样卷积层，图像尺寸变为64
×
64
×
64大小。
[0082]
在残差组深层特征提取部分，有3个残差组，如图2所示，用作加深网络层数的基本模块。每个残差组中包含3个残差通道注意块，如图3所示。在第一个残差通道注意模块中，输入提取的浅层图像特征，经过卷积、relu激活、卷积操作后，得到大小的图像特征矩阵c1。
对c1依次进行全局池化、卷积、relu激活、卷积操作，得到卷积后的特征矩阵c2。对c2进行sigmoid操作，将特征矩阵c2映射到(0，1)之间，用s1表示。随后，将s1与c1逐元素相乘，再将相乘的结果与输入的图像特征逐元素相加，得到残差通道注意模块的输出。第一个残差通道注意块的输出作为第二个残差通道注意块的输入，第二个残差通道注意块的输出作为第三个残差通道注意块的输入，第三个残差通道注意块的输出经过一次卷积操作后与第一个残差通道注意模块的输入使用跳跃连接进行逐元素相加操作后，作为第二个残差组的输入。第二个残差组的输出作为第三个残差组的输入，第三个残差组的输出经过一个平卷积层后，与第一个残差组的输入使用跳跃连接进行逐元素相加操作。平卷积层采用卷积核尺寸为3
×
3，卷积步长为1，卷积核数量为64个。此时的图像特征矩阵大小为64
×
64
×
64。
[0083]
由于在浅层特征提取模块中，对输入图像进行了两次下采样，每次卷积步长均为2，图像较输入图像缩小了4倍。在放大模块中，采用反卷积方式将经过残差组深层特征提取后的图像放大至输入图像大小，即放大4倍。放大后的图像特征矩阵大小为256
×
256
×
64。
[0084]
最后，重建模组中，缩放后的图像特征经过一个平卷积层，尺寸为3
×
3，卷积步长为1，卷积核数量为3个。至此，输出第一分支的增强图像特征。输出的增强图像特征矩阵大小为256
×
256
×
3。
[0085]
在第二分支中，网络由卷积层和密集级联组成，用以提取图像深层特征，联合优化多期损耗，保持输入图像的原始结构和纹理。将原始未经过任何校正处理的水下图像与其经过gamma校正、sigmoid纠正、白平衡和限制对比度直方图均衡处理后的图像特征矩阵的第三维度(通道)进行级联(拼接)后馈入网络，输入的级联图像特征矩阵大小为256
×
256
×
15。首先是深度特征提取，该功能由3个密集级联块组成，在每个密集级联块中有三个卷积层。在第一个密集级联块中，第一层卷积层由16个大小为3
×3×
3的卷积核组成，为第一层生成16个输出特征图，卷积步长为1；而随后的卷积层则使用3
×3×
16的卷积核生成16个输出特征图，卷积步长为1。输入图像在经过三次卷积后，将每次卷积后的图像特征与输入的图像特征矩阵进行级联，并作为下一个密集级联的输入。
[0086]
同样，在第二个密集级联块中，经过三次卷积后的图像特征与经过一次、两次卷积后的图像特征以及第一个密集级联块输出的图像特征进行级联，并作为第三个密集级联块的输入。依此，在第三个密集级联块中，经过三次卷积后的图像特征与经过一次、两次卷积后的图像特征以及第二个密集级联块输出的图像特征矩阵的通道维度进行级联。输入图像特征在经过三个密集级联块后进行一次卷积，卷积核大小为3
×3×
3，卷积步长为1，输出3层特征图。至此，输出第二分支的图像增强特征。最后对输出的特征矩阵进行sigmoid操作。
[0087]
在总干支线中，将分支一与分支二输出的图像增强特征进行级联，并经过一个密集级联块，密集级联方式以及卷积层卷积核大小与步长与分支二中第一个密集级联块相同。将经过密集级联的图像特征进行一次卷积操作，卷积核大小为3
×
3，步长为1，输出通道数为3。随后，对输出的图像特征进行sigmoid操作。
[0088]
最后，将第二分支与总干支线中增强后的图像特征sigmoid的结果分别与第一分支的增强图像特征逐元素相乘，并将两个相乘的结果进行逐元素相加操作，得到最终的增强图像，进行输出。
[0089]
鉴别网络采用5个卷积层来学习图像的特征，用以判别真假，如图4所示。前四个卷积层采用卷积核尺寸为1
×
1，卷积步长为1，卷积核数量分别为64个、128个、256个和512个，
并且都加入了批量标准化和leakyrelu激活函数。最后一个卷积核尺寸为4
×
4，卷积步长为1，卷积核数量为3，并且加入了批量标准化以及sigmoid激活函数。
[0090]
生成对抗网络的训练：
[0091]
生成网络的损失函数定义：为了确保生成网络能够生成具有良好视觉效果的图像，本网络使用如下的损失函数。具体而言，本设计中将对抗损失、内容感知损失、mse损失、ssim损失以及梯度下降损失，以一定的权重组合在一起，形成新的损失函数。新的损失函数定义如下：
[0092]
l
g
＝a
×
l
gan
+b
×
l
vgg
+c
×
l
mse
+d
×
l
ssim
+e
×
l
gdl
[0093]
其中，a＝1，b＝0.05，c＝1，d＝0.1，e＝0.01。lgan表示对抗损失，传统gan网络的损失函数如下所示，其中g，d分别为生成器和鉴别器：
[0094][0095]
l
vgg
表示内容损失项，用于让生成器生成具有与目标真实图像相似内容的增强图像。基于预训练的19层vgg网络的relu激活层定义了感知损失，令φ
j
(x)为预训练的vgg19网络φ的第j个激活后的卷积层，j的值设为5。内容损失表示为增强图像i
en
与参考图像i
gt
的特征表示之间的差距：
[0096][0097]
其中n是训练过程中每批的数量；c
j h
j w
j
表示vgg19网络内第j个卷积层的特征图的维度。c
j
，h
j
和w
j
是分别特征图的数量，高度和宽度。
[0098]
l
mse
表示增强图像与参考图像的特征表示之间的mse损失。
[0099]
l
ssim
表示增强图像与参考图像的特征表示之间的ssim损失。
[0100]
l
gdl
表示梯度下降损失，给定增强图像i
e
，参考图像i
g
，同时引入了相邻像素之间的相关性，梯度下降损失的表示为：
[0101][0102]
本实施例中，将图像对参考图像与失真图像输入到生成对抗网络中，对于数据集中的图像对，每次训练随机选取一批16张256
×
256大小的图像对作为网络的输入，分别对生成网络和判别网络的权重进行训练，学习率是0.001；将所有训练数据按批次输入到网络进行一次训练定义为一个epoch，训练过程利用adam优化算法，动量和权重衰减值设为0.9，经过300个epoch的迭代使网络达到收敛。
[0103]
所述生成对抗网络的训练中，把失真的水下图像及其预处理后的图像输入到生成网络，得到增强后的图像；将增强后的图像与参考图像分别输入辨别网络得到辨别标签，并以所述辨别标签计算出辨别网络的损失，同时计算生成网络的损失，包括对抗损失、感知损失、梯度下降损失、mse损失和ssim损失；
[0104]
辨别网络的损失和生成网络的损失依据adam优化算法分别进行生成网络与辨别网络的参数更新，两个网络进行交替训练，最终达到收敛。