一种用于严重颜色畸变水下图像的颜色恢复方法

1.本发明属于水下图像增强领域，涉及到水下图像处理方法与深度学习技术中的无监督学习方法，具体涉及一种用于严重颜色畸变水下图像的颜色恢复方法。


背景技术：

2.水下图像增强是其他水下视觉任务的重要基础，如水下目标识别，水下周围态势感知等，其具有广阔的应用前景，在传统的深度学习方法中，需要大量的成对数据进行训练，但是水下图像获取标签数据较为困难，且成本高，为了能够解决深度学习技术对于标签数据的需求，且满足快速性与准确性，一种基于无监督学习的水下图像增强方法必须能够在无配对数据训练的情况下对具有严重颜色畸变水下图像的颜色进行恢复，且需确保通过该方法恢复的水下图像符合人眼的视觉感官，为了保证恢复图像颜色的准确性，预先利用水下图像与其通过红通道先验估计出的中间传输图像训练了一个编码解码神经网络，固定住此神经网络的参数，以在进行水下颜色恢复时，向无监督网络以非局部的方式提供中间传输图像注意力。为了提高水下图像的亮度与对比度，在无监督水下图像颜色恢复网络训练时，引入了风格转移损失与退化结构相似性损失。


技术实现要素：

3.本发明的目的是为了克服深度学习技术对于成对训练数据的需求，依赖于神经网络强大的学习能力，结合中间传输图像注意力，融合风格转移损失与退化的结构相似性损失，实现对具有严重颜色畸变水下图像的颜色准确恢复。
4.本发明利用水下图像的中间传输图像向无监督网络提供注意力从而能够更加准确地恢复水下图像的颜色。本方法可以从具有严重绿色色调的水下图片中很好的恢复水下图像的颜色，通过循环生成对抗网络(cycle generative adversarial networks,cyclegan)进行学习，实现水下图像颜色的准确还原。通过本方法可以摆脱深度学习技术对于成对训练数据的依赖，而且还能保证快速性和准确性。满足利用水下图像进行目标识别等任务的需求。
5.本发明的目的是这样实现的：
6.一种用于严重颜色畸变水下图像的颜色恢复方法，包括如下步骤：
7.步骤1：水下图像的中间传输图像估计；
8.步骤2：将水下图像与中间传输图像分别作为输入与标签进行编码解码网络自监督网络训练，训练完成后得到编码解码网络自监督网络的固定参数；
9.步骤3：将步骤2编码解码网络自监督网络的固定参数插入到水下图像颜色恢复网络，进行训练；
10.所述水下颜色恢复网络包括两个生成器与四个鉴别器：生成器g负责由水下图像生成陆地的图像，所述生成器g上部网络为固定参数的编码解码网络自监督网络，下部网络为中间层中加入三层深度可分离卷积的固定参数的编码解码网络自监督网络；生成器f负
责由陆地图像生成水下图像，将负责鉴定是否为真实陆地图像的鉴别器与其辅助鉴别器命名为dy，负责鉴定是否为真实水下图像的鉴别器与其辅助鉴别器命名为d
x
，训练过程为：
11.3.1：鉴别器的训练；
12.首先固定生成器参数，开放鉴别器参数，水下图像与陆地图像分别经过g与f生成假的陆地图像与假的水下图像，再将它们输入给dy与d
x
分别得到鉴定结果，将此结果都与标签
‘
假’做绝对值损失得到鉴别器的
‘
假’损失值；再将水下图像与陆地图像直接输入到d
x
与dy中得到鉴定结果，将此结果与标签
‘
真’做绝对值损失得到鉴别器的
‘
真’损失值；
‘
真’损失值与
‘
假’损失值相加即得到鉴别器的全部损失值，利用全部损失值更新鉴别器的参数，鉴别器训练完成；
13.3.2：生成器的训练：
14.固定鉴别器参数，开放生成器参数，将水下图像与陆地图像输入至g和f生成假的陆地图像与假的水下图像，再将他们输入回f与g得到他们的还原图像，利用水下图像、陆地图像、假的陆地图像、假的水下图像以及他们的还原图像经过以下公式计算分别得到生成器的损失后对两个生成器的参数进行更新即完成了生成器g的训练；
[0015][0016]
其中，λ1＝1，λ2＝10，λ3＝9，λ4＝6e-9，λ5＝1e-6，λ6＝1e-7分别为各项损失的权重系数；
[0017]
退化结构相似性损失的计算公式如下所示：
[0018][0019]
式中，x，y分别表示源域的水下图像与目标域的陆地图像，g，f分表正向生成器与反向生成器，μ与σ表示图像的均值和标准差；
[0020]
3.3：不断循环步骤3.1、3.2，直至鉴别器无法区分输入图像是真还是假，水下图像颜色恢复网络训练完成；
[0021]
步骤4：将水下图像颜色恢复网络中的生成器g提取出来即可应用于水下图像颜色的恢复。
[0022]
所述步骤一具体为:水下图像的中间传输图像估计由以下公式得出:
[0023][0024][0025]
式中，d(x)表示红通道的最大强度与蓝、绿通道的最大强度相减，ic(x)表示通道c∈{r,g,b}的像素值，ω为图像中的一小块，计算时取为15。
[0026]
与现有技术相比，本发明的有益效果是：
[0027]
本发明方法能够在具有严重绿色色调的水下图像中，对绿色色调进行剔除，恢复水下图像的颜色且符合人的视觉感官；
[0028]
本发明方法使用的水下图像更加符合实际情况，而且能保证快速性和准确性，因此更具有实际运用的意义和价值；
[0029]
本发明方法使用的中间传输图像注意力与退化结构相似性损失使经过颜色恢复的水下图像更加逼近于陆地图像，对于需要依赖图像的水下任务提供了更加清晰准确的图像。
附图说明
[0030]
图1编码解码网络结构示意图；
[0031]
图2水下图像恢复网络中生成器结构示意图；
[0032]
图3非局部注意力示意图；
[0033]
图4a-b鉴别器结构示意图。
具体实施方式
[0034]
下面结合附图与具体实施方式对本发明作进一步详细描述。
[0035]
本方法首先通过红通道先验方法估计出水下图像的中间传输图像，中间传输图像中包含着水下图像衰减的重要信息。当光线在水中传播时，红光由于波长最长，在水中衰减的最快，然后是绿光与蓝光，因此，水下图像大多是呈现出绿色调或者是蓝色调。得到水下图像及其中间传输图像后，利用编码解码神经网络进行训练。将编码解码神经网络固定参数，用于向无监督水下图像颜色恢复网络提供中间传输图像注意力，在无监督网络训练时，应用风格转移损失与退化结构相似性损失提高图像的亮度与对比度。
[0036]
由于拍摄的时间、地点、温度、水深、水体浑浊度等原因导致水下图像具有程度不同的颜色畸变、低对比度、细节模糊、光照不足等特点，造成了根据物理模型或常规图像增强方法设计的水下图像颜色恢复方法的适用较为局限。而普通基于深度学习的水下图像颜色恢复方法则需要成对的训练数据，为了解决成对训练数据难以获得的问题，引入了无监督学习的循环生成对抗网络，循环生成对抗网络首先被用于图像的风格转换任务，将源域图像保留细节等特征的同时也具有目标域图像的风格。循环生成对抗网络的优势在于不需要成对的训练数据即可实现图像的转换，这为一些任务带来了新的曙光，如图像降噪任务、图像去雨任务、图像除雾任务、水下图像增强任务等。循环生成对抗网络是两个生成对抗网络形成的循环，根据其循环形式的网络结构，使被转换至目标域的源域图像仍然能够被完整地转换回源域。
[0037]
中间传输图像能够反映水下图像衰减的重要信息，大多数基于水下成像物理模型的水下图像增强方法都是利用各种方法以求出中间传输图像，在得到中间传输图像的基础上对水下图像进行增强。红通道先验是受陆地图像去雾的暗通道先验启发的一种水下图像增强方法，它根据在水下图像中，红通道的衰减速率相比于绿通道与蓝通道的衰减速率更大，这导致在水下拍摄图像时，图像中红色的像素个数是明显小于绿色像素个数与蓝色像素个数的，且在直方图中，红色像素的分布也是十分集中的，而中间传输图像所包含的衰减信息指示着如何对水下图像进行还原。
[0038]
自监督学习是近几年兴起的一种深度学习方法，它的目的在于充分挖掘数据本身的信息，自监督学习被广泛应用于自然语言处理、计算机视觉等领域，当拥有大量训练数据却只有少量标签时，利用自监督学习进行预训练可以有效提高神经网络在真正任务上的性能。在计算机视觉领域中常用的自监督任务有：图像着色、图像拼图、图像缺失块生成以及一些通过硬编码形式产生的伪标签任务等。水下图像可利用红通道先验得出中间传输图像，利用水下图像与其中间传输图像在编码解码网络上进行自监督，此编码解码网络此时执行简单的图像生成任务，因此通过l1损失限制编码解码网络生成的中间传输图像与通过红通道先验得到中间传输图像的差距。为了能够使水下图像信息在神经网络的计算中尽可能地不丢失，设计了一个深度残差带有跳跃连接的编码解码网络，残差模块与跳跃连接的加入使该网络具有快速收敛、误差小、准确度高的特点，在循环生成对抗网络中加入upsampling层会导致网络不稳定，在训练时，网络极容易崩溃，水下图像颜色恢复网络中的生成器要基本与编码解码网络结构上保持一致，因此用转置卷积层为网络对张量进行上采样。
[0039]
水下图像颜色恢复循环生成对抗网络遵循基本循环生成对抗网路结构，包含两个生成器与四个鉴别器，生成器的结构基本与编码解码网络保持一致。为了提升生成图像的细节质量，加入了辅助鉴别器。辅助鉴别器相对于主鉴别器而言，缩小感知视野的大小，只对图像的一个小块给出真假性的判别。
[0040]
由于水下图像的亮度与对比度均较低，使用风格转移损失与退化结构相似性损失帮助水下图像颜色恢复网络进行训练，风格转移损失首先在图像风格转移任务中被提出，它认为图像在vgg19网络的高层时，图像保留了纹理等高层次的特征，通过减小这些高层次特征的格拉姆矩阵之间的差异，就可以使生成图像具有目标域图像的风格特征。结构相似性指标是衡量图像在亮度、对比度、结构相似程度的重要指标，结构相似性损失则能使两张图像的差距越来越小，且收敛效果相比于均方差损失更好。对于水下图像恢复任务，我们只希望水下图像具有目标域图像的亮度与对比度特征。因此，提出了退化结构相似性损失，只关注图像在亮度与对比度之间的差异。
[0041]
本方法主要步骤包括：水下图像的中间传输图像估计、编码解码网络的自监督训练、退化结构相似性损失函数设计、水下图像颜色恢复网络训练。具体如下：
[0042]
1.水下图像的中间传输图像估计
[0043]
在假设氛围光已知的情况下，由于水下环境中，红光衰减最快，为了确定红通道与蓝、绿通道的最大差异，可以将红通道的最大强度与蓝、绿通道的最大强度相减，如公式1所示
[0044][0045]
式中ic(x)表示通道c∈{r,g,b}的像素值，ω为图像中的一小块，计算时取为15。
[0046]
中间传输图像此时可由公式2计算出
[0047][0048]
由于在中间传输图像的是取图像的一小块计算得出的，因此，所得到中间传输图
像存在光晕与块状阴影，对得到的中间传输图像进行引导滤波以对其进行平滑。
[0049]
2.编码解码网络的自监督训练
[0050]
在得到以上通过硬编码得到的中间传输图像后，利用其作为标签数据进行编码解码网络的自监督训练。编码解码网络是深度残差结构(见附图1)，为了尽可能地保存信息与加速收敛，加入了跳跃连接。使用转置卷积作为上采样层，增加网络稳定性。使用l1损失函数缩小生成图像与中间传输图像的差距。
[0051]
3.退化结构相似性损失函数设计
[0052]
结构相似性损失函数能够在亮度、对比度、结构相似程度对两张图像的差距进行测量，取值为0至1，1代表完全一致，0代表完全不同。在结构相似性损失函数的基础上，忽略其对于结构相似程度的测量，只关注图像的亮度与对比度，因为我们的目的就是希望增强后的水下图像具有目标域图像良好的亮度与对比度。退化结构相似性损失的计算如公式3所示：
[0053][0054]
式中，x，y分别表示源域的水下图像与目标域的陆地图像，g，f分表正向生成器与反向生成器，μ与σ表示图像的均值和标准差。
[0055]
4.水下图像颜色恢复网络训练
[0056]
水下图像恢复网络生成器的结构基本与编码解码网络相同(见附图2)，在水下图像恢复网络生成器下部网络的中间层中加入三层深度可分离卷积以提升对各个通道的独立处理能力。生成器中的上部网络为经过水下图像与中间传输图像训练后固定参数的编码解码网络，用于向下部网络的各层提供中间传输图像注意力，提供注意力的方式为非局部方式(见附图3)，非局部的方式能够对图像全局对产生注意力，但缺点是占用大量计算资源，因此，只引入了三次非局部注意力。鉴别器的结构采用全卷积结构(见附图4a-b)，主鉴别器的卷积层多于辅助鉴别器，因为辅助鉴别器的感受野比较小，只是图像中的一小块。向辅助鉴别器加入归一化层，提升辅助鉴别器性能。
[0057]
整个水下图像颜色恢复网络的损失函数包括对抗损失、循环一致损失、风格转移损失、退化结构相似性损失与全变分损失，如公式4所示：
[0058][0059]
其中，λ1＝1，λ2＝10，λ3＝9，λ4＝6e-9，λ5＝1e-6，λ6＝1e-7分别为各项损失的权重系数。
[0060]
在进行整体网络的训练前，需要准备的数据集为水下图像数据集与陆地图像数据集，通过步骤1所叙述的方法为水下图像数据集产生中间传输图像；将此时的水下图像与中间传输图像分别作为输入与标签进行步骤2所述的自监督网络训练，待自监督编码解码网络训练完成后固定参数，插入到所设计的水下图像颜色恢复网络中，此时，将水下图像与陆
地图像分别作为输入与标签进行步骤4所述的水下图像颜色恢复网络训练。此网络的生成器参数与鉴别器参数轮番更新。为方便叙述，在水下图像颜色恢复网络中将负责由水下图像生成陆地的图像生成器命名为g，将负责由陆地图像生成水下图像的生成器命名为f，将负责鉴定是否为真实陆地图像的鉴别器与其辅助鉴别器命名为dy，负责鉴定是否为真实水下图像的鉴别器与其辅助鉴别器命名为d
x
。则整个训练过程为：首先固定生成器参数，开放鉴别器参数，水下图像与陆地图像分别经过g与f生成假的陆地图像与假的水下图像，再将它们输入给dy与d
x
分别得到鉴定结果，将此结果都与标签
‘
假’做绝对值损失得到鉴别器的
‘
假’损失值；再将水下图像与陆地图像直接输入到d
x
与dy中得到鉴定结果，将此结果与标签
‘
真’做绝对值损失得到鉴别器的
‘
真’损失值。
‘
真’损失值与
‘
假’损失值相加即得到鉴别器的全部损失值，利用全部损失值更新鉴别器的参数。此时，鉴别器训练完成。固定鉴别器参数，开放生成器参数，将水下图像与陆地图像输入至g和f生成假的陆地图像与假的水下图像，再将他们输入回f与g得到他们的还原图像，利用水下图像、陆地图像、假的陆地图像、假的水下图像以及他们的还原图像经过公式4计算分别得到生成器的损失后对两个生成器的参数进行更新即完成了生成器的训练。经过不断循环上述训练步骤，直至鉴别器的准确为50％左右，此时，鉴别器无法区分输入图像是真还是假，水下图像颜色恢复网络训练完成。将网络中的生成器g提取出来即可应用于水下图像颜色的恢复。