一种基于双重约束生成对抗网络的水下图像增强方法与流程

本发明属于深度学习图像处理，尤其是一种基于双重约束生成对抗网络的水下图像增强方法。

背景技术：

1、随着计算机视觉和人工智能的快速发展，水下视觉在不同领域的应用收到了越来越多的关注，水下图像增强技术受到了越来越多的重视。深海机器人勘探，水下目标跟踪，水下目标检测等活动都依靠水下视觉来完成任务。然而，水下视觉存在色差、低对比度、细节模糊等问题。主要原因是光的散射和吸收以及低端的成像设备造成光的散射和衰减，导致水下图像的质量变差。这些问题阻碍了依赖水下视觉活动的开展。而水下图像增强技术能够帮助工作者获得更好的视觉感受。

2、水下图像增强技术可以大致分为无模型的水下图像增强方法，基于物理模型的水下图像增强算法和基于深度学习的水下图像增强算法。无模型的水下图像增强方法主要是对水下图像进行滤波、增强、去噪等处理，以提高图像质量。基于物理模型的水下图像增强方法旨在精确计算各个参数来构建物理模型，通过反向推导物理模型获得清晰的图像，实施过程需要估计全局背景光参数和透射率来恢复退化的图像。基于物理模型的水下图像增强方法在处理水下图像和视频的时候存在局限性，背景光和透射率等参数设置是恒定的，无法适应不同类型的水下环境。

3、近些年来，人们提出了越来越多的基于深度学习的图像增强方法。卷积神经网络(cnn)广泛应用在深度学习领域，在图像处理领域中取得巨大成功。其中，生成对抗网络(gan)的工作是实现图像到图像的转换，已广泛应用到图像处理领域。chen等人提出了一种包含多分支的基于gan的恢复方案，保存图像内容的同时去除水下噪声。cai等人提出了合成水下背景光分布先验统计方法，采用更高效的模型对水下合成图像进行颜色校正。zhou等人提出了域自适应机制的以物理约束作为反馈控制器的gan框架域自适应机制可以消除水下图片和合成水下图片的差异。guo等人提出了用于水下图像增强的多尺度密集生成对抗网络，可以提高性能、渲染细节等功能。jiang等人提出了一种基于传递学习的真实世界水下图像增强，在真实的水下图像训练不需要合成水下数据集。这些方法相比传统方法能够显著提高水下图像质量，但需要成对的数据集，这些数据集难以获取，且生成的图像不能同时做到颜色逼真和细节清晰。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提出一种基于双重约束生成对抗网络的水下图像增强方法，能够解决现有增强方法只能适应单一的水下环境；可以恢复不同水下场景的图像，产生的增强结果同时保证颜色逼真和细节清晰。

2、本发明解决其技术问题是采取以下技术方案实现的：

3、一种基于双重约束生成对抗网络的水下图像增强方法，包括以下步骤：

4、步骤1、利用水下auv搭配摄像头在海底进行拍摄，通过自带光源在拍摄图像时提供补光操作，获取水下图像，形成数据集；

5、步骤2、采取不同水域条件的背景光，利用水下成像模型合成不同水域条件下的水下图像，形成合成数据集；

6、步骤3、通过两个生成器、两个判别器和物理模型组成网络；其中生成器用于实现水下图像到清晰图像的转换，判别器用于生成器生成的图像是否为清晰图像或者水下图像，物理模型用于将生成的清晰图像再生成水下图像；

7、步骤4、在网络模型中加入损失函数，并对生成器加以双重约束；

8、步骤5、将步骤1的数据集和步骤2的合成数据集组成联合数据集，作为网络的输入；训练生成器，固定生成器的参数不变再训练判别器，固定判别器再训练生成器；经过多次迭代后，损失函数趋近于最小值完成训练，得到对应的权重，完成网络训练；

9、步骤6、将需要处理的图像或者视频输入到训练后的网络中，并添加相应的权重，得到输出结果。

10、而且，所述步骤2中形成合成数据集的具体实现方法为：

11、ic(x)＝jc(x)·tc(x)+bc·(1-tc(x))

12、其中，ic(x)是合成的水下图像，jc(x)是像素点x处的场景辐射；bc是均匀全局背景光，λ是红、绿和人蓝通道的光波长，tc(x)是jc(x)的场景传输图；

13、其中tc(x)为：

14、

15、其中，和表示在水介质中传播距离d(x)之前和之后的光能，βc是衰减因子，归一化剩余能量比nrer(c)d(x)，取决于红、绿和蓝光的波长。

16、而且，所述步骤3的具体实现方法为：网络中生成器g1和生成器g2具有相同的卷积编码器-解码器框架，但方向相反；生成器g1学习从水下图像到空中图像的映射，生成器g2学习空中图像到水下图像的映射；鉴别器d1和鉴别器d2使用相同的结构；生成器输入图像通过conv-batchnorm-relu(cbr)组成卷积核为3×3的下采样模块。

17、而且，所述步骤4中损失函数为：

18、

19、同时增加l1损失函数：

20、

21、在生成器添加的双重约束为：

22、

23、由于传输图提供了图像像素处的退化程度作为场景深度的函数，激发了水下图像在三维空间的深度敏感性；将双重约束转换为：

24、

25、

26、本发明的优点和积极效果是：

27、1、本发明利用水下auv搭配摄像头在海底进行拍摄，通过自带光源在拍摄图像时提供补光操作，获取水下图像，形成数据集；采取不同水域条件的背景光，利用水下成像模型合成不同水域条件下的水下图像，形成合成数据集；通过两个生成器、两个判别器和物理模型组成网络；并在网络模型中加入损失函数，对生成器加以双重约束；将联合数据集作为网络的输入；训练生成器，固定生成器的参数不变再训练判别器，固定判别器再训练生成器；经过多次迭代后，损失函数趋近于最小值完成训练，得到对应的权重，完成网络训练，输入图像或者视频得的输出结果。本发明能够解决现有增强方法只能适应单一的水下环境；可以恢复不同水下场景的图像，产生的增强结果同时保证颜色逼真和细节清晰。

28、2、本发明能够覆盖大部分海域的合成水下数据集。通过亮度分布直方图得到不同海域的背景光信息。利用背景光先验方法解决了传统方法估计背景光不准确或者使用随机值的问题。有助于生成清晰图像和图像颜色恢复。

29、3、本发明提出了一个生成对抗网络和物理模型相结合的生成对抗网络框架进行水下图像增强。在生成对抗网络中添加物理模型构成的物理约束，和循环约束组成新的双重约束损失函数，进一步促进生成器生成颜色自然和细节清晰的图像。

30、4、本发明提出了一种新的传输损失，促进生成图像在三维深度空间和原始图像保持一致。利用暗通道先验方法获得相应的传输图，传输图中的每个像素都包含深度信息。实现了生成图像不仅颜色和原图像保持一致，同时包含三维图像的深度信息。

技术特征：

1.一种基于双重约束生成对抗网络的水下图像增强方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于双重约束生成对抗网络的水下图像增强方法，其特征在于：所述步骤2中形成合成数据集的具体实现方法为：

3.根据权利要求1所述的一种基于双重约束生成对抗网络的水下图像增强方法，其特征在于：所述步骤3的具体实现方法为：网络中生成器g1和生成器g2具有相同的卷积编码器-解码器框架，但方向相反；生成器g1学习从水下图像到空中图像的映射，生成器g2学习空中图像到水下图像的映射；鉴别器d1和鉴别器d2使用相同的结构；生成器输入图像通过conv-batchnorm-relu组成卷积核为3×3的下采样模块。

4.根据权利要求1所述的一种基于双重约束生成对抗网络的水下图像增强方法，其特征在于：所述步骤4中损失函数为：

技术总结
本发明涉及一种基于双重约束生成对抗网络的水下图像增强方法，利用水下AUV搭配摄像头在海底进行拍摄，获取水下图像，形成数据集；采取不同水域条件的背景光，形成合成数据集；通过两个生成器、两个判别器和物理模型组成网络；并在网络模型中加入损失函数，对生成器加以双重约束；将联合数据集作为网络的输入；训练生成器，固定生成器的参数不变再训练判别器，固定判别器再训练生成器；经过多次迭代后，损失函数趋近于最小值完成训练，得到对应的权重，完成网络训练，输入图像或者视频得的输出结果。本发明能够解决现有增强方法只能适应单一的水下环境；可以恢复不同水下场景的图像，产生的增强结果同时保证颜色逼真和细节清晰。

技术研发人员：闫磊,邵竞伟,刘文远,夏志新,杨小川,张文宇,肖明,张春明,李鑫滨,李纲
受保护的技术使用者：秦皇岛港股份有限公司
技术研发日：
技术公布日：2024/1/16