基于多尺度密集特征融合卷积网络的管道视频去雾方法

本发明涉及深度学习、图像处理，尤其涉及一种基于多尺度密集特征融合卷积网络的管道视频去雾方法。

背景技术：

1、在城市管道环境中，管道病害检测机器人获取的管道内部图像对于管道病害的识别起到重要的作用，但是由于管道环境复杂，内部环境存在阴暗、反光、水雾等各种不良条件，导致采集到的管道图像出现对比度小，细节模糊等退化现象，影响到管道检测机器人视觉系统的正常工作。因此，对采集的图像进行去雾复原工作对于管道安全有着极其重要的意义。

2、将一个带雾图像恢复为无雾图像，数据驱动的深度学习方法已经被证明是有效的。目前的去雾方法大多数是针对室外场景有雾图像，针对管道环境有雾图像的算法很少。早期的方法首先使用深度卷积神经网络(cnns)来估计透射图，然后应用传统方法来估计大气光。但是，由于大气反射系数的不确定和获得真实透射图数据的困难，使得从带雾输入中估计透射图或大气光不是一项简单的任务。此外，对透射图或大气光的不准确估计会严重干扰清晰图像的恢复，因为对透射图和大气光的某些估计偏差会导致恢复图像和清晰图像之间较大的重建误差。为了解决这个问题，一些直接端到端去雾算法直接或迭代深层cnns估计无雾图像，不需要再估计透射图和大气光。然而，城市地下管道为无光或弱光环境，且阴暗潮湿，水雾严重，使得采集的视频图像细节模糊，这些方法主要采用通用网络体系结构(例如，densenet、dilated network、gan)，并没有针对管道视频去雾后细节信息缺失的问题进行优化，使得这些算法在地下管道场景下的去雾效果不佳。

3、本发明提出了一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，能有效实现地下管道视频图像的去雾，并对图像的细节方面进行增强，适用于排水管道检测机器人的视频监控、地下管道病害智能检测识别等科学领域。

技术实现思路

1、本发明针对现有技术中的上述问题，提出了一种基于多尺度密集特征融合卷积网络的管道视频去雾方法。该方法巧妙地结合了增强策略和误差反馈机制，利用基于sos图像细节增强策略的增强解码器简单有效的逐步恢复无雾图像，利用基于反投影反馈方案设计的密集特征融合模块保留高分辨率特征中缺失的空间信息并提取和融合非相邻特征，适用于基于管道数据的视频去雾。该方法可以有效的提高带雾管道视频的清晰度，对管道视频图像的细节进行增强，有助于管道视频后期高级视觉任务的开展，适用于管道环境的视频监控、管道病害识别等科学领域，可以应用在城市管道检修维护工作中。

2、本发明所采用的技术方案如下：

3、步骤(1)、在实验管道模型里用双目相机采集管道清晰图像和深度图像，利用大气散射模型生成管道带雾图像，构建管道带雾/清晰图像对，并划分训练数据集和测试数据集；

4、步骤(2)、基于u-net架构，引入sos图像细节增强策略和密集特征融合模块，构建基于多尺度密集特征融合卷积网络的去雾方法；

5、步骤(3)、将步骤(1)中构建的训练数据集送入步骤(2)中构建的基于多尺度密集特征融合的增强去雾网络，以训练神经网络模型，使用adam优化算法更新神经网络权重；

6、步骤(4)、使用步骤(1)中构建的测试数据集测试训练好的去雾网络模型，实现管道视频的去雾，并对去雾效果进行客观评价。

7、本发明的有益效果是，相比一些基于通用网络体系结构的去雾方法，本发明提出一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，很好的针对去雾图像恢复问题进行优化，结合sos增强策略的解码器提高了去雾性能，基于反投影技术的密集特征融合模块弥补了高分辨率特征缺失的空间信息并利用非相邻层次的特征，有效实现管道场景视频的去雾，并对图像的细节恢复方面进行增强，提高了带雾管道视频的清晰度，去雾后的管道视频色彩真实、细节丰富。

技术特征：

1.一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，其特征在于，包括以下步骤：

技术总结
本发明涉及的是一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，其中，方法包括：在实验管道模型里用双目相机采集管道清晰图像和深度图像，利用大气散射模型生成管道带雾图像，构建管道带雾/清晰图像对，并划分训练数据集和测试数据集；基于U‑net架构，SOS增强策略和密集特征融合模块，构建基于多尺度密集特征融合的增强去雾网络；将训练数据集送入基于多尺度密集特征融合的增强去雾网络，训练神经网络模型，使用Adam优化算法更新神经网络权重；用测试数据集测试训练好的去雾网络模型，实现管道视频的去雾，并对去雾效果进行客观评价。本发明能有效实现地下管道视频图像的去雾，并对图像的细节方面进行增强，可用于排水管道检测机器人的视频监控、地下管道病害智能检测识别等科学领域。

技术研发人员：李策,乔静怡,姜中博,唐峥岩,黄瑛洁
受保护的技术使用者：中国矿业大学（北京）
技术研发日：
技术公布日：2024/1/13