一种基于RGBD的图像去雾方法及相关设备与流程

一种基于rgbd的图像去雾方法及相关设备
技术领域
1.本发明涉及图像去雾技术领域，尤其是指一种基于rgbd的图像去雾方法及相关设备。


背景技术：

2.随着人工智能时代的到来，未来智能机器将逐渐辅助甚至代替人类完成机械性劳动。然而大多数计算机视觉系统需要对成像设备捕获的图像或视频数据分析，数据的好坏将直接影响后序任务的处理效率和精度。然而，近年来雾霾天气频繁发生，高速公路因大气能见度太低而暂时封闭的新闻屡见不鲜。以自动驾驶领域为例，在雾霾天气下，光线不充足，成像设备的视距变短，导致检测车道线、路标和信号灯等任务的准确率降低，存在极大的安全隐患，因此，需要利用技术手段对雾霾天气下拍摄的图像进行处理。
3.现有的去雾算法大多基于手工先验或深度学习尝试从rgb图像中直接估计传输图，无法利用已知附加的真实像素深度信息辅助去雾任务，从而提高去雾性能，这导致算法不适用于各类雾霾场景，部分算法的去雾性能强依赖于训练集中数据的好坏。


技术实现要素：

4.本发明所要解决的技术问题是：提供一种基于rgbd的图像去雾方法及相关设备，旨在提高去雾性能。
5.为了解决上述技术问题，本发明采用的技术方案为：一种基于rgbd的图像去雾方法，包括以下步骤,
6.从kitti数据集中无雾图像的激光雷达点云数据中提取出像素点对应的稀疏深度信息，得到稀疏深度图；
7.基于小波变换将稀疏深度图与kitti数据集的原始gt深度图进行图像融合；
8.基于编码器架构搭建去雾网络模型，并将大气散射模型嵌入到去雾网络模型中；
9.构建损失函数，利用损失函数计算去雾网络模型预测的预测深度图和去雾结果与kitti数据集的原始gt深度图和清晰图像的损失，更新去雾网络模型；
10.将更新的去雾网络模型去预测有雾图像对应的清晰图像。
11.进一步的，从kitti数据集中无雾图像的激光雷达点云数据中提取出像素点对应的稀疏深度信息具体包括，
12.通过齐次坐标将无雾图像的激光雷达点云数据中的3d激光雷达点投影到图像坐标系中，得到2d像素点，变换公式为：
13.y＝p_rec*r_rec*t_velo*x
14.其中，x为3d激光雷达点，y为2d像素点；p_rec表示投影矩阵，用于将矫正后的相机坐标系中的点投影到图像坐标系中；r_rec表示旋转矩阵，用于对图像位置进行调整，将不同相机拍摄的图像都置于同一个平面内；t_velo表示映射矩阵，用于将激光雷达坐标系中的点映射到相机坐标系中。
15.进一步的，基于小波变换将稀疏深度图与kitti数据集的原始gt深度图进行图像融合具体包括，
16.对稀疏深度图与kitti数据集的原始gt深度图分别进行小波分解，分别得到对应的高频分量及低频分量；
17.对低频分量取加权平均值作为低频小波系数，对高频分量取绝对值最大的作为高频小波系数；
18.利用小波重构函数重建融合图像，对融合图像中的噪声进行过滤，得到精细原始gt深度图。
19.进一步的，基于编码器架构搭建去雾网络模型，并将大气散射模型嵌入到去雾网络模型中具体包括，
20.将有雾图像和与之对应的稀疏深度图进行级联；
21.以有雾图像作为引导，利用编解码器网络学习稀疏深度图的全局和深层信息,得到全局引导图；
22.通过多尺度像素注意力特征融合模块利用像素注意力机制引导去雾网络模型重点学习深度缺失区域，得到融合后的特征图；
23.对于大气散射模型中的大气光值参数，使用u-net估计大气光值，对每张输入有雾图像都通过学习得到对应的大气光值；
24.将大气光值与融合后的特征图输入大气散射模型复原出去雾结果。
25.进一步的，以有雾图像作为引导，利用编解码器网络学习稀疏深度图的全局和深层信息,得到全局引导图具体包括，
26.编码器部分多次利用3
×
3卷积进行下采样操作；
27.解码器多次利用核大小为3
×
3的反卷积，输出特征图；
28.逐步将特征图恢复到初始分辨率，最终得到用于引导后序网络对稀疏深度图进行补全的全局引导图。
29.进一步的，通过多尺度像素注意力特征融合模块利用像素注意力机制引导去雾网络模型重点学习深度缺失区域，得到融合后的特征图具体包括，
30.分别使用多尺度像素注意力特征融合模块中的核大小为1
×
1、3
×
3、5
×
5的卷积层从三个尺度学习有雾图像、稀疏深度图的特征；
31.将级联的有雾图像、稀疏深度图与利用像素注意力机制学习到的区域权重相乘得到融合后的特征图。
32.进一步的，构建损失函数，利用损失函数计算去雾网络模型预测的预测深度图和去雾结果与kitti数据集的原始gt深度图和清晰图像的损失具体包括，
33.使用l2损失来监督网络训练，缩小预测深度图和精细原始gt深度图之间的差异：
[0034][0035]
其中，n表示输入的有雾图像像素的总个数；di表示在像素点i处网络输出的深度值；表示像素点i处的精细原始gt深度值；
[0036]
使用l1损失和感知损失共同监督网络输出的去雾结果，其中l1损失为：
[0037]
l1＝j-f(i(x))1[0038]
其中，j表示无雾图像；f(i(x))表示去雾网络输出的去雾结果；感知损失，使用预训练的vgg16作为损失网络，并分别从网络的conv1-2、conv2-2、conv3-3的最后一层提取特征，具体为：
[0039][0040]
其中c、h、w分别表示输入有雾图像的通道数、高和宽；φi(x)表示输入图像x后vgg16在第i个阶段输出的特征图；表示网络输出的去雾结果；j表示无雾图像；
[0041]
使用的总损失函数可以表示为：
[0042]
l＝loss1+loss2
[0043]
＝loss1+l1+αl
p
[0044]
其中，loss1表示l2损失函数；l1表示l1损失函数；α是超参数，为感知损失分配的权重。
[0045]
本发明还提供了一种基于rgbd的图像去雾装置，包括,
[0046]
稀疏深度信息提取模块，用于从kitti数据集中无雾图像的激光雷达点云数据中提取出像素点对应的稀疏深度信息；
[0047]
图像融合模块，用于基于小波变换将稀疏深度信息与kitti数据集的原始gt深度图进行图像融合；
[0048]
网络搭建模块，用于基于编码器架构搭建去雾网络模型，并将大气散射模型嵌入到去雾网络模型中；
[0049]
损失函数构建模块，用于构建损失函数，利用损失函数计算去雾网络模型预测的预测深度图和去雾结果与kitti数据集的原始gt深度图和清晰图像的损失，更新去雾网络模型；
[0050]
清晰图像预测模块，用于将更新的去雾网络模型去预测有雾图像对应的清晰图像。
[0051]
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于rgbd的图像去雾方法。
[0052]
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如上所述的基于rgbd的图像去雾方法。
[0053]
本发明的有益效果在于：根据激光雷达点云提取出的稀疏深度信息和有雾图像为引导，构建了去雾网络，直接对缺失像素深度进行补全，借助大气散射模型实现图像去雾，能够适应各类雾霾场景，提高了去雾性能。
附图说明
[0054]
下面结合附图详述本发明的具体结构。
[0055]
图1为本发明实施例的基于rgbd的图像去雾方法流程图；
[0056]
图2为本发明实施例的基于rgbd的图像去雾装置框图；
[0057]
图3为本发明实施例的去雾网络的结构图；
[0058]
图4为本发明实施例的多尺度像素注意力特征融合模块的详细结构图；
[0059]
图5为本发明实施例的计算机设备的示意性框图。
具体实施方式
[0060]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061]
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0062]
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0063]
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0064]
如图1所示，本发明第一实施例为：一种基于rgbd的图像去雾方法，包括以下步骤,
[0065]
s10、从kitti数据集中无雾图像的激光雷达点云数据中提取出像素点对应的稀疏深度信息，得到稀疏深度图；
[0066]
s20、基于小波变换将稀疏深度图与kitti数据集的原始gt深度图进行图像融合；
[0067]
s30、基于编码器架构搭建去雾网络模型，并将大气散射模型嵌入到去雾网络模型中；
[0068]
s40、构建损失函数，利用损失函数计算去雾网络模型预测的预测深度图和去雾结果与kitti数据集的原始gt深度图和清晰图像的损失，更新去雾网络模型；
[0069]
s50、将更新的去雾网络模型去预测有雾图像对应的清晰图像。
[0070]
其中，步骤s10中，从kitti数据集中无雾图像的激光雷达点云数据中提取出像素点对应的稀疏深度信息具体包括，
[0071]
通过齐次坐标将无雾图像的激光雷达点云数据中的3d激光雷达点投影到图像坐标系中，得到2d像素点，变换公式为：
[0072]
y＝p_rec*r_rec*t_velo*x
[0073]
其中，x为3d激光雷达点，y为2d像素点；p_rec表示投影矩阵，用于将矫正后的相机坐标系中的点投影到图像坐标系中；r_rec表示旋转矩阵，用于对图像位置进行调整，将不同相机拍摄的图像都置于同一个平面内；t_velo表示映射矩阵，用于将激光雷达坐标系中的点映射到相机坐标系中。其中，p_rec、r_rec和t_velo矩阵的具体数值被记录在kitti数据集的激光雷达场景校准文件中。
[0074]
其中，步骤s20中，基于小波变换将稀疏深度图与kitti数据集的原始gt深度图进行图像融合具体包括，
[0075]
s21、对稀疏深度图与kitti数据集的原始gt深度图分别进行小波分解，分别得到
对应的高频分量及低频分量；
[0076]
s22、对低频分量取加权平均值作为低频小波系数，对高频分量取绝对值最大的作为高频小波系数；
[0077]
s23、利用小波重构函数重建融合图像，对融合图像中的噪声进行过滤，得到精细原始gt深度图，为后序网络补全稀疏深度图提供较为丰富干净的标签数据。
[0078]
其中，步骤s30中，如图3，基于编码器架构搭建去雾网络模型，并将大气散射模型嵌入到去雾网络模型中具体包括，
[0079]
s31、将有雾图像和与之对应的稀疏深度图进行级联；
[0080]
s32、以有雾图像作为引导，利用编解码器网络学习稀疏深度图的全局和深层信息,得到全局引导图；
[0081]
s33、通过多尺度像素注意力特征融合模块利用像素注意力机制引导去雾网络模型重点学习深度缺失区域，得到融合后的特征图；多尺度像素注意力特征融合模块的结构如图4所示。
[0082]
s34、对于大气散射模型中的大气光值参数，使用u-net估计大气光值，对每张输入有雾图像都通过学习得到对应的大气光值；
[0083]
s35、将大气光值与融合后的特征图输入大气散射模型复原出去雾结果。
[0084]
其中，步骤s32中，以有雾图像作为引导，利用编解码器网络学习稀疏深度图的全局和深层信息,得到全局引导图具体包括，
[0085]
编码器部分多次利用3
×
3卷积进行下采样操作；
[0086]
解码器多次利用核大小为3
×
3的反卷积，输出特征图；
[0087]
逐步将特征图恢复到初始分辨率，最终得到用于引导后序网络对稀疏深度图进行补全的全局引导图。
[0088]
其中，步骤s33中，通过多尺度像素注意力特征融合模块利用像素注意力机制引导去雾网络模型重点学习深度缺失区域，得到融合后的特征图具体包括，
[0089]
分别使用多尺度像素注意力特征融合模块中的核大小为1
×
1、3
×
3、5
×
5的卷积层从三个尺度学习有雾图像、稀疏深度图的特征；
[0090]
将级联的有雾图像、稀疏深度图与利用像素注意力机制学习到的区域权重相乘得到融合后的特征图。
[0091]
经过多尺度像素注意力特征融合模块后，设计了一种多尺度嵌套式级联，具体地，使用四个核大小分别为1
×
1、3
×
3、5
×
5、7
×
7的卷积层多尺度学习缺失像素深度信息，这种多尺度设计引导网络提取不同尺度的特征。与以往的跳跃连接不同，为了尽量减小卷积过程中的信息损失，使用了嵌套式级联操作，具体步骤为：concat1级联conv1
×
1与conv3
×
3的输出特征图，接着concat2来级联conv3
×
3与conv5
×
5的输出特征图，最后使用concat3级联conv1
×
1、conv3
×
3、conv5
×
5、conv7
×
7的输出特征图。在深度预测网络的最后使用了两个核大小为3
×
3的卷积层对多尺度卷积后的输出特征进行整理，用于输出补全后的深度图。
[0092]
其中，大气散射模型揭示了有雾图像与去雾结果之间的关系，大气散射模型公式如下：
[0093]
i(x)＝j(x)t(x)+l(1-t(x))
[0094]
t(x)＝e-βd(x)
[0095]
其中x为输入图像的像素点；i(x)为捕获的有雾图像；l为大气光值；j(x)为带求解出的清晰去雾结果；t(x)为目标景物中所含场景光线的透射率，即图像传输图；d(x)为像素点在x位置处对应的场景与成像设备或观察者的距离；β为大气散射系数。可知，复原出清晰高质量去雾结果的关键是求得图像传输图和大气光值，其中图像传输图和场景深度之间有直接的映射关系。
[0096]
其中，步骤s40中，构建损失函数，利用损失函数计算去雾网络模型预测的预测深度图和去雾结果与kitti数据集的原始gt深度图和清晰图像的损失具体包括，
[0097]
使用l2损失来监督网络训练，缩小预测深度图和精细原始gt深度图之间的差异：
[0098][0099]
其中，n表示输入的有雾图像像素的总个数；di表示在像素点i处网络输出的深度值；表示像素点i处的精细原始gt深度值；
[0100]
使用l1损失和感知损失共同监督网络输出的去雾结果，其中l1损失为：
[0101]
l1＝j-f(i(x))1[0102]
其中，j表示无雾图像；f(i(x))表示去雾网络输出的去雾结果；感知损失，使用预训练的vgg16作为损失网络，并分别从网络的conv1-2、conv2-2、conv3-3的最后一层提取特征，具体为：
[0103][0104]
其中c、h、w分别表示输入有雾图像的通道数、高和宽；φi(x)表示输入图像x后vgg16在第i个阶段输出的特征图；表示网络输出的去雾结果；j表示无雾图像；
[0105]
使用的总损失函数可以表示为：
[0106]
l＝loss1+loss2
[0107]
＝loss1+l1+αl
p
[0108]
其中，loss1表示l2损失函数；l1表示l1损失函数；α是超参数，为感知损失分配的权重。
[0109]
仿真实验
[0110]
1、数据集与参数设置
[0111]
为训练所提出的去雾网络，本发明的训练集由从kitti数据集中随机选取的5000张图像，及每张图像对应的激光雷达点云bin文件和原始gt深度图像(通过累积相邻的11个原始激光雷达扫描创建)构成，测试集选取与训练集不重复的428张图像，及其对应的激光雷达点云bin文件。本发明提出的去雾网络在测试阶段仅需要输入有雾图像和对应的稀疏深度图，就能够输出对应的去雾结果。
[0112]
在图像融合过程中，本发明将小波分解的层数设置为3，小波基函数使用哈尔基函数。去雾网络中，并使用pytorch框架实现了去雾模块的网络，在训练过程中，batchsize设置为4，使用了adam优化器，其中两个指数衰减率分别为0.9和0.999，学习率设置为10-4
，并通过随机旋转和水平翻转增加训练数据。对于损失函数，本文将感知损失的权重α设置为
0.8。
[0113]
2、评估标准
[0114]
实验选定psnr、ssim作为实验的评估标准，其中psnr越大，则说明待评估图像与理想图像之间的失真越小，待评估图像的质量就越好；ssim的取值范围为0到1，值越大，说明待评测的图像与目标图像的结构越相似，即恢复出的图像质量越好。
[0115]
3、实验结果
[0116]
表1给出了定量的对比实验结果，本发明针对自动驾驶场景，提出提取激光雷达点云中蕴含的稀疏深度信息辅助完成去雾任务，不使用先验知识，而是借助深度神经网络强大的非线性映射能力联合学习图像传输图和大气光值，相对于各种手工先验方法具有普适性。本发明提出的方法能够准确估计图像景深，借助大气散射模型可以有效去除雾霾。从定量评估的结果也可以发现其去雾结果的峰值信噪比和结构相似性的均值都维持在较高水平，同时去雾后的图像视觉效果也最好。
[0117]
表1
[0118][0119]
本发明实施例的有益效果在于：根据激光雷达点云提取出的稀疏深度信息和有雾图像为引导，构建了去雾网络，直接对缺失像素深度进行补全，借助大气散射模型实现图像去雾，能够适应各类雾霾场景，提高了去雾性能。
[0120]
如图2所示，本发明还提供了一种基于rgbd的图像去雾装置，包括,
[0121]
稀疏深度信息提取模块10，用于从kitti数据集中无雾图像的激光雷达点云数据中提取出像素点对应的稀疏深度信息；
[0122]
图像融合模块20，用于基于小波变换将稀疏深度信息与kitti数据集的原始gt深度图进行图像融合；
[0123]
网络搭建模块30，用于基于编码器架构搭建去雾网络模型，并将大气散射模型嵌入到去雾网络模型中；
[0124]
损失函数构建模块40，用于构建损失函数，利用损失函数计算去雾网络模型预测的预测深度图和去雾结果与kitti数据集的原始gt深度图和清晰图像的损失，更新去雾网络模型；
[0125]
清晰图像预测模块50，用于将更新的去雾网络模型去预测有雾图像对应的清晰图
像。
[0126]
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于rgbd的图像去雾装置的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
[0127]
上述基于rgbd的图像去雾方法装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
[0128]
请参阅图5，图5是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
[0129]
参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
[0130]
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于rgbd的图像去雾方法。
[0131]
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
[0132]
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种基于rgbd的图像去雾方法。
[0133]
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0134]
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如上所述的基于rgbd的图像去雾方法。
[0135]
应当理解，在本技术实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0136]
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
[0137]
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上所述的基于rgbd的图像去雾方法。
[0138]
所述存储介质可以是u盘、移动硬盘、只读存储器(read-onlymemory，rom)、磁碟或
者光盘等各种可以存储程序代码的计算机可读存储介质。
[0139]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0140]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0141]
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
[0142]
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
[0143]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。