一种用于交通场景的实时图像去雾方法

1.本发明涉及图像去雾领域，尤其涉及一种用于交通场景的实时图像去雾方法。


背景技术：

2.在大雾天气下拍摄到的图像会因为光线的吸收和散射会出现对比度降低，图像质量降低，物体的特征变得模糊不清的特点，无法获得更多的图像细节[1]，从而导致很多工作也无法正常开展。比如在智能交通监控的图像采集领域，由于大雾的出现，采集的交通路况图像模糊不清，看不清行人和车辆信息，对车辆识别、违章判定或路况预警带来了非常大的难度。为了使系统能在恶劣环境下工作时有较强的鲁棒性和较高的可靠性，对雾天退化的图像进行处理是很有必要的。因此，实时图像去雾技术已经成为当前图像处理领域的一个研究热点。
[0003]
目前去雾算法主要包含基于图像增强、结合物理模型的图像复原和深度学习三大类算法 [3-4]。常用的图像增强去雾算法主要包括直方图均衡化、retinex算法、同态滤波和小波变换。李梦蕊等人提出了一种基于颜色衰减先验的自适应retinex去雾算法，利用颜色衰减先验理论求得有雾图像的景深信息，通过建立的景深和高斯尺度参数的线性模型实现对亮度分量的自适应retinex去雾处理。该算法只是减少了雾的干扰，没有从本质上去除雾，会造成图像部分信息的损失,使图像失真，去雾效果并不理想。
[0004]
基于物理模型的图像复原算法中，最经典的算法是何凯明等人提出的一种基于暗原色先验的图像去雾算法。得到了较好的去雾效果，但耗费了较长的时间。陈凌波等人提出一种结合暗通道先验理论和引导滤波方法的自适应的多尺度retinex图像去雾算法。该算法较少考虑交通图像的特征，无法适用于需要实时去雾的交通场景。基于深度学习的去雾算法中， aod-net第一次提出将空气透射率和全球大气光结合为一个参数，利用雾成像模型的变体直接获得去雾结果。它只能针对已知场景，目前训练速度还不能达到实时训练。
[0005]
因此，针对上述问题，提出了一种交通场景实时图像去雾算法，先对采集的交通图像进行分割,得到正确的大气光估计值后利用双边滤波对含雾图像进行第一次滤波，用引导滤波对图像的透射率粗估计进行第二次滤波优化，实验证明本文算法去雾效果好且能满足实时性要求。


技术实现要素：

[0006]
为实现上述目的，本发明提供了一种用于交通场景的实时图像去雾方法，具有去雾后的图像与真实交通场景亮度更加相似，色彩饱和度好、图像质量高、去雾效果好、处理速度快的特点。
[0007]
本发明提供的一种用于交通场景的实时图像去雾方法，包括：
[0008]
s1、利用均值漂移算法识别有雾交通场景图像中的天空区域；
[0009]
s2、利用双边滤波器优化的he算法对含雾图像进行第一次滤波；
[0010]
s3、利用引导滤波对图像的投射了粗估计，实现第二次滤波，得到去雾图像。
[0011]
进一步的，所述均值漂移算法包括：
[0012]
s11、选定核函数，设定起始位置、核函数带宽h、分割区域时的最少像素数m和概率阈值；
[0013]
s12、从起始位置的第一个像素点开始遍历整幅图像，在此过程中记录下核函数的中心位置；
[0014]
s13、满足均值漂移算法的收敛条件后结束迭代过程并记下收敛值；
[0015]
s14、将该像素点的空间位置和其收敛点的色彩信息赋予平滑后的点；
[0016]
s15、分割经过平滑后的图像，分割时分别将空间域中距离小于hs和特征域中所有距离小于hs的所有点划分为一类，并通过下式判断该像素点所处的区域处于天空区域的概率，将大于等于所述概率阈值的像素点合并为一个区域，即为天空区域；
[0017][0018]
式中，h(i)为像素i的高度值，h为图像的高度，i
max
和i
min
分别为像素i在rgb一个通道中的亮度最大值和最小值；
[0019]
s16、标记图像，将区域像素数少于m的再次合并。
[0020]
进一步的，所述双边滤波器优化的he算法为：
[0021][0022]
进一步的，步骤s3包括：
[0023]
s31、根据第一次滤波结果得到粗估计透射率；
[0024]
s32、将含雾的交通场景图像的灰度图作为引导图像，将所述透射率的粗估计作为待滤波图像，用引导滤波对图像的透射率粗估计进行第二次滤波优化，得到精确透射率；
[0025]
s33、将精确透射率输入图像去雾模型中，得到去雾后的图像。
[0026]
进一步的，步骤s31包括：将第一次滤波结果输入下式中，得到粗估计透射率
[0027][0028]
其中，ac为大气光值，为均值漂移算法分割出天空区域内亮度值最大的10％像素点的平均值。
[0029]
进一步的，步骤s31包括：所述精确透射率为：
[0030][0031]
进一步的，步骤s31包括：所述图像去雾模型为：
[0032][0033]
本发明与现有技术相比，具有以下技术效果：
[0034]
针对现有去雾算法在估计大气光强度值a时不准确的情况下，本文采用改进的均值漂移算法精确分割出天空区域。然后在天空区域内准确地估计出大气光强度值，避免了图像中非天空区域中高光物体时a值估计失效的问题，提高了准确度。采用双边滤波对he算
法进行改进，用双边滤波对含雾图像进行第一次滤波，提升算法时效性的同时，使得去雾能更好地保持图像边缘细节信息。再用引导滤波对图像的透射率粗估计进行第二次滤波优化，解决了传统双边滤波算法去雾后的图像偏暗，对比度较低，失真和块状效应等问题。实验结果表明本算法去雾后的图像与真实交通场景亮度更加相似，色彩饱和度较好，图像质量较高，去雾效果好，处理速度快，实时性较好。未来工作将进一步提高算法的鲁棒性，能针对不同雾浓度的图像，特别是浓雾条件下采集到的雾天图像，能取得较好的去雾效果。
[0035]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0036]
图1是本发明的整体流程示意图；
[0037]
图2是本发明一具体实施例的原始图像，图2a为雾天广场原始图像，图2b为雾天城市早高峰交通原始图像，图2c为雾天上空存在灯光的交通原始图像，图2d为雾天上空存在反光的交通原始图像；
[0038]
图3是本发明一具体实施例采用guo算法处理后的图像，图3a为guo算法处理后的雾天广场图像，图3b为guo算法处理后的雾天城市早高峰交通图像，图3c为guo算法处理后的雾天上空存在灯光的交通图像，图3d为guo算法处理后的雾天上空存在反光的交通原始图像；
[0039]
图4是本发明一具体实施例采用cap-ssr算法处理后的图像，图4a为cap-ssr算法处理后的雾天广场图像，图4b为cap-ssr算法处理后的雾天城市早高峰交通图像，图4c为 cap-ssr算法处理后的雾天上空存在灯光的交通图像，图4d为cap-ssr算法处理后的雾天上空存在反光的交通原始图像；
[0040]
图5是本发明一具体实施例采用he算法处理后的图像，图5a为he算法处理后的雾天广场图像，图5b为he算法处理后的雾天城市早高峰交通图像，图5c为he算法处理后的雾天上空存在灯光的交通图像，图5d为he算法处理后的雾天上空存在反光的交通原始图像；
[0041]
图6是本发明一具体实施例采用msrcr算法处理后的图像，图6a为msrcr算法处理后的雾天广场图像，图6b为msrcr算法处理后的雾天城市早高峰交通图像，图6c为msrcr 算法处理后的雾天上空存在灯光的交通图像，图6d为msrcr算法处理后的雾天上空存在反光的交通原始图像；
[0042]
图7是本发明一具体实施例采用aod-net算法处理后的图像，图7a为aod-net算法处理后的雾天广场图像，图7b为aod-net算法处理后的雾天城市早高峰交通图像，图7c为 aod-net算法处理后的雾天上空存在灯光的交通图像，图7d为aod-net算法处理后的雾天上空存在反光的交通原始图像；
[0043]
图8是本发明一具体实施例采用ehsan算法处理后的图像，图8a为ehsan算法处理后的雾天广场图像，图8b为ehsan算法处理后的雾天城市早高峰交通图像，图8c为ehsan算法处理后的雾天上空存在灯光的交通图像，图8d为ehsan算法处理后的雾天上空存在反光的交通原始图像；
[0044]
图9是本发明一具体实施例采用本发明算法处理后的图像，图9a为本发明算法处理后的雾天广场图像，图9b为本发明算法处理后的雾天城市早高峰交通图像，图9c为本发
明算法处理后的雾天上空存在灯光的交通图像，图9d为本发明算法处理后的雾天上空存在反光的交通原始图像。
具体实施方式
[0045]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0046]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0047]
为了阐释的目的而描述了本发明的一些示例性实施例，需要理解的是，本发明可通过附图中没有具体示出的其他方式来实现。
[0048]
如图1所示，在一具体实施例中提供了一种用于交通场景的实时图像去雾方法，包括：
[0049]
s1、利用均值漂移算法识别有雾交通场景图像中的天空区域；
[0050]
在采集到的交通场景图像中，往往存在一些区域，如灯光处或反光处，然而这些区域并不是真正的天空区域，但是它们的亮度值却很高，从而被误估计为大气光值，导致图像去雾的效果不是很理想。为了解决这一问题，本实施例采用改进的均值漂移算法精确分割出图像的天空区域，在分割出来的天空区域内准确地估计出大气光的值。
[0051]
均值漂移算法在执行过程中分为两步：不连续性保持滤波和均值移位聚类，其结果受所选核函数的带宽h和分割区域时最少的像素数m这两个参数的影响。为了达到理想的分割效果就要确定合适的h和m，否则就会产生过分割或欠分割问题，本实施例采用改进的均值漂移算法，满足雾天交通场景图像的天空区域分割需求。本实施例中的均值漂移算法包括：
[0052]
s11、选定核函数为高斯核函数，设定起始位置、核函数带宽h、收敛条件、分割区域时的最少像素数m和概率阈值；
[0053]
s12、从起始位置的第一个像素点开始遍历整幅图像，在此过程中记录下核函数的中心位置；
[0054]
s13、满足均值漂移算法的收敛条件后结束迭代过程并记下收敛值；
[0055]
s14、将该像素点的空间位置和其收敛点的色彩信息赋予平滑后的点；
[0056]
s15、分割经过平滑后的图像，分割时分别将空间域中距离小于hs和特征域中所有距离小于hs的所有点划分为一类，并通过下式判断该像素点所处的区域处于天空区域的概率，将大于等于所述概率阈值的像素点合并为一个区域，即为天空区域；
[0057][0058]
式中，h(i)为像素i的高度值，h为图像的高度，i
max
和i
min
分别为像素i在rgb一个通
道中的亮度最大值和最小值；
[0059]
上式根据雾气的浓度随着场景的深度增加，天空区域刚好在图像上部的大景深处这一交通场景图像的结构特征，通过用i
max-i
min
的值趋近于0的程度来衡量这个像素点处的雾气浓度，当其值越趋近于0，则表明该像素所处的位置雾浓度越大,也越接近天空区域，通过实验方法调试好带宽h和m后，可以实现天空区域的精确分割，防止出现过分割和欠分割的情况。
[0060]
s16、标记图像，将区域像素数少于m的再次合并。
[0061]
s2、利用双边滤波器优化的he算法对含雾图像进行第一次滤波；
[0062]
由于用暗原色先验理论去雾后效果不是太理想，会出现halo现象，且速度很慢，不具有实时性，较少考虑交通图像的特征，无法适用于需要实时去雾的交通场景。因此，本实施例采用双边滤波对含雾图像进行第一次滤波，所述双边滤波器优化的he算法为：
[0063][0064]
式中，w(x)为加权的归一化系数，为空域映射函数，为值域映射函数；ω(x)是以x为中心的滤波窗口，其值越大代表平滑作用越强。hs和hr分别是空域和值域高斯函数的大小，受输入有雾图像i值影响。用双边滤波对含雾图像进行第一次滤波处理时，为了在效果和实时性上达到理想效果，本文进行了反复的实验，最终选择滤波窗口大小为 16
×
16，hs和hr分别为3和0.2。通过改进的第一次滤波能够在提高时效性的同时，使得去雾过程中能更好地保持图像边缘细节信息。
[0065]
s3、利用引导滤波对图像的投射了粗估计，实现第二次滤波，得到去雾图像。
[0066]
传统双边滤波算法去雾后的图像偏暗，对比度较低，失真和块状效应等问题，为了解决该问题，本实施例在第一次滤波的基础上再用引导滤波对图像的透射率粗估计进行第二次滤波优化，具体包括如下步骤：
[0067]
s31、根据第一次滤波结果得到粗估计透射率；
[0068]
将第一次滤波结果输入下式中：
[0069][0070]
其中，ac为大气光值，为均值漂移算法分割出天空区域内亮度值最大的10％像素点的平均值；ic(y)为已知的雾天图像，jc(y)为彩色图像的rgb三个通道中的一个通道，c表示 rgb三个通道中的一个通道，y是局部区域ω内的某一像素点。
[0071]
根据暗原色先验理论，无雾图像的暗通道值趋于0，可以推出如下公式：
[0072][0073]
进而，得到粗估计透射率为：
[0074][0075]
s32、将含雾的交通场景图像的灰度图作为引导图像，将所述透射率的粗估计作为
待滤波图像，用引导滤波对图像的透射率粗估计进行第二次滤波优化，得到精确透射率为：
[0076][0077]
s33、将精确透射率输入图像去雾模型中，得到去雾后的图像，为：
[0078][0079]
式中，i(x)为雾天交通图像，j(x)为去雾后的图像，t(x)为精确透射率。
[0080]
为了验证本文所提出算法的效果与性能，选用guo算法、基于色衰减先验信息的自适应 cap-ssr算法、he算法、结合暗通道的自适应msrcr算法、aod-net算法和ehsan算法进行了对比实验，测试了交通场景图像数据库中的4400张雾天图像，并选取了其中最具有代表性的四张图像进行展示。对去雾后的图片评价分为主观评价和客观评价，主观评价是对去雾后图像的亮度、色彩饱和度、局部细节是否更加符合真实场景进行对比分析。客观评价是从图像信息熵(h)、峰值信噪比(psnr)、平均梯度、运行时间这四个方面进行比较。
[0081]
在一具体实施例中，在intel(r)core(tm)i7-11800h@2.30ghz，16g内存上运行，系统是windows 10,开发平台为matlab2016b。分别采用不同的算法对四张原始图片进行处理，处理结果如图2-图9所示。
[0082]
通过主观观察，图2-图9中，采用he算法、msrcr算法和ehsan算法去雾后均出现了 halo效应现象，采用guo算法和cap-ssr算法去雾后的图像分辨率较低，图片失真并且比较模糊，去雾效果不好；采用aod-net算法去雾后的图像整体偏暗，对比度低，导致图片局部细节信息丢失严重，显得有些失真，效果不太理想。相较于其他算法，采用本实施例的算法去雾后的图像整体比较明亮，色彩饱和度好，背景光与原始图像更加接近，更加符合真实的交通场景。图像的细节边缘处更清晰，视觉效果最优，去雾效果甚好。
[0083]
客观参数对比上，通过表1可见，图像的信息熵可以用来判断图像细节处理的好坏，熵值越大，代表图像的信息越多，图像细节越好。由表1所示图像信息熵对比结果可知本文算法优于其他算法，去雾后的图像细节信息更加丰富。
[0084]
表1图像信息熵对比结果
[0085][0086]
[0087]
平均梯度可以用作评价一幅图像的清晰度，图像的平均梯度的值越大，说明该图像越清晰。由表2的对比结果可知本文算法的平均梯度值最大，去雾后的图像更加清晰。
[0088]
表2图像平均梯度对比结果
[0089][0090]
psnr的值越大，表示图像失真越少。由表3的对比结果可知本文算法的峰值信噪比最大，优于其它算法，去雾后的图像几乎没有失真，更加符合原始的交通场景。
[0091]
图3图像峰值信噪比对比结果
[0092][0093]
表4各算法运行时间对比结果
[0094]
[0095][0096]
由上表4中各算法运行时间对比结果可知，本文算法在运行时间上优于其它六种算法，具有实时性，能满足交通场景实时图像去雾的要求。
[0097]
综上所述，本文算法在去雾的各性能指标方面优于其他六种算法，计算复杂度低、运行时间短，去雾效果好。
[0098]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。