本发明属于图像处理技术领域，更具体地，涉及一种基于毫米波与可见光图像融合的去雾方法。
背景技术
雾霾是陆地和海洋的常见天气现象。大多数室外视觉系统，如视频监控、智能导航、卫星遥感检测以及目标识别跟踪等，都极易受雾霾天气的影响。在雾霾天气下，空气中含有许多大气颗粒，它们不仅会吸收和散射周围场景反射的光，还会将大气光散射到成像设备，从而导致视觉系统感知的图像质量退化，存在模糊、对比度低、颜色失真等问题，对后续基于小特征或高频率的计算机视觉算法造成干扰，使它们难以检测到图像中的目标和障碍物，这将严重影响视觉系统，特别是可见光视觉系统。这对于视觉系统自动化视频处理(如特征提取，目标跟踪和对象识别)是非常不利的，也是空中、海上和路上出事故的主要原因之一。
为了使室外视觉系统在恶劣天气条件下稳健可靠，提高视觉系统的环境适应性变得尤为重要。针对雾霾天气，当前主要手段是通过设计图像去雾算法来提高视觉系统的性能。图像去雾的主要目标是恢复场景的颜色和细节信息。
随着计算机技术的发展，视频和图像去雾算法受到了众多研究者的关注，并被广泛应用于民用和军事领域，如遥感、目标检测和交通监控。由于去雾问题具有交叉学科的特点，同时涉及天气条件的随机性和复杂性，当前的去雾方法都有一定的局限性。探索出更全面、具有普适性且效果更好的去雾方法，一直都是研究者们关注的热点问题，也是一个有挑战性的课题。
技术实现要素：
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于毫米波与可见光图像融合的去雾方法，由此解决现有图像去雾方法在浓雾天气条件下可能会丢失场景信息、去雾效果差的技术问题。
为实现上述目的，本发明提供了一种基于毫米波与可见光图像融合的去雾方法，包括：
(1)采集同一场景的可见光图像与毫米波图像并配准，然后提取可见光图像的亮度分量得到亮度图像；
(2)根据毫米波图像中每个像素点的权重值，得到毫米波图像的权重图，根据亮度图像中每个像素点的权重值，得到亮度图像的权重图；
(3)对毫米波图像进行拉普拉斯金字塔分解得到毫米波图像的拉普拉斯金字塔，对亮度图像进行拉普拉斯金字塔分解得到亮度图像的拉普拉斯金字塔，利用毫米波图像的权重图和亮度图像的权重图对毫米波图像的拉普拉斯金字塔与亮度图像的拉普拉斯金字塔进行融合，得到融合图像；
(4)利用可见光图像与毫米波图像建立雾天图像退化模型，利用雾天图像退化模型对融合图像进行去雾，得到去雾图像。
进一步地，步骤(1)包括：
采集同一场景的可见光图像与毫米波图像并配准，然后将可见光图像从rgb色彩空间转到hsv色彩空间，提取可见光图像在hsv色彩空间的亮度分量得到亮度图像。
进一步地，每个像素点的权重值为每个像素点的归一化局部熵、局部对比度与可见度的乘积。
进一步地，步骤(2)还包括：
对毫米波图像的权重图和亮度图像的权重图进行归一化处理，使得毫米波图像的权重图和亮度图像的权重图中每个像素点的权重值的范围为0-1。
进一步地，步骤(3)包括：
对毫米波图像进行拉普拉斯金字塔分解得到毫米波图像的拉普拉斯金字塔，对亮度图像进行拉普拉斯金字塔分解得到亮度图像的拉普拉斯金字塔，利用毫米波图像的权重图和亮度图像的权重图对毫米波图像的拉普拉斯金字塔与亮度图像的拉普拉斯金字塔进行融合，得到融合图像的拉普拉斯金字塔，对融合图像的拉普拉斯金字塔进行逆变换得到融合图像，将融合图像作为新的亮度分量与可见光图像的色调与饱和度结合，得到hsv色彩空间下的融合图像，将hsv色彩空间下的融合图像转换至rgb色彩空间，得到rgb色彩空间下的融合图像。
进一步地，步骤(4)包括：
用毫米波图像替换可见光图像的亮度分量，保持可见光图像的色调和饱和度的值不变，得到rgb色彩空间下的毫米波图像，将rgb色彩空间下的毫米波图像作为不受大气光影响的图像，利用可见光图像与不受大气光影响的图像建立雾天图像退化模型，利用雾天图像退化模型对融合图像进行去雾，得到去雾图像。
进一步地，雾天图像退化模型为：
其中，i1(x)为可见光图像中像素点x的灰度值，i2(x)为不受大气光影响的图像中像素点x的灰度值，a为雾天图像退化模型的大气光值，t(x)为像素点x的透射率。
进一步地，步骤(4)还包括：
利用暗通道先验算法求得雾天图像退化模型的大气光值。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明利用毫米波图像来对可见光图像进行去雾，毫米波辐射在云、雾、烟雾、雪和沙尘暴中的衰减远小于可见光，说明毫米波具有较强的透雾能力且成像系统受恶劣天气条件的影响较小，因此，本发明方法可有效解决可见光成像系统在浓雾天气条件下可能会丢失场景信息的问题。本发明能提高浓雾天气条件下的图像去雾效果。
(2)本发明可适用于任何有雾图像的去雾处理，尤其适用于浓雾天气条件下的图像去雾，对于恶劣环境具有很好的鲁棒性，本发明的图像去雾方法对于计算机视觉系统具有重要意义，可用于视频监控、智能导航、卫星遥感检测以及目标识别跟踪等领域。
附图说明
图1是本发明实施例提供的一种基于毫米波与可见光图像融合的去雾方法的流程图；
图2(a)是本发明实施例1提供的第一种雾浓度天气下的可见光图像；
图2(b)是本发明实施例1提供的第一种雾浓度天气下的毫米波图像；
图2(c)是本发明实施例1提供的第二种雾浓度天气下的可见光图像；
图2(d)是本发明实施例1提供的第二种雾浓度天气下的毫米波图像；
图2(e)是本发明实施例1提供的第三种雾浓度天气下的可见光图像；
图2(f)是本发明实施例1提供的第三种雾浓度天气下的毫米波图像；
图3(a)是本发明实施例1提供的第一种雾浓度天气下的可见光图像的权重图；
图3(b)是本发明实施例1提供的第一种雾浓度天气下的毫米波图像的权重图；
图3(c)是本发明实施例1提供的第二种雾浓度天气下的可见光图像的权重图；
图3(d)是本发明实施例1提供的第二种雾浓度天气下的毫米波图像的权重图；
图3(e)是本发明实施例1提供的第三种雾浓度天气下的可见光图像的权重图；
图3(f)是本发明实施例1提供的第三种雾浓度天气下的毫米波图像的权重图；
图4(a)是本发明实施例1提供的第一种雾浓度天气下的融合图像；
图4(b)是本发明实施例1提供的第二种雾浓度天气下的融合图像；
图4(c)是本发明实施例1提供的第三种雾浓度天气下的融合图像；
图5(a)是本发明实施例1提供的第一种雾浓度天气下的去雾图像；
图5(b)是本发明实施例1提供的第二种雾浓度天气下的去雾图像；
图5(c)是本发明实施例1提供的第三种雾浓度天气下的去雾图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，一种基于毫米波与可见光图像融合的去雾方法，包括：
(1)采集同一场景的可见光图像与毫米波图像并配准，然后将可见光图像从rgb色彩空间转到hsv色彩空间，提取可见光图像在hsv色彩空间的亮度分量得到亮度图像。
(2)根据毫米波图像中每个像素点的权重值，得到毫米波图像的权重图，根据亮度图像中每个像素点的权重值，得到亮度图像的权重图；每个像素点的权重值为每个像素点的归一化局部熵、局部对比度与可见度的乘积。对毫米波图像的权重图和亮度图像的权重图进行归一化处理，使得毫米波图像的权重图和亮度图像的权重图中每个像素点的权重值的范围为0-1。
(3)对毫米波图像进行拉普拉斯金字塔分解得到毫米波图像的拉普拉斯金字塔，对亮度图像进行拉普拉斯金字塔分解得到亮度图像的拉普拉斯金字塔，利用毫米波图像的权重图和亮度图像的权重图对毫米波图像的拉普拉斯金字塔与亮度图像的拉普拉斯金字塔进行融合，得到融合图像的拉普拉斯金字塔，对融合图像的拉普拉斯金字塔进行逆变换得到融合图像，将融合图像作为新的亮度分量与可见光图像的色调与饱和度结合，得到hsv色彩空间下的融合图像，将hsv色彩空间下的融合图像转换至rgb色彩空间，得到rgb色彩空间下的融合图像。
(4)用毫米波图像替换可见光图像的亮度分量，保持可见光图像的色调和饱和度的值不变，得到rgb色彩空间下的毫米波图像，将rgb色彩空间下的毫米波图像作为不受大气光影响的图像，利用可见光图像与不受大气光影响的图像建立雾天图像退化模型，利用雾天图像退化模型对融合图像进行去雾，得到去雾图像。雾天图像退化模型为：
其中，i1(x)为可见光图像中像素点x的灰度值，i2(x)为不受大气光影响的图像中像素点x的灰度值，a为雾天图像退化模型的大气光值，t(x)为像素点x的透射率。利用暗通道先验算法求得雾天图像退化模型的大气光值。
关于融合过程：对毫米波图像的权重图和亮度图像的权重图进行高斯金字塔分解得到毫米波图像的权重图和亮度图像的权重图的多级分解图，毫米波图像的权重图和亮度图像的权重图的多级分解图中每个像素点的权重值表明可见光图像或毫米波图像在融合图像中占据的比重，例如：可见光图像的亮度图像在某个像素点处的值为a，亮度图像的权重图的多级分解图中该点处的值为0.4；毫米波图像在该点处的值为b，毫米波图像的权重图的多级分解图中该点处的值为0.6，则融合图像在该点处的值为0.4a+0.6b。
散射是造成雾天图像对比度下降的主要原因。当大气颗粒尺寸小于光波波长时，散射遵循瑞利定律，即入射光波长越长，散射程度越小。而毫米波波长范围为1mm～1cm，大于可见光与红外光，在空气中传播时不易被散射，具有较强的穿透能力，因此毫米波成像系统受雾霾影响程度较小，是一种有效的去雾手段。然而毫米波图像受天线孔径的限制，分辨率较低，不能提供场景的细节信息，因此本发明将毫米波图像与可见光图像融合是图像去雾，目的在于利用毫米波的透雾特性，提高浓雾天气条件下的去雾效果。
实施例1
在不同雾浓度天气下拍摄三组可见光图像与毫米波图像，一种基于毫米波与可见光图像融合的去雾方法，包括：
(1)采集第一种雾浓度天气下的可见光图像和毫米波图像，如图2(a)和图2(b)所示，采集第二种雾浓度天气下的可见光图像和毫米波图像，如图2(c)和图2(d)所示，采集第三种雾浓度天气下的可见光图像和毫米波图像，如图2(e)和图2(f)所示，对同一场景的可见光图像与毫米波图像并配准，然后将可见光图像从rgb色彩空间转到hsv色彩空间，提取可见光图像在hsv色彩空间的亮度分量得到亮度图像。
(2)根据毫米波图像中每个像素点的权重值，得到毫米波图像的权重图，根据亮度图像中每个像素点的权重值，得到亮度图像的权重图；每个像素点的权重值为每个像素点的归一化局部熵、局部对比度与可见度的乘积。对毫米波图像的权重图和亮度图像的权重图进行归一化处理，使得毫米波图像的权重图和亮度图像的权重图中每个像素点的权重值的范围为0-1。进而得到第一种雾浓度天气下的可见光图像和毫米波图像的权重图，如图3(a)和图3(b)所示，第二种雾浓度天气下的可见光图像和毫米波图像的权重图，如图3(c)和图3(d)所示，第三种雾浓度天气下的可见光图像和毫米波图像的权重图，如图3(e)和图3(f)所示，
(3)对毫米波图像进行拉普拉斯金字塔分解得到毫米波图像的拉普拉斯金字塔，对亮度图像进行拉普拉斯金字塔分解得到亮度图像的拉普拉斯金字塔，利用毫米波图像的权重图和亮度图像的权重图对毫米波图像的拉普拉斯金字塔与亮度图像的拉普拉斯金字塔进行融合，得到融合图像的拉普拉斯金字塔，对融合图像的拉普拉斯金字塔进行逆变换得到融合图像，将融合图像作为新的亮度分量与可见光图像的色调与饱和度结合，得到hsv色彩空间下的融合图像，将hsv色彩空间下的融合图像转换至rgb色彩空间，进而得到如图4(a)所示的第一种雾浓度天气下的融合图像，图4(b)所示的第二种雾浓度天气下的融合图像，图4(c)所示的第三种雾浓度天气下的融合图像。
(4)用毫米波图像替换可见光图像的亮度分量，保持可见光图像的色调和饱和度的值不变，得到rgb色彩空间下的毫米波图像，将rgb色彩空间下的毫米波图像作为不受大气光影响的图像，利用可见光图像与不受大气光影响的图像建立雾天图像退化模型，利用雾天图像退化模型对融合图像进行去雾，进而得到如图5(a)所示的第一种雾浓度天气下的去雾图像，图5(b)所示的第二种雾浓度天气下的去雾图像，图5(c)所示的第三种雾浓度天气下的去雾图像。雾天图像退化模型为：
其中，i1(x)为可见光图像中像素点x的灰度值，i2(x)为不受大气光影响的图像中像素点x的灰度值，a为雾天图像退化模型的大气光值，t(x)为像素点x的透射率。利用暗通道先验算法求得雾天图像退化模型的大气光值。
本实施例中，利用本发明提供的基于毫米波与可见光图像融合的去雾方法可对有雾可见光图像进行去雾。在雾浓度较大的场景下，当可见光图像完全被雾掩盖，信息完全丢失，传统的去雾方法效果十分有限。然而，本发明提供的方法，并不受浓雾的影响，能提高去雾的效果。
图像去雾算法对于计算机视觉系统具有重要意义，可用于视频监控、智能导航、卫星遥感检测以及目标识别跟踪等领域。本发明提供的一种基于毫米波与可见光图像融合的去雾方法，依托于毫米波辐射在云、雾、烟雾、雪和沙尘暴中的衰减远小于可见光的优势，利用图像融合技术，有效提高在浓雾天气条件下的去雾效果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。