一种基于侧窗引导滤波的红外与可见光图像融合方法与流程

[0001]
本发明涉及图像处理技术领域，特别是涉及一种基于侧窗引导滤波的红外光图像和可见光图像融合方法。


背景技术：

[0002]
对于相同的应用场景，不同波段的图像传感器可以反映不同的场景信息。不同光谱波段的图像融合是计算机视觉和图像处理领域的研究热点之一。红外光和可见光有不同的成像原理。红外成像传感器捕捉物体发出的热辐射，对热目标极其敏感，但缺乏背景纹理细节。可见光图像传感器可以捕捉到更多的场景细节和纹理信息，但容易受到成像场景的干扰。例如，光照条件、雾、遮挡等，都会严重影响图像质量。红外与可见光图像融合可以提供更多的互补信息，更有利于人眼观察或计算机视觉分析。近年来，红外与可见光图像融合在视频融合、夜色视觉、生物识别、遥感、军事、农业等领域得到了广泛的应用。
[0003]
在过去的几十年里，大量的图像融合方法被提出并应用于不同的领域，其中基于多尺度分解的方法、基于稀疏表示的方法，基于主成分分析的方法这三类是最常用的。目前基于多尺度分解的方法是最热门，使用最广泛的方法。然而这些方法普遍存在计算效率低，融合的图像对比度低，目标不够突出，容易出现光晕和伪影现象等缺点。


技术实现要素：

[0004]
为了克服现有技术的不足，本发明的目的是提供一种基于侧窗引导滤波的红外和可见光图像融合的方法。首先，使用高斯滤波对输入的红外和可见光图像进行多尺度分解，得到包含大尺度信息的基础层图像和包含小尺度信息的细节层图像。然后，在不同的尺度分解图像中使用不同的融合策略。基础层融合的权重系数通过计算输入的红外和可见光图像的相关系数得到，保证融合图像有足够的对比度。细节层的权重图通过最大绝对值规则获得初始权重图，并使用侧窗引导滤波优化得到细节层的融合权重图。最后，通过线性相加得到最终的融合图像。
[0005]
本发明利用高斯滤波多尺度图像分解和侧窗引导滤波优化权重图方法，提出了一种基于侧窗引导滤波优化权重图的红外与可见光图像融合方法，其主要思路是：1：利用了高斯滤波器多尺度分解工具，能够有效的分离尺度图像。把输入源图像分解为包含大尺度信息的基础层和包含小尺度信息的细节层，在不同的尺度层采用不同的融合策略进行融合。同时，利用线性相加重建融合图像，有助于提升融合图像信息的丰富程度，降低算法复杂度，提高效率。
[0006]
2：采用了基于侧窗滤波的红外与可见光图像融合算法能够有效的优化细节层图像融合的权重图。通过计算输入的红外和可见光图像的相关系数得到基础层的权重系数，不仅可以保持融合图像的整体对比度，获得比较好的视觉效果，还提高了算法的鲁棒性。同时，利用侧窗引导滤波优化通过最大绝对值得到的细节层融合初始权重。将原始输入图像作为侧窗引导滤波的引导图像，通过设置侧窗引导滤波器的滤波半径和标准差参数，可以
得到不同粗糙程度的细节层初始权重优化效果，使得细节层图像的显著信息得以最大程度的保留。
[0007]
一种基于侧窗引导滤波的红外与可见光图像融合方法，包括以下步骤：第1步：多尺度分解得到基础层对输入的红外源图像和可见光源图像，使用高斯滤波器得到处理源图像，得到包含大尺度信息的基础层图像，源图像与基础层图像相减得到包含小尺度信息的细节层图像，其过程如下：其中，表示高斯滤波操作，和分别表示高斯滤波的半径和标准差。和分别对应多尺度分解的红外和可见光基础层图像。
[0008]
高斯滤波器是数字图像处理领域比较常用的滤波器，特点是计算简单，平滑效果良好。使用高斯滤波对输入的红外和可见光图像进行多尺度分解，通过设置高斯滤波器不同的滤波半径和标准差参数，能够有效的分离出不同的尺度信息。同时分解的过程保持能够保留不同尺度的图像边缘信息，有助于最终融合效果的提升。
[0009]
第2步：多尺度分解得到细节层层红外源图像和可见光源图像与基础层图像相减得到包含小尺度信息的细节层图像，其过程如下：其中，和分别对应多尺度分解的红外和可见光细节层图像。
[0010]
第3步：基础层权重系数获取通过计算输入的红外源图像和可见光源图像之间的相关系数，来得到基础层图像融合的权重系数，其过程如下所示：其中，代表输入的源图像的相关系数。随后，根据源图像的相关系数分别分配红外和可见光基础层图像融合的权重系数：其中，和分别对应红外和可见光基础层图像融合的权重系数。通过计算相关系数
获取基础层融合系数，可以使得最终的融合图像获得良好的对比度，同时也提高了整个融合算法的鲁棒性。
[0011]
第4步：基础层权重系数获取对于步骤4得到的红外和可见光细节层图像，利用最大绝对值规则得到细节层初始权重图，过程表示如下：其中，代表红外图像的细节层初始权重图，代表可见光图像的细节层初始权重图。随后，使用侧窗引导优化细节层初始权重，过程表示如下：其中，表示侧窗引导滤波操作，表示侧窗引导滤波器的尺寸。表示侧窗引导滤波器的标准差，可以控制模糊程度。和是输入的红外和可见光源图像，这里作为侧窗引导滤波的引导图像。和分别对应红外和可见光细节层图像融合的权重图。
[0012]
在细节层初始权重图提取的过程中，利用了最大绝对值规则，能够有效的提取输入的红外和可见光图像的显著性信息，突出目标物。侧窗引导滤波用于优化细节层初始权重图，可以大大的改善融合图像的视觉效果，避免光晕和伪影现象的产生。将原始输入图像作为侧窗引导滤波的引导图像，通过设置侧窗引导滤波器的滤波半径和标准差参数，可以得到不同粗糙程度的细节层初始权重优化效果，有助于最终融合效果的提升。
[0013]
第5步：初步融合基础层和细节层利用步骤3和步骤4得到的红外和可见光基础层和细节层的权重，初步融合基础层和细节层，其过程如下所示：其中，代表红外和可见光图像的基础层融合图像，代表红外和可见光图像的细节层融合图像。
[0014]
第6步：融合图像的加权重建对于步骤5得到的基础层和细节层融合图像，利用两个图层相加得到最终的融合图像，过程如下所示：
其中，为最终的融合结果。
[0015]
本发明的有益效果是：针对红外与可见光图像融合技术，利用高斯滤波对输入的红外与可见光源图像进行多尺度分解，得到包含大尺度信息的基础层和包含小尺度信息的细节层。在基础层融合过程中，利用源图像的相关系数进行融合，保证最终融合图像的对比度和鲁棒性。细节层的融合结合侧窗引导滤波优化通过最大绝对值规则得到的细节层初始权重，可以大大的改善融合图像的视觉效果，避免光晕和伪影现象的产生。在本发明中，只要输入同一场景的红外与可见光图像，就能够进行有效的多尺度融合，得到高质量的融合图像。
附图说明
[0016]
图1为算法流程图；图2(a)为输入的红外图像；图2(b)为输入的可见光图像；图3(a)为红外图像多尺度分解的基础层；图3(b)为红外图像多尺度分解的细节层；图4(a)为可见光图像多尺度分解的基础层；图4(b)为可见光图像多尺度分解的细节层；图5(a)为红外图像细节层的初始权重；图5(b)为可见光图像细节层的初始权重；图6(a)为红外图像的融合权重图；图6(b)为可见光图像的融合权重图；图7(a)为基础层融合图；图7(b)为细节层融合图；图8为红外与可见光融合图像结果。
具体实施方式
[0017]
下面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。
[0018]
图1所示本发明的流程图。
[0019]
图2 为一组同一场景的红外与可见光图像的例子，其中图2(a)为输入的红外图像，图2(b)为输入的可见光图像。
[0020]
图3-图4展示了利用高斯滤波多尺度分解的图层。图3(a)和图4(a)分别为红外和可见光源图像分解得到的基础层，主要包含了图像中的大尺度信息。图3(b)和图4(b)分别为红外和可见光源图像分解得到的细节层，主要包含了图像中的小尺度信息。图5(a)和图5(b)分别为红外和可见光图像细节层的初始权重，反映了各自图像中的人眼视觉最感兴趣的区域。图6(a)和图6(b)分别为红外和可见光图像的初始权重图经过侧窗引导滤波后获得的细节层融合权重图，有助于克服伪影光晕，同时具有更好的主观视觉效果。
[0021]
侧窗引导滤波原理参见yin h, gong y, qiu g, et al. side window guided filtering[j]. signal processing, 2019: 315-330.
本实施例中，利用高斯滤波对输入的红外和可见光源图像进行尺度分解时，设置，，分别得到对应的基础层图像和细节层图像。
[0022]
通过计算输入的红外和可见光源图像之间的相关系数来得到基础层的融合系数，红外和可见光的基础层图像按照相关系数的数值，通过线性加权求和得到基础层融合图像。
[0023]
本实施例中，通过最大绝对值规则得到细节层的初始权重图，然后利用侧窗引导滤波优化细节层的初始权重图，得到细节层的融合权重图。其中，利用输入的红外和可见光源图像作为侧窗引导滤波的引导图像，设置，。
[0024]
借助细节层融合权重图和细节层图像线性加权求和，得到红外和可见光细节层融合图像。
[0025]
最后，通过红外和可见光的基础层融合图像和细节层融合图像线性相加，重建得到最终的融合图像，最终的融合结果如图8所示，融合图像具有较好的对比度，同时也较好的保留了红外和可见光图像中的显著性信息，具有良好的主观视觉效果。