基于多尺度方向共现滤波器与强度传递的图像融合方法

1.本发明涉及图像融合技术领域，尤其涉及一种基于多尺度方向共现滤波器与强度传递的图像融合方法。


背景技术：

2.近年来各领域对多传感器图像融合技术，尤其是红外与可见光图像融合的需求量激增，如侦察、辅助驾驶以及地质监测等领域。图像融合旨在组合多模态传感器的多组源图像成单一图像，达到全面展示图像信息、加强场景理解的目的。在红外与可见光图像融合技术中，红外传感器能在弱光或遮挡的环境中有效的反映出热辐射目标信息，这是可见光传感器所不具备的；同时，可见光传感器的高分辨率也是红外传感器的有效补充。红外与可见光图像融合方法能有效的利用两者的互补信息，并能充分地去除冗余信息。根据相关学者的研究，目前的红外与可见光图像融合方法可分为传统的方法和基于深度学习的方法。其中，基于耦合脉冲神经网络的融合算法是深度学习类的代表，相关学者进行了迁移应用，取得了不错的效果，但因为其对于训练原始数据的大量需求以及难以解释的网络结构等特点，目前只适用于特定的应用。而传统算法能解决上述问题。在传统算法中，以基于小波族以及多尺度几何分析为代表的多尺度变换的融合方法效果最为出众，是目前普遍采取的融合方法，原因在于其融合机制符合人眼视觉，能充分表现图像的内在特点。但是这类传统算法对于高频细节信息不加以区分，主要是在区分大尺度轮廓和小梯度变化内部区域内纹理信息方面仍然很困难。例如文献《aishwarya, n., and c. bennilathangammal. "visible and infrared image fusion using dtcwt and adaptive combined clustered dictionary." infrared physics & technology 93 (2018): 300-309》公开了采用改进的双树复小波变换（dtcwt）对红外与可见光图像进行融合，dtcwt是多尺度几何分析的典型代表算法，通过改进并利用dtcwt对源初始图像进行分解，并对分解出的高低频子带采用针对性的融合策略，解决了融合结果目标不突出的问题。但是该方法由于是将图像的细节信息全部分解到高频子带，加重了后续方向滤波器的方向表示与传递的负担，所以不仅最终的融合结果细节信息损失、边缘模糊，而且整体融合速度也较慢。又如公开号为cn114549379a的中国专利《非下采样剪切波变换域下的红外与可见光图像融合方法》通过设计提取残留在低频子带中的细节信息的低频融合策略，以及引导滤波优化加权的高频策略，解决了部分伪影问题和细节传递问题，但是仍因为采用的非下采样剪切波变换未能有效区分不同类型的细节信息而导致出现细节信息损失、边缘模糊的情况。通过使用基于共现滤波器的多尺度融合方法有效解决融合结果细节信息损失、边缘模糊、融合速度慢的问题，但是该方法缺乏方向性描述能力且不能调节最终融合图像的对比度，导致整体融合效果不佳，同时细节方向特征丢失和难以在复杂场景中突出目标的问题并没有很好的改善，仍需要进一步解决。


技术实现要素：

3.为了解决现有基于共现滤波器的多尺度融合方法存在的缺乏方向性描述能力、无法调节最终融合图像的对比度、整体融合效果不佳、细节方向特征丢失、融合后显著目标不突出的问题，本发明提供一种基于多尺度方向共现滤波器与强度传递的图像融合方法。
4.本发明为解决技术问题所采用的技术方案如下：
5.本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法，包括以下步骤：
6.步骤s1、源红外与可见光图像数据获取及预处理；
7.步骤s2、采用共现滤波器对预处理后的源红外与可见光图像进行滤波操作，实现初步分解；迭代使用共现滤波器对初步分解后的图像进行多尺度分解，得到多尺度红外细节层子图像、多尺度红外基础层子图像、多尺度可见光细节层子图像和多尺度可见光基础层子图像；
8.步骤s3、采用离散紧支撑剪切波变换对多尺度红外基础层子图像和多尺度可见光基础层子图像进行多方向分解，得到多尺度多方向红外基础层子图像和多尺度多方向可见光基础层子图像；
9.步骤s4、采用基于相位一致和强度测量的融合策略构建融合权重策略进行细节层子图像融合，得到融合后的多尺度细节层子图像；
10.步骤s5、设计自适应强度传递函数作为融合准则进行基础层子图像融合，得到融合后的不同方向的多尺度多方向基础层子图像；
11.步骤s6、对融合后的多尺度细节层子图像和不同方向的多尺度多方向基础层子图像进行重构得到最终的融合图像。
12.进一步的，步骤s1的具体操作步骤如下：
13.s1.1分别从红外相机和可见光相机中获取源红外图像和源可见光图像；
14.s1.2对源红外图像和源可见光图像分别进行图像去噪操作和图像增强操作。
15.进一步的，所述图像去噪操作采用基于滤波的去噪算法；所述图像增强操作采用基于场景拟合的图像增强算法。
16.进一步的，步骤s2的具体操作步骤如下：
17.s2.1初步分解；
18.利用预处理后的源红外与可见光图像中的共现信息分配像素权重，分别采用共现滤波器对预处理后的源红外与可见光图像进行滤波操作，实现初步分解，得到0级红外基础层子图像和0级可见光基础层子图像；将预处理后的源红外图像与0级红外基础层子图像相减得到0级红外细节层子图像，同时将预处理后的源可见光图像与0级可见光基础层子图像相减得到0级可见光细节层子图像；
19.s2.2多尺度分解；
20.对0级红外基础层子图像和0级可见光基础层子图像分别迭代使用共现滤波器滤波级相减操作算子进行多尺度分解，得到多尺度红外基础层子图像
ꢀꢀ
、多尺度可见光基础层子图像
ꢀꢀ
、多尺度红外细节层子图像
ꢀꢀ
和多尺度可见光细节层子图像 ，i=1
…
k，k表示分解级数。
21.进一步的，步骤s3的具体操作步骤如下：
22.分别利用构造好的水平离散剪切波变换和垂直离散剪切波变换对多尺度红外基础层子图像和多尺度可见光基础层子图像
ꢀꢀ
进行水平和垂直各k个方向的分解，得到水平方向的k个多尺度多方向红外基础层子图像 、垂直方向的k个多尺度多方向红外基础层子图像 、水平方向的k个多尺度多方向可见光基础层子图像
ꢀꢀ
、垂直方向的k个多尺度多方向可见光基础层子图像 、k个多尺度红外细节层子图像 和k个多尺度可见光细节层子图像
ꢀꢀ
。
23.进一步的，所述水平离散剪切波变换操作的计算公式如式(6)所示，所述垂直离散剪切波变换操作的计算公式如式(7)所示；
24.ꢀꢀ
(6)
25.，
ꢀꢀ
(7)
26.式中，k表示分解级数；n1和n2表示两个平移因子，，表示整数域的平方；s表示方向因子，取s=1,0,-1，s=1时表示45
°
方向，s=0时表示90
°
方向，s=-1时表示180
°
方向；表示向下取整操作；和分别表示水平离散剪切波变换和垂直离散剪切波变换；表示第k级分解时红外基础层子图像采用平移变换，表示第k级分解时红外基础层子图像经水平离散剪切波变换的等效变换，表示第k级分解时可见光基础层子图像采用平移变换，表示第k级分解时可见光基础层子图像经水平离散剪切波变换的等效变换，表示第k级分解时可见光基础层子图像经垂直离散剪切波变换的等效变换。
27.进一步的，步骤s4的具体操作步骤如下：
28.s4.1对步骤s2中得到的k个多尺度红外细节层子图像
ꢀꢀ
和k个多尺度可见光细节层子图像
ꢀꢀ
采用相位一致操作得到相位一致测度算子；所述相位一致测度算子的计算公式如下所示；
29.ꢀꢀ
(8)
30.(9)
31.式中，θk表示在分解级数k下的方向角，为第n项方向角为θk的傅里叶级
数的幅值，［e
n,θk
，o
n,θk
］为图像与log-gabor滤波器在位置(x,y)处的卷积结果；∑k表示对变量k作求和操作，∑n表示对变量n作求和操作；为一个小值正常数；
32.s4.2通过开窗法设计强度测量策略，如式(10)所示；
33.ꢀꢀ
(10)
34.式中， (
·
)表示在分解级数l下的强度测量算子，i
l
(x,y)表示在分解级数l下位置(x,y)处的多尺度细节层子图像像素值，i
l
(x0,y0)表示在分解级数l下位置(x0,y0)处的多尺度细节层子图像像素值，ω表示以位置为中心的局部开窗区域，表示开窗区域内的中心点像素；
35.s4.3结合相位一致法和强度测量策略构建融合权重策略，实现多尺度细节层子图像融合，得到一系列融合后的多尺度细节层子图像；所述融合权重策略如式(11)所示；
36.ꢀꢀ
(11)
37.式中，表示融合后的多尺度细节层子图像，d
ir
(x,y)表示红外细节层子图像，d
vi
(x,y)表示可见光细节层子图像， (
·
)表示在分解级数l下的相位一致测度算子。
38.进一步的，步骤s5的具体操作步骤如下：
39.s5.1对步骤s3中得到的水平方向的k个多尺度多方向红外基础层子图像、垂直方向的k个多尺度多方向红外基础层子图像，逐像素计算图像的局部能量；
40.ꢀꢀ
(12)
41.式中，e(x,y)表示图像的局部能量，w
le
(i,j)表示大小为i
×
j的局部能量窗口，1≤i≤3，1≤j≤3，b
ir
(x+i,y+j)表示对图像进行逐像素遍历操作；
42.s5.2对图像的局部能量进行归一化操作，得到基础层子图像特征分布表示算子p；
43.ꢀꢀ
(13)
44.式中，，e
max
(x,y)表示根据局部能量窗口计算出的局部能量最大值，e(x+i,y+j)表示对局部能量窗口中的局部能量值进行遍历操作；
45.s5.3对基础层子图像特征分布表示算子p引入比例参数，构建自适应强度传递函数分别对水平方向和垂直方向的多尺度多方向基础层子图像进行融合，得到融合后的水平方向的多尺度多方向红外基础层子图像、水平方向的多尺度多方向可见光基础层子图像、垂直方向的多尺度多方向红外基础层子图像、垂直方向的多尺度多方向可见光基础层子图像；融合操作的计算公式如式(14)所示；
[0046] (14)
[0047]
式中，表示多尺度多方向基础层子图像融合权重；γ表示引入的比例参数；arctan(
·
)表示反正切操作符；p表示基础层子图像特征分布表示算子；
[0048]
s5.4最终融合后的不同方向的多尺度多方向基础层子图像的表达式如下：
[0049]
ꢀꢀ
(15)
[0050]
式中，表示融合后的不同方向的多尺度多方向基础层子图像，当a=0时，表示融合后的水平方向的多尺度多方向基础层子图像，表示融合后的水平方向的多尺度多方向红外基础层子图像，表示融合后的水平方向的多尺度多方向可见光基础层子图像；当a=1时，表示融合后的垂直方向的多尺度多方向基础层子图像，表示融合后的垂直方向的多尺度多方向红外基础层子图像，表示融合后的垂直方向的多尺度多方向可见光基础层子图像；k表示方向因子。
[0051]
进一步的，步骤s6的具体操作步骤如下：
[0052]
利用离散紧支撑剪切波变换反操作对融合后的不同方向的多尺度多方向基础层子图像重构得到融合基础层图像，将融合基础层图像与融合后的多尺度细节层子图像进行相加操作得到最终的融合图像f。
[0053]
进一步的，所述融合基础层图像的计算公式如式(16)所示；所述融合图像f的计算公式如式(17)所示；
[0054]
ꢀꢀ
(16)
[0055]
ꢀꢀ
(17)
[0056]
式中，表示离散紧支撑剪切波变换反操作符，表示融合后的第i级多尺度细节层子图像；表示融合后的水平方向的多尺度多方向基础层子图像； 表示融合后的垂直方向的多尺度多方向基础层子图像。
[0057]
本发明的有益效果是：
[0058]
1）本发明可有效保留热辐射目标显著信息与更多的有效细节信息，并显著减少边缘模糊的情况；本发明有效平衡了不同尺度细节信息区分、强度调整与热辐射目标显著信息突出这三者之间的最优关系；
[0059]
2）本发明在分解阶段通过联合共现滤波器与离散紧支撑剪切波变换设计了多尺度方向共现滤波器，充分结合了共现滤波器和方向剪切波变换的优势，有效区分不同尺度的细节信息同时具备方向表示特性，在传递更多有效细节信息的同时减少了边缘模糊；
[0060]
3）本发明通过设计自适应强度传递函数作为基础层的融合策略，可显著提高融合图像的整体对比度与清晰度，实现对红外与可见光图像的有效融合，增强了图像质量，提高了整体融合效果；
[0061]
4）本发明的融合结果在细节信息的保留以及整体对比度调整上具有突出的效果，为后续的高级视觉图像处理系统提供高质量的增强融合图像；
[0062]
5）本发明还能够加快整个高级视觉图像处理系统的处理效率。
附图说明
[0063]
图1为本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法的流程
图；
[0064]
图2为本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法的具体实施过程示意图；
[0065]
图 3 为利用本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法对roadscene公开数据集中描述真实城市公路场景的源红外与可见光图像序列对进行融合的结果；
[0066]
图4为利用本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法对roadscene公开数据集中描述真实雨中道路场景的源红外与可见光图像序列对进行融合的结果；
[0067]
图5为利用本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法对tno公开数据集中描述真实野外布防场景的源红外与可见光图像序列对进行融合的结果。
具体实施方式
[0068]
下面将结合附图对本发明作进一步详细说明。
[0069]
本发明的一种基于多尺度方向共现滤波器与强度传递的图像融合方法，参见图1，其包括以下步骤：源红外与可见光图像数据获取及预处理
→
采用共现滤波器对预处理后的源红外与可见光图像进行滤波操作，实现初步分解；迭代使用共现滤波器对初步分解后的图像进行多尺度分解，得到多尺度红外细节层子图像、多尺度红外基础层子图像、多尺度可见光细节层子图像和多尺度可见光基础层子图像
→
采用离散紧支撑剪切波变换对多尺度红外基础层子图像和多尺度可见光基础层子图像进行多方向分解，得到多尺度多方向红外基础层子图像和多尺度多方向可见光基础层子图像
→
采用基于相位一致和强度测量的融合策略构建融合权重策略进行细节层子图像融合，得到融合后的多尺度细节层子图像
→
设计自适应强度传递函数作为融合准则进行基础层子图像融合，得到融合后的不同方向的多尺度多方向基础层子图像
→
对融合后的多尺度细节层子图像和不同方向的多尺度多方向基础层子图像进行重构得到最终的融合图像。
[0070]
本发明的一种基于多尺度方向共现滤波器与强度传递的图像融合方法，具体操作流程如下：
[0071]
步骤s1、源红外与可见光图像数据获取及预处理；具体操作步骤如下：
[0072]
s1.1获取源初始图像，具体地，可从红外相机中获取源红外图像，同时从可见光相机中获取源可见光图像；
[0073]
s1.2对上述所获取的源红外图像和源可见光图像分别进行预处理操作；预处理操作包括：图像去噪操作和图像增强操作；进行图像去噪操作时，具体可采用基于滤波的去噪算法进行图像去噪，进行图像增强操作时，具体可采用基于场景拟合的图像增强算法进行图像增强；通过对源初始图像进行图像去噪和图像增强操作，可消除源初始图像的部分噪声，初步提高源初始图像的对比度和清晰度；具体地，可通过式（1）实现对源初始图像的预处理操作，包括初步的图像去噪及图像增强操作；
[0074]
ꢀꢀ
(1)
[0075]
式(1)中，i表示经过预处理操作后的源红外与可见光图像数据矩阵，t(.)表示预处理操作，i’表示源红外与可见光图像。
[0076]
步骤s2、采用共现滤波器对预处理后的源红外与可见光图像进行滤波操作，实现初步分解；迭代使用共现滤波器对初步分解后的图像进行多尺度分解，得到多尺度红外细节层子图像、多尺度红外基础层子图像、多尺度可见光细节层子图像和多尺度可见光基础层子图像；具体操作步骤如下：
[0077]
s2.1初步分解；
[0078]
利用预处理后的源红外与可见光图像中的共现信息分配像素权重，分别采用共现滤波器对预处理后的源红外与可见光图像进行滤波操作，实现初步分解，从而得到0级红外基础层子图像
ꢀꢀ
和0级可见光基础层子图像
ꢀꢀ
，如式(2)和式(3)所示；将预处理后的源红外图像 i
ir 与0级红外基础层子图像
ꢀꢀ
相减得到0级红外细节层子图像
ꢀꢀ
，如式(2)所示，同时将预处理后的源可见光图像i
vi
与0级可见光基础层子图像 相减得到0级可见光细节层子图像 ，如式(3)所示；
[0079]
=cof(i
ir
) ，=cof(i
vi
)
ꢀꢀꢀ
(2)
[0080]
=i
ir-=i
vi
‑ꢀꢀ
(3)
[0081]
式(2)和式(3)中，cof(.)表示对图像采用共现滤波器进行滤波操作，表示0级红外基础层子图像，表示0级可见光基础层子图像，表示0级红外细节层子图像，表示0级可见光细节层子图像，i
ir
表示预处理后的源红外图像，i
vi
表示预处理后的源可见光图像；
[0082]
s2.2多尺度分解；
[0083]
随后对得到的0级红外基础层子图像和0级可见光基础层子图像分别迭代使用共现滤波器滤波级相减操作算子进行多尺度分解，最终得到多尺度红外基础层子图像、多尺度可见光基础层子图像 、多尺度红外细节层子图像 （i=1
…
k）和多尺度可见光细节层子图像 （i=1
…
k），k表示分解级数；
[0084]
以进行k级分解为例，对第i-1级红外基础层子图像
ꢀꢀ
进行共现滤波操作得到第i级红外基础层子图像
ꢀꢀ
，同时对第i-1级可见光基础层子图像 进行共现滤波操作得到第i级可见光基础层子图像 ；然后对第i-1级红外基础层子图像 和第i级红外基础层子图像
ꢀꢀ
进行相减操作，得到第i级红外细节层子图像
ꢀꢀ
，同时对第i-1级可见光基础层子图像
ꢀꢀ
和第i级可见光基础层子图像
ꢀꢀ
进行相减操作，得到第i级可见光细节层子图像
ꢀꢀ
；重复上述步骤k次，最终得到多尺度红外基础层子图像
ꢀꢀ
、多尺度可见光基础层子图像 、多尺度红外细节层子图像 （i=1
…
k）和多尺度可见光细节层子图像（i=1
…
k）；其中，第i-1级红外基础层子图像经过k级分解后得到第i级红外基础层子图像和第i级可见光基础层子图像的计算公式如式(4)所示，多尺度红外细节层子图像的计算公式和多尺度可见光细节层子图像的计算公
式如式(5)所示；
[0085]
ꢀꢀ
(4)
[0086]
(5)
[0087]
式(4)和式(5)中，表示第i级红外基础层子图像，表示第i-1级红外基础层子图像，表示第i级可见光基础层子图像，表示第i-1级可见光基础层子图像，表示第i级红外细节层子图像，表示。
[0088]
步骤s3、进一步采用离散紧支撑剪切波变换对多尺度红外基础层子图像和多尺度可见光基础层子图像进行多方向分解，得到多尺度多方向红外基础层子图像和多尺度多方向可见光基础层子图像；针对步骤s2的多尺度分解缺乏方向性的缺点，采用离散紧支撑剪切波变换对多尺度基础层子图像进行多方向分解，可提取出图像大尺度轮廓边缘；具体操作步骤如下：
[0089]
s3.1分别利用构造好的水平离散剪切波变换和垂直离散剪切波变换对步骤s2得到的多尺度红外基础层子图像 和多尺度可见光基础层子图像 进行水平和垂直各k（k表示方向因子）个方向的分解；其中，水平离散剪切波变换操作的计算公式如式(6)所示，垂直离散剪切波变换操作的计算公式如式(7)所示；
[0090]
ꢀꢀꢀ
(6)
[0091]
，
ꢀꢀ
(7)
[0092]
式(6)和式(7)中，k表示分解级数；n1和n2表示两个平移因子，，表示整数域的平方；s表示方向因子，取s=1,0,-1，s=1时表示45
°
方向，s=0时表示90
°
方向，s=-1时表示180
°
方向；表示向下取整操作； 和 分别表示水平离散剪切波变换和垂直离散剪切波变换；表示第k级分解时红外基础层子图像采用平移变换， 表示第k级分解时红外基础层子图像经水平离散剪切波变换的等效变换，表示第k级分解时可见光基础层子图像采用平移变换，
[0093]
表示第k级分解时可见光基础层子图像经水平离散剪切波变换的等效变换，表示第k级分解时可见光基础层子图像经垂直离散剪切波变换的等效变换；
[0094]
s3.2经过水平离散剪切波变换和垂直离散剪切波变换后，多尺度红外基础层子图像 和多尺度可见光基础层子图像 被分解为2k个方向，也即水平和垂直各k个方
向；其中，多方向分解后获得的多尺度多方向基础层子图像数据集合可表示为
ꢀꢀ
，其中， 分别表示经水平离散剪切波变换和垂直离散剪切波变换后得到的多尺度多方向红外基础层子图像， 分别表示经水平离散剪切波变换和垂直离散剪切波变换后得到的多尺度多方向可见光基础层子图像；
[0095]
s3.3取水平和垂直各三个方向，也即方向因子k=3，s=1,0,-1；经过多方向分解后，得到水平方向的k个多尺度多方向红外基础层子图像 、垂直方向的k个多尺度多方向红外基础层子图像 、水平方向的k个多尺度多方向可见光基础层子图像 和垂直方向的k个多尺度多方向可见光基础层子图像 ，以及k个多尺度红外细节层子图像 。
[0096]
步骤s4、细节层子图像融合；
[0097]
采用基于相位一致和强度测量的融合策略对上述获得的k个多尺度红外细节层子图像和k个多尺度可见光细节层子图像进行融合操作，得到一系列融合后的多尺度细节层子图像，以传递更多纹理细节；具体操作步骤如下：
[0098]
s4.1首先对上述获得的k个多尺度红外细节层子图像和k个多尺度可见光细节层子图像采用工程应用的相位一致操作，得到相位一致测度算子，用于设计后续的融合策略；其中，相位一致测度算子的计算公式如下所示；
[0099]
ꢀꢀ
(8)
[0100]
(9)
[0101]
式(8)和(9)中，θk表示在分解级数k下的方向角，为第n项方向角为θk的傅里叶级数的幅值，［e
n,θ k
，o
n,θ k
］为图像（多尺度红外细节层子图像或）与log-gabor滤波器在位置(x,y)处的卷积结果；∑k表示对变量k作求和操作，∑n表示对变量n作求和操作；为一个小值正常数，用于防止分母为0；
[0102]
s4.2随后通过开窗法设计强度测量策略，如式(10)所示；
[0103]
ꢀꢀ
(10)
[0104]
式(10)中，n
l (
·
)表示在分解级数l下的强度测量算子，i
l (x,y)表示在分解级数l下位置(x,y)处的多尺度细节层子图像像素值，i
l (x0,y0)表示在分解级数l下位置(x0,y0)处的多尺度细节层子图像像素值，ω表示以位置(x0,y0)为中心的局部开窗区域，(x0,y0)表示开窗区域内的中心点像素；
[0105]
s4.3最后结合相位一致法和强度测量策略构建融合权重策略，从而实现多尺度细节层子图像融合，得到一系列融合后的多尺度细节层子图像，以传递更多纹理细节；其中，
多尺度细节层子图像的融合权重策略如式(11)所示；
[0106]
ꢀꢀ
(11)
[0107]
式(11)中，df(x,y)表示融合后的多尺度细节层子图像，d
ir
(x,y)表示红外细节层子图像，d
vi
(x,y)表示可见光细节层子图像，p
l
(
·
)表示在分解级数l下的相位一致测度算子。
[0108]
步骤s5、基础层子图像融合；
[0109]
通过设计自适应强度传递函数作为多尺度多方向基础层子图像的融合准则，采用红外图像基础层像素强度分布信息调节多尺度多方向基础层子图像强度分布，突出显示热辐射目标显著信息，完成不同方向上的多尺度多方向基础层子图像的融合，利用红外基础层图像的强度分布引导最终的融合结果，确保融合后的基础层图像具有高对比度特征；具体操作步骤如下：
[0110]
s5.1首先，针对步骤s3中得到的水平方向的k个多尺度多方向红外基础层子图像和垂直方向的k个多尺度多方向红外基础层子图像，逐像素计算图像的局部能量；
[0111]
ꢀꢀ
(12)
[0112]
式(12)中，e(x,y)表示图像的局部能量，w
le
(i,j)表示大小为i
×
j的局部能量窗口，1≤i≤3，1≤j≤3，b
ir
(x+i,y+j)表示对图像进行逐像素遍历操作；
[0113]
s5.2对上述计算得到的局部能量进行归一化操作，得到基础层子图像特征分布表示算子p；
[0114]
ꢀꢀ
(13)
[0115]
式(13)中，，e
max
(x,y)表示根据局部能量窗口计算出的局部能量最大值，e(x+i,y+j)表示对局部能量窗口中的局部能量值进行遍历操作；
[0116]
s5.3之后对基础层子图像特征分布表示算子p引入比例参数，构建自适应强度传递函数对多尺度多方向基础层子图像进行融合，调节多尺度多方向基础层子图像强度分布，即分别对水平方向和垂直方向的多尺度多方向基础层子图像进行融合，得到融合后的水平方向的多尺度多方向红外基础层子图像、融合后的水平方向的多尺度多方向可见光基础层子图像、融合后的垂直方向的多尺度多方向红外基础层子图像和融合后的垂直方向的多尺度多方向可见光基础层子图像；融合操作的具体计算公式如式(14)所示；
[0117] (14)
[0118]
式(14)中，表示多尺度多方向基础层子图像融合权重；γ表示引入的比例参数，用于更好的调控多尺度多方向基础层子图像融合权重；arctan(
·
)表示反正切操作符；p表示基础层子图像特征分布表示算子；
[0119]
s5.4最终融合后的不同方向的多尺度多方向基础层子图像的表达式如下：
[0120]
ꢀꢀ
(15)
[0121]
式(15)中， 表示融合后的不同方向的多尺度多方向基础层子图像，当a=0时， 表示融合后的水平方向的多尺度多方向基础层子图像， 表示融合后的水平方向的多尺度多方向红外基础层子图像， 表示融合后的水平方向的多尺度多方向可见光基础层子图像；当a=1时， 表示融合后的垂直方向的多尺度多方向基础层子图像， 表示融合后的垂直方向的多尺度多方向红外基础层子图像， 表示融合后的垂直方向的多尺度多方向可见光基础层子图像；k表示方向因子。
[0122]
步骤s6、重构融合后的多尺度细节层子图像（步骤四所得结果）与融合后的不同方向的多尺度多方向基础层子图像（步骤五所得结果）得到最终的融合图像f；具体操作步骤如下：
[0123]
利用离散紧支撑剪切波变换反操作对融合后的不同方向的多尺度多方向基础层子图像重构得到融合基础层图像bf，最后将融合基础层图像bf与融合后的多尺度细节层子图像进行简单的相加操作即可得到最终的融合图像f，其具体计算公式如下所示；
[0124]
ꢀꢀ
(16)
[0125]
ꢀꢀ
(17)
[0126]
式(16)和式(17)中，表示离散紧支撑剪切波变换反操作符，表示融合后的第i级多尺度细节层子图像； 表示融合后的水平方向的多尺度多方向基础层子图像； 表示融合后的垂直方向的多尺度多方向基础层子图像。
[0127]
为了验证本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法的有效性，特进行以下验证性试验。
[0128]
如图2所示，按照本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法，（1）首先从红外相机中获取源红外图像（图2中a），同时从可见光相机中获取源可见光图像（图2中b）；（2）采用共现滤波器对预处理后的源红外与可见光图像进行滤波操作，实现初步分解，然后通过迭代使用共现滤波器对初步分解后的图像进行多尺度分解，得到多尺度红外基础层子图像（图2中c）、多尺度可见光基础层子图像（图2中d）、多尺度红外细节层子图像（图2中e）、多尺度可见光细节层子图像（图2中f）；（3）采用离散紧支撑剪切波变换对多尺度红外基础层子图像和多尺度可见光基础层子图像进行多方向分解，得到多尺度多方向红外基础层子图像和多尺度多方向可见光基础层子图像；（4）采用基于相位一致和强度测量的融合策略构建融合权重策略对多尺度红外细节层子图像（图2中e）和多尺度可见光细节层子图像（图2中f）进行细节层子图像融合，得到融合后的多尺度细节层子图像（图2中h）；（5）设计自适应强度传递函数作为融合准则对多尺度红外基础层子图像（图2中c）和多尺度可见光基础层子图像（图2中d）进行基础层子图像融合，得到融合后的不同方向的多尺度多方向基础层子图像（图2中g）；（6）对融合后的多尺度细节层子图像和不同方向的多尺
度多方向基础层子图像进行重构得到最终的融合图像（图2中f）。
[0129]
利用本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法对roadscene公开数据集中描述真实城市公路场景的源红外与可见光图像序列对进行融合，结果如图3所示，第一排为描述真实城市公路场景的源红外图像，第二排为描述真实城市公路场景的源可见光图像，第三排为最终融合后的图像。
[0130]
利用本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法对roadscene公开数据集中描述真实雨中道路场景的源红外与可见光图像序列对进行融合，结果如图4所示，第一排为描述真实雨中道路场景的源红外图像，第二排为描述真实雨中道路场景的源可见光图像，第三排为最终融合后的图像。
[0131]
利用本发明的基于多尺度方向共现滤波器与强度传递的图像融合方法对tno公开数据集中描述真实野外布防场景的源红外与可见光图像序列对进行融合，结果如图5所示，第一排为描述真实野外布防场景的源红外图像，第二排为描述真实野外布防场景的源可见光图像，第三排为最终融合后的图像。
[0132]
综上，本发明通过设计多方向共现滤波器对源初始图像进行多尺度多方向分解，能对图像区域内的大尺度轮廓信息和小梯度纹理信息加以区分，并且具备良好的方向表示能力；通过设计自适应强度传递函数融合多方向基础层子图像，可有效调节图像的整体对比度和清晰度；在细节层子图像融合方面，采用基于相位一致和强度测量的策略构建融合权重，给最终的融合结果传递更多纹理细节；此外，本发明的方法简单易操作，仅仅调整几个参数就可以平衡算法的质量和效率，可为后续高级视觉处理过程提供必要的技术支持。
[0133]
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用；任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。