非下采样剪切波变换域下的红外与可见光图像融合方法

1.本发明涉及图像处理技术领域，具体为非下采样剪切波变换域下的红外与可见光图像融合方法。


背景技术：

2.随着传感器技术的快速发展，多传感器融合的工作方式越来越普及。相较于单一传感器模式，多传感器协同工作模式可以更好地满足应用需求，如红外线摄像头可以获得包含丰富热辐射信息的图像，能够根据目标与背景间的热反馈不同将它们区分开；可见光摄像头可以获取结构清晰的图像，这些图像的空间分辨率较高并富含丰富的纹理细节。利用图像融合技术得到的融合图像，同时具有两种图像的优势信息。目前，图像融合这一技术已经被应用在多个领域，如：医学、遥感、计算机视觉、气象预报及军事目标识别等方面。
3.在现有的多模态图像融合研究中，红外与可见光图像因其表现出的多种优势而成为图像融合领域的重点分支之一。针对红外与可见光图像的特性，研究人员提出了不同的融合方法和策略，多尺度变换是其中一种比较常用的方法。非下采样剪切波变换(non-subsampled shearlet transform,nsst)是一种当前较热门的多尺度变换方法，在图像融合领域中引起了广泛的关注。现有的基于nsst的图像融合方法，其具体步骤大多如下：1)将源图像分解为呈现背景信息的低频子带图像和呈现纹理细节的高频子带图像；2)针对不同的子带图像的特性，采用一定的策略分别进行融合，得到融合的子带图像；3)将融合的子带图像通过nsst反变换得到最终的融合结果。
4.实际中，现有的基于nsst的融合策略存在以下不足：1)在针对高频子带图像设计融合策略时，大多根据像素灰度值使用的“绝对值取大”策略进行融合。这种策略很容易受到图像中噪声的影响，从而影响灰度绝对值的判断，导致最终的融合结果产生“伪影”。2)在针对低频子带图像设计融合策略时，大多侧重于融合图像中大尺度灰度信息和能量上，却忽视了低频子带中的部分轮廓和边缘信息，致使最终的融合结果损失了源图像的部分细节信息，无法获得性能优异的融合结果。


技术实现要素：

5.本专利的发明目的在于为了更好地弥补现有基于nsst的图像融合方法存在的不足，即因融合后的高频子带图像的“伪影”问题及低频子带图像的“细节损失”问题，导致融合结果保留源图像信息不全面、不充分。
6.为实现上述目的，本发明提供如下技术方案：非下采样剪切波变换域下的红外与可见光图像融合方法，该方法包括以下步骤：
7.s1、源图像分解；
8.使用nsst将源图像分解为低频子带图像和高频子带图像，其中低频子带图像包含了源图像的背景信息和少部分边缘、纹理信息；高频子带图像包含源图像的边缘、纹理信息；
9.s2、子带图像的融合；
10.对于高频子带图像，设计了基于引导滤波(guided filter,gf)优化的加权融合策略；对于低频子带图像，基础层使用基于稀疏表示(sparse representation,sr)的融合策略，细节层采用基于一致性验证的局部最大值的融合策略；
11.s3、融合子带图像的重构；
12.对上述融合得到的高、低频子带图像进行nsst反变换，重构得到最终的融合结果。
13.作为本发明的一种优选技术方案：所述s1中将源图像分解为低频子带图像和高频子带图像的具体步骤为：
14.s1-1、利用nsst对源红外图像ir和可见光图像iv进行4层分解；
15.s1-2、对各自的低频子带(lr和lv)和高频子带(和)就行存储，j＝1,2,3,4。
16.作为本发明的一种优选技术方案：所述s2中基于gf优化的加权融合策略具体包括s2-01至s2-03；
17.s2-01：对于高频子带图像(和)，使用拉普拉斯滤波器与高斯滤波器得到高频子带的显著性图并计算出融合权重图(和)，对第j级分解高频子带hj使用拉普拉斯滤波以获得高通图像其中laplacian(
·
)为拉普拉斯滤波器，其大小为3
×
3，采用中像素灰度绝对值的局部平均值和高斯滤波器来构造显著性图sj：
[0018][0019]
其中sj为第j级分解高频子带的显著性图，gaussian(
·
)为高斯滤波器，通过比较显著性图以确定融合权重图：
[0020][0021]
其中，为第j级分解第n(n∈{v,r})幅图像(x,y)处像素的权重值，为第j级分解第n幅图像的显著性图；
[0022]
s2-02：在得到高频子带图像权重图后，使用gf对权重图进行优化，利用对应的源图像in作为引导图像，对每个权重图进行引导滤波优化：
[0023][0024]
其中，第j级分解第n(n∈{v,r})幅图像的引导滤波结果，即优化后的权值，guidedfilter(
·
)为引导滤波器；
[0025]
s2-03：基于优化后的权重图融合高频子带图像，从而得到融合后的高频子带图对n个引导滤波优化的权重图进行归一化，使它们在每个像素处的和
为1，然后将j级分解的高频子带图像分别进行加权平均融合，从而得到j级高频子带的融合图像：
[0026]
其中，和分别代表优化后的可见光和红外高频子带的权重，和分别代表可见光和红外高频子带图。
[0027]
作为本发明的一种优选技术方案：所述s2中低频子带图像融合策略包括s2-1至s2-3；
[0028]
s2-1：使用滚动引导滤波器(rolling guidance filter,rgf)将低频子带图像分解为基础层(br和bv)和细节层(dr和dv)；
[0029]
s2-2：对于基础层图像利用sr算法进行融合；
[0030]
s2-3：对于细节层，利用基于一致性验证的局部最大值策略进行融合。
[0031]
作为本发明的一种优选技术方案：所述s2-1中低频子带图像分解包括以下步骤：
[0032]
s2-1-1：红外和可见光图像的nsst低频子带(lr和lv)通过rgf进行滤波，得到基础层图像：
[0033]
b＝rgf(l)，
[0034]
其中b和l分别为基础层图像和输入的低频子带图像，rgf(
·
)为滚动引导滤波器，rgf(l)表示对l进行滚动引导滤波；
[0035]
s2-1-2：通过从源低频子带图像中减去基础层图像获得细节层图像d：d＝l-b。
[0036]
作为本发明的一种优选技术方案：所述s2-2中sr算法步骤如下：
[0037]
s2-2-1：设bv和br分别为可见光图像和红外图像的nsst低频子带基础层图像，利用滑动窗口从左到右、从上至下将bv和br划分为具有一定重叠区域的图像块；
[0038]
s2-2-2：将所有的图像块转换为列向量，并排列成向量矩阵v1和v2；然后利用正交匹配追踪算法(orthogonal matching pursuit,omp)算法和预训练好的过完备字典(d
base
)向量矩阵进行稀疏编码，从而得到稀疏系数矩阵x1和x2；
[0039]
s2-2-3：使用l1范数取大的融合规则得到融合后的稀疏系数矩阵范数取大的融合规则得到融合后的稀疏系数矩阵
[0040]
s2-2-4：使用融合稀疏系数xf和预训练好的过完备字典(d
base
)重构图像块向量；再将所有的图像块向量重新排列成图像块，从而得到最终的nsst低频子带基础层的融合结果，即融合的基础层图像bf。
[0041]
作为本发明的一种优选技术方案：所述s2-3中局部最大值策略如下：
[0042]
s2-3-1：设dr和dv分别为红外和可见光图像nsst低频子带的细节层图像，比较dr和dv中对应像素灰度值的绝对值，从而得到二值化的决策图db如下：
[0043][0044]
s2-3-2：对db进行一致性验证，得到融合权重图如下：
[0045][0046]
w2＝1-w1，
[0047]
其中w1和w2分别为dv和dr的二值权重图，mf(
·
)为大小为3
×
3的多数滤波器(majority filter,mf)，即输出局部窗口中1的数量，t为设定的阈值；
[0048]
s2-3-3：基于上述二值权重图得到融合的nsst低频子带的细节层图像df，如下式：df＝w1dv+w2dr。
[0049]
本发明提出了非下采样剪切波变换域下的红外与可见光图像融合方法，该方法显著地减轻了“伪影”问题，并有效地减少了源图像中细节信息的损失；利用公开的红外与可见光图像数据集进行实验，本发明方法融合结果的主观视觉效果更好，拥有较高的对比度，更倾向人眼的视觉偏好；另外，本发明方法得到的客观评价指标总体上也优于其它对比方法，具体地：平均梯度优于对比方法平均值约32.16％，信息熵优于对比方法平均值约8.58％，空间频率优于对比方法平均值约20.25％，边缘相关融合质量指数优于对比方法平均值约11.22％；上述情况表明本发明提出的方法在有效地保留红外图像热辐射信息的同时，很好地融合了可见光图像的纹理、边缘等细节信息，取得了较好的融合效果。
附图说明
[0050]
图1是本发明所设计方法流程图；
[0051]
图2是本发明所设计用于红外和可见光图像融合方法的框架图；
[0052]
图3是本发明所设计nsst高频子带融合框架图；
[0053]
图4是本发明所设计nsst低频子带基础层的融合框架图。
具体实施方式
[0054]
下面对本发明的实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0055]
根据图1-4所示，本发明提供一种技术方案：非下采样剪切波变换域下的红外与可见光图像融合方法，具体执行按如下s1至s3，获得融合图像；
[0056]
s1：使用nsst将源图像分解为低频子带图像和高频子带图像，其中低频子带图像包含了源图像的背景信息和少部分边缘、纹理信息；高频子带图像包含源图像大部分的边缘、纹理信息，然后进入s2；
[0057]
s1-1：利用nsst对源红外图像ir和可见光图像iv进行4层分解；
[0058]
s1-2：对各自的低频子带(lr和lv)和高频子带(和)就行存储；
[0059]
s2：对于高频子带图像，设计了基于引导滤波(guided filter,gf)优化的加权融合策略；对于低频子带图像，基础层使用基于稀疏表示(sparse representation,sr)的融合策略，细节层采用基于一致性验证的局部最大值的融合策略；
[0060]
其中，基于gf优化的加权融合的策略，具体由s2-01至s2-03组成；
[0061]
s2-01：对于高频子带图像(和)，首先，使用拉普拉斯滤波器与
高斯滤波器得到高频子带的显著性图并计算出融合权重图(和)，具体地：对第j级分解高频子带hj使用拉普拉斯滤波以获得高通图像使用拉普拉斯滤波以获得高通图像其中laplacian(
·
)为拉普拉斯滤波器，其大小为3
×
3。采用中像素灰度绝对值的局部平均值和高斯滤波器来构造显著性图sj：其中sj为第j级分解高频子带的显著性图，gaussian(
·
)为高斯滤波器。通过比较显著性图以确定融合权重图：其中，为第j级分解第n(n∈{v,r})幅图像(x,y)处像素的权重值，为第j级分解第n幅图像的显著性图；
[0062]
s2-02：在得到高频子带图像权重图后，使用gf对权重图进行优化，具体地：利用对应的源图像in作为引导图像，对每个权重图进行引导滤波优化：其中，第j级分解第n(n∈{v,r})幅图像的引导滤波结果，即优化后的权值，guidedfilter(
·
)为引导滤波器；
[0063]
s2-03：基于优化后的权重图融合高频子带图像，从而得到融合后的高频子带图对n个引导滤波优化的权重图进行归一化，使它们在每个像素处的和为1，然后将j级分解的高频子带图像分别进行加权平均融合，从而得到j级高频子带的融合图像：其中，和分别代表优化后的可见光和红外高频子带的权重，和分别代表可见光和红外高频子带图；
[0064]
其中，低频子带图像融合策略主要包括s2-1至s2-3：
[0065]
s2-1：使用滚动引导滤波器(rolling guidance filter,rgf)将低频子带图像分解为基础层(br和bv)和细节层(dr和dv)；
[0066]
其中，低频子带图像分解包括以下步骤：
[0067]
s2-1-1：红外和可见光图像的nsst低频子带(lr和lv)通过rgf进行滤波，得到基础层图像：
[0068]
b＝rgf(l)，
[0069]
其中b和l分别为基础层图像和输入的低频子带图像，rgf(
·
)为滚动引导滤波器，rgf(l)表示对l进行滚动引导滤波；
[0070]
s2-1-2：通过从源低频子带图像中减去基础层图像获得细节层图像d：
[0071]
d＝l-b；
[0072]
s2-2：对于基础层图像利用sr算法进行融合，融合算法由s2-2-1至s2-2-4构成：
[0073]
s2-2-1：设bv和br分别为可见光图像和红外图像的nsst低频子带基础层图像，利用滑动窗口从左到右、从上至下将bv和br划分为具有一定重叠区域的图像块；
[0074]
s2-2-2：将所有的图像块转换为列向量，并排列成向量矩阵v1和v2；然后利用正交匹配追踪算法(orthogonal matching pursuit,omp)算法和预训练好的过完备字典(d
base
)向量矩阵进行稀疏编码，从而得到稀疏系数矩阵x1和x2；
[0075]
s2-2-3：使用l1范数取大的融合规则得到融合后的稀疏系数矩阵xf：
[0076]
s2-2-4：使用融合稀疏系数xf和预训练好的过完备字典(d
base
)重构图像块向量；再将所有的图像块向量重新排列成图像块，从而得到最终的nsst低频子带基础层的融合结果，即融合的基础层图像bf。
[0077]
s2-3：对于细节层，利用基于一致性验证的局部最大值策略进行融合，融合算法由s2-3-1至s2-3-3构成：
[0078]
s2-3-1：设dr和dv分别为红外和可见光图像nsst低频子带的细节层图像，比较dr和dv中对应像素灰度值的绝对值，从而得到二值化的决策图db如下：
[0079][0080]
s2-3-2：对db进行一致性验证，得到融合权重图如下：w2＝1-w1，其中w1和w2分别为dv和dr的二值权重图，mf(
·
)为大小为3
×
3的多数滤波器(majority filter,mf)，即输出局部窗口中1的数量，t为设定的阈值；
[0081]
s2-3-3：基于上述二值权重图得到融合的nsst低频子带的细节层图像df，如下式：
[0082]df
＝w1dv+w2dr。
[0083]
s3：对上述融合得到的高、低频子带图像进行nsst反变换，重构得到最终的融合结果。
[0084]
本发明所设计的非下采样剪切波变换域下的红外与可见光图像融合方法中，提出了一种新的低频子带融合策略，即利用滚动引导滤波进一步将低频子带图像分解为呈现大尺度灰度信息的基础层和呈现局部细节的细节层，从而更进一步地从低频子带图像中提取了残留的细节信息，使得融合后的图像更好的保留了源图像的边缘、轮廓等细节信息。具体的，对分解得到的基础层使用稀疏表示的方法进行融合，细节层采用基于一致性验证的局部最大值策略进行融合；同时也提出了基于引导滤波优化的加权融合策略；该策略一方面可以使得融合结果尽可能多地保留源图像的边缘、纹理等细节信息；另一方面能够在一定程度上解决因噪声而产生的伪影问题。
[0085]
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。