基于多尺度潜在低秩表示的自适应红外与可见光融合方法

1.本发明涉及图像融合技术领域，尤其涉及一种基于多尺度潜在低秩表示的自适应红外与可见光融合方法。


背景技术：

2.红外与可见光图像融合是图像融合的要分支，其能充分利用红外与可见光图像的互补信息，可提供对相关场景的全面信息描述，是目标检测与跟踪、星地数据反演等后续高级视觉图像处理任务顺利进行的必要前提条件。
3.目前，针对红外图像与可见光图像，基于多尺度变换的融合方法效果最为出众，但是存在噪声和伪像、融合效果缺乏稳定性以及复杂且耗时的问题。另外，基于子空间变换的融合方法可有效地解决算法复杂耗时这一技术问题，但是存在整体融合效果不佳以及先验知识不足这两个技术难题，从而导致算法缺乏稳定性。


技术实现要素：

4.针对现有多尺度变换和子空间变换的融合算法存在的不足，本发明提出了一种基于多尺度潜在低秩表示的自适应红外与可见光融合方法。本发明可实现红外图像与可见光图像的自适应融合，可有效提升图像融合质量以及图像融合的稳定性，为后续的高级视觉图像处理系统提供及时有效的且高质量的增强融合图像，并加快整个图像处理系统的处理效率。
5.本发明为解决技术问题所采用的技术方案如下：
6.本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法，包括以下步骤：
7.步骤s1，源红外与可见光图像数据获取及预处理；
8.步骤s2，利用潜在低秩约束分解源红外与可见光图像数据矩阵得到初始的红外低秩子图像、红外显著子图像、可见光低秩子图像和可见光显著子图像；
9.步骤s3，对红外低秩子图像和可见光低秩子图像分别采用导向滤波器做多级分解，得到待融合的多级多尺度显著子图像与低秩子图像；
10.步骤s4，显著子图像融合
11.采用平均梯度法构建初步的融合权重，并利用导向滤波器细化融合权重，对显著子图像进行融合得到融合后的显著子图像；
12.步骤s5，低秩子图像融合
13.基于全局局部拓扑粒子群优化算法设计多目标优化准则，设置自适应权重融合低秩子图像；
14.步骤s6，将融合后的显著子图像和低秩子图像进行重构得到最终的融合图像。
15.进一步的，步骤s1具体包括以下步骤：
16.从红外相机和可见光相机中分别获取原始的红外图像和可见光图像，对原始的红
外图像和可见光图像进行去噪和增强操作。
17.进一步的，步骤s2具体包括以下步骤：
18.采用l1范数和核范数正则优化准则对源红外与可见光图像数据矩阵进行分析，利用源红外与可见光图像数据矩阵中的观测数据和隐藏数据构建紧凑的字典形态，完成对源红外与可见光图像数据矩阵的0级分解，得到初始的红外低秩子图像红外显著子图像可见光低秩子图像可见光显著子图像
19.进一步的，所述l1范数和核范数正则优化准则的公式如式(2)所示：
[0020][0021]
式(2)表示潜在低秩约束分解表示模型；式(2)中，z、l和e分别表示低秩系数、显著系数和稀疏噪声，||z||
*
表示低秩子图像系数的核范数，||l||
*
表示显著子图像系数的核范数，||e||1表示稀疏噪声的l1范数，λ表示噪声模型的系数，x表示源图像，xz表示低秩子图像，lx表示显著子图像，s.t.表示服从于操作。
[0022]
进一步的，步骤s3具体包括以下步骤：
[0023]
在经过步骤s2的0级分解后，对得到的红外低秩子图像和可见光低秩子图像利用导向滤波器进行r级分解，对第i个红外低秩子图像可见光低秩子图像分别进行导向滤波操作，分别得到下一级红外低秩子图像下一级可见光低秩子图像通过两级低秩子图像相减操作得到下一级显著子图像，即对第i个红外低秩子图像和第i+1个红外低秩子图像进行相减操作，得到下一级红外显著子图像对第i个可见光低秩子图像和第i+1个可见光低秩子图像进行相减操作，得到下一级可见光显著子图像
[0024]
进一步的，所述对得到的红外低秩子图像和可见光低秩子图像利用导向滤波器进行r级分解的公式如式(3)所示：
[0025][0026]
式(3)表示多级分解得到低秩子图像和显著子图像的模型，式(3)中，g(
·
)表示导向滤波操作。
[0027]
进一步的，步骤s4具体包括以下步骤：
[0028]
利用式(4)的平均梯度表示构建梯度图，再利用式(5)的表示模型计算初步的融合权重，并采用导向滤波器进行细化处理得到最终的显著子图像融合权重，最终的显著子图像融合权重如式(6)所示，最终利用式(7)对显著子图像进行融合得到融合后的显著子图像
[0029]
[0030][0031]
ω
i1
＝gi(i
i1
,p
is1
)，ω
i2
＝gi(i
is2
,p
i2
)
ꢀꢀ
(6)
[0032][0033]
式(4)至式(7)中，i表示分解层数，n＝1时表示红外显著子图像，n＝2时表示可见光显著子图像，和分别表示在第i级分解时水平方向和垂直方向的梯度，g
ni
表示最终的梯度映射，用于构建显著子图像部分的融合权重图，m表示图像的宽度，n表示图像的长度，p
i1
表示在第i级分解时利用导向滤波器构建红外显著子图像的权重图时的模板，p
i2
表示在第i级分解时利用导向滤波器构建可见光显著子图像的权重图时的模板，g
i1
表示当n＝1时的g
ni
，g
i2
表示当n＝2时的g
ni
，ω
i1
表示最终融合显著子图像中红外图像的权重系数，ω
i2
表示最终融合显著子图像中可见光图像的权重系数，表示第i个红外显著子图像，表示第i个可见光显著子图像，gi(
·
)表示第i级分解时采用导向滤波器进行滤波操作，表示第i级分解时融合后的显著子图像，(x,y)表示在图像矩阵上的任意一点。
[0034]
进一步的，步骤s5具体包括以下步骤：
[0035]
依据融合评价指标选定自适应代价目标函数，选取区间0至1的一组随机粒子群α
(x,y)
构建初始的融合权重矩阵a＝{α
(x,y)
}，初始化粒子群，根据参数设定，对低秩子图像进行初步融合；计算初步融合图像的自适应代价目标函数，判断是否达到了迭代最佳表示结果，若满足条件，则判断初始化的粒子群矩阵为最终图像的融合权重，否则继续更新融合权重，逐步迭代，直到达到迭代最佳表示结果，至此完成低秩子图像的融合。
[0036]
进一步的，所述对低秩子图像进行初步融合的公式如式(8)所示：
[0037]flrr
(x,y)＝α
(x,y)
×ivi_lrr
(x,y)+(1-α
(x,y)
)
×iir_lrr
(x,y)
ꢀꢀ
(8)
[0038]
式(8)中，f
lrr
(x,y)表示最终融合后的低秩子图像，α
(x,y)
表示随机选取的一组随机粒子群，i
vi_lrr
(x,y)表示经分解后的可见光低秩子图像，i
ir_lrr
(x,y)表示经分解后的红外低秩子图像；
[0039]
所述继续更新融合权重的公式如式(9)和式(10)所示：
[0040][0041][0042]
式(9)和式(10)中，rand1、rand2和rand3均为社群随机项，其取值均为范围在[0,1]的随机数；表示第i个粒子在第t+1时刻的速度，表示第i个粒子在第t时刻的速度，表示第i个粒子在第t时刻的位置，表示第i个粒子在第t+1时刻的位置，ω(t)表示在t时刻的惯性权重，c1(t)、c2(t)和c3(t)均表示在t时刻的加速因子，表示在第t时刻第i个粒子个体的最佳位置，用于构成最佳位置向量在第t时刻第i个粒子个体的最佳位置，用于构成最佳位置向量表
示粒子群由其相邻信息所得到的最佳位置，表示当前离子群的最佳位置。
[0043]
进一步的，步骤s6具体包括以下步骤：
[0044]
对融合后的一系列显著子图像与最终融合后的低秩子图像相加得到最终的融合图像。
[0045]
本发明的有益效果是：
[0046]
本发明通过设计多尺度子空间表示算法，将潜在低秩表示应用在多尺度框架下，并结合导向滤波器将源图像分解为低秩子图像和显著子图像。本发明所采用的潜在低秩约束分解方法同时利用了多尺度变换和低秩约束的优点，在保证运算效率的基础上实现了有效的信息保留性能和噪声去除，提升效率的同时兼顾了图像质量；在低秩子图像融合操作中，通过设计基于改进的全局局部拓扑粒子群优化(fglt-pso)算法的多目标优化准则，并根据多目标优化准则设置具有自适应权重的融合策略用于融合低秩子图像，该自适应融合策略不需要先验知识，可以保证在不同类型源图像上的融合性能稳定可靠。同时，在显著子图像融合操作中采用平均梯度策略对显著子图进行融合，将传递更多的场景信息，抑制伪影。此外，本发明的方法简单易操作，仅仅调整几个参数就可以平衡算法的质量和效率，可为后续高级视觉处理过程提供必要的技术支持。
[0047]
与现有技术相比，本发明的优点如下：
[0048]
1)本发明可有效地平衡图像融合算法质量和效率，为潜在低秩表示设计了一个多尺度框架，充分结合了子空间表示和多尺度分析算法的优势。
[0049]
2)由于多尺度潜在低秩表示框架的引入，在去噪和减少图像失真方面具有突出的性能。
[0050]
3)通过自适应融合策略的设计，本发明可大大提高融合效果的稳定性。
附图说明
[0051]
图1为本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法的流程图。
[0052]
图2为本发明中红外图像与可见光图像的融合过程具体实施示意图。
[0053]
图3为利用本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法对roadscene公开数据集中源红外与可见光图像序列对进行融合的结果，原图像描绘了真实的城市公路场景。图3中，a、b、c分别表示源红外图像，源可见光图像以及最终融合后的图像。
[0054]
图4为利用本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法对roadscene公开数据集中源红外与可见光图像序列对进行融合的结果，原图像描绘了真实的城市街道场景。图4中，a、b、c分别表示源红外图像，源可见光图像以及最终融合后的图像。
[0055]
图5为利用本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法对roadscene公开数据集中源红外与可见光图像序列对进行融合的结果，原图像描绘了真实的雨中道路场景。图5中，a、b、c分别表示源红外图像，源可见光图像以及最终融合后的图像。
[0056]
图6为利用本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法对
tno公开数据集中源红外与可见光图像序列对进行融合的结果，原图像描绘了真实的野外布防场景。图6中，a、b、c分别表示源红外图像，源可见光图像以及最终融合后的图像。
具体实施方式
[0057]
以下结合附图对本发明作进一步详细说明。
[0058]
如图1所示，本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法，主要包括以下步骤：
[0059]
源红外与可见光图像数据获取及预处理
→
利用潜在低秩约束分解源红外与可见光图像数据矩阵得到初始的红外低秩子图像、红外显著子图像、可见光低秩子图像和可见光显著子图像
→
对红外低秩子图像和可见光低秩子图像分别采用导向滤波器做多级分解，得到待融合的显著子图像和低秩子图像
→
采用平均梯度法构建初步的融合权重，并利用导向滤波器细化融合权重，对显著子图像进行融合得到融合后的显著子图像
→
基于全局局部拓扑粒子群优化算法设计多目标优化准则，设置自适应权重融合低秩子图像
→
将融合后的显著子图像和低秩子图像进行重构得到最终的融合图像。
[0060]
以下对本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法进行详细说明。本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法，具体包括以下步骤：
[0061]
步骤s1，源红外与可见光图像数据获取及预处理。
[0062]
具体地讲，从多光谱红外相机中获取原始的红外图像，选用的多光谱相机包含近红外、中红外及远红外在内的若干连续波段，从可见光相机中获取原始的可见光图像，并利用式(1)对原始的红外图像和可见光图像进行预处理，包括初步的去噪、增强等操作，以突出相关的融合信息例如边缘信息以及相关尺寸等。利用增强以及降噪手段对源红外与可见光图像数据进行预处理，将提升最终融合图像的可视对比度，消除图像数据中孤立异常噪声数据，增强单模态图像数据可视能力。
[0063]
o＝t(i)
ꢀꢀ
(1)
[0064]
式(1)表示对源红外与可见光图像数据的预处理变换操作，具体包括初步去噪、增强等操作；式(1)中，o表示经预处理变换操作后的源红外与可见光图像数据矩阵，用于后续的融合处理，t(.)表示预处理操作。
[0065]
步骤s2，利用潜在低秩约束初步分解源红外与可见光图像数据矩阵得到初始的红外低秩子图像、红外显著子图像、可见光低秩子图像和可见光显著子图像。
[0066]
具体地讲，分析源红外与可见光图像数据矩阵，利用源红外与可见光图像数据矩阵中的观测数据和隐藏数据构建紧凑的字典形态，具体可采用l1范数和核范数正则优化准则完成对源红外与可见光图像数据矩阵的分析，完成对源红外与可见光图像数据矩阵的0级分解，得到初始的红外低秩子图像红外显著子图像可见光低秩子图像可见光显著子图像
[0067][0068]
式(2)表示潜在低秩约束分解表示模型；式(2)中，z、l和e分别表示低秩系数、显著系数和稀疏噪声，||z||
*
表示低秩子图像系数的核范数，||l||
*
表示显著子图像系数的核范
数，||e||1表示稀疏噪声的l1范数，λ表示噪声模型的系数，x表示源图像，xz表示低秩子图像，lx表示显著子图像，s.t.表示服从于操作。
[0069]
步骤s3，对红外低秩子图像和可见光低秩子图像分别采用导向滤波器做多级分解，得到待融合的显著子图像和低秩子图像。
[0070]
具体地讲，在经过步骤s2的0级分解后，对得到的初始的红外低秩子图像和初始的可见光低秩子图像利用导向滤波器进行多级分解，得到待融合的低秩子图像和一系列的显著子图像。
[0071]
以进行r级分解为例，对第i个红外低秩子图像可见光低秩子图像分别进行导向滤波操作，分别得到下一级红外低秩子图像下一级可见光低秩子图像通过两级低秩子图像相减操作得到下一级显著子图像，即对第i个红外低秩子图像和第i+1个红外低秩子图像进行相减操作，得到下一级红外显著子图像对第i个可见光低秩子图像和第i+1个可见光低秩子图像进行相减操作，得到下一级可见光显著子图像
[0072][0073]
式(3)表示多级分解得到低秩子图像和显著子图像的模型，式(3)中，g(
·
)表示导向滤波操作。
[0074]
步骤s4，显著子图像融合
[0075]
采用平均梯度法构建初步的融合权重，并利用导向滤波器细化融合权重，对显著子图像进行融合得到融合后的显著子图像。
[0076]
先采用平均梯法构建梯度图，以便从源图像数据中传递更有效的场景信息，之后利用模型计算初步的权重，并采用导向滤波器进一步处理得到最终的显著子图像融合权重，进一步地抑制伪像和未配准噪声，用于融合显著子图像。
[0077]
具体地讲，首先利用式(4)的平均梯度表示构建梯度图，然后利用式(5)的表示模型计算初步的融合权重，并采用导向滤波器进一步细化处理得到最终的显著子图像融合权重，最终的显著子图像融合权重如式(6)所示，最终利用式(7)对显著子图像进行融合得到融合后的显著子图像
[0078][0079]
p
i1
＝g
i1
/(g
i1
+g
i2
)，p
i2
＝1-p
i1
ꢀꢀ
(5)
[0080]
ω
i1
＝gi(i
i1
,p
is1
)，ω
i2
＝gi(i
is2
,p
i2
)
ꢀꢀ
(6)
[0081][0082]
式(4)至式(7)中，i表示分解层数，n＝1时表示红外显著子图像，n＝2时表示可见
光显著子图像，和分别表示在第i级分解时水平方向和垂直方向的梯度，g
ni
表示最终的梯度映射，用于构建显著子图像部分的融合权重图，m表示图像的宽度，n表示图像的长度，p
i1
表示在第i级分解时利用导向滤波器构建红外显著子图像的权重图时的模板，p
i2
表示在第i级分解时利用导向滤波器构建可见光显著子图像的权重图时的模板，g
i1
表示当n＝1时的g
ni
，g
i2
表示当n＝2时的g
ni
，ω
i1
表示最终融合显著子图像中红外图像的权重系数，ω
i2
表示最终融合显著子图像中可见光图像的权重系数，表示第i个红外显著子图像，表示第i个可见光显著子图像，gi(
·
)表示第i级分解时采用导向滤波器进行滤波操作，表示第i级分解时融合后的显著子图像，(x,y)表示在图像矩阵上的任意一点。
[0083]
步骤s5，低秩子图像融合
[0084]
基于全局局部拓扑粒子群优化算法(fglt-pso算法)设计多目标优化准则，设置自适应权重融合低秩子图像。
[0085]
具体地讲，低秩子图像由于其具有丰富的全局结构信息，往往能展现事物的自然状况，如何对自然界中不同事物达到稳定的融合效果，若单纯利用简单的融合策略是很难做到的。因此，针对实际问题中选定结果相冲突的情况，本发明基于改进的全局局部拓扑粒子群优化算法(fglt-pso算法)设计多目标优化准则，以此设置具有自适应权重的融合策略，用于低秩子图像的融合。
[0086]
更为具体的，首先依据融合评价指标选定自适应代价目标函数，选取区间0至1的一组随机粒子群α
(x,y)
构建初始的融合权重矩阵a＝{α
(x,y)
}，初始化粒子群，之后根据参数设定，利用式(8)对低秩子图像进行初步融合。
[0087]flrr
(x,y)＝α
(x,y)
×ivi_lrr
(x,y)+(1-α
(x,y)
)
×iir_lrr
(x,y)
ꢀꢀ
(8)
[0088]
式(8)中，f
lrr
(x,y)表示最终融合后的低秩子图像，α
(x,y)
表示随机选取的一组随机粒子群，i
vi_lrr
(x,y)表示经分解后的可见光低秩子图像，i
ir_lrr
(x,y)表示经分解后的红外低秩子图像；
[0089]
计算初步融合图像的自适应代价目标函数，判断是否达到了迭代最佳表示结果，若满足条件，则判断初始化的粒子群矩阵为最终图像的融合权重，否则按照式(9)和式(10)继续更新融合权重，逐步迭代，直到达到迭代最佳表示结果，至此完成低秩子图像的融合。
[0090][0091][0092]
式(9)和式(10)中，rand1、rand2和rand3均为社群随机项，其取值均为范围在[0,1]的随机数；表示第i个粒子在第t+1时刻的速度，表示第i个粒子在第t时刻的速度，表示第i个粒子在第t时刻的位置，表示第i个粒子在第t+1时刻的位置，ω(t)表示在t时刻的惯性权重，c1(t)、c2(t)、c3(t)均表示在t时刻的加速因子，表示在第t时刻第i个粒子个体的最佳位置，用于构成最佳位置向量在第t时刻第i个粒子个体的最佳位置，用于构成最佳位置向量表
示粒子群由其“邻居”即相邻信息所得到的最佳位置，表示当前离子群的最佳位置。
[0093]
步骤s6，将融合后的显著子图像和低秩子图像进行重构得到最终的融合图像。
[0094]
具体地讲，对融合后的一系列显著子图像与最终融合后的低秩子图像相加得到最终的融合图像。
[0095][0096]
式(11)表示重构得到最终的融合图像的表达式，式(11)中，if(x,y)表示最终的融合图像，i
fl
(x,y)+表示最终融合后的低秩子图像，表示一系列最终融合后的显著子图像。
[0097]
如图2所示，对本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法进行举例说明。
[0098]
从红外相机中获取原始的红外图像i1，从可见光相机中获取原始的可见光图像i2，对原始的红外图像i1和可见光图像i2分别进行初步的去噪和增强等操作；利用潜在低秩约束分解源红外和可见光图像数据矩阵得到初始的红外低秩子图像红外显著子图像可见光低秩子图像可见光显著子图像采用导向滤波器对红外低秩子图像做r级分解，得到待融合的一系列的红外低秩子图像红外显著子图像可见光低秩子图像可见光显著子图像采用平均梯度法构建初步的融合权重，并利用导向滤波器细化融合权重，对显著子图像进行融合得到融合后的一系列显著子图像基于全局局部拓扑粒子群优化算法(fglt-pso算法)设计多目标优化准则，设置自适应权重，对低秩子图像进行融合得到融合后的低秩子图像i
fl
；对融合后的一系列显著子图像与最终融合后的低秩子图像i
fl
相加得到最终的融合图像if。
[0099]
通过本发明的基于多尺度潜在低秩表示的自适应红外与可见光融合方法对不同源图像进行融合，结果如图3所示，通过本发明的方法得到的最终的融合图像质量好，去噪效果好，减少了图像失真，融合后的图像稳定性较好。
[0100]
本发明通过设计多尺度子空间表示算法，利用潜在低秩约束结合导向滤波器生成多尺度子图像。本发明所采用的潜在低秩约束分解方法同时利用了多尺度变换和低秩约束的优点，在保证运算效率的基础上实现了有效的信息保留性能和噪声去除；在低秩子图像融合操作中，通过设计基于改进的fglt-pso算法的多目标优化准则，提出一种具有自适应权重的融合策略，该自适应融合策略不需要先验知识，可以保证在不同类型源图像上的融合性能稳定可靠。同时，在显著子图像融合操作中采用平均梯度策略，传递更多的场景信息，抑制伪影。此外，本发明的方法简单易操作，仅仅调整几个参数就可以平衡算法的质量和效率，可为后续高级视觉处理过程提供必要的技术支持。
[0101]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应
视为本发明的保护范围。