一种红外与可见光图像融合方法与流程

1.本发明属于多光谱图像处理技术领域，具体涉及一种红外与可见光图像融合的方法。


背景技术：

2.图像融合是一种增强技术，旨在组合由不同类型的传感器获得的图像，以生成信息丰富、目标突出的图像，便于后续处理或帮助决策。红外与可见光图像融合在许多方面是相对优越的。可见光图像捕获反射光，通常具有高空间分辨率和相当大的细节及明暗对比，适合于人类视觉感知。然而这些图像很容易受到严苛条件的影响，例如光线不足、雾气和恶劣天气等其他影响；红外图像捕获热辐射，能够抵抗这些干扰，但具有低分辨率和很差的纹理。红外与可见光图像能够呈现几乎所有目标物体中固有的特征，因此，这种组合比单模态信号更具信息性，能够产生稳健且信息丰富的融合图像。
3.在过去的几十年中，多尺度变换在红外和可见光图像融合等领域都很有效。多尺度变换可以将原始图像分解为不同尺度的分量，其中每个分量代表每个尺度的子图像，而现实世界的对象通常包含不同尺度的分量。一些研究表明，多尺度变换与人类视觉特征一致，这种特性可以使融合图像具有良好的视觉效果。通常，基于多尺度变换的红外与可见光图像融合方案包含三个步骤：首先，将每个源图像分解为一系列多尺度表示；然后，根据给定的融合规则融合源图像的多尺度表示；最后，使用融合表示上的对应逆多尺度变换来获取融合图像。基于多尺度变换的融合方案的关键在于选择变换和融合规则。常见的多尺度变换有金字塔变换、小波变换、非下采样轮廓波变换、边缘保留滤波器等。但这些方法会受到分解方向、平移不变性等因素的影响，对融合结果造成一定的偏差。之后，easley提出了非下采样剪切波变换(nsst)，运算效率较之前有了极大的提升，而且方向性更强，具有平移不变性等优点，受到了研究人员的关注。
4.图像融合的另一关键问题是融合规则的选择。传统的融合规则是高频取绝对值最大法，低频取平均法进行融合。这种融合规则会导致部分信息不突出以及边缘模糊等问题。陈俊等人在低频采用通过红外图像控制权重并引入正则化的方法，保证了红外图像中突出目标的保留。但在高频执行通用的绝对值最大规则进行融合，边缘相对模糊。孔维维在低频采用区域平均能量的融合策略，高频采用区域对比度的融合策略。充分考虑到了区域之间的关联性，但某些细节信息不突出。


技术实现要素：

5.本发明要解决的技术问题是提供一种红外与可见光图像融合方法，该方法能够充分融合红外与可见光图像，得到的图像既包含可见光图像的边缘及纹理细节信息，又包含红外图像的突出的热目标的信息。
6.为了解决上述技术问题，本发明的红外与可见光图像融合方法如下：
7.输入经过严格配准后的一张红外图像与一张可见光图像，将红外图像与可见光图
像分别分解为一个低频分量和四个高频分量；
8.将红外图像与可见光图像的低频分量进行融合，方法如下：
9.分别计算红外图像与可见光图像每个像素所在m
×
n区域内的平均能量，m＝n＝3；
10.根据下式计算出红外图像与可见光图像低频分量的对应像素点的相似度：
[0011][0012]
其中e
i
(i，j)表示红外图像低频分量像素点(i，j)所在m
×
n区域内的平均能量，e
v
(i，j)表示可见光图像低频分量像素点(i，j)所在m
×
n区域内的平均能量，m
d
(i，j)表示红外图像低频分量像素点(i，j)与可见光图像低频分量像素点(i，j)之间的相似度；
[0013]
若m
d
(i，j)＜t，则
[0014][0015]
若m
d
(i，j)≥t，则
[0016]
f
d
(i，j)＝ω(i，j)
×
i
i
(i，j)+(1
‑
ω(i，j))
×
i
v
(i，j)
[0017]
其中f
d
(i，j)表示低频分量融合图像在像素点(i，j)处的像素值，t为设定的阈值，ω(i，j)为决定红外图像与可见光图像低频分量像素值比重的权值；i
i
(i，j)为红外图像低频分量在像素点(i，j)处的的像素值，i
v
(i，j)为可见光图像低频分量在像素点(i，j)处的像素值；
[0018][0019][0020]
其中，p
i
(i，j)为红外图像低频分量在像素点(i，j)处的像素值归一化值，λ为设定的非线性因子；
[0021]
采用基于区域对比度与平均梯度结合的方法将红外图像与可见光图像的各方向高频分量分别进行融合；
[0022]
将低频分量融合图像和高频分量融合图像进行逆变换得到融合图像。
[0023]
所述的红外图像与可见光图像中每个像素所在m
×
n区域内的平均能量计算公式如下：
[0024][0025][0026]
其中，e
i
(i，j)表示红外图像中以像素点(i，j)为中心m
×
n区域内的平均能量，表示红外图像低频分量在像素点(i+a，j+b)处的能量；e
v
(i，j)表示可见光图像中以像素点(i，j)为中心m
×
n区域内的平均能量，表示可见光图像低频分量在像素点(i+a，j+b)处的能量。
[0027]
进一步，所述的阈值t优选t＝0.9。
[0028]
所述的红外图像与可见光图像的各尺度高频分量分别进行融合的方法如下：
[0029]
分别计算出红外图像与可见光图像高频分量各像素点的区域平均梯度g
i
(i，j)、g
v
(i，j)；
[0030]
分别计算红外图像和可见光图像高频分量各像素点的区域对比度c
i
(i，j)、c
v
(i，j)；
[0031]
计算红外图像在像素点(i，j)处区域对比度与平均梯度的联合u
i
(i，j)和可见光图像在像素点(i，j)处区域对比度与平均梯度的联合u
v
(i，j)；
[0032]
u
i
(i，j)＝g
i
(i，j)
×
c
i
(i，j)
[0033]
u
v
(i，j)＝g
v
(i，j)
×
c
v
(i，j)
[0034]
根据下述公式对红外图像与可见光图像的各尺度高频分量分别进行融合：
[0035][0036]
其中f
g
(i，j)表示高频分量融合图像在像素点(i，j)处的像素值；j
i
(i，j)、j
v
(i，j)分别为红外图像高频分量在像素点(i，j)处的像素值与可见光图像高频分量在像素点(i，j)处的像素值。
[0037]
所述的红外图像与可见光图像高频分量在各像素点处的区域平均梯度g
i
(i，j)、g
v
(i，j)的计算公式如下：
[0038][0039][0040][0041][0042][0043][0044]
其中分别为红外图像高频分量x方向与y方向在像素点(i+p，j+q)处的梯度；j
i
(i+p，j+q)、j
v
(i+p，j+q)分别为红外图像高频分量与可见光图像高频分量在像素点(i+p，j+q)处的像素值；g
i
(i+p，j+q)、g
v
(i+p，j+q)分别为红外图像高频分量和可见光图像高频分量在以像素点(i+p，j+q)为中心m
×
n区域内的区域平均梯度。
[0045]
所述的红外图像和可见光图像高频分量在各像素点处的区域对比度c
i
(i，j)、c
v
(i，j)计算公式如下：
[0046][0047][0048][0049][0050]
其中，i
i
(i+p，j+q)为红外图像低频分量在像素点(i+p，j+q)处的像素值；x
i
(i，j)
为红外图像低频分量在以像素点(i，j)为中心m
×
n区域内的像素平均值；c
i
(i，j)为红外图像高频分量与低频分量在像素点(i，j)处的区域对比度；i
v
(i+p，j+q)为可见光图像低频分量在像素点(i+p，j+q)处的像素值；x
v
(i，j)为可见光图像低频分量在以像素点(i，j)为中心m
×
n区域内的像素平均值；c
v
(i，j)为可见光图像高频分量与低频分量在像素点(i，j)处的区域对比度。
[0051]
进一步，本发明利用非下采样剪切波变换(nsst)、小波变换(haar)或者非下采样轮廓波变换(nsct)将红外图像与可见光图像分别分解为一个低频分量和四个高频分量。
[0052]
本发明的有益效果在于：将红外图像与可见光图像分别分解为低频分量与高频分量，考虑到低频分量包含原始图像的大部分能量信息，所以我们提出了一种基于红外信息的区域平均能量的方法融合低频分量；考虑到高频分量包含原始图像大部分的边缘及纹理细节信息，本发明提出了一种基于区域对比度与平均梯度的方法融合不同尺度不同方向的高频分量；得到的效果即包含了可见光图像的边缘及纹理细节信息，又包含了红外图像的突出的热目标的信息，并且本发明的算法效果优于小波变换等融合算法。
附图说明
[0053]
图1是红外图像。
[0054]
图2是可见光图像。
[0055]
图3是利用本发明算法融合之后的图像。
[0056]
图4是本发明的流程图。
[0057]
图5不同λ下的非线性曲线。
具体实施方式
[0058]
下面结合附图和实施例对本发明作进一步详细说明，可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0059]
在本发明的描述中，除非另有明确的规定和限定，术语“相连”、“连接”、“固定”应做广义的理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况具体理解上述术语在本发明中的具体含义。
[0060]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或者仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”、“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0061]
在本实施例的描述中，术语“上”、“下”、“左”、“右”等方位或者位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化操作，而不是指示或暗示所指的装置或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅仅用于在描述上加以区分，并没有特殊的含义。
[0062]
本发明为了更好的融合红外与可见光图像，针对红外与可见光图像的各自优缺点以及低频分量和高频分量的特点，提出了适合的低频融合策略以及高频融合策略。以下结合附图及实施例对本发明进行进一步详细说明。
[0063]
本发明的实施例是对昏暗场景下一张红外图像与一张可见光图像进行融合。图1表示为本实施例的红外图像；图2表示为本实施例的可见光图像；图3表示通过本发明融合后的图像。
[0064]
如图4所示，本发明的基于nsst的红外与可见光图像融合方法具体如下：
[0065]
s1、输入经过严格配准后的一张红外图像与一张可见光图像，利用非下采样剪切波变换(nsst)(或者采用小波变换(haar)，或者采用非下采样轮廓波变换(nsct)等)将红外图像与可见光图像分别分解为一个低频分量和四个高频分量。
[0066]
s2、将步骤s1得到的红外图像与可见光图像的低频分量进行融合，具体实现方式如下：
[0067]
分别根据公式(1)、(2)计算红外图像与可见光图像每个像素所在m
×
n区域内的平均能量；
[0068][0069][0070]
其中，e
i
(i，j)表示红外图像中以像素点(i，j)为中心m
×
n区域内的平均能量，表示红外图像低频分量在像素点(i+a，j+b)处的能量；e
v
(i，j)表示可见光图像中以像素点(i，j)为中心m
×
n区域内的平均能量，表示可见光图像低频分量在像素点(i+a，j+b)处的能量，m＝n＝3；(i，j)为第i行第j列像素点坐标。
[0071]
根据公式(3)计算出红外图像与可见光图像低频分量的对应像素点的相似度，
[0072][0073]
m
d
(i，j)表示红外图像低频分量像素点(i，j)与可见光图像低频分量像素点(i，j)之间的相似度，其值在0.5
‑
1之间，相似度值越大，表示两像素点信息越相似，由此来确定融合规则。
[0074]
由相似度大小来确定具体融合方式；若m
d
(i，j)＜t，则
[0075][0076]
其中f
d
(i，j)表示低频分量融合图像在像素点(i，j)处的的像素值；
[0077]
若m
d
(i，j)≥t，则
[0078]
f
d
(i，j)＝ω(i，j)
×
i
i
(i，j)+(1
‑
ω(i，j))
×
i
v
(i，j)
ꢀꢀꢀ
(5)
[0079]
其中t为设定的阈值，t＝0
‑
1，优选t＝0.9，ω(i，j)为决定红外图像与可见光图像低频分量像素值比重的权值，其大小由(6)、(7)确定；
[0080][0081]
[0082]
其中，i
i
(i，j)为红外图像低频分量在像素点(i，j)处的的像素值，i
v
(i，j)为可见光图像低频分量在像素点(i，j)处的的像素值，p
i
(i，j)为红外图像低频分量在像素点(i，j)处的的像素值归一化值，λ为非线性因子，λ＝5
‑
200，优选取λ＝100。
[0083]
由于低频分量包含了图像的大部分能量信息，采用了区域平均能量的融合方法，又因为能量的重点区域是在于红外图像的目标信息，所以在确定权重时，结合了红外图像的像素值。这种加权融合的方法不仅提高了能量融合的效果，而且还保持了目标能量的突出。
[0084]
s3、将s1得到的红外图像与可见光图像的各方向高频分量分别进行融合，由于高频分量包含原始图像大部分的边缘及纹理细节信息，我们采用一种基于区域对比度与平均梯度的方法融合不同尺度不同方向的高频分量；融合后的结果充分包含了可见光图像以及红外图像的纹理细节信息，有利于人眼判读。
[0085]
实施例的s3具体实现方式如下：
[0086]
区域平均梯度表示某一像素点与其邻域之间梯度和的平均；根据公式(8)、(9)分别计算出红外图像与可见光图像高频分量各像素点的区域平均梯度；
[0087][0088][0089][0090][0091][0092][0093]
其中分别为红外图像高频分量x方向与y方向在像素点(i+p，j+q)处的梯度；j
i
(i+p，j+q)、j
v
(i+p，j+q)分别为红外图像高频分量与可见光图像高频分量在像素点(i+p，j+q)处的像素值；g
i
(i+p，j+q)、g
v
(i+p，j+q)分别为红外图像高频分量和可见光图像高频分量在以像素点(i+p，j+q)为中心m
×
n区域内的区域平均梯度。
[0094]
本发明提出的区域对比度表示红外图像和可见光图像高频分量像素值绝对值与低频分量区域像素平均值的对比度；
[0095]
红外图像在以像素点(i，j)为中心m
×
n区域内的区域对比度根据公式(10)计算；
[0096][0097][0098]
u
i
(i，j)＝g
i
(i，j)
×
c
i
(i，j)
[0099]
其中j
i
(i，j)为红外图像高频分量在像素点(i，j)处的像素值；，i
i
(i+p，j+q)为红外图像低频分量在像素点(i+p，j+q)处的像素值；x
i
(i，j)为红外图像低频分量在以像素点
(i，j)为中心m
×
n区域内的像素平均值；c
i
(i，j)为红外图像高频分量与低频分量在像素点(i，j)处的区域对比度；u
i
(i，j)为红外图像在像素点(i，j)处的区域对比度与平均梯度的联合，也是高频分量融合规则的关键因素。
[0100]
可见光图像在以像素点(i，j)为中心m
×
n区域内的区域对比度根据公式(11)计算；
[0101][0102][0103]
u
v
(i，j)＝g
v
(i，j)
×
c
v
(i，j)
[0104]
其中j
v
(i，j)为可见光图像高频分量在像素点(i，j)处的像素值，i
v
(i+p，j+q)为可见光图像低频分量在像素点(i+p，j+q)处的像素值；x
v
(i，j)为可见光图像低频分量在以像素点(i，j)为中心m
×
n区域内的像素平均值；c
v
(i，j)为可见光图像高频分量与低频分量在像素点(i，j)处的区域对比度；u
v
(i，j)为可见光图像在像素点(i，j)处的区域对比度与平均梯度的联合，也是高频分量融合规则的关键因素；最终的融合规则为：
[0105][0106]
f
g
(i，j)表示高频分量融合图像在像素点(i，j)处的像素值；
[0107]
s4、将融合图像中的低频分量像素值和高频分量像素值进行逆nsst((或者逆haar，或者逆nsct)，得到融合后的图像。
[0108]
本发明不限于上述实施例，其中步骤s2和步骤s3的顺序可以调换，即先进行高频分量的融合，再进行低频分量的融合。
[0109]
现有的低频融合方法和高频融合方法很多，发明人进行了很多尝试，用各种方法相结合进行图像融合，最后综合实验数据，选定了基于红外信息的区域平均能量的方法融合低频分量，基于区域对比度与平均梯度的方法融合不同尺度不同方向的高频分量；得到的融合图像既包含了可见光图像的边缘及纹理细节信息，又包含了红外图像的突出的热目标的信息，能够充分表达场景信息。本发明的算法效果优于小波变换等融合算法。
[0110]
表1为不同融合方法在不同评价指标下的表现：评价指标包括信息熵(en)、空间频率(sf)、标准差(sd)、均方误差(mse)、互信息(mi)、视觉保真度(vif)、平均梯度(ag)，相关系数(cc)。融合方法包括曲波变换(cvt)、双树复小波变换(dtcwt)、离散小波变换(dwt)、拉普拉斯金字塔变换(lp)、低通比率金字塔变换(rp)、小波变换(haar)、非下采样轮廓波变换(nsct)、非下采样剪切波变换(nsst)和本发明的算法(propose)。表1中标记
①②
分别代表了不同评价指标前二名的算法，可以看出，本发明的算法(propose)在各种评价指标上表现突出，很好的实现了图像的融合质量。
[0111]
表1
[0112][0113]
发明人曾尝试了其他几种不同的低频与高频融合规则。低频融合规则有绝对值取大的方法、区域能量和的方法和红外图像确定权重的方法。高频融合规则有加权平均、区域对比度以及区域平均梯度方法分别与经典方法进行组合；其中最经典方法有绝对值取大方法和加权平均的方法。利用各种评价指标试验不同算法的效果如下表2所示。表中f后面的2个数字分别代表低频和高融合规则方法序号；第一位的0、1、2分别代表绝对值取大的方法、区域能量和的方法和红外图像确定权重的方法，第二位的0、1、2分别代表加权平均、区域对比度以及区域平均梯度方法分别与经典方法进行组合；例如f00，代表低频融合规则采用绝对值取大的方法，高频融合规则采用加权平均方法与经典方法进行结合的方法；表2中包含了五种效果不够理想从而被发明人淘汰的组合方式和最后一种本发明(propose)的方法。具体指标见下表2：
[0114]
表2
[0115][0116]
表2中，
①
、
②
分别标记处为当前指标下效果排名前两名，从表2中可以看出不同的方法在不同的指标中都有其突出的效果，本发明的方法在大多数指标中都明显优于其他方法，只有少数两个是稍微低于最好效果的，不过也是排在第二
[0117]
在步骤s2中，低频融合规则中在通过红外图像确定权重时引入了一个非线性因子
λ，发明中优选100。λ是根据一个非线性函数确定的，非线性函数的表达式如下：
[0118][0119]
其中，ρ的范围为[0,1]，s(ρ)的范围也是[0,1]，λ分别取5、10、15、20、30、50、100、200。可以得到一个曲线图(见图5)，5图5为不同λ值时非线性函数曲线，当λ增大时，曲线的形状变得陡峭，相应的非线性变换逐渐增强。因此，通过调整λ来控制合并结果中的红外信息量是一个好的方法。
[0120]
下表3为不同λ值下融合效果的指标(表中
①
、
②
分别标记处为当前指标下效果排名前两名)，从对比结果可以看出，当λ＝100时融合效果较好，所以本发明优选λ为100。
[0121]
表3
[0122] en
↑
psnr
↑
mi
↑
vif
↑
ag
↑
λ＝56.82864.965
②
1.348
②
0.549
②
5.650λ＝106.829
①
64.9631.3410.5475.651
①
λ＝156.82864.9641.3450.5485.650λ＝206.829
①
64.9641.3440.5485.650λ＝306.829
①
64.9621.3400.5475.651
①
λ＝506.829
①
64.9631.3430.5475.650λ＝1006.828
②
64.968
①
1.357
①
0.551
①
5.650
②
λ＝2006.829
①
64.9631.3410.5475.651
①
[0123]
。