基于边缘梯度互信息的异源图像融合变焦失配调整方法

1.本发明涉及一种基于边缘梯度互信息的异源图像融合变焦失配调整方法，属于异源图像融合领域。


背景技术：

2.近年来连续变焦成像探测器技术在无人机/直升机光电吊舱、光电搜索预警装备等连续变焦异源融合成像系统中得到应用。连续变焦异源融合成像系统能够与预先标定确定连续变焦过程中的视场控制位置，但由于调焦过程的机械和传动等误差，会出现微小的双通道视场匹配失调，并降低融合图像的清晰度，影响对目标的观察、识别和跟踪效果。因此，针对连续变焦的异源融合成像时的微小视场失配检测与搜索调整问题，需要根据连续变焦后的异源图像间的配准情况，驱动某一通道的自动变焦调整来减小视场的失配。
3.目前，异源图像配准包括：基于区域的方法、基于特征的方法和基于深度学习的方法。基于特征的方法依赖于特征描述符的选择，例如尺度不变特征变换、加速稳健特征和角点等，但由于异源图像存在非常大的差异，很难产生鲁棒的特征描述符。基于深度学习的方法，常分为特征提取训练、相似性度量学习、直接配准和模态转换等。但由于该方法需要较长的执行时间和足够多的图像对进行训练，目前还不适用于实际系统中的应用。基于区域的方法主要取决于图像的灰度特性，对视场变化较敏感，配准精度也较高，广泛应用于异源图像间的配准，包括：互信息方法、归一化互信息方法、梯度互信息方法、改进的梯度互信息方法以及互信息和边缘梯度方法。上述互信息相关方法在医学图像领域取得一定效果，但未能解决自然环境下的异源图像灰度相关性差的问题，尤其在小视场变化下，具有一定局限性。
4.目前，自动变焦的搜索方法包括：fibonacci方法、全局搜索方法、函数逼近方法以及爬山方法，爬山搜索方法是最常用的方法之一，其原理简单，搜索速度快，但易陷入局部极值导致搜索失败，需要进行一定改进。


技术实现要素：

5.本发明的目的在于提供一种基于边缘梯度互信息的异源图像融合变焦失配调整方法，在异源融合成像系统连续变焦后，将边缘梯度互信息作为异源视场匹配情况的评价指标指导其中一个镜头自动变焦，并采用改进的爬山搜索方法进行评价指标的最大值搜索，解决连续变焦异源融合成像系统的视场微小失配问题。
6.本发明的目的是通过以下技术方案实现的：
7.本发明的一种基于边缘梯度互信息的异源图像融合变焦失配调整方法，对经过预处理后的异源输入图像进行边缘提取，对异源边缘灰度图像进行归一化互信息统计，再对边缘图像进行梯度加权统计，并将其作为边缘归一化互信息的加权，以边缘梯度互信息作为异源视场匹配情况的评价指标；采用优化搜索方向改变策略改进的爬山搜索方法，以邻近三幅图作为判据，搜索评价指标的最大值，即最匹配位置，包括如下步骤：
8.步骤一异源图像对的输入和预处理；
9.当异源图像之间存在差异时，进行预处理操作，包括：图像灰度化、图像插值缩放和图像压缩；
10.作为优选，图像灰度化方法包括加权平均法、最大值法、分量法；图像插值操作包括最近邻插值，双线性插值，双三次插值；图像压缩采用基于3σ
in
原则的自动增益控制agc方法，如式(1)所示：
[0011][0012]
其中，i
in
为输入图像，i0为压缩后输出的图像，为输入图像的灰度平均值；σ
in
为输入图像像素的灰度标准方差；
[0013]
步骤二确定图像的梯度向量和边缘提取；
[0014]
步骤2.1确定异源图像每个像素点的梯度；
[0015]
作为优选，采用高斯梯度算子确定图像的梯度向量，如式(2)所示：
[0016][0017]
其中，为异源图像每个点的梯度，i(x,y)为异源灰度图像，为高斯梯度算子，如式(3)所示，和分别表示异源图像x方向和y方向的梯度，x和y分别为异源图像像素点的横坐标和纵坐标，“*”为卷积，上标t为矩阵转置符号；
[0018][0019]
其中，h(x,y)为二维高斯函数，如式(4)所示，和分别为h(x,y)在x和y方向的一阶导数，分别如式(5)和式(6)所示：
[0020][0021]
其中，σ为二维高斯函数的标准方差；
[0022][0023][0024]
步骤2.2通过约束梯度分别对异源图像进行边缘提取，突出共同的边缘特征，约束梯度如式(7)所示；
[0025][0026]
其中，i(x,y)为异源灰度图像，e(x,y)为异源边缘图像，为异源图像梯度的大小，μ为异源图像梯度的平均值；σ为图像梯度的标准方差；a为标准方差的系数；
[0027]
步骤三边缘归一化互信息统计；
[0028]
对异源图像的边缘图像进行归一化互信息的统计，统计异源图像间的灰度相关性如式(8)所示：
[0029][0030]
其中，en
mi
(ea,eb)为异源图像的边缘归一化互信息，h(ea)、h(eb)分别为异源图像a、异源图像b的边缘图像的信息熵，h(ea，eb)为异源图像a和b的边缘图像的联合信息熵，ea、eb分别为异源图像a和b的边缘图像；
[0031]
步骤四梯度加权统计；
[0032]
步骤4.1确定异源图像的边缘图像的每个像素点的梯度大小相关性：
[0033]
以异源图像的边缘图像的每个像素点梯度的占比作为系数，分别与对方的梯度相乘，如式(9)所示：
[0034][0035]
其中，m(ea，eb)为异源图像a和b的边缘图像的梯度大小相关性，和分别为异源图像a的边缘图像和异源图像b的边缘图像每个像素点的梯度大小值；
[0036]
当两者值相差大时，值小的梯度将获得更多占比；当两者相差小的时候，两者都能被综合考虑；
[0037]
步骤4.2确定异源图像的边缘图像每个像素点的梯度方向相关性，如式(10)所示：
[0038][0039]
其中，w(α)为异源图像a和b的边缘图像的梯度方向相关性，α为异源边缘图像每个像素点梯度的夹角，和分别为异源图像a的边缘图像和异源图像b的边缘图像每个像素点的梯度矢量；
[0040]
步骤4.3综合考虑梯度的大小和方向，直接确定异源图像的边缘图像的梯度加权值，得到梯度加权g(ea,eb)，如式(11)所示：
[0041][0042]
步骤五边缘梯度互信息值统计；
[0043]
对异源图像的边缘图像，采用将边缘图像的梯度信息作为边缘归一化互信息的加权，得到边缘梯度互信息值，如式(12)所示，实现梯度和灰度信息的融合；
[0044]
eg
nmi
(ea,eb)＝g(ea,eb)
×
en
mi
(ea,eb) (12)
[0045]
其中，eg
mi
(ea,eb)为异源边缘图像ea和eb的边缘梯度互信息，en
mi
(ea,eb)是异源边缘图像ea和eb的归一化互信息；g(ea,eb)是边缘梯度加权；
[0046]
步骤六搜索最佳匹配位置；
[0047]
基于优化搜索方向改变策略的爬山搜索方法，以邻近三幅异源图像作为判据，搜索评价指标边缘梯度互信息的最大值，即异源视场的最佳匹配位置，具体包括以下子步骤：
[0048]
步骤6.1采集异源图像和统计边缘梯度互信息值：
[0049]
指定搜索步长step和搜索方向，并连续采集三对异源图像，统计三对异源图像的边缘梯度互信息值，三对异源图像的边缘梯度互信息值分别为f1、f2和f3；
[0050]
步骤6.2比较评价指标值并决定搜索方向：
[0051]
当f1《f2《f3时，搜索方向正确，保持搜索方向不变继续搜索；当f1》f2《f3时，出现极小值点，建议继续沿搜索方向搜索，观察后续曲线走向；当f1》f2》f3时，搜索方向错误，调转搜索方向并继续搜索；
[0052]
步骤6.3判断伪峰点并决定搜索方向和搜索步长：
[0053]
当f1《f2》f3时，出现峰点，为避免伪峰点，继续以搜索步长step沿搜索方向采集一幅异源图像，并确定边缘梯度互信息值f4；
[0054]
当f3》f4时，调转搜索方向，并将搜索步长step改为step/2，继续搜索；
[0055]
当f3《f4时，判定峰点为伪峰点，避开伪峰点，继续保持搜索方向；
[0056]
步骤6.4变焦结束；
[0057]
当搜索步长小于阈值δ，则认为当前峰点便是最佳变焦位置，所对应的即为视场最佳匹配位置；
[0058]
作为优选，阈值δ根据实际精度要求和系统速度确定；
[0059]
步骤七确认驱动镜头的最佳变焦位置，完成视场误差校正。
[0060]
有益效果：
[0061]
1、本发明的基于边缘梯度互信息的异源图像融合变焦失配调整方法，将异源图像配准和自动变焦相结合，异源融合成像系统连续变焦后，采用边缘梯度互信息作为视场匹配的评价指标，采用优化的爬山搜索方法进行边缘梯度互信息最大值搜索，解决连续变焦异源融合成像系统存在的视场微小失配问题，实现连续变焦异源融合成像系统在无人机/直升机光电吊舱、光电搜索预警装备、安防监测等领域的应用。
[0062]
2、本发明的基于边缘梯度互信息的异源图像融合变焦失配调整方法，基于边缘梯度互信息的异源视场匹配评价指标，将边缘图像的梯度信息和灰度信息相结合，对异源图像的边缘图像进行归一化互信息统计，提升异源图像的灰度相关性，构造对微小的视场变化灵敏的梯度加权，从而增强评价指标的单峰性和灵敏度。
[0063]
3、本发明的基于边缘梯度互信息的异源图像融合变焦失配调整方法，采用优化的爬山搜索方法，以邻近三幅异源图像作为判据，比较三幅异源图像的边缘梯度互信息值，指导搜索方向的变化，在出现峰值点时，继续按步长采集下一幅异源图像，并将其边缘梯度互信息值与前一幅异源图像进行比较，判定峰值点是否是全局最大值点，能够有效抑制局部极值的影响，提高变焦配准精度。
附图说明
[0064]
图1为原始异源图像，其中：(a)为定焦红外图像，(b)为变焦过程中的可见光图像，(c)为变焦过程中的融合图像；
[0065]
图2为本发明的基于边缘梯度互信息的异源图像融合变焦失配调整方法流程图；
[0066]
图3为红外图像与可见光图像的梯度和边缘图像，其中：(a)为原始可见光图像和原始红外图像，(b)为可见光图像的梯度图和红外图像的梯度图，(c)为可见光图像的边缘图像与红外图像的边缘图像；
[0067]
图4为本发明的改进的爬山搜索方法的流程图；图5为最匹配处的融合图像。
[0068]
图6为不同评价指标曲线对比图，其中：(a)为归一化互信息曲线图，(b)为梯度互信息曲线图，(c)为改进的梯度互信息曲线图，(d)为边缘归一化互信息曲线图，(e)为互信息和边缘梯度曲线图，(f)为本发明的边缘梯度互信息曲线图。
具体实施方式
[0069]
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
[0070]
实施例1：
[0071]
本实施例使用双波段融合系统采集固定焦距下的长波红外图像序列和变焦下的可见光图像序列。双波段融合系统主要由定焦的长波红外镜头和变焦的可见光镜头构成，用于模拟连续变焦后，驱动可见光镜头自动变焦从而减小异源视场的差异。
[0072]
实施例的双波段融合系统中，长波红外物镜的焦距为40mm，探测器为烟台艾睿公司的非制冷焦平面探测器，像元数为640
×
512，图像为14bit；可见光物镜的焦距为12.5～75mm，探测器为昆山锐芯微公司低照度cmos机芯，像元数为1280
×
1024，图像为8bit。
[0073]
如图1所示，使用实施例的双波段融合系统在一场景下采集50组定焦红外图像、变焦可见光图像序列，图1(a)为定焦红外图像，图1(b)为变焦过程中的可见光图像，图1(c)为基于色彩传递的灰度融合图像，如图1(c)所示，可见光图像与红外图像之间具有微小的视场差异，随着可见光镜头焦距的微调，视场差异逐渐缩小，当经过视场最佳匹配位置后，视场差异又逐渐变大。
[0074]
实施例应用本发明的基于边缘梯度互信息的异源图像融合变焦失配调整方法，对双波段融合系统采集的定焦红外图像、变焦可见光图像序列进行图像融合的仿真模拟，如图3所示，包括如下步骤：
[0075]
步骤一异源图像对的输入和预处理；
[0076]
实施例中，可见光图像与红外图像之间存在差异，需要进行预处理操作，包括：灰度化、插值缩放和图像压缩；
[0077]
采用加权平均法将彩色的可见光图像进行灰度化，采用双三次插值方法将1280
×
1024的可见光图像插值缩放为640
×
512的图像；
[0078]
采用的基于3σ
in
原则的自动增益控制agc方法，如式(1)所示，将14bit的红外图像压缩为8bit图像；
[0079][0080]
其中，i
in
为输入的14bit红外图像，i0为压缩后输出的8bit红外图像，为输入图像的灰度平均值，σ
in
为输入图像像素的灰度标准方差；
[0081]
步骤二确定图像的梯度向量和边缘提取；
[0082]
步骤2.1确定异源图像每个像素点的梯度；
[0083]
实施例中，采用高斯梯度算子确定图像的梯度向量，如式(2)所示：
[0084][0085]
其中，为异源图像每个点的梯度，i(x,y)为异源灰度图像，为高斯梯度算子，如式(3)所示，和分别表示异源图像x方向和y方向的梯度，x和y分别为异源图像像素点的横坐标和纵坐标，“*”为卷积，上标t为矩阵转置符号；
[0086][0087]
其中，h(x,y)为二维高斯函数，如式(4)所示，和分别为h(x,y)在x和y方向的一阶导数，分别如式(5)和式(6)所示：
[0088][0089]
其中，σ为二维高斯函数的标准方差；
[0090][0091][0092]
实施例中，原始可见光图像与和原始红外原图如图3(a)所示，利用5
×
5且σ＝1的高斯梯度算子模板确定可见光图像与红外图像的梯度向量，如图3(b)所示；
[0093]
步骤2.通过约束梯度分别对异源图像进行边缘提取，突出共同的边缘特征，约束梯度如式(7)所示；
[0094][0095]
其中，i(x,y)为异源灰度图像，e(x,y)为异源边缘图像，为异源图像梯度
的大小，μ为异源图像梯度的平均值；σ为图像梯度的标准方差；a为标准方差的系数；
[0096]
实施例中，可见光图像边缘提取a取值为0.25，红外图像边缘提取a取值为0，图3(c)为可见光图像的边缘图像与红外图像的边缘图像；
[0097]
步骤三边缘归一化互信息统计；
[0098]
对异源图像的边缘图像进行归一化互信息的统计，统计异源图像间的灰度相关性如式(8)所示：
[0099][0100]
其中，en
mi
(ea,eb)为异源图像的边缘归一化互信息，h(ea)、h(eb)分别为异源图像a、异源图像b的边缘图像的信息熵，h(ea，eb)为异源图像a和b的边缘图像的联合信息熵，ea、eb分别为异源图像a和b的边缘图像；
[0101]
步骤四梯度加权统计；
[0102]
步骤4.1确定异源图像的边缘图像的每个像素点的梯度大小相关性：
[0103]
以异源图像的边缘图像的每个像素点梯度的占比作为系数，分别与对方的梯度相乘，如式(9)所示：
[0104][0105]
其中，m(ea，eb)为异源图像a和b的边缘图像的梯度大小相关性，和分别为异源图像a的边缘图像和异源图像b的边缘图像每个像素点的梯度大小值；
[0106]
当两者值相差大时，值小的梯度将获得更多占比；当两者相差小的时候，两者都能被综合考虑；
[0107]
步骤4.2，确定异源图像的边缘图像每个像素点的梯度方向相关性，如式(10)所示：
[0108][0109]
其中，w(α)为异源图像a和b的边缘图像的梯度方向相关性，α为异源边缘图像每个像素点梯度的夹角，和分别为异源图像a的边缘图像和异源图像b的边缘图像每个像素点的梯度矢量；
[0110]
步骤4.3综合考虑梯度的大小和方向，直接确定异源图像的边缘图像的梯度加权值，得到梯度加权g(ea,eb)，如式(11)所示：
[0111][0112]
步骤五边缘梯度互信息值统计；
[0113]
对可见光图像的边缘图像和红外图像的边缘图像，采用将边缘图像的梯度信息作为边缘归一化互信息的加权，得到边缘梯度互信息值，如式(12)所示，实现梯度和灰度信息的融合；
[0114]
eg
nmi
(ea,eb)＝g(ea,eb)
×
en
mi
(ea,eb) (12)
[0115]
其中，eg
mi
(ea,eb)为异源边缘图像ea和eb的边缘梯度互信息，en
mi
(ea,eb)是异源边缘图像ea和eb的归一化互信息；g(ea,eb)是边缘梯度加权；
[0116]
步骤六搜索最佳匹配位置；
[0117]
基于优化搜索方向改变策略的爬山搜索方法，以邻近三幅异源图像作为判据，搜索评价指标边缘梯度互信息的最大值，即异源视场的最佳匹配位置，如图4所示，具体包括以下子步骤：
[0118]
步骤6.1，采集异源图像和统计边缘梯度互信息值：
[0119]
指定搜索步长step和搜索方向，并连续采集三对异源图像，统计三对异源图像的边缘梯度互信息值，三对异源图像的边缘梯度互信息值分别为f1、f2和f3；
[0120]
步骤6.2，比较评价指标值并决定搜索方向：
[0121]
当f1《f2《f3时，搜索方向正确，保持搜索方向不变继续搜索；当f1》f2《f3时，出现极小值点，建议继续沿搜索方向搜索，观察后续曲线走向；当f1》f2》f3时，搜索方向错误，调转搜索方向并继续搜索；
[0122]
步骤6.3，判断伪峰点并决定搜索方向和搜索步长：
[0123]
当f1《f2》f3时，出现峰点，为避免伪峰点，继续以搜索步长step沿搜索方向采集一幅异源图像，并确定边缘梯度互信息值f4；
[0124]
当f3》f4时，调转搜索方向，并将搜索步长step改为step/2，继续搜索；
[0125]
当f3《f4时，判定峰点为伪峰点，避开伪峰点，继续保持搜索方向；
[0126]
步骤6.4，变焦结束；
[0127]
当搜索步长小于阈值δ，则认为当前峰点便是最佳变焦位置，所对应的即为视场最佳匹配位置；
[0128]
作为优选，阈值δ根据实际精度要求和系统速度确定；
[0129]
步骤七，确认驱动镜头的最佳变焦位置，完成视场误差校正；
[0130]
实施例中，驱动可见光镜头到最佳变焦位置，完成红外视场与可见光视场的误差校正，实现定焦红外图像序列与变焦可见光图像序列的图像融合，初始搜索步长step设为1mm，步长阈值δ设为0.1mm，最匹配处的融合图像如图5所示。
[0131]
实施例中，可见光图像与红外图像在不同方法下的不同评价指标的曲线分别如图6(a)-(f)所示，图6(a)为归一化互信息曲线图，图6(b)为梯度互信息曲线图，图6(c)为改进的梯度互信息曲线图，图6(d)为边缘归一化互信息曲线图，图6(e)为互信息和边缘梯度曲线图，图6(f)为本发明的边缘梯度互信息曲线图，相比其他几种评价方法，本发明的边缘梯度互信息评价指标具有更好的曲线质量，具有更好的单峰性、微小视场灵敏度和鲁棒性；
[0132]
另一方面，改进的爬山搜索方法能够抑制局部极值，准确找到边缘梯度互信息评价指标的峰值，实现在双波段融合系统连续变焦后，驱动可见光物镜自动变焦来减小视场差异，从而解决异源视场变焦微小失配问题。
[0133]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。