一种基于数学形态学多尺度的微光与红外图像融合方法与流程

本发明涉及一种图像处理方法，具体涉及一种基于数学形态学多尺度的微光与红外图像融合方法。

背景技术：

微光成像和热成像是目前低照度成像的两种主要技术手段。热红外图像是辐射成像，对比度高、探测距离远，不受环境、灯光、树木遮挡等影响，但是分辨率低，刻画细节能力有限；微光成像是反射成像，图像风格符合人眼的观测习惯，图像细节丰富，但是受天气、光源、烟雾等因素的影响极大，成像不稳定。两种成像方式各有优劣，成像效果差强人意。

图像融合将来自不同图像传感器的图像进行合并，得到一个更加完整的图像或场景，通过对多幅图像间互补信息的处理来提高图像的信息量和清晰度。微光图像与热红外图像融合后，既能体现微光图像的丰富细节，又能看到不同于反射图像的红外辐射图像，从而大幅度提高低照度视频图像的观测能力。

目前主流的图像融合算法可以分为三类：空间域图像融合算法、基于金字塔分解的图像融合方法和基于小波分析的图像融合方法。

空间域图像融合算法主要包括加权平均法、像素值选大/选小法等。其特征是仅在对应像素上进行操作，优点是算法简单易实现，缺点是当融合图像的灰度差异很大时，融合结果就会出现明显的拼接痕迹，不利于人眼识别和后续的目标识别过程。

基于金字塔分解的图像融合算法的融合过程是在不同尺度、不同空间分辨率和不同分解层上分别进行的，金字塔分解使不同层次间的数据具有相关性，经金字塔分解后图像的大小是源图像的4/3，增加了数据量，可能会引入虚假信息。

基于小波变换的图像融合是对原始图像进行小波变换，将其分解在不同频段的不同特征域上，然后在不同的特征域内进行融合，再用小波逆变换得到合成图像的过程。小波变换具有良好的时域和频域局部性以及多分辨性，但是小波变换只有水平、垂直、对角3个高频方向信息，不具有方向异性，无法精确地表达图像的边缘、线性特征。

技术实现要素：

本发明的目的在于针对现有技术中存在的缺陷，提供一种基于数学形态学多尺度的微光与红外图像融合方法，将数学形态学方法与金字塔变换的方法进行结合，实现更佳的图像融合效果。

本发明的技术方案如下：一种基于数学形态学多尺度的微光与红外图像融合方法，包括如下步骤：

(1)对微光图像和红外图像进行形态学金字塔多尺度分层，得到一系列不同分辨率的微光子图像集合和红外子图像集合，每一层图像都是由其前一层图像经过形态学滤波之后再进行隔行隔列的降采样而形成；

(2)针对分层后的微光子图像和红外子图像，在图像空间的各个层次上，基于图像质量综合指标最优的原则，采用适当的融合策略进行图像融合；

(3)通过融合图像重构，得到最终的微光与红外融合图像。

进一步，如上所述的基于数学形态学多尺度的微光与红外图像融合方法，步骤(1)中，具体的分层方法如下：

fl＝[(fl-1οb)·b]↓2

gl＝[(gl-1οb)·b]↓2

fl表示微光图像第l层，1≤l≤n，n表示最大层级，fn即最顶层；

f0表示原始微光图像并将其作为形态学金字塔的第0层，即最底层；

gl表示红外图像第l层，1≤l≤n，n表示最大层级，gn即最顶层；

g0表示原始红外图像并将其作为形态学金字塔的第0层，即最底层；

ο表示形态学中的开运算，·表示形态学中的闭运算；

b是结构元素，根据原始图像的几何形状与尺寸进行选择；

↓2表示对图像进行隔行隔列降采样。

进一步，如上所述的基于数学形态学多尺度的微光与红外图像融合方法，步骤(1)中分解得到的微光子图像和红外子图像的尺度层级数相同。

进一步，如上所述的基于数学形态学多尺度的微光与红外图像融合方法，步骤(1)在微光子图像集合和红外子图像集合中各自组成形态学金字塔，下一级图像的大小为上一级图像大小的1/4，此处图像大小是指的像素数。

进一步，如上所述的基于数学形态学多尺度的微光与红外图像融合方法，步骤(2)中采用适当的融合策略进行图像融合的具体方法如下：

设定一个关于融合图像信息熵sh、平均梯度td和扭曲程度nq的目标函数f，

当i＝1时，sh1,td1,nq1分别表示采用加权融合法时，融合图像的信息熵、平均梯度和扭曲程度；

当i＝2时，sh2,td2,nq2分别表示采用像素值选大法时，融合图像的信息熵、平均梯度和扭曲程度；

当i＝3时，sh3,td3,nq3分别表示采用像素值选小法时，融合图像的信息熵、平均梯度和扭曲程度；

max(sh)，max(td)，max(nq)分别表示当i＝1,2,3，shi，tdi，nqi的最大值；

k1,k2,k3为权重系数，且k1+k2+k3＝1，可根据图像融合指标的重要程度进行k1,k2,k3数值调节；

对同一尺度层级上的微光子图像和红外子图像分别采用加权融合法、像素值选大法和像素值选小法进行图像融合，取使目标函数值最大的图像融合算法作为该尺度层级上的最终选用的图像融合算法，按照此方法得到不同层级尺度上的融合图像s0,s1,s2,....sn。

进一步，如上所述的基于数学形态学多尺度的微光与红外图像融合方法，步骤(3)中融合图像重构采用如下公式进行：

将形态学金字塔rl+1利用内插值方法进行放大，得到放大图像r′l+1,使得r′l+1的尺寸大小与rl相同，rl为第l级尺度上融合重构图像，内插值的方法为：

其中，u,v为rl的尺寸大小，即为图像的像素数值；

将内插值放大图像r′l+1采用下式的形态膨胀运算进行滤波，得到图像

其中为形态学的膨胀运算，b′为结构元素，根据原始图像的几何形状与尺寸进行选择；

从形态学金字塔的最顶层逐层向下递推，进行重构以获取最终的融合图像r0。

本发明的有益效果如下：

(1)本发明将数学形态学方法与金字塔变换的方法进行结合，设计了一种基于形态学金字塔的微光与红外图像融合方法，既具有金字塔图像融合算法的多尺度分析特征，图像层次分明，信息丰富，又具有形态学滤波器突出纹理和边缘特征的优点。

(2)本发明提出一种基于后验式图像质量综合指标最优的图像融合策略确定方法，在每一尺度层次动态选择最合适的图像融合策略保证图像融合质量综合质量指标函数最优。

(3)经过典型场景的实验验证，一种基于数学形态学多尺度的微光与红外图像融合方法图像融合效果清晰自然，信息量丰富，且能有效消除噪声，效果明显优于采用加权平均法、像素值选大法以及拉普拉斯金字塔等图像融合算法。

附图说明

图1为本发明所提供的一种基于数学形态学多尺度的微光与红外图像融合方法流程图；

图2为本发明实施例1的效果图，其中，图2-1为红外源图像，图2-2为微光源图像，图2-3为采用加权平均法的融合图像，图2-4为采用像素值选大法的融合图像，图2-5为采用拉普拉斯金字塔变换的融合图像，图2-6为采用本发明方法的融合图像。

图3为本发明实施例2的效果图，其中，图3-1为红外源图像，图3-2为微光源图像，图3-3为采用加权平均法的融合图像，图3-4为采用像素值选大法的融合图像，图3-5为采用拉普拉斯金字塔变换的融合图像，图3-6为采用本发明方法的融合图像。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明的实施例是对一幅红外图像和一幅微光图像进行融合，采用基于数学形态学多尺度的微光与红外图像融合方法，具体的实施步骤如下：

步骤1、对红外和微光源图像进行形态学金字塔多尺度分层

分别利用形态学金字塔开闭运算对经过像素级配准且图像尺寸一致的原始微光图像和原始红外图像(如图2-1，2-2及图3-1，3-2所示)进行多尺度层级分解，得到一系列不同分辨率的子微光图像集合和子红外图像集合，分解得到的微光子图像尺度数与红外子图像的尺度层级相同。分层方法为：

fl＝[(fl-1οb)·b]↓2(1)

gl＝[(gl-1οb)·b]↓2(2)

f0表示原始微光图像并将其作为形态学金字塔的第0层，即最底层，fl表示微光图像第l层，1≤l≤n，n表示最大层级，fn即最顶层。

g0表示原始红外图像并将其作为形态学金字塔的第0层，即最底层，gl表示红外图像第l层，1≤l≤n，n表示最大层级，gn即最顶层。

ο表示形态学中的开运算，·表示形态学中的闭运算。

b是结构元素，根据原始图像的几何形状与尺寸进行选择，例如本实施例中b是一个5×5的面矩阵，且矩阵中的每一个元素都是1。

↓2表示对图像进行隔行隔列降采样。

开运算消除与结构元素相比尺寸较小的亮细节，保持图像整体灰度值和大的亮区域基本不受影响。闭运算消除与结构元素相比尺寸较小的暗细节，而保持图像整体灰度值和大的暗区域基本不受影响。对输入的图像先进行形态学的开运算，而后再使用形态学的闭运算，以减少图像中比较明亮和比较灰暗噪声对图像的影响。

f0,f1,f2,....fn，g0,g1,g2,....gn分别为n层级的子微光图像集合和子红外图像集合，各自组成了形态学金字塔，且下一级的图像大小为上一级的1/4，此处图像大小是指的像素数。

步骤2、在各个层次上进行图像融合

在分解得到的每一个尺度层级上的微光子图像和红外子图像采用不同的融合策略进行图像融合，得到一系列不同尺度层级上的融合子图像。本发明提出一种基于图像融合质量技术指标后验式的图像融合策略确定方法，实现方法如下：

影响融合图像质量的因素包括图像的信息丰富程度、图像的清晰程度以及图像的自然程度，主要通过信息熵、平均梯度和扭曲程度体现。

信息熵sh反映了图像包含的信息量，信息熵越大，图像包含的信息就越丰富，计算方法如下：

其中pi为图像灰度值等于i的像素数与图像总像素数的比，i的范围是[0,1,...h-1],h是图像的灰度级，对于灰度图像，h为256。

平均梯度td指标反映了图像清晰度，平均梯度值越大，图像清晰度就越高，计算方法如下：

其中p×q为图像的尺寸大小，δix和δiy分别为x与y方向上的差分。

图像扭曲程度nq在一定程反映了图像的自然度，扭曲程度值越小，图像就越自然，计算方法如下：

其中p×q为图像的尺寸大小，f(i,j),g(i,j),r(i,j)分别为微光图像、红外图像以及融合图像在(i,j)点的灰度值。

设定一个关于融合图像信息熵sh、平均梯度td和扭曲程度nq的目标函数f。

当i＝1时，sh1,td1,nq1分别表示采用加权融合法时，融合图像的信息熵、平均梯度和扭曲程度。

当i＝2时，sh2,td2,nq2分别表示采用像素值选大法时，融合图像的信息熵、平均梯度和扭曲程度。

当i＝3时，sh3,td3,nq3分别表示采用像素值选小法时，融合图像的信息熵、平均梯度和扭曲程度。

max(sh)，max(td)，max(nq)分别表示当i＝1,2,3，shi，tdi，nqi的最大值。k1,k2,k3为权重系数且k1+k2+k3＝1。可根据图像融合指标的重要程度进行k1,k2,k3数值调节。

对同一尺度层级上的微光子图像和红外子图像分别采用加权融合法、像素值选大法和像素值选小法进行图像融合，取使目标函数值最大的图像融合算法作为该尺度层级上的图像融合算法，按照此方法得到不同层级尺度上的融合图像s0,s1,s2,....sn。

此种后验式的融合策略可以确定在每一个层次上选用的图像融合策略都是保证图像融合质量综合水平最优图像融合策略。

步骤3、通过融合图像重构，得到最终的红外与微光融合图像

通过在各个层次上进行图像融合，得到不同层级尺度上的融合图像s0,s1,s2,....sn。通过融合图像重构，得到最终的红外与微光融合图像r0。

重构采用下式进行：

将形态学金字塔rl+1利用内插值方法进行放大，得到放大图像r′l+1,使得r′l+1的尺寸大小与rl相同，rl为第l级尺度上融合重构图像。内插值的方法为：

其中，u,v为rl的尺寸大小，即为图像的像素数值。

将内插值放大图像r′l+1采用式6的形态膨胀运算进行滤波，得到图像

其中为形态学的膨胀运算，b′为结构元素，根据原始图像的几何形状与尺寸进行选择，本实施例中b′是一个7×7的面矩阵，且矩阵中的每一个元素都是1。

从形态学金字塔的最顶层逐层向下递推，进行重构获取最终融合图像r0。

为了验证本发明方法的有效性，作为具体实施例，采用本发明方法融合图2-1，2-2及图3-1，3-2。

实施例1

本实施例中图2-1、2-2的场景为夜晚无照明的科研楼走廊，场景中的典型目标包括窗户上的人、走廊上的水壶，照度：10^-3lx，温度：27℃。

对场景中的红外与微光源图像采用本发明方法进行融合，并将融合结果与采用经典方法融合的结果进行比较，现有的经典方法包括：加权平均法、像素值选大法、拉普拉斯金字塔变换图像融合法。采用拉普拉斯金字塔变换图像融合法时，源图像的分解层数为四层，高频子带图像采用能量加权平均规则，低频子带图像采用加权平均的融合规则。采用本发明方法进行图像融合时，源图像的分解层数为四层，第一层时，k1＝0.4,k1＝0.2,k1＝0.4，第二层时，k1＝0.4,k1＝0.3,k1＝0.3，第三层时，k1＝0.4,k1＝0.4,k1＝0.2，第四层时k1＝0.3,k1＝0.5,k1＝0.2。

采用经典的加权平均法(avg)、像素值选大法(mp)、拉普拉斯金字塔变换图像融合法(lp)以及本发明中提供的融合方法分别对图2-1中红外源图像与图2-2微光源图像进行融合，分别得到融合后的图像图2-3至图2-6。

图2-1红外源图像中窗户上的人基本分辨不出来，走廊上的水壶清晰可见，而图2-2微光源图像中窗户上的人非常清晰，走廊上的水壶在光影作用下，很难识别出来。采用加权融合法(图2-3)及像素值选大法(图2-4)后，红外源图像与微光源图像中的主要元素基本上都能在融合中体现出来，但效果差强人意，观测效果不甚明显，比如走廊上的水壶并不能被轻易识别。采用拉普拉斯金字塔变换融合图像法后(图2-5)，主要目标观测效果明显，但图像中噪声明显，清晰度受到了很大影响。采用本发明后，图像信息量丰富，主要目标识别能力强，且图像平滑自然，基本上不受噪声影响。

实施例2

本实施例中图3-1、3-2的场景为公园内无路灯的道路，场景中典型目标包括道路上的人、公园的树木，照度：10^-3lx，温度：25℃。

对场景中的红外与微光源图像采用本发明方法进行融合，并将融合结果与采用经典方法融合的结果进行比较，现有的经典方法包括：加权平均法、像素值选大法、拉普拉斯金字塔变换图像融合法。采用拉普拉斯金字塔变换图像融合法时，源图像的分解层数为四层，高频子带图像采用能量加权平均规则，低频子带图像采用加权平均的融合规则。采用本发明方法进行图像融合时，源图像的分解层数为四层，第一层时，k1＝0.4,k1＝0.2,k1＝0.4，第二层时，k1＝0.4,k1＝0.3,k1＝0.3，第三层时，k1＝0.4,k1＝0.4,k1＝0.2，第四层时k1＝0.3,k1＝0.5,k1＝0.2。

采用经典的加权平均法(avg)、像素值选大法(mp)、拉普拉斯金字塔变换图像融合法(lp)以及本发明中提供的融合方法分别对图3-1中红外源图像与图3-2微光源图像进行融合，分别得到融合后的图像图3-3至图3-6。

图3-1红外源图像中公园道路上的人清晰可见，而近处树木轮廓模糊，图3-2微光源图像中远处道路上的人完全无法识别，近处的树木在光影作用下层次分明。采用加权融合法(图3-3)及像素值选大法(图3-4)后，效果差强人意，远处道路上的人并不能被轻易识别。采用拉普拉斯金字塔变换融合图像法后(图3-5)，主要目标观测效果明显，但图像中有扭曲感，呈现出不自然的状态。采用本发明后，图像信息量丰富，主要目标识别能力强，且图像平滑自然。

通过设计一个视觉评价实验，由六个评价人分别对两个场景采用不同融合算法得到的融合图像的信息量、清晰度、自然度三个视觉指标进行评分，评分参考照ga/t367-2001里面的图像质量评价标准进行评分，采取五级评分制，评分标准见表1，评分人员看到的图像顺序随机排列，对评分结果统计如表2所示：

表1图像融合视觉评价标准

表2采用本发明和采用经典方法所得的融合图像视觉评价结果

分析视觉评价结果，对于两个场景来说。采用本发明中的方法，融合图像无论是清晰度、信息量还是自然度，图像质量效果最好，获得所有评价者的一致高分评价。

分别对两个场景采用不同融合算法得到的融合图像的信息熵和平均梯度以及扭曲程度等三个统计学数据指标进行计算，这三个指标可以从数据的角度反映图像的质量，计算结果如表3所示：

表3采用本发明和现有方法所得的融合图像数据评价结果

综合视觉评价结果和数据评价结果，可以看出，两种评价方法在每一组场景内对三个指标评价基本一致，本发明中各项指标相对其他方法所得的效果最好。与传统图像融合方法比较可知，不论是从客观评价指标上，还是从主观视觉效果上，本发明的方法都具有明显的优势，效果提升明显。本发明既可较好地保持红外图像目标的边缘和热辐射特征，又能较好地保留可见光图像的场景细节，能够从源图像上提取更多的有用信息并注入到融合图像中，增加了融合图像的信息量，并能够有效去除图像中的噪声，是一种可行的、效果良好的图像融合方法。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。