一种基于GDGF的多传感器图像融合方法及系统与流程

本发明属于光学传感器图像处理技术领域，设计一种多传感器图像融合方法，尤其涉及一种基于gdgf(gradientdomainguidedfiltering，gdgf)的多传感器图像融合方法及系统。

背景技术：

随着高性能传感设备技术的快速发展，人类获取图像的途径和种类也越来越多。由于景深限制，光学传感器成像系统只能将焦点上的目标清晰的成像在像平面上，而焦点外的目标成像却是模糊的，导致无法一次将场景中所有目标全部清晰成像。目前，远程感知、医疗成像、军事勘测领域都需要对整个场景目标进行了解，但需要分析大量的同一场景下不同场景目标图像，造成时间、空间和精力上的巨大浪费。可以通过对观测信息合理支配和使用，把多幅图像在空间或时间上的互补信息依据某种准则融合，获得对场景的一致性解释或描述，使融合后的图像能够更加全面、真实的反映场景目标信息，对于场景的准确分析和理解具有重要意义。

多传感器图像融合就是对经过配准的多幅传感图像，通过活性测量检测并提取每幅传感图像的清晰区域，然后根据一定的融合规则将这些区域合并生成一幅该场景中所有目标物都清晰的场景图像。多传感器图像融合技术可以精确表征场景目标信息，为特征提取，目标识别与目标追踪等后续工作奠定良好的基础，从而有效地提高了图像信息的利用率和系统对目标表探测识别的可靠性和稳定性，扩展了时空范围。

对聚焦区域特性做出准确表征，准确定位并提取出聚焦范围内的区域或像素是多传感器图像融合算法的关键，也是多传感器图像融合技术中至今尚未得到很好解决的问题之一。目前，图像融合研究已经持续了三十余年，随着低成本高性能成像技术不断进步，信号处理与分析理论的不断发展以及获取图像的途径和种类不断增加，图像融合技术获得长足发展。国内外研究者针对多传感器图像融合技术中存在的聚焦区域判定和提取问题，提出了大量性能优异的融合算法。这些图像融合算法主要包括两类：空间域融合算法和变换域融合算法。其中，空间域图像融合算法根据源图像中像素点灰度值大小或区域特征来确定源图像的聚焦特性，利用不同的聚焦区域特性评价方法将聚焦区域的像素点或区域提取出来，根据融合规则将提取出的像素点或区域进行合并，得到融合图像。该算法的优点是方法简单，容易执行，计算复杂度低，但易受到噪声干扰，特别是像素点或区域位于聚焦区域和模糊区域交界处时，易产生“块效应”。变换域图像融合算法对源图像进行变换，根据分解尺度上变换系数大小来确定源图像的聚焦特性，然后根据融合规则对变换系数进行处理，将处理后的变换系数进行逆变换得到融合图像。其不足之处主要表现在分解过程复杂、耗时，高频系数空间占用大，融合过程中易造成信息丢失。如果改变融合图像的一个变换系数，则整个图像的空域灰度值都将会发生变化，结果在增强一些图像区域特性的过程中，引入了不必要的人为痕迹。较为常用的多传感器图像融合算法有以下几种：

(1)基于拉普拉斯金字塔(laplacianpyramid，lap)的图像融合方法。其主要过程是对源图像进行拉普拉斯金字塔分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的金字塔系数进行逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但各分解层间数据有冗余，无法确定各分解层上的数据相关性。提取细节信息能力差，分解过程中高频信息丢失严重，直接影响了融合图像质量。

(2)基于小波变换(discretewavelettransform，dwt)的图像融合方法。其主要过程是对源图像进行小波分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行小波逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但二维小波基是由一维小波基通过张量积的方式构成，对于图像中的奇异点的表示是最优的，但对于图像奇异的线和面却无法进行稀疏表示。另外dwt属于下采样变换，缺乏平移不变性，在融合过程中易造成信息的丢失，导致融合图像失真。

(3)基于非下采样的轮廓波变换(non-sub-sampledcontourlettransform，nsct)的图像融合方法。其主要过程是对源图像进行nsct分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行nsct逆变换得到融合图像。该方法可取得不错的融合效果，但运行速度较慢，分解系数需要占用大量的存储空间。

(4)基于卡通-纹理图像分解(cartoon-texturedecomposition，ctd)的图像融合方法。其主要过程是对源图像分别进行卡通-纹理图像分解，得到源图像的卡通成分和纹理成分，并对源图像的卡通成分和纹理成分分别进行融合，合并融合后的卡通成分和纹理成分得到融合图像。其融合规则是基于图像的卡通成分和纹理成分的聚焦特性设计的，不直接依赖于源图像的聚焦特性，从而对噪声和划痕破损具有鲁棒性。

(5)基于梯度多尺度权重(multi-scaleweightedgradient-basedfusion，mwgf)的图像融合方法。其主要过程是首先计算源图像的梯度，并用基于结构的大尺度聚焦特向检测方法检测源图像的聚焦区域，然后通过合并源图像的多尺度信息，用小尺度聚焦特性检测方法确定边界处聚焦区域的梯度权值大小，并据此确定各源图像融合的权重，根据权重进行对各聚焦区域进行加权融合。该方法能够准确识别聚焦区域，从而避免聚焦区域边界处的融合时出现的各向异性模糊或错误配准，能够得到较好的融合效果。该方法计算简单，融合质量高，但由于要分别进行大尺度和小尺度的聚焦区域特性检测，该算法的时空性能较差。

(6)基于多视觉特征(multiplevisualfeaturesmeasurement-basedfusion，mvfmf))的图像融合方法。其主要过程是首先利用均值滤波将源图像分解为基础层和细节层，然后利用三种视觉特征来确定源图像的显著性，利用梯度域滤波对显著图进行分解得到显著图对应的基础层和细节层，然后根据融合规则，结合显著图的基础层和细节层，将源图像的基础层和细节层融合，最后将融合的基础层和细节层合并，得到最终的融合图像。该方法有效提高了融合图像质量。但由于需要基于三种视觉特征分别计算源图像的显著性，时间耗费较大，时空性能较差。

(7)基于导向滤波的图像融合方法(guidedfilterfusion，gff)。其主要过程是使用导向图像滤波器将图像分解为包含大尺度强度变化的基础层和包含小尺度细节的细节层，然后利用基础层和细节层的显著性和空间一致性构建融合权值图，并以此为基础将源图像的基础层和细节层分别融合，最后把融合的基础层和细节层合并得到最终融合图像，该方法可取得不错的融合效果，但对噪声缺乏鲁棒性。

上述七种方法是较为常用的多传感器图像融合方法，但这些方法中，小波变换(dwt)不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像，易造成融合图像出现偏移和信息丢失现象；基于非下采样的轮廓波变换(nsct)方法由于分解过程复杂，运行速度较慢，另外分解系数需要占用大量的存储空间。卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)都是近几年提出的新方法，都取得了不错的融合效果，其中导向滤波(gff)是基于局部非线性模型进行边缘保持和平移不变操作，计算效率高；基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)显著提高了源图像聚焦区域特性判定的准确性，提高了融合图像质量，但多角度的显著性和视觉特征计算耗费了大量的时间和空间，限制了其自身的推广和应用。前四种常用融合方法都存在着不同的缺点，速度和融合质量间难以调和，限制了这些方法的应用和推广，第七种方法导向滤波(gff)是目前融合性能比较优异的融合算法，但导向滤波没有对源图像直接进行滤波处理，容易丢失部分源图像信息，同时平均权值融合技术在和一定程度上影响了融合性能。

综上所述，现有技术存在的问题是：

现有技术中，(1)传统的空间域方法主要采用区域划分方法进行，区域划分尺寸过大将导致焦点内外区域位于同一区域，导致融合图像质量下降；区域划分尺寸过小，子区域特征不能充分反映该区域特征，容易导致聚焦区域像素的判定不准确并产生误选，使得相邻区域间一致性差，在交界处出现明显细节差异，产生“块效应”。(2)传统的基于多尺度分解的多传感器融合方法中，总是将整幅多传感器图像作为单个整体进行处理，细节信息提取不完整，不能在融合图像中较好表示源图像边缘纹理等细节信息，影响了融合图像对源图像潜在信息描述的完整性，进而影响融合图像质量。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种能够有效消除“块效应”，扩展光学传感器景深且能极大提升融合图像主客观品质的基于gdgf的多传感器图像融合方法及系统。克服了多传感器图像融合中存在的聚焦区域判定不准确，不能有效提取源图像边缘纹理信息，融合图像细节特征表征不完整，部分细节丢失，“块效应”，对比度下降等诸多问题。

本发明是这样实现的，首先用均值滤波将源图像中分解为基础层和细节层；然后利用拉普拉斯滤波和高斯低通滤波对源图像进行显著性检测，并通过显著性大小比较得到对应源图像的权值图；并将源图像作为引导图像并利用gdgf对权值图进行分解优化，分别得到权值图的基础层和细节层；然后结合源图像权值图的基础层和细节层，根据一定的融合规则分别将源图像基础层和细节层对应像素融合；最后将融合后的基础层和细节层合并得到融合图像。

进一步，所述基于gdgf的多传感器图像融合方法，其特征在于，所述基于gdgf的多传感器图像融合方法，对配准后的传感器图像{i1，i2，i3，l，in}进行融合，且in∈□^m×n，是大小为m×n的空间，m和n均为正整数，具体包括：

(1)利用均值波器af分别对多传感器图像{i1，i2，i3，l，in}进行平滑操作，移除源图像{i1，i2，i3，l，in}中的小结构，得到源图像基础层{b1，b2，b3，l，bn}，源图像细节层{d1，d2，d3，l，dn}。其中：bn＝af(in)，dn＝in-bn，彩色图像在rgb颜色空间下进行处理，c∈{r_band，g_band，b_band}。

(2)用拉普拉斯高通滤波l和高斯低通滤波g对源图像进行滤波处理，得到源图像显著图sn。其中：sn＝in*l*g。彩色图像在rgb颜色空间下进行处理，c∈{r_band，g_band，b_band}。

(3)根据源图像{i1，i2，i3，l，in}对应显著图中像素{s1，s2，s3，l，sn}大小，构建源图像对应的权值矩阵{p1，p2，p3，l，pn}。其中：

sn(i，j)为源图像in的显著图像素(i，j)；

pn(i，j)为源图像in的权值矩阵元素(i，j)；

i＝1，2，3，…，m；j＝1，2，3，…，n；

s(i，j)为矩阵显著图s第i行、第j列的元素；p(i，j)为权值图s第i行、第j列的元素；

(4)将源图像{i1，i2，i3，l，in}作为引导图像，用gdgf对权值矩阵{p1，p2，p3，l，pn}进行分解得到权值矩阵和其中：

(5)基于源图像基础层bn和细节层dn，根据权值矩阵和构建融合图像基础层fb，和细节层fd，得到融合后的基础层fb和细节层fd。其中，

(6)构建融合图像f，得到融合后的灰度图像，其中：f＝fb+fd。

本发明的另一目的在于提供一种基于gdgf的多传感器图像融合系统。

本发明的另一目的在于提供一种利用上述基于gdgf的多传感器图像融合方法的智慧城市传感器图像融合系统。

本发明的另一目的在于提供一种利用上述基于gdgf的多传感器图像融合方法的医疗成像传感器图像融合系统。

本发明的另一目的在于提供一种利用上述基于gdgf的多传感器图像融合方法的安全监控传感器图像融合系统。

本发明的优点及积极效果为：

(1)本发明首先利用均值滤波将源图像中分解为基础层和细节层，然后利用拉普拉斯高通滤波和高斯低通滤波对源图像进行显著性检测，并通过对比源图像显著图像素大小得到对应源图像的权值图；并将源图像作为引导图像利用gdgf对权值图进行分解，得到权值图的基础层和细节层，然后利用权值图的基础层和细节层将源图像的基础层和细节层融合，最后将融合后的基础层和细节层进行融合得到源图像的融合图像。通过显著性检测来进行判定聚焦区域特性，提高了对源图像聚焦区域特性判定的准确率，有利于清晰区域目标的提取，同时根据权值图的基础层和细节层来指导源图像基础层和细节层的融合，有效提高融合图像主客观品质。

(2)本发明融合框架灵活，易于实施，实时性好。

(3)本融合算法用权值图的基础层和细节层来指导源图像的基础层和细节层融合，提高了源图像和融合图像间的空间一致性。

本发明图像融合方法框架灵活，实时性好，可较为准确的提取聚焦区域目标细节，准确表示图像细节特征，有效提高融合图像主客观品质。

附图说明

图1是本发明实施案例提供的基于gdgf的多传感器图像融合方法流程图。

图2是本发明实施案例1提供的待融合源图像‘balloon’效果图。

图3是本发明实施案例提供的为拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)以及本发明(proposed)共八种图像融合方法对多传感器图像‘balloon’图3(a)与(b)的融合效果图及融合图像和源图像间的差异图像。

图4是本发明实施案例2提供2的待融合彩色图像‘book’效果图；

图5为拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)以及本发明(proposed)图像八种融合方法对多传感器图像‘book’图4(a)与(b)的融合效果图像。

图6是本发明实施案例3提供3的待融合彩色图像‘island’效果图；

图7为拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)以及本发明(proposed)图像八种融合方法对多传感器图像‘island’图6(a)与(b)的融合效果图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。

现有技术中，多传感器图像融合领域中融合算法对源图像聚焦区域判定不准确，细节信息提取不完整，不能在融合图像中较好表示源图像边缘纹理等细节信息，融合效果差。

下面结合附图对本发明的应用原理作详细描述。

如图1所示，本发明实施案例提供的基于gdgf的多传感器图像融合方法，包括：

s101：首先利用均值滤波将源图像中分解为基础层和细节层。

s102：然后利用拉普拉斯高通滤波和高斯低通滤波对源图像进行显著性检测，通过显著性对比构建对应源图像的聚焦特性权值图。

s103：将源图像作为引导图像并利用gdgf对权值图进行分解，分别得到聚焦特性权值图的基础层和细节层，并利用聚焦特性权值图的基础层和细节层指导源图像基础层和细节层融合。

s104：最后将融合后的基础层和细节层合并，得到融合图像。

下面结合具体流程对本发明作进一步描述。

本发明实施案例提供的基于gdgf的多传感器图像融合方法，具体流程包括：

利用均值波器af分别对多传感器图像{i1，i2，i3，l，in}进行平滑操作，移除源图像{i1，i2，i3，l，in}中的小结构，得到源图像基础层{b1，b2，b3，l，bn}，源图像细节层{d1，d2，d3，l，dn}。其中：bn＝af(in)，dn＝in-bn，彩色图像在rgb颜色空间下进行处理，c∈{r_band，g_band，b_band}。

用拉普拉斯高通滤波l和高斯低通滤波g对源图像进行滤波处理，得到源图像显著图sn。其中：sn＝in*l*g。彩色图像在rgb颜色空间下进行处理，c∈{r_band，g_band，b_band}。

根据源图像{i1，i2，i3，l，in}对应显著图中像素{s1，s2，s3，l，sn}大小，构建源图像对应的权值矩阵{p1，p2，p3，l，pn}。其中：

sn(i，j)为源图像in的显著图像素(i，j)；

pn(i，j)为源图像in的权值矩阵元素(i，j)；

i＝1，2，3，…，m；j＝1，2，3，…，n；

s(i，j)为矩阵显著图s第i行、第j列的元素；p(i，j)为权值图s第i行、第j列的元素；

将源图像{i1，i2，i3，l，in}作为引导图像，用gdgf对权值矩阵{p1，p2，p3，l，pn}进行分解得到权值矩阵和其中：

基于源图像基础层bn和细节层dn，根据权值矩阵和构建融合图像基础层fb，和细节层fd，得到融合后的基础层fb和细节层fd。其中，

构建融合图像f，得到融合后的灰度图像，其中：f＝fb+fd。

下面结合具体实施案例对本发明作进一步描述。

图2是本发明实施案例1提供的待融合源图像‘balloon’效果图。

图3是本发明实施案例1对源图像‘balloon’的融合效果图及融合图像同源图像间的差异图像。

实施案例1

遵循本发明的方案，该实施案例1对图2(a)与(b)所示两幅源图像进行融合处理，处理结果如图3中的propose所示。同时利用拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)七种图像融合方法对图2(a)与(b)所示两幅源图像进行融合处理，对不同融合方法的融合图像进行质量评价，处理计算得表1所示结果。

表1多传感器图像‘balloon’融合图像质量评价.

实施案例2：

遵循本发明的方案，该实施案例对图4(a)与(b)所示两幅源图像进行融合处理，处理结果如图5中的proposed所示。

同时拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)八种图像融合方法对图4所示两幅源图像(a)与(b)进行融合处理，对图5不同融合方法的融合图像进行质量评价，处理计算得表2所示结果。

表2多传感器图像‘book’融合图像质量评价.

同时拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)八种图像融合方法对图6所示两幅源图像(a)与(b)进行融合处理，对图7不同融合方法的融合图像进行质量评价，处理计算得表3所示结果。

表3多传感器图像‘island’融合图像质量评价.

表1、表2和表3中：method代表方法；融合方法包括八种分别是：拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)、卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)；runningtime代表运行时间，单位为秒。mi代表互信息，是基于互信息的融合图像质量客观评价指标。qy代表从源图像中转移的结构信息总量。q^ab/f代表从源图像中转移的边缘信息总量。

从图3、图5和图7可以看出，其它方法中频域方法包括拉普拉斯(lap)、小波变换(dwt)、基于非下采样的轮廓波变换(nsct)，其融合图像都存再伪影，模糊以及对比度差的问题；卡通纹理图像分解(ctd)、基于梯度多尺度权重(mwgf)、基于多视觉特征(mvfmf)、导向滤波(gff)融合质量相对较好，但也存在少量部分模糊。本发明的方法对多传感器图像图3‘balloon’、多传感器彩色图像图5‘book’以及多传感器图像图7‘island’的融合图像主观视觉效果明显优于其他融合方法的融合效果。

从融合图像可看出，本发明方法对源图像焦点区域目标边缘和纹理的提取能力明显优于其他方法，能够很好的将源图像中焦点区域的目标信息转移到融合图像中去，保存源图像中的边缘和纹理等细节信息。可以有效捕捉聚焦区域的目标细节信息，提高图像融合质量。本发明方法具有良好的主观品质。

从表1、表2和表3可以看出，本发明方法融合图像的图像质量客观评价指标mi比其他方法的融合图像对应指标平均高出1.1，融合图像的图像质量客观评价指标qy比其他方法的融合图像对应指标高出0.05，q^ab/f比其他方法的融合图像对应指标高出0.03。说明本方法获得融合图像具有良好的客观品质。

以上所述仅为本发明的较佳实施案例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。