专利名称：一种基于梯度场的优化融合遥感图像处理方法
技术领域：
本发明涉及一种基于梯度场的优化融合遥感图像处理方法。
技术背景随着航天、航空技术的发展，多源数据获取的途径不断增加，高分辨率与 多光谱图像的融合已成为遥感领域的常规图像处理任务之一，应运而生推出了各种遥感图像融合的方法。所谓高分辨率是指图像空间分辨率相对较高，即 在遥感图像上能够详细区分的最小单元所代表的地面对应面积或距离的大小； 而多光谱是指多通道传感器获取了多个波段，每个波段对应一定的波长范围或 波段宽度，具有一定的波谱分辨率。对于光学遥感系统来说，空间分辨率与光 谱分辨率常处于"鱼和熊掌不可兼得"的状况，即获取高空间分辨率的全色 图像(其波段范围覆盖较宽)，与所获取较高光谱分辨但空间分辨率相对较低的 多光谱图像进行融合，产生一幅既具有高空间分辨率，又具有丰富的光谱信息 的彩色合成图像，进而增进遥感图像信息识别和可视化效果，它在遥感技术领 域具有重要的应用价值。在^f象素级融合中， 一般使用Hue-Saturation-Intensity(HSI )变换、BR0VEY 变换、主成分分析(PCA)、高通滤波(HPF)、金字塔和小波变换(Wavelet transform,简称WLT)等方法。HSI变换法在多传感器像素融合方面应用较广， 最早由Hayden等人提出，他们将MSS数据与热惯量数据进行融合。后来，HSI 成为遥感图像像素级融合的一个经典方法，它能够增强图像特征，提高分辨率， 融合异源图像数据等等。与其类似的HSV、 YIQ变换也常被用于图像融合。BR0VEY 变换属于简单的算术方法，类似的使用加法、减法、乘法和比值等方法实现融 合运算也很多。其中，加法、乘法多用于锐化增强，减法和比值法多用于检测 变化。PCA属于统计方法，其应用领域很广，可以用于多波段合成，图像增强，图像分类等。实际上，HIS, HSV， YIQ和PCA都可以看作是成分替换法。而HPF、 金字塔和小波变换是属于对高频处理的方法。HPF通常是利用某些高通滤波算子 得到高频部分后用于其它处理之中。金字塔是80年代中期由Burt等人首次提 出的拉普拉斯金字塔变换而引入的，随后出现了基于低通对比度金字塔、梯度 金字塔、形态学金字塔等多种不同的图像融合方法。这类算法保留源图像中边 缘剧烈变化的信息，并能很好地进行时频定位。虽然，金字塔变换利用多尺度 的分析方法，但它的变换不是非冗余的，而且不提供方向信息。因此，随着小 波变换的发展，九十年代提出了基于小波变换的图像融合。鉴于小波理论与方 法的不断发展，越来越多的人利用这一工具进行遥感图像的融合。利用这些方法进行图像融合时，存在各自的利弊。其中，HIS, PCA， Brovey 等方法虽能起到较好的可视化效杲，但融合结果使图像的波谱信息和空间信息 均有较大的改变，无法在其结果图像上更进一步进行图像分析和应用分类等。 加之，当多光谱图像与高分辨率图像的光语覆盖范围和成像时间不一致时，更 易产生光谱扭曲，从而影响可视化和可应用性的效果。HPF、金子塔及小波变换 融合方法的优点在于4艮好地保留了原多光谦图像的光语信息，但经过高频处理 的高分辨率图像空间信息保存的程度取决于滤波器的选择或基函数选择的优 劣，如由于各种地物类型特征的差异，很难或不可能找到一个理想尺寸的滤 波器，造成HPF高通滤波器滤波核半径大小选取的困难，且空间分辨率改善效 果不明显；小波则也存在基函数选择难度大等问题。综上所述，上述融合算法 均不能达到既4艮好地保留遥感图像的光谱信息，又提高其空间分辨率的效果； 而且常用的图像融合的方法一般需要限定图像分辨率的差异，如两图像之间 比例尺的差异不得大于1:4的比率，但实际应用中常需考虑如何改善尺度差异 大(1 : 8或1 : 10)的图像融合效果。发明内容针对现有技术的缺点，本发明的目的是提供一种既能很好地保留遥感图像 的光谱信息，又能提高其空间分辨率要求的基于梯度场的优化融合遥感图像处理方法。为实现上述目的，本发明的技术方案为 一种基于梯度场的优化融合遥感 图像处理方法，其特征在于包括以下步骤a. 利用图像预处理器将多光谱图像h的每个波段均取样为与高分辨率图像g 相同的地域范围，并进行几何精确校正处理，再视高分辨率图像质量对其进行 对比度增强处理；b. 按预处理后的高分辨率图像的梯度特征定义融合图像的梯度约束，使得 融合图像的梯度趋近于高分辨率图像g，并满足以下方程Vc,p， qeNp: f印-(4)其中，Np表示融合图像S上每个像素点p上的四邻域点或者八邻域点，而fcp是第C波段在该点的像素值，其中，Ce{1，2，AC}， C是光谱段数目，fcq是第c波段融合图像在该点的像素值；c. 再对定义了梯度约束后的图像进行光谱约束的约定，使得融合图像的多光谱信息趋近于多光谱图像h,并满足以下方程 Vc,P:2XMp-一)=、 (5)qk是低通滤波梭函数；而其中，ce{1,2，AC}, C是光谱段数目；d. 建立融合优化求解方程经梯度约束和光谱约束定义后，可对融合图像S建立图像融合求解方程， 利用方程(1)和(2)两个函数，转换为优化^^式(3)用于求解优化融合图像，S IX -、 -9p +9q)2 +"2HKM(p，r)-h'p)2 ( 6 )P qeNp p r"2是正则化因子，Kw(p，r)为高斯密度函数，hp，由原多光谱图像重采样得到；e. 经选择单元选择融合图像的核半径在实现上述优化图像融合处理算法过程中，需根据高、低分辨率图像的比 例差异，选择出融合处理的核半径，即在融合图像S中选择单元处理，其中选择方案为Kw(p，q)的非零范围，取稍大于图像高、低分辨率比值的两倍的矩形窗口，贝'J (3)式的解可满足以下方程(4):外eS， |N'p|fp-^Vq-4h'p +》gp-gq) (4)q-p qeNph，是原多光谱图像重采样得到，k选取高斯密度函数，Np表示融合图像S 上每个像素点p上的四邻域点或八邻域点，则1Npl表示邻域上的点的数目，iNp'HNpl + ("2/2)K"p， q);步骤e中，调整《2因子的大小，再采用简单迭加算法经若干次迭代达到收 敛解，并合成图像像素值。步骤a中，利用直方图均衡化或分段线性拉伸的方法将多光谱图像与高分 辨率图像进行对比度增强，属常规处理方法。步骤b中，将融合图像使用dell.5，2]的线性因子进行梯度约束，初始值设为 经上采样后的多光谱图像。图像优化融合算法的核半径选择Kw(p, q)的非零范围比^xSn的矩阵稍大，其中n为两图像高、低分辨率图像的比例差，使大于1 : 4比例差的图像融合处 理也能获得优化融合的效果。步骤a中，该图像预处理器还将两种图像进行消除噪声及辐射校正处理， 属常^L处理方法。
图1为本发明的优化融合处理流程。
具体实施方式
下面结合附图对本发明作进一步的详细说明。基于梯度约束与光谱约束的解决途径，本方法的核心算法采用高斯核函数,利用梯度约束方程和光谱约束方程迭代求收敛解，并形成图像优化融合处理流 程与方法。如图1所示，具体的讲，本发明基于梯度场的优化融合(0PTF)遥感图像处理方法，假设分别获取一幅多光谱图像ti和一幅高分辨率图像g，若令S是一个融合图像f定义区域，对于离散的数字图像，S则是有限的离散格点。包括 如下步骤1) 图像的预处理——将多光谱图像h的每个波段均取样为与高分辨率图像 g相同的地域范围，并进行几何精校正处理；另外，还需视高分辨率图像的质量， 对其进行对比度增强，如直方图均衡化或分段线性拉伸等。2) 定义梯度约束——为了保证融合图像的空间分辨率，要求融合图像的梯 度与高分辨率图像g的梯度尽量接近，即定义梯度约束，满足以下方程vc,p， qeN" f卬-fngq (7)3) 定义光谱约束——为了使融合图像符合多光谱图像的光谱信息，即尽量保持其与对应波段的多光谱图像信息的一致性，即定义光谱约束，满足以下方程Vc'p:D岡Mp-q一印 (8)q4) 建立融合优化求解方程——由这两个目标梯度约束和光谱约束建立融 合图像求解方程。对每个多光谱波段而言，利用方程(1)和(2)两个函数， 可以转换为优化7>式(3)用于求解融合图像；，i; ix -fq -gP+gq)2+"2:s(2:frKM(p,r)-h'p" (9)5) 选择融合图像的核半径——为了既使方程(3)满足前项解——使融合 图像与高分辨率图像的梯度场尽量接近；又满足后项解——使融合图像与多光 谱合成图像的颜色尽量相近。需根据所融合的图像选择核半径，推荐选择方案为Kw(p,q)的非零范围，取稍大于高低分辨率比值的两倍的矩形窗口，则(3)式的解可满足以下方程<formula>formula see original document page 9</formula>式中h'是h的上采样。鉴于多光谱图像h自身的每个像素值与相邻的四个像素值相关，则当两图像高、低分辨率图像的比例差为n时，则Kw(p，q)的非零范围应该是比2nx2n的矩阵稍大。高分辨率图像的梯度可使用d e [1.5,2]的线性因 子拉伸，方程组可以用简单迭代进行求解，将初值设置为经过上采样的多光i普 图像。6)选择正则化因子"2的值——为达到最优效果，可调整"2因子的大小，再 经过若干次迭代则可达到收敛解，即计算求得合成图像像素值。在上述方法中，步骤l)的具体操作属遥感图像预处理的常规方法，其主要 目的是使两种原始图像满足图像融合所需的基本条件，即高精度配准、高清 晰和对比度适宜的图像。具体的处理流程不再赘述；在上述方法中，步骤2)的方程中，Np表示融合图像S上每个像素点p上的四邻域点或者八邻域点，则INpl表示邻域上的点的数目；而fcp是第c波段在该点的像素值，其中，ce{1,2，AC}， C是光谱段数目。在上述方法中，步骤3)的方程中，k是低通滤波核函数；而fcq是第c波段融合图像在该点的像素值，其中，ce{1，2,AC}， C是光谱段数目；在此，通 过低通滤波核函数k使融合图像与多光谱图像的空间分辨率一致，目的是使它 在对应波段中，能使对应像素位置的空间信息与多光谱图像的一致，从而达到 光谱约束。在上述方法中，步骤4)的具体推理和操作过程如下由步骤2)和3)两 个目标梯度约束和光谱约束求解融合图像，利用公式(1)和公式(2)的关 系转换的优化公式(3)，可对每一个多光谱波段与高分辨率图像进行融合；采 用方程(3)第一项执行步骤2可使融合图像与高分辨率图像的梯度场接近，得到相应波段高分辨率融合图像；第二项则要求合成图像的颜色值与多光谱图像 的尽量相近。(3)式执行的解则满足(4)式。在上述方法中，步骤5)的具体操作为根据两图像间的比例差异，选择融 合处理的核半径，建议选择原则是选取比2nx2n稍大的矩阵。此步骤由(3)式推理而来令Np表示融合图像S上每个像素点p上的四邻域点或八邻域点，则 (Npl表示邻域上的点的数目。对f的每个象素点求解(4)式线性方程组，其中方程组可以用简单迭代进行求解，将初值设置为经过上取样的多光谱图像， 再经过若干次迭代即可达到收敛解。在本方法中，核函数k选取高斯密度函数，那么KM(p，q)， Kw(p，q)都是高斯密度函数，这是由高斯函数的半群性质决定的， 根据两者的关系式，Kw(p，q)的标准差是KM(p，q)的V^倍。事实上，KM(p,Q),Kw (p， q)滤波是成对的，其实质是使融合图像用高斯低通滤波后能与滤波后的多 光谱图JI4目一致。由于h'是原来多光谱图像重采样得到，采样方法用双线性插值，所以不需 要再用KM(p，q)对h，进行低通滤波，即Kw(p,q)是lxl阵列，此时(4)式为变 为VpeS， IN'Jfp-ZfV,^h'p +》gp-gq) (10)实际上，此^^式由公式(3)推导得出，当KM(p，q)是lxl阵列时，则可采用Kw(P,q)I>M(p,r)KM(q，r)此方程。考虑到插值使h，每个像素值与原来h相邻的四个^"象素值有关，且原来 h的每个像素值也会与邻近的像素值相关。所以，如果高低分辨率图像的边长比为n时，那么Kw(p, q)的非零范围应该是比2nx2n的矩阵稍大。如前所述，Kw(p，q)可选择典型的高斯函数。在上述方法中，步骤6)的具体才喿作或推理过程如下《2是正则化因子，需 据所融合的图像选择核半径及^因子的大小，进而进行多光谱图像逐波段与高 分辨率图像优化融合。综上所述，本发明提出的优化融合方法是在高质量图像与处理的;S^出上， 先定义梯度约束与光谱约束函数，不仅使融合图像与高分辨率图像的梯度场尽 量接近，且使其与各波段的多光谱图像尽量相近；利用这两个函数可以转换为 优化融合公式(3)，分别对每个波段求解出融合图像；其中，式(3)的核函数 采用典型的高斯核函数，其实质是要使合成图像用高斯低通滤波后，能与多光 谱图像相一致；另外，考虑到高分辨率图像是全色波段，它的梯度与各个多光 谱段的梯度并不易保持一致，故可用一个乘性因子控制其梯度幅度。本发明的优点或效果体现在如下方面1、本发明的主要创新之处在于l)方法上提出了优化融合方法，它以 高分辨率图像的梯度场作为给定引导场或梯度约束，并以多光谱合成图像的色 调作为颜色约束，最小化或优化目标合成图像与两原始图像的梯度差异和色彩 差异，通过迭代求解线性方程组得到融合结果；2)图像梯度差和色调差的定量 计算用"最小均方偏差分析"和"差值确定，，的保存率取值法，两原始图像的 梯度和色彩获得了较可靠的保存率值。根据融合要求，采用颜色差异和梯度差 异进行统计评价。颜色差异是指把融合结果降为与原多光谱图像同样的空间分辨率，再与多 光谱图像进行最小均方偏差分析和差值比较，即其中hp和f'p是原多光谱图像和退化的合成图像在p点的C个波段的像素值组成 向量，如hp"hV,h2p,A,hCp)，lVpe
,i^，2，AC, W， t为多光谱图^象的长宽。梯度差异是合成图像的强度或者亮度分量的梯度与全色图像的梯度的最小均方偏差分析和差值，即其中I是合成图像所有波段的均值，n是全色图像与多光谱图像的空间分辨率 的比值，如在上面的实验中均为4。梯度差异^^f艮设全色图像具有足够强的对比 度。否则，在融合前将其进行对比度拉伸，这更有利于融合。 2、本发明的主要优点在于(1)解决了遥感图像融合中难以保证既保留遥感图像的光谱信息，又提高 其空间分辨率的要求，本方法适应于任意多个波段的融合中，在提高空间分辨 率的同时保持多光谱的信息。经过视觉和定量评价，它明显优于传统方法甚至 小波变换的融合方法，能达到最小的梯度差异和光谱信息差异。对图像采用五 种方法，分别为HIS， PCA, BroveyOPTF和WLT进4亍定量分析后，可明显4寻到HIS, PCA, Brovey分别只有一个点，即一个融合结果；而OPTF和WLT是通过改变平 滑因子和分解层数分别得到一条曲线。而且，OPTF在实验中使用有效范围为 13xl3的高斯低通模板，梯度被^/=1.5拉伸。HIS， PCA, Brovey三种融合方法的 颜色差异明显大于OPTF和WLT。 OPTF则比WLT更好。它可以在与它们有相同的 梯度差异时达到最小的颜色差异，且可同时达到最小的颜色差异和梯度差异， 即最接近原点，这表明它在最大限度地提高空间分辨率的同时，达到了最小的 光谱偏差。上述分析比较说明本发明提出的方法能够明显提高空间分辨率和保 持多光谱的信息，即使是在全色图像与多光谱图像波段覆盖范围不一致的情况 下。(12)值得提及的是，本文提出的两种方法可以在单独的波段上进行融合，也可 以融合任意波段数目的多光谱图像。同时，本方还可用于多聚焦图像融合的图像处理，它对图像的恢复性能比 起小波变换更好，其融合结果与原图差异很小。表1给出了两种方法对黑白和 彩色融合结果图像与原始图像间差值的比较。小波变换优化融合黑白图像多聚焦融合0. 00110. 0010彩色图像多聚焦融合0. 00800. 0051表l融合结果图像与原始图像间差值的比较表(2 )采用优化融合方法可进行高分辨率和多光谱图^f象两者间尺度差异较大 的融合，如可改善图像尺度差异在1: 10的图像融合可视化效杲和原始信息 保存率。在进行多种可视化效果比较后，优化融合方法得出的结果清晰度最高， 颜色恢复也最丰富，与原高分辨率彩色合成图像最近似。表2给出了大尺度差 优化融合结果图与小尺度差融合图像平均值的差值比较列表，以及优化融合方 法图像与原图差异比较列表，试说明原始信息保留率。其定量分析结果可看出， 优化融合方法所获得的图像间对比差异均最小。方法与小尺度差 融合结果图比较与原始图比辟交优化融合0. 03190. 0381小波变换0. 04560. 0445主成份分析0. 04400. 0475HIS0. 04390. 0480B丽EY0. 04390. 0471表2高尺度差图像融合结果与小尺度差融合图像的差值比较表采用前述推导出的优化融合方法，本发明设计出了遥感图像优化融合处理 流程和技术方案，并开发出了优化融合图像处理功能模块，可集成于任何图像 处理软件产品中。在具体的实施过程中，遥感图像优化融合方法是逐波段进行处理，即将 多光谱图像的每一个波段与高分辨率图像进行优化融合，其结果得到的是提高 空间分辨率后的多个多光谱波段的图像。首先，将高分辨率全色图像和多光谱图像采用图1的处理流程进行图像预处理和高精度配准，具体的操作过程(1) 首先，将多光谱图像与高分辨率图像进行图像预处理，如消除噪 声，辐射校正，几何校正等，这些均为已成熟的技术与方法；(2) 然后，将两幅图像进行几何精校正，也有现成的、成熟的方法可借鉴；(3) 其后，对预处理后的两种遥感图像可运用不同的融合方法对多光谱图 像与高分辨率图像进行图像融合，即可采用HSI， PCA, Brovey变换、小波变 换(WLT)或优化融合方法。对于小波变换而言，它采用db4小波基函数进行分 解和重构，融合规则为低频系数取自多光谱图像，高频系数取绝对值大者。本方法所实施的图像优化融合处理具体步骤如下① 计算高分辨率图像的梯度，为优化融合提供高空间分辨率的目标梯度场。② 输入拉伸因子，根据相应多光谱波段的对比度以及高分辨率图像的对比 度情况设定拉伸因子，均采用常规方法处理。③ 选择颜色滤波核及其半径，根据空间尺度的变化情况及在一定的混合4象 元假设基础上选择滤波核及其半径，目的是使目标图像经过核函数滤波后与原 多光谱图像在光谱维上色调一致。④ 选择正则化因子，通过调整正则化因子的值得到满足光谱约束和梯度约 束的最好结果。⑤ 代入迭代方程进行求解，将上述参数代入迭代方程组，运用迭代方法进 行求解，最终输出优化融合结果。
权利要求
1、一种基于梯度场的优化融合遥感图像处理方法，其特征在于包括以下步骤a.利用图像预处理器将多光谱图像h的每个波段均取样为与高分辨率图像g相同的地域范围，进行几何精确校正处理，并视高分辨率图像质量对其进行对比度增强处理；b.按预处理后的高分辨率图像的梯度特征定义融合图像的梯度约束，使得融合图像的梯度趋近于高分辨率图像g，并满足以下方程c，p，q∈Npfcp-fcq＝gp-gq(1)其中，Np表示融合图像S上每个像素点p上的四邻域点或者八邻域点，而fcp是第c波段在该点的像素值，其中，c∈{1，2，ΛC}，C是光谱段数目，fcq是第c波段融合图像在该点的像素值；c.再将经梯度约束后的融合图像按多光谱图像特征进行光谱约束，以便使融合图像的光谱信息趋近于多光谱图像h，并满足以下方程
2、 根据权利要求1所述的基于梯度场的优化融合遥感图像处理方法，其特 征在于步骤e中，调整"2因子的大小，再采用筒单迭代算法经若干次迭代达 到收敛解，并合成图像像素值。
3、 根据权利要求1所述的基于梯度场的优化融合遥感图像处理方法，其特 征在于步骤a中，利用直方图均衡化或分段线性拉伸的方法将多光谱图像与 高分辨率图像进行对比度增强。
4、 根据权利要求l所述的基于梯度场的优化融合遥感图像处理方法，其特 征在于步骤b中，将融合图像使用c^[1.5,2]的线性因子进行梯度约束，初始值 设为经上采样后的多光谱图像。
5、 根据权利要求1所述的基于梯度场的优化融合遥感图像处理方法，其特征在于图像优化融合算法的核半径选择Kw(p， d)的非零范围比^)^n的矩阵稍大，其中n为两图像高、低分辨率图像的比例差，使大于1 : 4比例差的图像融 合处理也能获得优化融合的效果。
6、 根据权利要求l所述的基于梯度场的优化融合遥感图像处理方法，其特 征在于步骤a中，该图像预处理器还将两种图像进行消除噪声及辐射冲吏正处 理。
全文摘要
本发明公开了一种基于梯度场的优化融合遥感图像处理方法，包括以下步骤利用图像预处理器将多光谱图像h的每个波段均取样为与高分辨率图像g相同的地域范围；并将多光谱图像和高分辨率图像进行几何精确校正处理；进而，对两种图像分别进行对比度处理。然后，将预处理后的图像分别定义梯度约束和光谱约束，使得欲融合图像的梯度趋近于高分辨率图像g，而融合图像的颜色信息趋近于多光谱合成图像h；根据梯度约束和光谱约束可建立融合图像求解方程；通过以两类图像分辨率的比例差异选择融合图像的核半径，并以调整α<sup>2</sup>因子的大小，使算法经若干次迭代达到收敛解，最终，使图像融合优化方程可获得最优解。
文档编号G06T5/50GK101246594SQ20081002640
公开日2008年8月20日 申请日期2008年2月22日 优先权日2008年2月22日
发明者岩 李, 温健婷, 龚海峰 申请人:华南师范大学