基于多层带间结构模型的多光谱图像和全色图像融合方法
【专利摘要】基于多层带间结构模型的多光谱图像和全色图像融合方法，属于图像融合方法领域。为了解决在建立ARSIS模型的过程中，单层细节图像在描述带间关系时的局限性。本发明将低分辨率多光谱图像MSLR重采样到PAN图像大小，将其均值作为z1LR图像；对z1LR和MSLR进行GS正交变换，将z1LR图像变换后的图像记为利用SWT构建多尺度模型MSM；将MSM中各近似图像和细节图像划分为64×64大小的图像块；对和计算全局结构相似度SSIM，对每个图像块计算局部结构相似度，并应用定义的模型求得利用SWT逆变换得到得到z1HR后进行GS反变换；输出高分辨率多光谱图像MSHR。本发明有效地提升了多光谱图像的空间分辨率，实现了多光谱图像全色锐化的目的。
【专利说明】
基于多层带间结构模型的多光谱图像和全色图像融合方法
技术领域
[0001] 本发明涉及一种基于多层带间结构模型的多光谱图像和全色图像融合方法。
【背景技术】
[0002] ARSIS模型是指通过注入结构信息来提升图像空间分辨率的融合方法。由于多光 谱图像的光谱信息一般由其低频部分表示，其空间信息则由高频部分来表示。因此，在保持 光谱特性方面具有显著的优势。ARSIS模型的核心是多尺度模型（MSM)和带间结构模型 (IBSM)。通过在多尺度模型中，建立多光谱图像低分辨率下细节图像的IBSM，准确地描述其 所缺失的高分辨率下的细节信息。现有的带间结构模型通常用低分辨率下单层的细节子图 像去构建IBSM，但是多尺度模型中其它层次的细节信息并没有被有效地利用，造成了信息 丢失严重，模型描述不够准确的现象。更为重要的一点是，遥感图像的分辨率差异与用数学 模型去描述时并不是完全一致的。也就是说，一般采用的多分辨率分析方法，如金字塔变 换、小波变换等，与实际图像中的分辨率差异是不同的。这是因为影响实际成像过程的因素 往往比用简单的数学模型去描述时更为复杂。举例来说，现有的一些商业卫星的多光谱图 像和全色图像的分辨率比值通常为4，如QuickBird、IK0N0S等，然而对全色图像进行2层小 波分解后的图像(理论上与多光谱图像具有相同的分辨率），与真实的多光谱图像之间仍然 存在着分辨率上的差异，因此，采用单层细节图像去描述这种带间关系就存在着较大的误 差。
【发明内容】
[0003] 本发明的目的是为了解决在建立ARSIS模型的过程中，单层细节图像在描述带间 关系时的局限性的问题，而提出一种基于多层带间结构模型的多光谱图像和全色图像融合 方法。
[0004] -种基于多层带间结构模型的多光谱图像和全色图像融合方法，所述方法通过以 下步骤实现：
[0005] 对于输入的待融合图像MSLR和高分辨率全色图像PAN;
[0006] 步骤一、将低分辨率多光谱图像MSLR利用双线性插值法重采样到全色图像PAN图像 大小，并将待融合图像MS lR的均值图像作为均值图像ZllR;
[0007] 步骤二、对均值图像z1LR和待融合图像MSLR进行GS正交变换，将均值图像z1LR变换后 的图像记为尺度为2的低分辨率多光谱图像即第2层近似低分辨率多光谱图像
[0008] 步骤三、利用静态小波变换SWT对第2层近似低分辨率多光谱图像ΑΓ进行2层小波 变换，对高分辨率全色图像PAN进行4层小波变换，构建多尺度模型MSM;
[0009] 其中，静态小波变换是指，由第2层近似低分辨率多光谱图像和高分辨率全色 图像PAN分别进行2层和四层分解;每分解一层会产生一个近似图像和水平、垂直、对角三个 方向的细节图像，层数越高则分辨率越低，高分辨率全色图像PAN与z 1HR的分辨率相同，而 与』Γ以及MSlr与mR都具有相同分辨率;且第1、2层称为低层，而第3、4层及以上称为 尚层；
[0010] 步骤四、将多尺度模型MSM中各近似图像对AMS与Apan，以及细节图像对DMS与D PAN，都 划分为64 X 64个像素大小的图像块；
[0011]步骤五、对于尺度为2的近似图像对:第2层近似低分辨率多光谱图像.和第2层 低分辨率全色图像Jf'计算全局结构相似度SSIM，计算每个图像块的局部结构相似度 LSS頂，并最终求得每个图像块的低层细节系数图像
[0012] 步骤六、步骤五求得的第2层细节系数图像与第2层近似低分辨率多光谱图像 进行静态小波逆变换，合成得到尺度为1的近似低分辨率多光谱图像即第1层低分 辨率多光谱图像
[0013] 步骤七、对于尺度为1的近似图像对:第1层低分辨率多光谱图像和第1层低分 辨率全色图像Jf'重复步骤四到步骤六的过程得到高分辨率多光谱图像的均值图像2_， 即高分辨率多光谱图像的均值图像 Z1HR;
[0014] 步骤八、对高分辨率多光谱图像的均值图像Z1HR和低分辨率多光谱图像MSw进行GS 反变换；
[0015] 最终输出高分辨率多光谱图像MShr。
[0016] 本发明的有益效果为：
[0017] 为解决在建立ARSIS模型的过程中，单层细节图像在描述带间关系时的局限性，本 发明在分析不同层次的带间关系的基础上，设计了一种基于多层带间结构模型的多光谱图 像融合方法，有效地利用了多光谱和全色图像多分辨率模型下的不同高层细节图像的相互 关系，克服了传统方法的缺点，更加有效地提升了多光谱图像的空间分辨率，实现了多光谱 图像全色锐化的目的。
[0018] 对多光谱图像全色锐化的实验表明，本发明设计的融合方法，不仅具有最高的平 均梯度，即丰富的空间信息，而且具有最小的误差，即保持光谱信息。对高光谱图像的锐化 实验表明，本发明设计的融合方法具有最小的融合误差和最高的信噪比。与一般的融合方 法相比，该方法呈现出显著的优势。
【附图说明】
[0019] 图1为本发明方法涉及的基于多层带间结构模型的多光谱图像全色锐化方案示意 图；
[0020] 图2为本发明实验所用多光谱和全色图像，分别图2a-图2f为:QuickBird、IK0N0S 和WorldView-II多光谱图像，以及QuickBird、IK0N0S和WorldView-II 全色图像；
[0021 ]图3a和图3b为本发明实验所用两幅尚光谱图像；图3a为:圣地亚哥海车基地图像； 图3b为:帕维亚大学图像；
[0022]图4为6幅部分融合结果效果示意图：其中，图4a为Hobart原始多光谱图像，图4b为 CBD模型的融合结果，图4c为提出方法的融合结果，图4d为Rio de Janeiro的原始多光谱图 像，图4e为RWM模型的融合结果，图4f为提出方法的融合结果；
[0023]图5a_e为5幅高光谱图像融合结果比较:其中，图5a和图5d为原始高光谱图像假彩 色合成后的图像，图5b为图5a中红色圆圈内飞机目标的光谱曲线，图5c为图5a中标记的停 机坪的光谱曲线，图5e为图5d中红色圆圈内的树木的光谱曲线；
[0024]图6a、图6b为两幅高光谱图像融合结果的峰值信噪比比较:其中，图6a:圣地亚哥 海军基地图像;图6b:帕维亚大学图像；
[0025]图7a和图7b分别为融合图像平均梯度AG和均方根误差RMSE与静态小波分解层数 的关系示意图，图7a为Boulder数据，图7b为Hobart数据；
[0026]图8为本发明方法流程图。
【具体实施方式】
[0027]【具体实施方式】一：
[0028]本实施方式的基于多层带间结构模型的多光谱图像和全色图像融合方法，结合图 1所示的方法流程，所述方法通过以下步骤实现：
[0029]对于输入的待融合图像MSlr和高分辨率全色图像PAN;
[0030] 步骤一、将低分辨率多光谱图像MSlr利用双线性插值法重采样到全色图像PAN图像 大小，并将待融合图像MSw的均值图像作为均值图像 Z1U?;
[0031] 步骤二、对均值图像z1LR和待融合图像MSlr进行GS正交变换，将均值图像Z1LR变换后 的图像记为尺度为2的低分辨率多光谱图像即第2层近似低分辨率多光谱图像if;
[0032] 步骤三、利用静态小波变换SWT对第2层近似低分辨率多光谱图像乂〃进行2层小波 变换，对高分辨率全色图像PAN进行4层小波变换，构建多尺度模型MSM;
[0033] 其中，静态小波变换是指，由第2层近似低分辨率多光谱图像jflP高分辨率全色 图像PAN分别进行2层和四层分解;每分解一层会产生一个近似图像和水平、垂直、对角三个 方向的细节图像，层数越高则分辨率越低，所以图1中的高分辨率全色图像PAN与z 1HR的分辨 率相同，而#Λ'与以及MSLR与z1LR都具有相同分辨率;且第1、2层称为低层，而第3、4层及 以上称为高层；
[0034] 步骤四、将多尺度模型MSM中各近似图像对AMS与Apan，以及细节图像对DMS与D PAN，都 划分为64 X 64个像素大小的图像块；
[0035] 步骤五、对于尺度为2的近似图像对:第2层近似低分辨率多光谱图像次Γ和第2层 低分辨率全色图像计算全局结构相似度SSIM，计算每个图像块的局部结构相似度 LSS頂，并最终求得每个图像块的低层细节系数图像
[0036] 步骤六、步骤五求得的第2层细节系数图像与第2层近似低分辨率多光谱图像 名&进行静态小波逆变换，合成得到尺度为1的近似低分辨率多光谱图像ΧΓ，即第1层低分 辨率多光谱图像
[0037] 步骤七、对于尺度为1的近似图像对:第1层低分辨率多光谱图像』fs和第1层低分 辨率全色图像』重复步骤四到步骤六的过程得到高分辨率多光谱图像的均值图像2_， 即高分辨率多光谱图像的均值图像 Z1HR;
[0038] 步骤八、对高分辨率多光谱图像的均值图像z1HR和低分辨率多光谱图像MSw进行GS 反变换；
[0039]最终输出高分辨率多光谱图像MShr。
[0040]【具体实施方式】二：
[0041]与【具体实施方式】一不同的是，本实施方式的基于多层带间结构模型的多光谱图像 和全色图像融合方法，步骤一所述将低分辨率多光谱图像MSlr利用双线性插值法重采样到 高分辨率全色图像PAN图像大小，并将待融合图像MSlr的均值图像作为均值图像z 1LR的过程 为，对低分辨率多光谱图像MSw的各波段图像求和，除以波段图像数，产生均值图像，作为Z1 图像
[0042]【具体实施方式】三：
[0043] 与【具体实施方式】一或二不同的是，本实施方式的基于多层带间结构模型的多光谱 图像和全色图像融合方法，步骤二所述对均值图像z 1LR和待融合图像MSlr进行GS正交变换， 将均值图像Z1LR变换后的图像记为尺度为2的低分辨率多光谱图像即第2层近似低分辨 率多光谱图像4 /5的过程为，一般的ARSIS模型通常直接应用在多光谱图像的各个波段上， 也有先对多光谱图像进行主成分变换(PCA)，并将ARSIS模型应用在第一主成分上的研究。 研究显示，Gram-Schmidt波谱锐化(GS)方法对多光谱图像融合能产生较好的效果。因此，
[0044] 步骤二一、将低分辨率多光谱图像MSLR进行GS正交变换：
[0045] 设Ζ = Χ · ΙΓ1表示改进的GS正交变换方法，式中，X表示低分辨率多光谱图像MSw各 波段，Z表示变换后的各分量，R为变换矩阵，且
[0047] R中的元素计算如下：
[0048] /?. ，zk = xk/llxkll，下角标k表示当前计算的分量，k=l，2,…，s;下角标j表 示当前分量之后的各个分量，j = k+l，. . .，s，每次计算一个rkj后，xj更新为xj = xj_zk · rkj;
[0049] 步骤二二、利用步骤一获取的均值图像zmd十算GS变换其它分量zs，则低分辨率多 光谱图像MSlr和高分辨率全色图像PAN的多尺度模型分别建立在均值图像z 1LR和高分辨率全 色图像PAN上，如图1所示，均值图像Z1Lr为上面合成的均值图像，对应MSM中的，z 1HR为 ARSIS融合后的图像，与其它分量zs进行GS反变换，得到融合后的高分辨率多光谱图像MShr。
【具体实施方式】 [0050] 四：
[0051] 与【具体实施方式】三不同的是，本实施方式的基于多层带间结构模型的多光谱图像 和全色图像融合方法，步骤三所述利用静态小波变换SWT对第2层近似低分辨率多光谱图像 进行2层小波变换，对高分辨率全色图像PAN进行4层小波变换后，得到：一个近似图像 术〃或，'以及分别为水平、垂直、对角三个方向上的细节图像D = DH，Dv，Dd，由于三个方向 是独立、互不影响的，而后面所用的方法都是相同的，所以用一个D来表示。
【具体实施方式】 [0052] 五：
[0053]与【具体实施方式】一、二或四不同的是，本实施方式的基于多层带间结构模型的多 光谱图像和全色图像融合方法，步骤四所述将多尺度模型MSM中各近似图像对AMS与Apan，以 及细节图像对D MS与DPAN，都划分为64 X 64个像素大小的图像块的过程为，不失一般性，
[0054] 步骤四一、利用上述定义的符号来表示MSM中各系数层:I3fs;和表示静态小波 变换后尺度为i上的水平、垂直和对角方向的细节层；
[0055]步骤四二、多层带间结构模型MLIBSM的第一步是将各近似图像和细节图像都划分 为64X64大小的图像块，之后分别在每个图像块中计算各层系数。
【具体实施方式】 [0056] 六：
[0057] 与【具体实施方式】五不同的是，本实施方式的基于多层带间结构模型的多光谱图像 和全色图像融合方法，步骤五所述对于尺度为2的近似图像对:第2层近似低分辨率多光谱 图像术〃和第2层低分辨率全色图像计算全局结构相似度SSIM，计算每个图像块的局 部结构相似度LSS頂，并最终求得每个图像块的低层细节系数图像Df的过程为，
[0058]步骤五一、针对图1中的尺度为2的近似图像对:第2层近似低分辨率多光谱图像 和第2层低分辨率全色图像名，计算整图结构相似度：
[0060]式中，μ和σ分别是图像各自的均值和标准差;cov为和的协方差;cdPc2是 为了保证分母不为〇而设置的远小于1的常数；
[0061 ]步骤五二、计算每个图像块的局部结构相似度LSS頂；
[0062] 步骤五三、计算每个图像块的
[0063] ^LSSIM(Am, ) > SSIM(Am, ),
[0064] 则 严S
[0065] 否则 = α. + 々 (2)
[0066] 式中，尺度i的值为2;α、β表示调整系数，用于将全色图像的低层细节系数Df调 整为多光谱图像的低层细节系数Ι>Γ ;
[0067]之后计算参数α和β的最优解；
[0068]步骤五四、根据ARSIS的定义，高层细节系数的关系要尽可能与底层细节系数的关 系保持一致，则βΓ = ?、〇严'+#同样适用于尺度i = 3,4,...；由于
[0072]定义如下目标函数，使求出的α和β更好地拟合不同尺度的细节系数：
[0075]式中，Ν为分解层数；
[0086]将求得的α和邮]最优解代入式⑵中，得到每个图像块的Df5,此时，尺度i = 2，j = 3,4，. . .，N，j表示MSM的高层。
【具体实施方式】 [0087] 七：
[0088] 与【具体实施方式】一、二、四或六不同的是，本实施方式的基于多层带间结构模型的 多光谱图像和全色图像融合方法，步骤七所述对于尺度为1的第1层低分辨率多光谱图像 名^和第1层低分辨率全色图像jf'重复步骤四到步骤六的过程得到高分辨率多光谱图像 的均值图像z?的过程为，
[0089] 步骤七一、将式(2)表示的模型应用于尺度为1的平面上，并利用式(9)和式（11)求 出α和β的最优解，得到其中，i = l，j = 2,3,4,. . .，N;
[0090] 步骤七二、进行小波逆变换得到高分辨率的多光谱图像的均值图像Z1HR图像。
[0091] 实施例1:
[0092]本发明的实验针对三组星载多光谱/全色图像和两组高光谱图像展开。三组多光 谱和全色图像如图2所示，参数如下表所示。实验中对所有图像进行4倍亚采样，并把原始多 光谱图像作为参考图像，这样融合后的图像就具有与原始多光谱图像具有相同的分辨率， 从而可以进行更有效地评价。
[0093]表1实验多光谱和全色图像详细参数
[0095]同时，为了更好地显示本发明设计的方法在光谱保持特性方面的优势，采用了两 组高光谱图像进行仿真实验，如图3所示。其中，第一幅高光谱图像为一幅低轨道AVIRIS高 光谱数据，采集于美国加利福尼亚圣地亚哥海军基地，它包含126个波段，大小为400 X 400， 分辨率为3.5米。这里将序号为6-36的波段合成为一幅全色图像，并对原始高光谱图像进行 4倍下采样，进行仿真实验。第二幅图像为R0SIS高光谱数据，采集于意大利帕维亚大学，包 含103个波段，大小为610X340分辨率为1.3米。类似地，将1-65的波段合成为一幅全色图 像，并对原始高光谱图像进行4倍下采样，进行仿真实验。
[0096]实验结果及分析：
[0097]实验结果通过一些常用的融合评价指标来衡量，分别为平均梯度AG，均方根误差 RMSE，相对无量纲全局综合误差ERGAS。表2所示为融合图像各波段均值。
[0098]表2多光谱和全色图像融合结果
[0099]
[0100] 从表中可以看出提出的方法（即Prop.)在增强空间信息和保持光谱特性方面具有 显著的优势，如绝大部分情况下均具有最大的平均梯度，最小的误差。APCA-CT在保持光谱 特性方面有一定的优势，特别是在第二组实验中。图4显示了部分融合结果图。从图中可以 看出，提出的方法能增强图像清晰度，比如对Hobart图像来说，在红色圆圈中，能更清晰地 看到建筑物的轮廓。同样对于Rio de Janeiro图像来说，提出的方法能观察到红色圆圈中 跑道的中心线，而在中间图上，则观察不到。因此，从结果来看，本发明设计的方法在图像锐 化方面具有显著的优势。
[0101]表3列出了高光谱图像的融合结果。从表中可以看出，除了在空间清晰度方面的优 势之外，本发明的方法具有最小的融合误差，因此融合结果最接近理想情况。
[0102]表3高光谱图像融合结果
[0104] 图5显示了部分目标或地物的光谱曲线。从图中可以看出，在第一幅高光谱图像 中，本发明设计的方法对于飞机目标的光谱信息保持最好，其光谱曲线最接近与参考图像 (REF)。而对于停机坪来说，本发明的方法与M2都更加接近于参考图像。对于第二幅高光谱 图像来说，这三种方法的光谱曲线都十分接近于参考图像，但在植被的两个反射峰处(绿色 波段和近红外波段处），本发明的方法略微优于其它两种。为了更加宏观地显示几种方法的 优劣，将几种方法融合结果按波段绘制峰值信噪比(PSNR)，如图6所示。从图中可以看出，相 比之下，本发明设计的方法具有最高的峰值信噪比，即最接近于原始高光谱图像。另外，在 两幅图中可以看到，各自的峰值信噪比在前几十个波段比较高，而在后面的波段中则比较 低，这是因为在合成全色图像时，均只用了前几十个波段。比如对于圣地亚哥海军基地图像 来说，全色图像的波长范围覆盖了波段6-36,因此在图中，前36个波段的峰值信噪比较高， 而之后的值则较低。
[0105] 从最终的实验结果来看，本发明设计的方法在提升图像空间分辨率和保持图像光 谱特性方面均优于其它几种方法。
[0106] 另外，通过图7给出本专利设计的方法中小波分解层数对于图像融合效果的影响， 从图中可以看出，在一定程度上，随着小波分解层数的增加，对于细节信息的描述更加准 确，因此，融合图像的平均梯度随之增加，而均方根误差则随之降低，说明图像融合效果在 逐渐增强。但是，小波分解层数的增加，会使计算量和计算时间呈显著增长的趋势。因此，在 本发明设计的方法中，静态小波分解的层数一般被设置为4-5层。
【主权项】
1. 基于多层带间结构模型的多光谱图像和全色图像融合方法，其特征在于:所述方法 通过以下步骤实现： 对于输入的待融合图像MSlr和高分辨率全色图像PAN; 步骤一、将低分辨率多光谱图像MSlr利用双线性插值法重采样到全色图像PAN图像大 小，并将待融合图像MSw的均值图像作为均值图像Z1U?; 步骤二、对均值图像z1LR和待融合图像MSlr进行GS正交变换，将均值图像z1LR变换后的图 像记为尺度为2的低分辨率多光谱图像，Γ，即第2层近似低分辨率多光谱图像; 步骤三、利用静态小波变换SWT对第2层近似低分辨率多光谱图像4〃进行2层小波变 换，对高分辨率全色图像PAN进行4层小波变换，构建多尺度模型MSM; 其中，静态小波变换是指，由第2层近似低分辨率多光谱图像4Γ和高分辨率全色图像 PAN分别进行2层和四层分解;每分解一层会产生一个近似图像和水平、垂直、对角三个方向 的细节图像，层数越高则分辨率越低，高分辨率全色图像PAN与z 1HR的分辨率相同，而3?^与 以及MSLR与z1LR都具有相同分辨率;且第1、2层称为低层，而第3、4层及以上称为高层； 步骤四、将多尺度模型MSM中各近似图像对AMS与Apan，以及细节图像对DMS与D PAN，都划分 为64 X 64个像素大小的图像块； 步骤五、对于尺度为2的近似图像对:第2层近似低分辨率多光谱图像和第2层低分 辨率全色图像计算全局结构相似度SSM，计算每个图像块的局部结构相似度LSSM， 并最终求得每个图像块的低层细节系数图像 步骤六、步骤五求得的第2层细节系数图像Dfs与第2层近似低分辨率多光谱图像4?进 行静态小波逆变换，合成得到尺度为1的近似低分辨率多光谱图像即第1层低分辨率多 光谱图像 步骤七、对于尺度为1的近似图像对:第1层低分辨率多光谱图像和第1层低分辨率 全色图像重复步骤四到步骤六的过程得到高分辨率多光谱图像的均值图像z1HR，即高 分辨率多光谱图像的均值图像 2_; 步骤八、对高分辨率多光谱图像的均值图像z1HR和低分辨率多光谱图像MSw进行GS反变 换； 最终输出高分辨率多光谱图像MSHR。2. 根据权利要求1所述基于多层带间结构模型的多光谱图像和全色图像融合方法，其 特征在于:步骤一所述将低分辨率多光谱图像MSlr利用双线性插值法重采样到高分辨率全 色图像PAN图像大小，并将待融合图像MSw的均值图像作为均值图像m R的过程为，对低分辨 率多光谱图像MSw的各波段图像求和，除以波段图像数，产生均值图像，作为Z1图像。3. 根据权利要求1或2所述基于多层带间结构模型的多光谱图像和全色图像融合方法， 其特征在于:步骤二所述对均值图像z1LR和待融合图像MSlr进行GS正交变换，将均值图像 变换后的图像记为尺度为2的低分辨率多光谱图像即第2层近似低分辨率多光谱图像 的过程为， 步骤二一、将低分辨率多光谱图像MSw进行GS正交变换： 设Ζ = Χ · ΙΓ1表示改进的GS正交变换方法，式中，X表示低分辨率多光谱图像MSw各波段， Z表示变换后的各分量，R为变换矩阵，且 R中的元素计算如下：4 =ζ? ·\，ζ?. =·^./ΙΜ，下角标k表示当前计算的分量，k=l，2,. . .，s;下角标j表示当 前分量之后的各个分量，j = k+l，· · ·，s，每次计算一个rkj后，xj更新为xj = xj_zk · rkj; 步骤二二、利用步骤一获取的均值图像zmH十算GS变换其它分量zs，则低分辨率多光谱 图像MSlr和高分辨率全色图像PAN的多尺度模型分别建立在均值图像z1LR和高分辨率全色图 像PAN上，均值图像z 1LR为上面合成的均值图像，对应MSM中的47S，z1Hr为ARSIS融合后的图 像，与其它分量z s进行GS反变换，得到融合后的高分辨率多光谱图像MSHR。4. 根据权利要求3所述基于多层带间结构模型的多光谱图像和全色图像融合方法，其 特征在于:步骤三所述利用静态小波变换SWT对第2层近似低分辨率多光谱图像4 /s进行2层 小波变换，对高分辨率全色图像PAN进行4层小波变换后，得到:一个近似图像1厂或44\以 及分别为水平、垂直、对角三个方向上的细节图像D = Dh，Dv，Dd。5. 根据权利要求1、2或4所述基于多层带间结构模型的多光谱图像和全色图像融合方 法，其特征在于:步骤四所述将多尺度模型MSM中各近似图像对A MS与Apan，以及细节图像对 DMS与DPAN，都划分为64 X 64个像素大小的图像块的过程为， 步骤四一、利用上述定义的符号来表示MSM中各系数层:DP和饮~表示静态小波变换 后尺度为i上的水平、垂直和对角方向的细节层； 步骤四二、多层带间结构模型MLIBSM的第一步是将各近似图像和细节图像都划分为64 X64大小的图像块，之后分别在每个图像块中计算各层系数。6. 根据权利要求5所述基于多层带间结构模型的多光谱图像和全色图像融合方法，其 特征在于:步骤五所述对于尺度为2的近似图像对:第2层近似低分辨率多光谱图像Zf s和第 2层低分辨率全色图像，计算全局结构相似度SS頂，计算每个图像块的局部结构相似度 LSS頂，并最终求得每个图像块的低层细节系数图像的过程为， 步骤五一、针对尺度为2的近似图像对:第2层近似低分辨率多光谱图像為#和第2层低 分辨率全色图像，计算整图结构相似度：式中，以和〇分别是图像各自的均值和标准差;cov为4"和的协方差;cdPC2是为了 保证分母不为0而设置的远小于1的常数； 步骤五二、计算每个图像块的局部结构相似度LSS頂； 步骤五三、计算每个图像块的Ι>Γ': 若 ；)之 5S/M(4i/s, )， 则蹲? 否则 ,,. (2) 式中，尺度i的值为2;α、β表示调整系数，用于将全色图像的低层细节系数〇ΓΥ调整为 多光谱图像的低层细节系数； 步骤五四、根据ARSIS的定义，高层细节系数的关系要尽可能与底层细节系数的关系保 持一致，则= a，D"' \ +彡同样适用于尺度土 = 3，4，· · ·；由于(3) 则a和β分别表不为：(4).定义如下目标函数，使求出的a和β更好地拟合不同尺度的细节系数：式中，Ν为分解层数；通过下式计算f(a)关于a的偏导数： (5) (6)(7) 则式(7)表示为：从而，得求出式(5)中a的最优解为：(9) 通过下式计算g(i3)的偏导数：(10) 得求出式(6)中邱勺最优解为：(Π) 将求得的a和β的最优解代入式⑵中，得到每个图像块的Dfs?此时，尺度i = 2，j = 3， 4，. . .，N，j表示MSM的高层。7.根据权利要求1、2、4或6所述基于多层带间结构模型的多光谱图像和全色图像融合 方法，其特征在于:步骤七所述对于尺度为1的第1层低分辨率多光谱图像Jf"和第1层低分 辨率全色图像乂，重复步骤四到步骤六的过程得到高分辨率多光谱图像的均值图像 Z1HR 的过程为， 步骤七一、将式(2)表示的模型应用于尺度为1的平面上，并利用式(9)和式（11)求出α 和β的最优解，得到沈％其中，i = l，j = 2,3,4,. . .，Ν; 步骤七二、进行小波逆变换得到高分辨率的多光谱图像的均值图像z1HR图像。
【文档编号】G06T3/40GK105869114SQ201610179673
【公开日】2016年8月17日
【申请日】2016年3月25日
【发明人】张钧萍, 陆小辰, 李彤
【申请人】哈尔滨工业大学