基于非重叠波段模拟的高光谱和多光谱图像融合方法与流程

本发明属计算机视觉、图形处理
技术领域：
，具体涉及一种基于非重叠波段模拟的高光谱和多光谱图像融合方法。
背景技术：
：高光谱图像是光谱波段在几十甚至几百数量级的光谱图像，多光谱图像则一般是指有几个到十几个光谱波段的光谱图像。随着光谱成像技术的发展，高光谱图像的光谱分辨率逐渐增加。但是，由于成像光谱仪的成像信噪比和信息量的限制，高光谱图像通常具有较低的空间分辨率。相对地，拥有较低光谱分辨率的多光谱图像能获得较高的空间分辨率。为了获得高空间分辨率的高光谱图像，最常用的方法是进行图像融合。通过将高光谱图像与高空间分辨率的多光谱图像进行融合，从而有效地获得高分辨率高光谱图像。现有的高光谱图像融合方法主要分为三类：第一类是基于多光谱全色锐化(pan-sharpening)的方法。如z.chen等人在“z.chen,h.pu,b.wang,andg.jiang.fusionofhyperspectralandmultispectralimages:anovelframeworkbasedongeneralizationofpan-sharpeningmethods.ieeegeoscienceandremotesensingletters,vol.11,no.8,pp.1418–1422,2014.”中提出了用全色锐化算法解决高光谱和多光谱图像融合的方法，即将高光谱图像的光谱波段分成若干个区域，在每个区域中独立地使用全色锐化算法。这类方法在多光谱与高光谱图像波长的非重叠区域的融合性能受限。第二类方法是特别为高光谱和多光谱图像融合设计的方法。如n.yokoya等人在“n.yokoya,t.yairi,anda.iwasaki.couplednon-negativematrixfactorization(cnmf)forhyperspectralandmultispectraldatafusion:applicationtopastureclassification.inproc.ieeeinternationalgeoscienceandremotesensingsymposium(igarss),2011,pp.1779–1782.”中提出使用基于光谱解混的方法解决融合问题，这种方法迭代进行高光谱和多光谱图像的解混，用解混得到的高分辨率端元矩阵和丰度矩阵重构得到高分辨率多光谱图像。q.wei等人在“q.wei,n.dobigeon,andj.-y.tourneret.fastfusionofmulti-bandimagesbasedonsolvingasylvesterequation.ieeetransactionsonimageprocessing,vol.24,no.11,pp.4109–4121,2015.”中提出基于贝叶斯概率的方法。这类方法将原图像投影到子空间上进行处理，融合图像通常性能比较稳定，但在多光谱与高光谱图像波长的重叠区域小时重构的准确性下降。第三类是基于深度学习的方法。如w.lai等人在“w.lai,j.huang,n.ahuja,andm.yang.deeplaplacianpyramidnetworksforfastandaccuratesuper-resolution.inproc.ieeeconferenceoncomputervisionandpatternrecognition(cvpr),2017,pp.5835–5843.”中提出了使用拉普拉斯金字塔超分辨率网络(lapsrn)来逐步重建高分辨率图像。基于深度学习的方法整体效果较好，但由于高光谱图像的数据量大，计算的时间花费较大。技术实现要素：为了克服现有技术的不足，本发明提供一种基于非重叠波段模拟的高光谱和多光谱图像融合方法。首先，对图像进行预处理，并使用光谱解混技术生成在非重叠波段模拟的多光谱图像；然后，使用多光谱图像波段的最优线性组合获得对应于每个波段高光谱图像的高分辨率图像；最后，使用注入模型将高分辨率图像注入到每个波段的高光谱图像中，得到融合后的图像。一种基于非重叠波段模拟的高光谱和多光谱图像融合方法，其特征在于步骤如下：步骤1：分别对高光谱图像和多光谱图像的像素值进行归一化处理，使所有像素值归一化到0-1之间；然后，对归一化后的每个波段的高光谱和多光谱图像数据分别按行展开，将高光谱图像和多光谱图像数据分别转换为像素数乘以波段数的二维矩阵形式，对于高光谱图像得到二维矩阵x＝[x1,...,xb]∈rp×b，对于多光谱图像得到二维矩阵y＝[y1,...,yb]∈rp×b，其中，p为每个波段的高光谱图像的像素数，p每个波段的多光谱图像的像素数，b为高光谱图像的波段数，b为多光谱图像的波段数，p＜p，b＜b，xi表示第i个波段的高光谱图像按行展开后得到的向量，yj表示第j个波段的多光谱图像按行展开后得到的向量，i＝1,...,b，j＝1,...,b。步骤2：采用cnmf方法对图像矩阵x和y进行耦合光谱解混处理，得到近似图像a∈rp×b。步骤3：选择近似图像a在高光谱图像和多光谱图像非重叠波长范围内对应的那些波段图像，求这些波段图像的平均值，得到一个模拟波段图像s∈rp×1和模拟的多光谱图像步骤4：对高光谱图像的每一个波段xi，i＝1,...,b，都分别按照如下步骤进行处理，最终得到融合图像z＝[z1,...,zb]∈rp×b：步骤4.1：对于xi，通过对模拟的多光谱图像按波段进行最优线性组合，得到其对应的高分辨率图像hi，具体为：令w＝[ω1,ω2,…,ωb+1,c]t，其中，为按的比例降采样后的结果，为模拟的多光谱图像的第j个波段图像，j＝1,…b+1,，ωj≥0和c分别为权重系数，使用基于matlab的凸优化工具包cvx求解下式：得到最优线性组合系数矩阵w，xi对应的高分辨率图像即为其中，步骤4.2：用以下公式计算第i波段的细节图像di：其中，是hi经过低通高斯滤波后的图像。步骤4.3：使用以下细节注入模型计算得到融合图像的第i波段图像zi：其中，表示xi进行系数为的线性插值后的结果，gi是注入系数，cov(·)表示求协方差。本发明的有益效果是：由于合并了模拟波段图像，扩展了多光谱图像在非重叠波段的图像，可以避免在非重叠波段融合时产生光谱失真，获得较好的融合结果；由于对模拟的多光谱图像按波段最优线性组合来合成各波段的高分辨率图像，相对于使用选中的单一波段，能更好地提高高光谱图像融合的性能。本发明可以在保留高光谱图像中光谱信息的同时提高图像的空间分辨率，得到同时具有高空间分辨率和高光谱分辨率的融合图像，尤其是可以有效提高在高光谱和多光谱图像的波长重叠范围小的情况下的融合图像质量。附图说明图1是本发明的基于非重叠波段模拟的高光谱和多光谱图像融合方法流程图图2是hyperspecchikusei数据集上的原高光谱图像图3是采用本发明方法对hyperspecchikusei数据集图像融合处理后的结果图像具体实施方式下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。如图1所示，本发明提供了一种基于非重叠波段模拟的高光谱和多光谱图像融合方法，其实现过程如下：1、图像预处理利用线性函数对高光谱图像和多光谱图像的像素值进行归一化处理，使所有像素值都归一化到0-1之间，保证所有的数据都在一个变化幅度上，便于后续处理。具体为：其中，x，y分别为归一化前后的像素值，xmax、xmin分别为图像中像素值的最大值和最小值。由于高光谱图像和多光谱图像都是3维数据，包括2维空间信息和1维光谱信息，为了便于处理，对归一化后每个波段的图像(即高光谱和多光谱图像数据的前两维数据)按行展开，将高光谱图像和多光谱图像数据分别转换为像素数乘以波段数的二维矩阵形式，对于高光谱图像得到二维矩阵x＝[x1,...,xb]∈rp×b，对于多光谱图像得到二维矩阵y＝[y1,...,yb]∈rp×b，其中，p为每个波段的高光谱图像的像素数，p每个波段的多光谱图像的像素数，b为高光谱图像的波段数，b为多光谱图像的波段数，p＜p，b＜b，xi表示第i个波段的高光谱图像按行展开后得到的向量，yj表示第j个波段的多光谱图像按行展开后得到的向量，i＝1,...,b，j＝1,...,b。2、耦合光谱解混使用文献“n.yokoya,t.yairi,anda.iwasaki.couplednon-negativematrixfactorization(cnmf)forhyperspectralandmultispectraldatafusion:applicationtopastureclassification.inproc.ieeeinternationalgeoscienceandremotesensingsymposium(igarss),2011,pp.1779–1782.”中的cnmf方法对x和y进行耦合光谱解混处理，得到包含非重叠波段信息的近似图像a∈rp×b。3、合成模拟的多光谱图像高光谱图像的波长范围与多光谱图像的波长范围的重叠(或非重叠)部分的波段即为重叠(或非重叠)波段。例如某一高光谱图像的波长范围为400nm-2500nm，而某一多光谱图像的波长范围为450nm-900nm，则重叠波长范围为450nm-900nm，非重叠波长范围分别为400nm-450nm和900nm-2500nm。重叠(或非重叠)波段图像指的就是该图像在重叠(或非重叠)波长范围内的对应的那些波段的图像，对应于前面的例子，在450nm-900nm波长范围内的那些波段的图像即为重叠波段图像，在400nm-450nm和900nm-2500nm波长范围内的那些波段的图像即为非重叠波段图像。利用高光谱图像和多光谱图像的非重叠波段，选择近似图像a在非重叠波段的图像，并求这些波段图像的平均值，得到一个模拟波段图像s∈rp×1；然后，将y与s合并，得到模拟的多光谱图像即4、合成融合图像z(1)生成第i波段的高分辨率图像hi(i＝1,...,b)对于xi，通过对模拟的多光谱图像按波段进行最优线性组合，得到其对应的高分辨率图像hi，具体为：令w＝[ω1,ω2,…,ωb+1,c]t，其中，为按的比例降采样后的结果，为模拟的多光谱图像的第j个波段图像，j＝1,…b+1,，ωj≥0和c为权重系数，多光谱图像按波段进行最优线性组合问题表示为：其中，||·||2表示2范数；使用基于matlab的凸优化工具包cvx(m.grantands.boyd,“cvx:matlabsoftwarefordisciplinedconvexprogramming,version2.1,”http://cvxr.com/cvx,mar.2014.)，求解上式得到最优线性组合系数矩阵w，xi对应的高分辨率图像即为(2)生成第i波段的细节图像di为了得到高分辨率图像的空间细节信息，用以下公式计算第i波段的细节图像di：其中，是经过低通高斯滤波的hi。(3)合成第i波段的融合图像zi为了将空间细节信息添加到xi中，使用以下细节注入模型，计算得到融合图像的第i波段图像zi。其中，表示xi进行系数为的线性插值后的结果，gi的计算方法如下：其中，cov(·)表示协方差。对每个波段的高光谱图像xi(i＝1,...,b)都分别按照上述(1)-(4)步骤进行处理，最终得到融合图像z＝[z1,...,zb]∈rp×b。为验证本发明方法的有效性，在中央处理器为i5-34703.2ghzcpu、内存4g、windows7操作系统上，运用matlab软件进行仿真实验。实验中使用两个高光谱数据集：hyperspecchikusei和hydicewashington,d.c.。hyperspecchikusei数据集包含光谱范围在363nm-1018nm的128个波段且空间分辨率为2517×2335像素的高光谱图像，选择全部128个波段的左上角540×420像素的子图进行实验。hydicewashington,d.c.数据集包含光谱范围在400nm-2500nm的210个波段且空间分辨率为1280×307像素的高光谱图像，在去除覆盖吸水区域的波段后，选择剩下的全部191个波段的左上角420×300像素的子图进行实验。以选择好的高光谱图像为参考图像r，首先在空间域对图像r进行高斯模糊处理，然后按照一定的比例进行降采样，得到对应的低分辨率高光谱图像。其中，两个数据集的降采样比例分别为6和4。对参考图像r在光谱域进行降采样，得到对应的高分辨率多光谱图像。其中，多光谱传感器wv-2和quickbird的光谱响应函数(srf)分别被用作两个数据集的光谱域降采样系数。图2为实验中hyperspecchikusei数据集上的原高光谱图像在第32个波段的图像，图3为采用本发明方法进行融合处理后得到的结果图像在第32个波段的图像。可以看出，采用本发明方法进行融合处理后图像更加清晰，即本发明方法能有效提高高光谱图像的空间分辨率。为了对比本发明方法的有效性，分别选取泛化拉格朗日金字塔方法(glp)(“b.aiazzi,l.alparone,s.baronti,a.garzelli,andm.selva.mtf-tailoredmultiscalefusionofhigh-resolutionmsandpanimagery.photogramm.eng.remotesens.,vol.72,no.5,pp.591–596,2006.”)和耦合非负矩阵分解方法(cnmf)作为对比方法，分别计算融合图像z与参考图像r之间的峰值信噪比(pnsr)、光谱角(sam)、ergas和q2n值来定量评估融合图像质量。其中，pnsr值先按波段进行计算，最后取平均值，pnsr值越高表明图像的空间质量越好；sam值越低表明图像的光谱误差越小；ergas值用来衡量图像整体的空间质量，理想值为0；q2n值是评估评估图像相关损失、亮度畸变和对比度畸变的综合指标，理想值为1。表1给出了不同方法在hyperspecchikusei数据集上的评估结果，表2给出了不同方法在hydicewashington,d.c.数据集上的评估结果。表1方法psnrsamergasq2nglp方法44.5461.4251.3630.9120cnmf方法46.1321.2451.5420.9414本发明方法46.4521.1781.2830.9424表2方法psnrsamergasq2nglp方法37.2821.5723.5820.9086cnmf方法37.6551.4373.0050.9113本发明方法38.8551.2612.8310.9227从表1和表2可以看出，本发明方法在两个数据集上各参数值计算结果都最优，证明了本发明方法对提高高光谱图像空间分辨率具有更好的效果。在高光谱和多光谱图像非重叠波段范围更大的hydicewashington,d.c.数据集上，本发明方法的优势更加明显，说明对于非重叠波段融合，采用本发明方法可以获得更好的融合结果，可以有效提高非重叠波段融合图像质量。当前第1页12