一种高光谱与多光谱图像的融合与分类一体化方法及系统

本发明属于多源遥感图像处理，具体涉及一种高光谱与多光谱图像的融合与分类一体化方法及系统。

背景技术：

1、就目前而言，高光谱成像是高分辨率探测的重要手段之一，其可以提供每个像素点丰富的光谱信息。然而，受到传感器成像机理的约束，高光谱图像的空间分辨率一般相对较低，即单一像素对应相对较复杂的物质组成，因此限制了其在精细化像素级分类任务中的精度。

2、作为一种改进，目前采用多光谱成像仪来进行高分辨率探测，随着多源遥感影像技术的发展，利用多传感器的互补特性来提升单一传感器所获图像的质量变得日益重要。与高光谱成像仪相比，多光谱成像仪能获得更高的空间分辨率和较低的光谱分辨率。这使得利用同一场景下的高光谱图像与多光谱图像进行图像融合，不仅可以提升高光谱图像的空间分辨率，又可以潜在地提升高光谱图像在下游像素级分类任务中的性能。

3、作为进一步改进，虽然越来越多的研究聚焦于基于深度学习的高光谱与多光谱图像融合技术，但是这些融合技术与下游的像素级分类技术相互独立。一方面，融合图像的质量并不向下游像素级分类任务负责，即可能无法保证图像融合能够提升像素级分类的精度；另一方面，图像融合与像素级分类采用独立的深度网络设计，处理流程复杂、计算复杂度高。因此，综上所述，目前高光谱与多光谱图像融合技术中，在处理高光谱成像低空间分辨率的图像时，无法保证图像融合能够提升像素级分类的精度，且处理在计算的复杂度较高。

技术实现思路

1、本发明的目的在于提供一种高光谱与多光谱图像的融合与分类一体化方法及系统，以解决目前高光谱与多光谱图像融合技术中，在处理高光谱成像低空间分辨率的图像时，无法保证图像融合能够提升像素级分类的精度，且处理在计算的复杂度较高的问题。

2、为达到上述目的，本发明采用如下技术方案：

3、一种高光谱与多光谱图像的融合与分类一体化方法，具体包括如下步骤：

4、s1、获取并预处理数据集：数据集包括低分辨率高光谱图像、高分辨率多光谱图像，以及通过对高分辨率多光谱图像的部分像素进行标记得到的类别标注数据；将预处理后的数据集划分为训练集和测试集；

5、s2、通过设置融合推理子网络、融合生成子网络以及分类子网络，构建得到融合识别一体化模型；

6、s3、采用训练集对融合识别一体化模型进行训练，优化模型参数，得到训练后的融合识别一体化模型；

7、s4、将测试集输入训练后的融合识别一体化模型，进行图像生成和图像分类，得到高分辨率的高光谱图像和高分辨率多光谱图像中各像素的类别标签结果。

8、在一些实施方式中，在s2中，设置融合推理子网络具体为：设计融合推理子网络的网络架构，进行特征提取与编码以及进行特征融合。

9、进一步地，在s2中，将从低分辨率高光谱图像和高分辨率多光谱图像提取的多尺度特征进行融合，得到综合的特征表示，具体如下公式(1)：

10、zfused＝gfusion(zl,zh)   (1)；

11、其中，zfused表示特征表示，gfusion表示特征融合操作，zl,zh分别代表低分辨率高光谱图像和高分辨率多光谱图像的特征表示。

12、进一步地，在s2中，融合生成子网络用于高分辨率高光谱图像的生成，具体为：

13、融合后的特征表示经过处理后生成高分辨率高光谱图像，具体如下公式(2)：

14、ihr＝fgen(zfused)   (2)；

15、其中，fgen表示融合生成子网络的操作，ihr表示生成的高分辨率高光谱图像。

16、在一些实施方式中，在s2中，分类子网络包括特征映射和像素级分类，其中：

17、特征映射具体为：将融合后的特征表示输入全连接层，进行特征映射，具体如下公式(3)：

18、zdense＝fdense(zfused)   (3)；

19、其中，fdense表示全连接层操作；

20、像素级分类具体为：将全连接层的输出输入到softmax层，完成像素级分类任务，如下公式(4)：

21、p＝softmax(zdense)   (4)；

22、其中，p表示每个像素的分类概率。

23、在一些实施方式中，s3具体包括：

24、将训练集中的所有低分辨率高光谱图像和高分辨率多光谱图像同时输入到融合推理子网络中，将部分像素的类别标注输入到分类子网络中；

25、通过联合概率分布最大化优化网络参数；

26、使用随机梯度下降算法对融合推理子网络、融合生成子网络和分类子网络中的所有参数进行迭代更新。

27、进一步地，s3中，通过联合概率分布最大化优化网络参数具体为：

28、通过最大化低分辨率高光谱图像、高分辨率多光谱图像以及部分像素的类别标注的联合似然函数，优化融合推理子网络、融合生成子网络和分类子网络的参数；

29、具体如下公式(5)：

30、

31、其中，kl表示kullback-leibler散度，xc,n,i表示第n个样本在第i类的真实标签。

32、在一些实施方式中，s4具体为：将测试集输入训练后的融合识别一体化模型，经过融合推理子网络融合处理后：

33、经融合生成子网络的输出得到高分辨率的高光谱图像；

34、经分类子网络输出高分辨率多光谱图像中各像素的类别标签。

35、本发明还提供一种高光谱与多光谱图像的融合与分类一体化系统，系统包括数据获取处理模块、模型构建模块，模型训练模块以及数据生成模块；其中：

36、数据获取处理模块用于获取并预处理数据集，并将预处理后的数据集划分为训练集和测试集；

37、模型构建模块用于基于融合推理子网络、融合生成子网络以及分类子网络，构建得到融合识别一体化模型；

38、模型训练模块用于基于训练集对融合识别一体化模型进训练；

39、数据生成模块用于基于训练后的融合识别一体化模型，进行图像生成和图像分类；

40、高光谱与多光谱图像的融合与分类一体化系统执行以实现如上述高光谱与多光谱图像的融合与分类一体化方法的步骤。

41、与现有技术相比，本发明一种高光谱与多光谱图像的融合与分类一体化方法及系统具有以下有益的技术效果。

42、本发明提供一种高光谱与多光谱图像的融合与分类一体化方法，具体包括如下步骤：s1、获取并预处理数据集：数据集包括低分辨率高光谱图像、高分辨率多光谱图像，以及通过对高分辨率多光谱图像的部分像素进行标记得到的类别标注数据；将预处理后的数据集划分为训练集和测试集；s2、通过设置融合推理子网络、融合生成子网络以及分类子网络，构建得到融合识别一体化模型；s3、采用训练集对融合识别一体化模型进行训练，优化模型参数，得到训练后的融合识别一体化模型；s4、将测试集输入训练后的融合识别一体化模型，进行图像生成和图像分类，得到高分辨率的高光谱图像和高分辨率多光谱图像中各像素的类别标签结果。基于上，本发明针对现有技术中，高光谱成像低空间分辨率所导致像素级分类精度受限的问题，通过采用高光谱图像与多光谱图像进行融合分类的设计，融合一副低分辨率高光谱图像与同观测场景下的另一副高分辨率多光谱图像，在获得高分辨率高光谱图像，同时实现高分辨率多光谱图像的像素级分类。本发明通过对图像数据进行采集和处理以及标记，再构建模型以及对模型进行训练，再经过测试，最终获取具有比输入的高光谱图像具有更高分辨率的高分辨率高光谱图像，且获取高分辨率多光谱图像中各像素的类别标签，该图像具有更高的像素级分类精度。