一种基于深度学习实现遥感高光谱图像分类的方法

本发明属于图像处理领域，具体涉及一种基于深度学习实现遥感高光谱图像分类的方法。

背景技术：

1、高光谱图像(hsi)已成为遥感和地球观测领域的重要工具，它拥有高光谱分辨率的同时又包含了精细的空间细节。高光谱成像技术可以捕捉到整个电磁波谱中数百个连续的窄光谱带，即使材料的光谱特征有细微差别，也能对其进行精确识别和探测。hsi数据中光谱和空间信息的融合产生了大量应用，包括土地覆盖分类、精准农业、目标识别和生物多样性保护。随着光谱成像技术的不断发展，充分挖掘hsi的潜力变得日益迫切，其中一个重要的应用领域就是土地覆盖分类。

2、最初，通过一些统计方法如主成分分析法(pca)、因子分析法(fa)和独立成分分析法(ica)进行降维提取关键光谱信息，或者使用离散余弦变换(dct)、离散小波变换(dwt)、线性判别分析(lda)和非参数判别分析(nda)等信号处理方法提取频谱信息来实现hsi分类。然而，这些方法仅仅研究数据的统计属性和数学优化，在分类过程中可能会使his数据失去其最初的物理和化学特性，从而可能导致关键频段的信息丢失。此外，这些方法还忽略了hsi中的空间信息，导致分类精度有限。

3、随着机器学习的兴起，带有非线性核的支持向量机(svm)、随机森林(rf)和k-nearestneighbors(knn)等方法被广泛用于hsi分类。但是，在处理较小、不太复杂的数据时，这些方法通常能取得不错的结果。随着训练数据规模和复杂度的增加，它们的性能往往会趋于平稳或下降。这是因为传统机器学习方法在数据拟合和表示能力方面存在固有的局限性。

4、2012年。andrewng的团队使用深度学习在图像处理大获成功，国内外学者开始使用深度学习对hsi分类开展了广泛的研究。y.chen，hamida和charmisha等人使用卷积神经网络cnn学习hsi中的光谱和空间信息，实现遥感土地覆盖分类。随后z.meng，z.xue和paoletti等人改进了cnn，引入了残差网络，缓解了传统cnn的信息损失和梯度下降的问题，提升了网络的对hsi的分类能力。除了基于cnn的方法外，其他一些性能良好的网络如循环神经网络(rnn)、长短时记忆网络(lstm)以及生成对抗网络(gan)等也被用于his分类任务。

5、但是，cnn会引入过多的层数导致模型复杂度与计算成本提高，gan的主要问题是在不同空间变异光谱上的标签分配不一致，以及对新光谱特征的泛化能力有限。此外，rnn不适合同时训练模型，因为hsi通常包含很多样本，这限制了分类器的性能。

6、transformer架构在提取长期依赖性、光谱特征的有限泛化、光谱序列属性和高级语义特征等方面表现出了强劲的性能。l.sun等人设计了一种光谱空间特征标记化变换器(ssftt)，它将用于低层特征提取的分层cnn模块与变换器编码器模块整合在一起，以有效捕捉和表示高层语义特征。roy利用光谱-空间形态注意变换器(morphformer)，将光谱和空间形态卷积与自注意相结合，加强了图像标记的结构和形状信息之间的交互。但是上述方法并没有充分考虑多尺度信息的利用导致图像分类的准确率不够高。

技术实现思路

1、本发明的目的是提供一种基于深度学习实现遥感高光谱图像分类的方法。

2、本发明的技术方案如下：

3、一种基于深度学习实现遥感高光谱图像分类的方法，包括：

4、获取高光谱图像数据；

5、将所述高光谱数据输入到残差深度可分离卷积模型中进行数据提取，得到输出结果；

6、对输出结果进行分类，得到高光谱图像数据的地面覆盖情况的分类结果。

7、进一步地，所述残差深度可分离卷积模型由3d深度可分离卷积模块、挤压-激励模块、残差连接和改进的transformer构成。

8、进一步地，所述改进的transformer由一个多头自注意块、一个多层感知器层和两个归一化层构成。

9、进一步地，将所述高光谱数据输入到残差深度可分离卷积模型中进行数据提取，得到输出结果具体为：

10、使用高光谱图像数据作为输入，提取三维patch；

11、将patch通过3d深度可分离卷积模块提取高光谱图像的光谱和空间特征；

12、挤压-激励模块重新校准所述提取的空间特征，为根据每个光谱通道的重要性分配不同的权重；

13、再通过sigmoid和relu激活函数充分捕捉通道依赖性，得到每个光谱通道的权值；

14、最后将获得的光谱通道权重与输入数据进行点积，输出结果；

15、通过改进的transformer对输出结果进行降维，然后对降维后的结果进行标记；

16、最后将将嵌入的语义标记序列导入到改进的transformer模块，得到输出结果。

17、进一步地，通过全连接层改进的transformer模块的输出结果进行分类，得到高光谱图像数据的地面覆盖情况的分类结果。

18、进一步地，所述将patch通过3d深度可分离卷积模块提取高光谱图像的光谱和空间特征具体为：

19、深度可分离聚集模块每次导入p个patch，深度卷积对这p个通道的patch都使用一个卷积核进行卷积，在第i层第j个特空间位置上的计算值为：

20、

21、其中，通道c处的卷积核是一个p×kα×kβ×kγ张量；kα，kβ和kγ分别是卷积核的宽度、高度和深度，p是输入通道的数量；b是偏置项；然后将所有特征合并，形成输出结果；

22、点卷积层对所述输出结果进行操作，融合各通道的信息。

23、进一步地，对降维后的结果进行标记具体为：

24、首先将数据展平得到tflat，这是一个一维向量，长度为d＝d×s′2；

25、然后对每个patch的一维向量进行可学习的线性变换，将其映射到更高维度的嵌入空间，从而帮助模型捕捉更复杂的特征ti＝tflat·wproj+bproj，其中，代表加权矩阵，bproj是偏置向量，h是嵌入维度，是第i个patch的嵌入；

26、为了添加每个标记在序列中的位置信息，将cls标记连接到hsipatch标记，从而得到tin＝tcls⊙tflat′；其中，tin的维度为n为patch的数目，tcls是随机初始化的可学习张量，tin是内嵌的语义标记序列。

27、与现有技术相比，本发明具有以下优点：

28、首先，本发明提出的残差深度可分离卷积模型模型结合了三维残差计算、se块和注意力机制。该模型能从高光谱图像数据中有效提取丰富的光谱和空间特征，可用于多光谱图像的像素级分类。

29、其次，本发明还改进的transformer模块中注意力分数的计算方法，以更好地捕捉像素之间的依赖关系，实现更好的高光谱图像分类结果。

30、最后，在三个公开的数据集上进行了实验，本发明的框架在多光谱图像的像素级分类中实现了最先进的水平。