高光谱图像Transformer网络训练及分类方法

高光谱图像transformer网络训练及分类方法
技术领域
1.本发明涉及高光谱图像分类技术领域，尤其涉及的是一种高光谱图像transformer网络训练及分类方法。


背景技术：

2.高光谱遥感图像可以从上百条连续的光谱波段中提取地物信息，这使得其拥有强大的对地目标区分能力。在过去的几十年里，高光谱图像在军事目标探测、海洋监测、灾害防治等方面均发挥了重要作用。高光谱图像的识别与分类是高光谱图像分析的一个关键问题，对高光谱遥感技术的推进与发展起着非常重要的作用。
3.随着深度学习在各个领域的广泛应用，高光谱分类也出现了多种深度学习分类方法，如自编码器ae(auto encoder)、卷积神经网络cnn(convolutional neural networks)等。但是，由于高光谱图像的样本量较小，在小样本数据下仅依靠有标签样本更加难以获得理想的训练效果，导致现有的高光谱图像分类模型训练效果不好，实际应用在高光谱图像分类时，难以充分地提取空谱特征信息，分类精度不高。
4.因此，现有技术有待改进和提高。


技术实现要素：

5.本发明的主要目的在于提供一种高光谱图像transformer网络训练及分类方法，旨在解决现有技术高光谱图像分类模型训练效果不好的问题。
6.为了实现上述目的，本发明提供了一种用于高光谱图像的transformer网络的训练方法，在所述transformer网络中设置自适应多尺度嵌入层，所述自适应多尺度嵌入层包括多个嵌入模块，所述训练方法包括：
7.基于光谱维度分割高光谱图像样本，获得多个光谱子波段，所述高光谱图像样本为无标签训练样本；
8.将每个光谱子波段各输入一个嵌入模块，获得每个嵌入模块输出的局部空谱嵌入特征，所述嵌入模块以多个尺度提取所述光谱子波段的空谱特征；
9.按照光谱子波段的位置融合所有的所述局部空谱嵌入特征，获得全局空谱嵌入特征；
10.将所述全局空谱嵌入特征输入transformer编码器，并在transformer解码器中对中心区域token进行掩码与重建以自监督地训练transformer编码器。
11.可选的，所述嵌入模块包括用于嵌入小尺度特征的小尺度分支、用于嵌入中尺度特征的中尺度分支和用于嵌入大尺度特征的大尺度分支，所述将每个光谱子波段各输入一个嵌入模块，获得每个嵌入模块输出的局部空谱嵌入特征，包括：
12.将所述光谱子波段输入嵌入模块，分别获得小尺度分支输出的小尺度嵌入特征、中尺度分支输出的中尺度嵌入特征和大尺度分支输出的大尺度嵌入特征；
13.融合所述大尺度嵌入特征、所述中尺度嵌入特征和所述小尺度嵌入特征，获得所
述局部空谱嵌入特征。
14.可选的，所述获得大尺度分支输出的大尺度嵌入特征，包括：对所述光谱子波段进行三维卷积操作，提取第一空谱特征，对所述第一空谱特征进行三维卷积操作，提取第二空谱特征，将所述第二空谱特征在光谱维度拼接并展平，获得大尺度嵌入特征；
15.所述获得中尺度分支输出的中尺度嵌入特征，包括：对所述光谱子波段进行三维卷积操作，提取第三空谱特征，融合所述第三空谱特征并展平，获得中尺度嵌入特征。
16.可选的，所述融合所述大尺度嵌入特征、所述中尺度嵌入特征和所述小尺度嵌入特征，获得所述局部空谱嵌入特征，包括：
17.采用可学习的权重参数融合所述大尺度嵌入特征、所述中尺度嵌入特征和所述小尺度嵌入特征，获得所述局部空谱嵌入特征。
18.可选的，训练transformer编码器之后，还包括：
19.重置所述权重参数，将训练后的transformer编码器的输出结果输入分类器，采用带标签的高光谱图像样本对训练后的transformer编码器进行再次训练。
20.可选的，所述在transformer解码器中对中心区域token进行掩码与重建以自监督地训练transformer编码器，包括：
21.将训练样本的中心像素替换为可学习的向量；
22.在transformer解码层中重构中心像素以及训练样本；
23.根据中心像素重构的损失值和训练样本重构的损失值，训练transformer编码器。
24.为了实现上述目的，本发明还提供了一种基于多尺度卷积transformer网络的高光谱图像分类方法，所述多尺度卷积transformer网络包括自适应多尺度嵌入层和transformer编码器，所述自适应多尺度嵌入层包括多个嵌入模块，所述分类方法包括：
25.预先采用上述任意一项用于高光谱图像的transformer网络的训练方法训练所述多尺度卷积transformer网络；
26.将高光谱图像输入所述多尺度卷积transformer网络，获得分类特征；
27.将所述分类特征输入分类器，获得高光谱图像分类结果。
28.为了实现上述目的，本发明还提供了一种用于高光谱图像的transformer网络的训练装置，所述transformer网络中包括自适应多尺度嵌入层，所述自适应多尺度嵌入层包括多个嵌入模块，所述装置包括：
29.光谱子波段模块，用于基于光谱维度分割高光谱图像，获得多个光谱子波段，所述高光谱图像为所述transformer网络的无标签训练样本；
30.局部空谱嵌入特征模块，用于将每个光谱子波段各输入一个嵌入模块，获得每个嵌入模块输出的局部空谱嵌入特征，所述嵌入模块以多个尺度提取所述光谱子波段的空谱特征；
31.全局空谱嵌入特征模块，用于按照光谱子波段的位置融合所有的所述局部空谱嵌入特征，获得全局空谱嵌入特征；
32.自监督训练模块，用于将所述全局空谱嵌入特征输入transformer编码器，并在transformer解码器中对中心区域token进行掩码与重建以自监督地训练transformer编码器。
33.为了实现上述目的，本发明还提供了一种智能终端，上述智能终端包括存储器、处
理器以及存储在上述存储器上并可在上述处理器上运行的用于高光谱图像的transformer网络的训练程序，上述用于高光谱图像的transformer网络的训练程序被上述处理器执行时实现任意一项上述用于高光谱图像的transformer网络的训练方法的步骤。
34.为了实现上述目的，本发明还提供了一种计算机可读存储介质，上述计算机可读存储介质上存储有用于高光谱图像的transformer网络的训练程序，上述用于高光谱图像的transformer网络的训练程序被处理器执行时实现任意一项上述用于高光谱图像的transformer网络的训练方法的步骤。
35.由上述可见，本发明通过将高光谱图像波段分组，然后多个尺度地提取光谱子波段的空谱特征，能够有效降低特征提取的难度，充分地提取样本信息；基于中心区域token的遮掩与重建，能够有效地利用无标签样本，并通过自监督学习提升transformer网络对于其邻域的关系建模能力，进一步提升transformer网络在小样本情况下的性能表现。获得较好训练效果的transformer网络，可以高精度地对高光谱图像进行分类。
附图说明
36.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
37.图1是本发明提供的用于高光谱图像的transformer网络的训练方法实施例的流程示意图；
38.图2是图1实施例多尺度嵌入层的网络模型架构示意图；
39.图3是图2中嵌入模块的示意图；
40.图4是图1实施例中获得大尺度嵌入特征的流程示意图；
41.图5是图1实施例中获得中尺度嵌入特征的流程示意图；
42.图6是transformer网络训练时的模型架构示意图；
43.图7是自监督训练transformer网络的流程示意图；
44.图8是本发明实施例提供的用于高光谱图像的transformer网络的训练装置的结构示意图；
45.图9是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
46.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
47.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
48.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的
而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
49.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
50.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当
…
时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0051]
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0052]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0053]
高光谱图像的成像距离远，且成像过程中存在诸多干扰因素，同物异谱同谱异物的现象广泛存在。传统的分类模型训练时由于不能够实现输入样本的长距离建模，样本信息的提取不充分，在小样本数据的情景下仅依靠有标签样本更加难以获得理想的训练效果。因此，传统分类模型训练效果不好，难以实现对高光谱图像的准确分类。
[0054]
为了解决现有技术中高光谱图像分类模型训练效果不好、分类精度不高，对于样本量很少的地物类别分类效果不好的问题，本发明提供了一种用于高光谱图像的transformer网络的训练方法，在基于波段分组的空谱特征嵌入技术构思下，先构建光谱波段的局部空谱嵌入，再组合构成全局空谱嵌入。由于基于分治的波段分组的特征提取能够有效降低特征嵌入的难度，充分提取空谱特征。并通过基于中心区域token的遮掩与重建，有效地利用无标签的样本，通过自监督学习提升transformer网络对于其邻域的关系建模能力，进一步提升transformer网络在小样本情况下的性能表现。因此，可以充分提取高光谱图像的空谱特征信息，提升transformer网络的训练效果，实现对高光谱图像的准确分类。
[0055]
示例性方法
[0056]
如图1所示，本发明实施例提供一种用于高光谱图像的transformer网络的训练方法，部署于智能终端上。网络架构上，首先在transformer网络中的transformer编码器之前设置包括多个嵌入模块的自适应多尺度嵌入层，将自适应多尺度嵌入层提取的空谱特征输入transformer编码器。其中，每个嵌入模块用于从多个尺度提取光谱子波段的空谱特征。
[0057]
具体的，上述训练方法包括如下步骤：
[0058]
步骤s100：基于光谱维度分割高光谱图像样本，获得多个光谱子波段，所述高光谱图像样本为无标签训练样本；
[0059]
具体地，本实施例的训练样本是无标签高光谱图像，利用无标签高光谱图像对transformer网络进行训练以充分地学习高光谱图像的空谱特征，提升transformer网络的分类性能。
[0060]
假定高光谱图像为其中x、y表示高光谱图像空间维度的长和宽，b表示高光谱图像的光谱维度(即光谱波段)。在光谱维度上等长分割高光谱图像，就可以获得如图2所示的多个光谱子波段。
[0061]
由于高光谱图像是高维数据，为了避免维度灾难，本实施例在分割高光谱图像之前，首先用主成分分析(principal component analysis，pca)对原始的高光谱图像进行降维。假定降维后的高光谱图像为h∈r
x
×y×k，其中，x，y分别为高光谱图像空间维度的长和宽，一般x＝y，k为经过pca降维处理后保留的光谱维度。具体的，本实施例中x＝y＝13，k＝80，即降维后保留80个光谱波段。然后在光谱维度上等长分割降维后的高光谱图像h∈r
x
×y×k，经过等长分割后将图像分割为k个光谱子波段本实施例中，k的值为8，得到一组光谱子波段(h
′1,h
′2,h
′3,
…
,h
′8)。k的具体数值不做限制，可以根据实际情况进行相应调整。
[0062]
步骤s200：将每个光谱子波段各输入一个嵌入模块，获得每个嵌入模块输出的局部空谱嵌入特征，所述嵌入模块以多个尺度提取光谱子波段的空谱特征；
[0063]
具体地，根据光谱子波段的数量设定自适应多尺度嵌入层中嵌入模块的数量，使得每个嵌入模块提取一个光谱子波段的空谱特征。由于transformer网络优点在于提取全局信息，能够实现长距离建模，但是对于局部信息的提取并不充分。为了更充分地提取光谱子波段的空谱特征，本发明的嵌入模块以多个尺度提取光谱子波段的空谱特征，并将所有的空谱特征融合，获得局部空谱嵌入特征并输出。更为适合高光谱图像的特征提取，在小样本训练与任意样本数量训练的情况下均能取得优秀的模型性能。多个尺度提取光谱子波段的空谱特征的方法不限，例如：采用不同尺度的卷积操作来不同尺度地提取光谱子波段的空谱特征。
[0064]
本实施例中，每个嵌入模块从三个尺度提取空谱特征，包括用于嵌入小尺度特征的小尺度分支、用于嵌入中尺度特征的中尺度分支和用于嵌入大尺度特征的大尺度分支。将光谱子波段输入嵌入模块后，分别获得小尺度分支输出的小尺度嵌入特征、中尺度分支输出的中尺度嵌入特征和大尺度分支输出的大尺度嵌入特征；然后融合大尺度嵌入特征、中尺度嵌入特征和小尺度嵌入特征，获得局部空谱嵌入特征。
[0065]
在小尺度分支中，对于输入的光谱子波段首先使用线性嵌入对光谱子波段中的每一个光谱进行特征嵌入，然后对嵌入结果在空间维度展平，获得小尺度嵌入特征具体表达式为：
[0066][0067][0068]
其中，线性嵌入结果展平后结果emb
small
∈r
embnum
×
embdim
，embnum值为x
×
y，embdim为模型嵌入维度。
[0069]
考虑到中尺度分支和大尺度分支存在部分特征依赖关系，因此中尺度分支和大尺度分支的特征嵌入与小尺度分支不同，如图3所示，还包括了3d卷积操作。
[0070]
如图4所示，获得大尺度分支输出的大尺度嵌入特征，具体步骤包括：
[0071]
步骤a210：对光谱子波段进行三维卷积操作，提取第一空谱特征；
[0072]
步骤a220：对第一空谱特征进行三维卷积操作，提取第二空谱特征；
[0073]
步骤a230：将第二空谱特征在光谱维度拼接并展平，获得大尺度嵌入特征。
[0074]
具体地，首先使用卷积核大小为(3,3,3)的3d卷积操作进行局部空谱特征提取得到第一空谱特征再进行一次卷积核大小为(3,3,3)的3d卷积操作得到第二空谱特征在光谱维度拼接后在空间维度展平，得到大尺度嵌入特征具体表达式为：
[0075][0076][0077][0078]
如图5所示，获得中尺度分支输出的中尺度嵌入特征，具体步骤包括：
[0079]
步骤b210：对光谱子波段进行三维卷积操作，提取第三空谱特征；
[0080]
步骤b220：融合第三空谱特征并展平，获得中尺度嵌入特征。
[0081]
具体地，首先使用卷积核大小为(3,3,3)的3d卷积操作进行局部空谱特征提取得到第三空谱特征然后使用一维卷积对四个第三空谱特征进行融合并展平，得到中尺度嵌入特征具体表达式为：
[0082][0083][0084]
其中，空谱特征中尺度嵌入特征中尺度嵌入特征embnum值为x
×
y，embdim为模型嵌入维度。
[0085]
进一步地，考虑到数据集空间分辨率存在差异，在多尺度嵌入特征融合时，使用了可学习的权重参数(
small
,w
mid
,w
large
)来融合大尺度嵌入特征中尺度嵌入特征和小尺度嵌入特征从而调节各分支特征的嵌入权重，获得局部空谱嵌入特征具体表达式为：
[0086][0087]
将k个光谱子波段输入并行的嵌入模块后，获得各个光谱子波段对应的局部空谱嵌入特征。具体表示为：其中，emb
local
∈rk
×
x
′×y′×z′
/k
，x
′
、y
′
为经过局部空谱特征提取后的空间维度的长和宽，z
′
是经过局部空谱特征提取后的光谱维度。
[0088]
需要说明的是，嵌入模块的多尺度分支可以根据高光谱图像的数据特征自由选择，使得嵌入模块具备更佳的自适应能力。嵌入模块具体可以表示为：
[0089][0090]
其中，表示第i个光谱子波段对应的局部空谱嵌入特征，ssemi函数表示第i个光谱子波段对应的局部空谱嵌入函数。局部空谱嵌入函数ssemi(i＝1,2,...,k)可以根据样本数据特征自由选择，给特征嵌入带来了很大的自由度。
[0091]
步骤s300：按照光谱子波段的位置融合所有的局部空谱嵌入特征，获得全局空谱嵌入特征；
[0092]
具体地，如图2所示，将上述局部空谱嵌入特征按照光谱子波段的位置顺序进行融合，例如：简单地按照光谱子波段的位置顺序拼接所有的局部空谱嵌入特征，然后通过两次展平操作在空间维度平展，获得全局空谱嵌入特征emb
global
。
[0093]
emb
′
local
＝reshape_1(emb
local
)，emb
global
＝reshape_2(emb
′
local
)，
[0094]
其中，reshape_1，reshape_2表示展平操作，展平后的局部空谱嵌入特征emb
′
kocal
∈r
x
′×y′×z′
，展平后的全局空谱嵌入特征emb
global
∈r
embsize
×z′
，特征嵌入的数量embsize＝x
′×y′
。展平操作为神经网络模型的常规技术手段，在此不再赘述。
[0095]
步骤s400：将全局空谱嵌入特征输入transformer编码器，并在transformer解码器中对中心区域token进行掩码与重建以自监督地训练transformer编码器。
[0096]
具体地，针对现有的分类模型没有有效利用无标签样本的问题，本发明采用基于中心区域token的遮掩与重建，能够有效地利用无标签的样本，通过自监督学习提升模型对于其邻域的关系建模能力，进一步提升分类模型在小样本情况下的性能表现，通过有效地利用无标签样本还可以增强有标签样本分类训练的效果。
[0097]
参考图6所示，本实施例中，解码器由两层标准transformer编码器组成，将全局空谱嵌入特征输入解码器，在解码器中对中心区域token进行掩码与重建以自监督地训练transformer编码器。
[0098]
如图7所示，在解码器中对中心区域token进行掩码与重建以自监督地训练transformer编码器，具体步骤包括：
[0099]
步骤s410：将训练样本的中心像素替换为可学习的向量；
[0100]
步骤s420：在解码器中重构中心像素以及训练样本；
[0101]
步骤s430：根据中心像素重构的损失值和训练样本重构的损失值，训练transformer编码器。
[0102]
具体地，与计算机视觉领域的自监督训练不同，rgb图像不能直接找到需要关注的区域，而高光谱图像(hsi)样本的邻域区域为丰富中心像素的特征表达而存在。因此，掩码目标可以选择训练样本中的重要部分，即中心像素，将全局空谱嵌入特征中间的序列标记l
center
替换为可学习的向量v
learn
，得到新的特征表示序列，进行训练样本的重构。具体标示为：
[0103]
l＝(l1,l2,
…
,l
center
,
…
lk)
→
l
′
＝(l1,l2,
…
,v
learn
,
…
lk)。
[0104]
将掩码后的序列l
′
输入transformer解码器，在transformer解码器中由mlp head(mlp：包含一个隐藏层的全连接网络)进行像素级序列重构，得到中心像素及训练样本的整体重构结果r(r1,r2,
…
,r
center
,
…
,rk)。
[0105]
r＝decoder(l
′
)。
[0106]
其中，ri对应序列li的像素序列重构结果。
[0107]
也就是说，本实施例的训练过程分为两个任务，任务一为主要任务：中心像素的序列重建，任务二为辅助任务：邻域样本的重构。该多任务训练策略可以使训练模型在没有标签的情况下更好地学习中心像素与相邻像素之间的关系，同时辅助任务兼具正则化的作用，避免主任务陷入模式坍塌。训练模型的损失函数计算可表达为：
[0108]
loss
center
＝mse(r
center
,spectral
center
)，
[0109]
loss
sample
＝mse(r,h)，
[0110]
loss
total
＝w
center
*loss
center
+w
sample
*loss
sample
，
[0111]
其中，spectral
center
表示输入样本h的中心像素序列，w
center
和w
sample
表示中心像素重建任务及样本重构任务在总损失函数中所占权重，loss
center
为中心像素重建任务的损失值，loss
sample
为样本重构任务的损失值。
[0112]
大多数高光谱图像分类方法都是基于补丁的。而分类模型的输入不仅是中心像素的光谱曲线，还包含其相邻区域(一般为正方形区域)，使输入更具特色。因此，可以得知本实施例的训练方法更容易实现且更适合高光谱数据。
[0113]
上述训练完成后，实际应用时，剥离transformer解码器，transformer解码器仅用于训练阶段。包含自适应多尺度嵌入层的transformer编码器即为分类模型，使用该分类模型就可以对高光谱图像进行分类识别。上述使用无标签样本对transformer网络进行训练也可以称为预训练，在预训练的基础上，还可以对上述分类模型(即剥除transformer解码器的transformer网络)再采用有标签样本进行分类训练以进一步提升训练效果和分类精度。
[0114]
在一个实施例中，上述分类训练具体步骤为：重置融合大尺度嵌入特征、中尺度嵌入特征和小尺度嵌入特征时采用的权重参数，将带标签的高光谱图像样本输入transformer网络，将transformer编码器的输出结果输入分类器对transformer编码器再次进行训练。通过重置多分支权重参数，使用少量有标签样本对分类模型进行微调，进一步增强训练效果，使得训练后的分类模型分类精度更高。采用有标签样本训练神经网络模型是本领域的常规技术手段，在此不再赘述。
[0115]
由上所述，本实施例首先基于光谱维度将无标签高光谱图像样本划分为多个光谱子波段，将每个光谱子波段各输入一个嵌入模块从多个尺度提取光谱子波段的空谱特征以获得局部空谱嵌入特征，融合所有的局部空谱嵌入特征获得全局空谱嵌入特征后输入transformer编码器，利用transformer的长距离建模能力以对全局空谱嵌入特征进行重构，并对中心区域token进行掩码与重建以自监督地训练transformer编码器，获得训练后的transformer网络。能够充分地提取无标签样本的特征信息，增强transformer网络的训练效果，获得更高的分类精度。
[0116]
需要说明的是，上述transformer编码器具体类型不限，可以根据实际应用相应选
择。本实施例中仅剔除了transformer编码器的位置编码部分。
[0117]
在上述训练方法构建的transformer网络模型基础上，本发明实施例还提供了一种基于多尺度卷积transformer网络的高光谱图像分类方法，其中多尺度卷积transformer网络为高光谱图像的分类模型，包括自适应多尺度嵌入层和transformer编码器。其中自适应多尺度嵌入层与训练方法中的自适应多尺度嵌入层相同，包括多个嵌入模块。分类方法具体步骤包括：预先采用上述训练方法对多尺度卷积transformer网络进行训练，然后将高光谱图像输入多尺度卷积transformer网络，多尺度提取空谱特征，获得多尺度卷积transformer网络输出的分类特征，将分类特征输入至分类器，就可以获得高光谱图像分类结果。分类器不做限制，可以采用如：逻辑回归决策树、随机森林和支持向量机(svm)等各种分类器。
[0118]
由上所述，本实施例将高光谱图像在光谱维度等长分割后，分别输入并行的嵌入模块，获得局部空谱嵌入特征后，按照分割前的位置进行拼接后输入transformer编码层提取特征并进一步分类，获得高光谱图像分类结果。以分治的思维提取高光谱图像的全局空谱嵌入特征，实现高光谱图像的分治特征嵌入以及全局空谱嵌入特征重构，能够有效降低空谱特征提取的难度，能够充分地提取特征信息，提升高光谱图像的分类精度。
[0119]
完整实施过程为：首先进行预训练，用主成分分析对原始的高光谱图像进行降维，将高光谱图像数据集划分为训练集和测试集。将高光谱图像样本等长分割后，分别输入并行的嵌入模块，得到高光谱图像样本对应的局部空谱嵌入特征后，进行对应的拼接，然后将自中心区域生成的token移除，使用可学习向量替代它的位置，并将所有序列输入一个由两层transformer解码器组成的解码模块中，通过token间的关系捕获，自注意力模块的信息交互，使得可学习向量尽可能还原中心区域的光谱特征。以中心像素的光谱曲线作为监督目标，在这过程中习得邻域与中心像素的关系。然后将transformer编码器作为分类模型，重置多分支权重参数，使用少量样本对分类模型进行微调，获得训练后的分类模型，就可以使用分类模型实现地物的分类。
[0120]
下表一和表二分别为在pavia university数据集和高分五号数据集上各种高光谱图像分类方法的实验结果，其中，每个类别的训练样本数都是五个。可以看出，相对于现有的各种高光谱图像分类方法，本发明的分类方法能获得更佳的分类精度。
[0121]
表一、pavia university数据集
[0122][0123]
[0124]
表二、高分五号数据集
[0125]
类别cnnhsihybridsnvitspectralformerssfttsprlt本方法173.1373.1049.5266.9680.7690.6188.83298.9199.3988.0699.6599.4698.6099.09360.8963.8351.4582.7989.7480.1385.27464.1765.8479.1890.4391.8493.4995.79570.9476.1181.9698.9494.6097.2398.40682.0081.3074.0884.5987.0683.3486.38749.2453.3956.5963.9357.7764.9759.19874.0371.4671.8682.8081.3785.5884.67987.2486.3871.4869.5685.9483.8888.631093.3878.7967.9976.9482.8981.6791.211179.5783.7947.5583.0792.9281.4292.471279.1079.4363.6073.9780.9877.2885.041375.3183.6470.8484.2491.4987.2692.381477.4372.1862.2988.3379.6086.7683.121580.4262.9659.9792.8670.1888.6363.281689.6488.2474.5577.8284.0987.7090.661793.7692.4978.4086.2894.4484.6597.981856.5355.4350.8366.3269.1657.6269.091974.8281.2259.4761.9982.9775.7984.212095.1481.2375.0877.6990.4672.3185.85oa72.9674.8672.6087.7889.0788.5791.38aa77.7876.5166.7480.4684.3982.9586.08kappa69.3071.5468.4685.8687.3786.7890.02
[0126]
示例性设备
[0127]
如图8所示，对应于用于高光谱图像的transformer网络的训练方法，本发明实施例还提供一种用于高光谱图像的transformer网络的训练装置，所述transformer网络中包括自适应多尺度嵌入层，所述自适应多尺度嵌入层包括多个嵌入模块，具体的，所述装置包括：
[0128]
光谱子波段模块600，用于基于光谱维度分割高光谱图像，获得多个光谱子波段，所述高光谱图像为所述transformer网络的无标签训练样本；
[0129]
局部空谱嵌入特征模块610，用于将每个光谱子波段各输入一个嵌入模块，获得每个嵌入模块输出的局部空谱嵌入特征，所述嵌入模块以多个尺度提取所述光谱子波段的空谱特征；
[0130]
全局空谱嵌入特征模块620，用于按照光谱子波段的位置融合所有的所述局部空谱嵌入特征，获得全局空谱嵌入特征；
[0131]
自监督训练模块630，用于将所述全局空谱嵌入特征输入transformer编码器，并在transformer解码器中对中心区域token进行掩码与重建以自监督地训练transformer编
码器。
[0132]
本实施例中，上述用于高光谱图像的transformer网络的训练装置可以参照上述用于高光谱图像的transformer网络的训练方法中的对应描述，在此不再赘述。
[0133]
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图9所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和用于高光谱图像的transformer网络的训练程序。该内存储器为非易失性存储介质中的操作系统和用于高光谱图像的transformer网络的训练程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该用于高光谱图像的transformer网络的训练程序被处理器执行时实现上述任意一种用于高光谱图像的transformer网络的训练方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
[0134]
本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0135]
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的用于高光谱图像的transformer网络的训练程序，上述用于高光谱图像的transformer网络的训练程序被上述处理器执行时进行以下操作指令：
[0136]
基于光谱维度分割高光谱图像样本，获得多个光谱子波段，所述高光谱图像样本为无标签训练样本；
[0137]
将每个光谱子波段各输入一个嵌入模块，获得每个嵌入模块输出的局部空谱嵌入特征，所述嵌入模块以多个尺度提取所述光谱子波段的空谱特征；
[0138]
按照光谱子波段的位置融合所有的所述局部空谱嵌入特征，获得全局空谱嵌入特征；
[0139]
将所述全局空谱嵌入特征输入transformer编码器，并在transformer解码器中对中心区域token进行掩码与重建以自监督地训练transformer编码器。
[0140]
可选的，所述嵌入模块包括用于嵌入小尺度特征的小尺度分支、用于嵌入中尺度特征的中尺度分支和用于嵌入大尺度特征的大尺度分支，所述将每个光谱子波段各输入一个嵌入模块，获得每个嵌入模块输出的局部空谱嵌入特征，包括：
[0141]
将所述光谱子波段输入嵌入模块，分别获得小尺度分支输出的小尺度嵌入特征、中尺度分支输出的中尺度嵌入特征和大尺度分支输出的大尺度嵌入特征；
[0142]
融合所述大尺度嵌入特征、所述中尺度嵌入特征和所述小尺度嵌入特征，获得所述局部空谱嵌入特征。
[0143]
可选的，所述获得大尺度分支输出的大尺度嵌入特征，包括：对所述光谱子波段进行三维卷积操作，提取第一空谱特征，对所述第一空谱特征进行三维卷积操作，提取第二空谱特征，将所述第二空谱特征在光谱维度拼接并展平，获得大尺度嵌入特征；
[0144]
所述获得中尺度分支输出的中尺度嵌入特征，包括：对所述光谱子波段进行三维卷积操作，提取第三空谱特征，融合所述第三空谱特征并展平，获得中尺度嵌入特征。
[0145]
可选的，所述融合所述大尺度嵌入特征、所述中尺度嵌入特征和所述小尺度嵌入特征，获得所述局部空谱嵌入特征，包括：
[0146]
采用可学习的权重参数融合所述大尺度嵌入特征、所述中尺度嵌入特征和所述小尺度嵌入特征，获得所述局部空谱嵌入特征。
[0147]
可选的，训练transformer编码器之后，还包括：
[0148]
重置所述权重参数，将训练后的transformer编码器的输出结果输入分类器，采用带标签的高光谱图像样本对训练后的transformer编码器进行再次训练。
[0149]
可选的，所述在transformer解码器中对中心区域token进行掩码与重建以自监督地训练transformer编码器，包括：
[0150]
将训练样本的中心像素替换为可学习的向量；
[0151]
在transformer解码层中重构中心像素以及训练样本；
[0152]
根据中心像素重构的损失值和训练样本重构的损失值，训练transformer编码器。
[0153]
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有用于高光谱图像的transformer网络的训练程序，上述用于高光谱图像的transformer网络的训练程序被处理器执行时实现本发明实施例提供的任意一种用于高光谱图像的transformer网络的训练方法的步骤。
[0154]
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0155]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0156]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0157]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0158]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0159]
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例
方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
[0160]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。