一种基于多阶段超像素引导的高光谱图像分类方法与流程

本发明属于图像领域，特别涉及一种基于多阶段超像素引导的高光谱图像分类方法。

背景技术：

1、高光谱图像可以同时记录空间和光谱信息，各个波段具有很强的相关性，其光谱特征中含有不同类型的地物信息，可以根据像素点在各波段下的光谱反射值来确定其所属的地物类别。高光谱图像分类任务作为数据应用的基础环节，被广泛用于植被监测、资源勘探、环境监测等各领域。但是，由于感光器件暗电流、大气混合效应、地物多样性等给数据内部引入了大量噪声，使得高光谱图像“同质异谱、异质同谱”的现象严重，这对hsi分类任务产生了一定的影响。

2、早期的ml方法，决策树、随机森林、支持向量机(svm)，已经在高光谱分类中取得了巨大的成功，但是这些ml的方法存在一个共同的问题，即降维的同时损失了原始的空间信息，导致手工提取的特征缺乏通用性，且与分类器是强耦合关系。同时，该类方法不能捕捉复杂的光谱空间结构和非线性关系，限制了其应用范围。

3、以cnn为典型代表的深度学习方法在提取分层和高级语义特征方面显示出巨大潜力，并成功应用于高光谱分类。不同结构的cnn相继出现。如1dcnn，2dcnn，3dcnn被相继应用于hsi分类，一些混合的cnn也被用于高光谱分类。目前用于hsi分类的cnn-based方法虽在一定程度上解决了前面所描述的高光谱分类难点问题，但均存在一些局限性，包括:1)难以表征实际地物分布的空间拓扑信息；2)土地同质区域之间的近程空间依赖性难以完整表示；3)模型参数量大，计算耗时高；4)可利用的标记样本数量少，易产生过拟合问题。

4、与cnn不同，gnn-based方法可根据地物分布情况对信息进行聚合，并可根据地物的区域特点进行灵活卷积而被广泛应用于高光谱分类。在gnn的多种变体模型中，图注意网络(gats)利用注意机制聚合各个接点与它所有邻居的密集的注意系数，从而可有效提高图学习任务的性能。但是上述gat-based的hsi分类方法主要存在两个问题：1)计算开销仍然过大。高光谱数据维度高、数据量大，将每个像素看作一个图节点，不仅打破了空间关联关系，而且额外增加了计算开销。有的方法引入了超像素，这种过分割方法以距离中心代替同质化区域，在一定程度上减少了输入量。gats为每层的边产生多个注意系数，不同层的同一条边可能会收到不同的注意系数，模型中存在显著的参数冗余，增加了大量的计算开销和内存使用，还增加了过拟合的风险。因此，要将gats合理地用于hsi分类，就必须同时减少输入节点和内部参数。2)忽略了空间与光谱信息的交互以及多尺度信息的引导作用。单一特征表示具有局限性，将光谱向量与空间细节相结合，可保留实际拓扑关系和上下文信息，一定程度上克服“同物异谱、同谱异物”的现象。另外，不同地物对于特征尺度的层级倾向性不同，小土地覆盖可能更倾向于低层次图的小尺度特征，而不兼容高层次图的大尺度特征。多尺度融合引导可以提高模型的稳定性。

技术实现思路

1、本发明的技术解决问题是：克服现有技术的不足，提供一种基于多阶段超像素引导的高光谱图像分类方法。

2、为实现上述目的，本发明提供了以下解决方案：

3、本发明公开了一种基于多阶段超像素引导的高光谱图像分类方法，包括：

4、采用超像素技术对高光谱图像数据集创建多层次图结构；

5、计算所述多层次图结构的邻接矩阵a和关联矩阵c；

6、基于所述多层次图结构，并通过所述关联矩阵c，形成具有编码器和解码器的u型跳连接结构网络；

7、利用所述邻接矩阵a，采用图算法从空间和光谱两个方向进行高光谱图像的空间光谱特征的融合与更新，得到所述u型跳连接结构网络的每一层的新特征；

8、对所述新特征进行特征细化，采用softmax函数进行分类，得到分类结果；

9、设计交叉熵损失函数对所述u型跳连接结构网络进行训练，得到训练后的网络；

10、利用所述训练后的网络对所述分类结果进行测试，验证分类结果的正确性。

11、进一步地，在上述分类方法中，所述采用超像素技术对高光谱图像数据集创建多层次图结构，具体为：

12、s1、构建无向图g＝(v,e)，其中，v为无向图的节点，e为无向图的边；

13、s2、通过各节点间的空间欧式距离计算得到无向图中每条边的权值；

14、s3、采用最近邻域方法，当在某个节点vi的邻域内，vi与vj之间的边权值最小时，将vj合并到vi；重复筛选，得到点集合其中，s为剩余节点个数，得到一个包含s个超像素数的图拓扑；由所述图拓扑建立一个层次的图结构；

15、s4、重复步骤s3，建立多层次的图结构。

16、进一步地，在上述分类方法中，计算多层次图结构的邻接矩阵a，具体为：

17、

18、其中，为第l层邻接矩阵，为第l层中第i个超像素，为第l层中第j个超像素；表示和为相邻的情况。

19、进一步地，在上述分类方法中，计算多层次图结构的关联矩阵c，具体为：

20、

21、其中，分别为第l-1层中的第i个超像素和第l层中的第j个超像素。

22、进一步地，在上述分类方法中，所述利用所述邻接矩阵a，采用图算法从空间和光谱两个方向进行高光谱图像的空间光谱特征的融合与更新，具体方法为：

23、

24、

25、

26、

27、

28、其中，fl为融合后的新特征，α为分配比例，δ为激活函数，xl∈rn×d为当前层原始特征输入，f1l为当前层的空间方向更新之后的特征，为稀疏之后的图结构对应的当前层的邻接矩阵，权重矩阵wl在端到端训练期间通过梯度下降随机初始化和优化，dl为度矩阵；为特定于该层的光谱方向对应的可训练权重，为光谱分支的当前层对应的邻接矩阵，我们用单位矩阵i来消除节点与关系矩阵自身的相关性，构建当前层的最终邻接矩阵f1l为当前层的光谱方向更新之后的特征。

29、进一步地，在上述分类方法中，所述基于所述多层次图结构，并通过所述关联矩阵c，形成具有编码器和解码器的u型跳连接结构的网络；具体为：

30、在编码器中，通过关联矩阵c进行相邻图层之间的转换；

31、在解码器中，进行第l+1层到l层的相邻图层之间的转换；

32、将编码器和解码器连接，形成编码器和解码器的u型结构；

33、在所述u型结构基础上，在所述编码器和解码器的同等深度的层之间加入跳连接，形成一个具有编码器和解码器的u型跳连接结构的网络。

34、进一步地，在上述分类方法中，所述通过关联矩阵c进行相邻图层之间的转换，具体为：

35、

36、其中，表示第l层的按列归一化的关联矩阵，为第l层的特征，为第l+1层的特征。

37、进一步地，在上述分类方法中，所述第l层的按列归一化的关联矩阵，具体为：

38、

39、其中，为编码器第l层中对应位置的归一化之后元素值，为编码器第l层中对应位置的未归一化的元素值；n为编码器中超像素个数。

40、进一步地，在上述分类方法中，所述进行第l+1层到l层的相邻图层之间的转换，公式为：

41、

42、

43、其中，为第l层的按行归一化的关联矩阵，为解码器的第l+1层特征；为解码器第l层中对应位置归一化之后的元素值，为解码器第l层中对应位置未归一化的元素值，m为解码器中超像素个数。

44、进一步地，在上述分类方法中，所述对新特征进行特征细化，采用softmax函数进行分类，得到分类结果，具体为：

45、使用两层n×n大小的深度可分离卷积对u型特征提取结构提取到的粗特征f进行细化，得到细特征，其中，f为u型跳连接结构网络输出的粗特征；

46、利用softmax函数对所述细特征进行分类，得到分类结果。

47、本发明与现有技术的有益效果在于：

48、本发明所提供的一种基于多阶段超像素引导的高光谱图像分类方法，将高光谱图像分割成多层次的图以充分利用高光谱图像相邻空间和多尺度的地物信息，从而解决其它分类方法对于空间信息提取的短板。使用超像素分割方法分割高光谱图像从而有效减少图节点数量，节约运算资源，采用轻量的图注意网络学习提取有效特征，简化了计算量，提高了分类准确度。