高光谱遥感图像分类方法及系统

1.本发明涉及图像处理技术领域，具体涉及一种基于卷积神经残差网络结合光谱注意力机制和空间注意力机制的高光谱遥感图像分类方法及系统。


背景技术：

2.高光谱遥感图像指的是通过高光谱成像仪获取的图像，具有十分丰富的空间信息和光谱信息。此外，高光谱图像还具备更多的波段数以及极高的分辨率，因此，对其进行光谱特征和空间特征分析，就可以得到详细的地物特征。目前，高光谱图像技术已经应用十分广泛，包括精准农业、大气监测、海洋检测等领域。随着高光谱图像的应用在很多领域越来越广泛，如何快速准确的判别高光谱图像中的每个像元就成为了首要问题。
3.对于高光谱图像分类任务，传统的方法包括随机森林(random forests)、决策树(decision trees)以及支持向量机(support vector machines)等方法。这些方法基于手工特征，需要操作人员具有丰富的高光谱图像先验知识，无论是标记还是判别，都会耗费大量的人力，且处理速度慢，工作效率低。此外，上述传统的方法，忽略了丰富的空间信息导致特征提取不完整，最终导致分类精度较低。
4.近年来，一些深度学习模型也被应用在高光谱图像分类中。卷积神经网络通过局部连接有效提取特征，通过共享权值显著的减少参数，且广泛应用于目标识别、医学图像处理等领域。目前卷积神经网络有三种不同形式的卷积核，包括1d-cnn、2d-cnn、3d-cnn，都采用反向传播的算法对网络参数进行更新。
5.采用卷积神经网络的方法，大多数为采用基于空谱联合特征的分类方法，可以直接提取光谱信息和空间信息，但由于高光谱图像在很多波段存在相似纹理，因此会导致计算复杂度增高；另，由于高光谱数据集训练样本有限，随着网络深度增加，可能会出现梯度消失的现象，且传统的降维方式没有考虑相邻像素的同质性。


技术实现要素：

6.本发明的目的在于提供一种基于卷积神经残差网络结合光谱注意力机制和空间注意力机制的高光谱遥感图像分类方法及系统，以解决上述背景技术中存在的至少一项技术问题。
7.为了实现上述目的，本发明采取了如下技术方案：
8.一方面，本发明提供一种高光谱遥感图像分类方法，包括：
9.对高光谱遥感图像进行降维处理；
10.提取降维处理后的图像的空间特征，得到空间特征图；提取空间特征图的光谱特征，得到空间光谱融合特征图；
11.对空间光谱融合特征图进行光谱关键信息和空间关键信息提取；
12.利用优化器对提取了光谱关键信息和空间关键信息后的图像进行处理，获得图像分类结果。
13.优选的，对高光谱遥感图像进行降维处理包括：采用熵率超像素算法，生成适合高光谱图像边界的超像素。
14.优选的，熵率超像素算法中，将图像以顶点边缘网络的形式表示，其中，顶点由像素组成，顶点之间连接的边缘的权重由相似度矩阵形式给出的一对相似度组成。
15.优选的，每个像素属于一个类别，在所有可行的边缘中，选择使目标函数最优的边缘添加到图像中。
16.优选的，采用混合卷积神经网络，其中，二维卷积用于在不丢失光谱信息的情况下对图像进行空间特征学习，配合三维卷积提取空间光谱融合特征。
17.优选的，混合卷积神经网络中每层卷积层中的步长设置为1，采用relu作为激活函数。
18.优选的，对于优化器的反向传播算法通过使用分类损失函数进行训练，参数通过反向传播进行更新。
19.第二方面，本发明提供一种高光谱遥感图像分类系统，该系统包括：
20.降维模块，用于对高光谱遥感图像进行降维处理；
21.提取模块，用于提取降维处理后的图像的空间特征，得到空间特征图；于提取空间特征图的光谱特征，得到空间光谱融合特征图；
22.注意力机制模块，用于对空间光谱融合特征图进行光谱关键信息和空间关键信息提取；
23.分类模块，用于利用优化器对提取关键信息后的图像进行处理，获得图像分类结果。
24.第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的高光谱遥感图像分类方法。
25.第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的高光谱遥感图像分类方法的指令。
26.本发明有益效果：采用残差连接，可以有效减少梯度消失现象；结合光谱和空间注意力机制，提取了更加完整的空间特征和光谱特征，有效抑制了噪声影响；采用熵率超像素预处理高光谱图像，比传统的主成成分分析法更加注重不同波段之间的关系，提高了图像分类精度，分类结果更准确清晰。
27.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
28.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1为本发明实施例所述的利用基于超像素预处理的注意力机制卷积神经残差网络进行高光谱遥感图像分类的流程图。
30.图2为本发明实施例所述的高光谱遥感图像分类结果对比示意图。
具体实施方式
31.下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
32.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
33.还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
34.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
35.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
36.为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
37.本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
38.实施例1
39.本实施例1提供一种高光谱遥感图像分类系统，该系统包括：
40.降维模块，用于对高光谱遥感图像进行降维处理；
41.提取模块，用于提取降维处理后的图像的空间特征，得到空间特征图；于提取空间特征图的光谱特征，得到空间光谱融合特征图；
42.注意力机制模块，用于对空间光谱融合特征图进行光谱关键信息和空间关键信息提取；
43.分类模块，用于利用优化器对提取了光谱关键信息和空间关键信息后的图像进行处理，获得图像分类结果。
44.本实施例1中，利用上述的高光谱遥感图像分类系统，实现了高光谱遥感图像分类方法，该方法包括：
45.使用降维模块对高光谱遥感图像进行降维处理；然后，利用提取模块提取降维处
理后的图像的空间特征，得到空间特征图；提取空间特征图的光谱特征，得到空间光谱融合特征图；再通过注意力机制模块对空间光谱融合特征图进行光谱关键信息和空间关键信息提取；最后，利用分类模块利用优化器对提取关键信息后的图像进行处理，获得图像分类结果。
46.本实施例1中，对高光谱遥感图像进行降维处理包括：采用熵率超像素算法，生成适合高光谱图像边界的超像素。熵率超像素算法中，将图像以顶点边缘网络的形式表示，其中，顶点由像素组成，顶点之间连接的边缘的权重由相似度矩阵形式给出的一对相似度组成。每个像素属于一个类别，在所有可行的边缘中，选择使目标函数最优的边缘添加到图像中。
47.具体的，首先，图像以p＝(v,e)的形式表示，其中，v表示顶点，由像素组成，e表示边缘权重，由相似度矩阵形式给出的一对相似度组成。初始条件是每个像素属于一个类别，然后，在所有可行的边中，选择使目标函数最优的边，用以下算法添加到图中：其中，h(a)表示基于随机游走的熵率项，可以形成均匀紧凑的聚类，b(a)是平衡项，可以使聚类的大小相似，λ用于平衡熵率项和平衡项的权重。
48.本实施例1中，采用混合卷积神经网络，其中，二维卷积用于在不丢失光谱信息的情况下对图像进行空间特征学习，配合三维卷积提取空间光谱融合特征。
49.具体的，构建2d-3d混合卷积神经网络，2d卷积侧重于在不丢失光谱信息的情况下对图像进行空间特征学习，配合3d卷积实现提取空间-光谱特征，并减少网络参数。前三层卷积层分别使用32个3
×3×
3、16个3
×3×
5、8个3
×3×
7的卷积块，然后送入64个3
×
3的卷积层，每层中的步长设置为1。为了提高模型的表达能力，采用relu作为激活函数：
50.f
relu
(x)＝max(0,w
(i)t
xj+b(i))；
51.其中，w
(i)t
xj+b(i)表示神经网络上一层的输入向量x，所经历的线性变换，最终输出的非线性结果取决于神经元在网络结构中的当前位置。同时训练多组参数，选择激活值最大的作为下一层的激活值。其中，w表示权重，xj表示神经元，w
(i)t
表示反向传播的权重，b(i)表示偏置。
52.本实施例1中，注意力机制模块中，分别加入了光谱注意力机制和空间注意力机制。具体的，双重注意机制根据光谱和空间顺序这两个独立的维度得出注意图，然后将注意图乘以输入特征图，并进行自适应的特征细化。给定一个特征图g∈rh×w×c，经过提取模块后得到一维光谱特征图m
spe
∈r1×1×c和二维空间特征图m
spa
∈rh×w×1，其中，h、w、c分别代表高度、宽带、光谱数量。双注意力机制可以由下式表示：
[0053][0054][0055]
其中，表示对应元素相乘，g
′
表示经过光谱注意力机制后的输出，g
″
表示经过空间注意力机制后的输出结果。
[0056]
本实施例1中，在经过注意力机制模块输出后，再经过两次dropout层，同样包括密集连接和relu激活函数，最终通过softmax分类层得出结果。
[0057]
本实施例1中，对于优化器的反向传播算法通过使用分类损失函数进行训练，参数
通过反向传播进行更新。其中，分类损失函数表示如下：
[0058][0059]
其中，和分别表示真实值和预测值，m表示小批量样本的总数，l表示特征覆盖类的总数。
[0060]
实施例2
[0061]
本实施例2中，提供一种基于超像素预处理的注意力机制卷积神经残差网络的高光谱遥感图像分类方法，采用残差连接，有效减少了梯度消失现象，采用双注意力机制，让网络能够更完整的提取空间特征和光谱特征，并且抑制了噪声影响；采用熵率超像素预处理高光谱图像，更加重视不同波段之间的关系，提高分类精度，使分类结果更加准确清晰。
[0062]
本实施例1中，注意力机制卷积神经残差网络的整体架构如图1所示，图像首先经降维(pca)，然后经过ers(entropy rate superpixel，熵率超像素)算法，再次经过pca后，进入卷积网络(conv)，其中每一层卷积层中，与激活函数层(relu)间均设置了残差连接(bn)。flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。dense层的作用是将前面提取的特征关联映射到输出空间上。
[0063]
具体步骤如下：
[0064]
首先对高光谱图像进行降维处理，此过程用熵率超像素算法，生成适合高光谱图像边界且大小均匀紧凑的超像素，因为像素级特征提取对于分类十分重要，所以不能忽略不同光谱特征之间的差异性。图像以p＝(v,e)的形式表示，其中，v表示顶点，由像素组成，e表示边缘权重，由相似度矩阵形式给出的一对相似度组成。初始条件是每个像素属于一个类别，然后，在所有可行的边中，选择使目标函数最优的边，用以下算法添加到图中：
[0065]
maaxh(a)+λb(a)
s.t.a∈e
；
[0066]
其中，h(a)表示基于随机游走的熵率项，可以形成均匀紧凑的聚类，b(a)是平衡项，可以使聚类的大小相似，λ用于平衡熵率项和平衡项的权重。
[0067]
构建2d-3d混合卷积神经网络，如图1所示，2d卷积侧重于在不丢失光谱信息的情况下对图像进行空间特征学习，配合3d卷积实现提取空间-光谱特征，并减少网络参数。前三层分别使用32个3
×3×
3、16个3
×3×
5、8个3
×3×
7的卷积块，然后送入64个3
×
3的卷积层，每层中的步长设置为1。
[0068]
为了提高模型的表达能力，采用relu作为激活函数：
[0069]frelu
(x)＝max(0,w
(i)t
xj+b(i))
[0070]
其中，w
(i)t
xj+b(i)表示神经网络上一层的输入向量x，所经历的线性变换，最终输出的非线性结果取决于神经元在网络结构中的当前位置。
[0071]
本实施例2中，为了防止梯度消失，在卷积层加入残差连接，然后，分别加入了光谱注意力机制和空间注意力机制。
[0072]
最后，经过两次dropout层，同样包括密集连接和relu激活函数，最终通过softmax分类层得出结果。
[0073]
本实施例2中，提到的双重注意机制根据光谱和空间顺序这两个独立的维度得出注意图，然后将注意图乘以输入特征图，并进行自适应的特征细化。注意力模块被整合到卷
积网络中，只增加了可以忽略不计的开销，但却极大地提高了图像分类和目标检测的正确率。
[0074]
利用上述的网络，给定一个特征图g∈rh×w×c，可以得到一维光谱特征图m
spe
∈r1×1×c和二维空间特征图m
spa
∈rh×w×1，其中，h、w、c分别代表高度、宽带、光谱数量。双注意力机制可以由下式表示：
[0075][0076][0077]
其中，表示对应元素相乘，g
′
表示经过光谱注意力机制后的输出，g
″
表示经过空间注意力机制后的输出结果。
[0078]
本实施例2中，使用计算效率高且对内存要求小的adam优化器，优化器的反向传播算法通过使用softmaxloss进行训练，参数通过反向传播进行更新。分类损失函数表示如下：
[0079][0080]
其中，和分别表示真实值和预测值，m表示小批量样本的总数，l表示特征覆盖类的总数。
[0081]
本实施例2中，在indian pines数据集和xuzhou数据集上进行了大量实验。将模型得到的结果，与数据集的groundtruth进行比较，并分别三种评价指标oa(整体精度)、aa(平均精度)、kappa系数进行分类结果评估。kappa系数是一种衡量分类精度的指标。它是通过把所有地表真实分类中的像元总数(n)乘以混淆矩阵对角线(xkk)的和，再减去某一类地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果，再除以总像元数的平方减去某一类地表真实像元总数与该类中被分类像元总数之积对所有类别求和的结果所得到的。
[0082]
本实施例2中，评估结果与目前的分类模型对比，对比结果如图2所示，其中，(a)为原始高光谱遥感图像，(b)为使用svm的分类图像，(c)为2d-cnn网络的分类结果，(d)为3d-cnn网络的分类结果，(e)为ssrn网络的分类结果，(f)为drnn网络的分类结果，(g)为本实施例2所述的方法的分类结果，(h)为真实的分类标注图像。本实施例2所述的高光谱遥感图像方法的分类精度更高，分类效果更好，具有一定的实用性。
[0083]
实施例3
[0084]
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的高光谱遥感图像分类方法，该方法包括：
[0085]
对高光谱遥感图像进行降维处理；
[0086]
提取降维处理后的图像的空间特征，得到空间特征图；提取空间特征图的光谱特征，得到空间光谱融合特征图；
[0087]
对空间光谱融合特征图进行光谱关键信息和空间关键信息提取；
[0088]
利用优化器对提取了光谱关键信息和空间关键信息后的图像进行处理，获得图像分类结果。
[0089]
实施例4
[0090]
本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的高光谱遥感图像分类方法，该方法包括：
[0091]
对高光谱遥感图像进行降维处理；
[0092]
提取降维处理后的图像的空间特征，得到空间特征图；提取空间特征图的光谱特征，得到空间光谱融合特征图；
[0093]
对空间光谱融合特征图进行光谱关键信息和空间关键信息提取；
[0094]
利用优化器对提取了光谱关键信息和空间关键信息后的图像进行处理，获得图像分类结果。
[0095]
实施例5
[0096]
本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的高光谱遥感图像分类方法的指令，该方法包括：
[0097]
对高光谱遥感图像进行降维处理；
[0098]
提取降维处理后的图像的空间特征，得到空间特征图；提取空间特征图的光谱特征，得到空间光谱融合特征图；
[0099]
对空间光谱融合特征图进行光谱关键信息和空间关键信息提取；
[0100]
利用优化器对提取了光谱关键信息和空间关键信息后的图像进行处理，获得图像分类结果。
[0101]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0102]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0103]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0104]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方
框或多个方框中指定的功能的步骤。
[0105]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。