一种高光谱影像分类方法和存储介质

1.本发明涉及遥感图像处理技术领域，具体涉及基于卷积神经网络和图注意力网络加权融合一种高光谱影像分类方法和存储介质。


背景技术：

2.高光谱遥感图像处理在物质信息探测方面有着重要的地位，是遥感领域的重要课题。高光谱遥感图像能提供连续的辐射光谱波段，承载着丰富的地物信息，能用于处理不同的应用领域，如房屋的变化检测、农作物评估、地质矿产资源调查等(manolakis,siracusa et al.,2001；nasrabadi,n.m.,2014)。高光谱遥感图像处理领域中，分类问题是其中的一个主要任务，所谓高光谱影像分类即为确定每个高光谱影像像素点的类别。现有分类方法主要是基于卷积神经网络的方法研究，即使用卷积神经网络模型进行端到端的影像分类。
3.卷积神经网络作为一种深度学习模型，已经成功地运用到高光谱遥感图像分类中，基于卷积神经网络的方法能处理高维数据并对样本噪声有很好的鲁棒性，但是需要大量的先验训练样本，才能取得比较好的效果。但是，在高光谱影像分类应用中，高光谱遥感影像往往具有光谱可变性的特点，会导致目标训练样本极其有限，甚至只有单一的训练样本，训练样本和待预测影像的像元数目往往差别很大，从而没有足够的训练样本用于重新构造对测试样本同样有效的机器学习模型。如果直接将卷积神经网络直接用到高光谱影像分类中，并不能将模型很好的推广到整个数据集上，得到理想的分类结果。


技术实现要素：

4.本发明解决的一个主要问题是如何利用有限的训练样本构建多特征表达模型，较好地处理不均衡训练样本的情况。
5.根据本发明的一个方面，本发明提供一种高光谱影像分类方法，所述高光谱影像分类方法包括：
6.构建卷积网络和图注意力网络的加权融合模型；
7.将高光谱遥感图像输入所述加权融合模型，从而获取所述高光谱遥感图像的影像数据；
8.对所述影像数据降维并去噪，得到去噪数据；
9.利用所述去噪数据迭代训练所述加权融合模型，训练步骤包括：
10.对所述去噪数据进行超像素特征嵌入和归一化，获得归一化数据；
11.利用空间注意力机制提取所述归一化数据中的空间注意力信息和通道注意力信息；
12.利用2维卷积神经网络对所述空间注意力信息和所述通道注意力信息抽取高光谱影像特征；
13.将抽取到的所述高光谱影像特征进行多维特征加权融合，获得复合超像素和像素级特征的特征信息，至此完成一次训练；
14.利用交叉熵损失函数和方向传播函数对所述加权融合模型反复迭代训练，获得训练好的所述加权融合模型；
15.利用训练后的所述加权融合模型对高光谱影像进行分类。
16.进一步地，所述对所述影像数据降维并去噪，得到去噪数据包括：
17.利用1维卷积神经网络处理对高光谱影像降维并去噪：
[0018][0019]
其中，经过1维卷积神经网络处理后的特征输出，h,w,m分别为特征图的长、宽和通道数，k
i,j,b,m
为1维卷积神经网络的卷积核，i、j和b分别为卷积核所处的不同位置，b
h,w,m
为1维卷积神经网络的偏置，σ(表示leakyrelu激活函数。
[0020]
进一步地，所述对所述影像数据降维并去噪，得到去噪数据还包括：
[0021]
对降维并去噪后的所述高光谱影像的像素级特征和超像素特征进行编码，编码过程的第一数学表达式为：
[0022][0023]
其中，x为输入的三维高光谱影像，为按照光谱维度展平的高光谱影像，为i位置的按照光谱维度展平的高光谱影像s
j
为超像素级别高光谱影像，o
i,j
为在位置i,j的联系矩阵；
[0024]
编码过程的第二数学表达式为：
[0025][0026]
其中，v为超像素特征，encoder(x；o)为像素级特征编码器，flatten(x)为将高光谱数据展开成一维向量，且o为数据预处理部分得到的联系矩阵，为超像素构建的联系矩阵的转置。
[0027]
进一步地，对降维并去噪后的所述高光谱影像的像素级特征和超像素特征进行编码后还包括：
[0028]
对编码后的所述高光谱影像的像素级特征和超像素特征进行解码，解码过程的数学表达式为：
[0029][0030]
其中，为解码后的三维高光谱影像，decoder为超像素特征解码器，rshape表示执行维度变换操作。
[0031]
进一步地，所述利用空间注意力机制提取所述归一化数据中的空间注意力信息和通道注意力信息包括：
[0032]
首先通过空间注意力机制提取空间注意力信息，所述空间注意力信息表示为第三表达式：
[0033][0034]
其中，z
j
为得到的空间注意力信息，m
p
为通过自注意力机制得到空间注意力系数，
为位置i和位置j的相关程度，c
i
为通过1维卷积神经网络对原始特征图进行变换得到的新特征图，且i＝1,2,...,n，n为空间中像素总数，为输入的特征的第j个通道，α为可学习参数；
[0035]
再通过空间注意力机制得到通道注意力信息，所述通道注意力信息表示为第四表达式：
[0036][0037]
其中，z
j
为得到通道注意力信息，m
c
为通过自注意力机制得到通道注意力图，m
cji
为通道i和通道j的相关程度，为输入的特征图的第i个通道，为输入的特征图的第j个通道，且i＝1,2,...,n，c为空间中通道总数，β为可学习参数。
[0038]
进一步地，所述利用2维深度可分离卷积神经网络对所述空间注意力信息和所述通道注意力信息抽取高光谱影像特征还包括：
[0039]
使用2维深度可分离卷积神经网络进行特征抽取：
[0040][0041]
其中，经过2维深度可分离卷积神经网络处理后的特征输出，为 2维深度可分离卷积神经网络的卷积核，为2维深度可分离卷积神经网络的偏置，σ为leakyrelu激活函数。
[0042]
进一步地，所述将抽取到的所述高光谱影像特征进行多维特征加权融合包括：
[0043]
利用下述表达式进行多维特征融合：
[0044]
f＝η
·
ac+(1
‑
η)
·
sg
[0045]
其中，η为权重参数，f为融合的影像特征，ac,sg分别为基于卷积神经网络分支和基于图卷积网络分支产生的影像特征。
[0046]
进一步地，所述利用交叉熵损失函数和方向传播函数对所述加权融合模型反复迭代训练，获得训练好的所述加权融合模型包括；
[0047]
使用交叉熵损失函数计算损失，所述交叉熵损失函数为：
[0048][0049]
其中，l(y,p)为损失值，y指分类标签图，p为预测的标签图，n为预测的标签总数，d为地物类别总数，且d＝1,2,...,d，y
i,d
为第i个像素预测为d类，p
i,d
为将第i个像素预测为d类的该概率。
[0050]
根据本发明的另一方面，还公开一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质中存储有如前任一所述的一种高光谱影像分类方法。
[0051]
本发明利用基于超像素分割的图注意力网络，能找到有效地提取高光谱影像的特征，特别是在样本数很少，正负样本数不均衡的情况下，能够弥补卷积神经网络的探测缺陷。此外，大多数现存的图注意力网络方法存在训练不稳定的问题，在训练过程中容易出现梯度消失和梯度爆炸等问题。因此，本发明方法引入一种有效的基于卷积神经网络和图注
意力网络的方法，针对现有方法的问题，结合超像素分割和特征归一化技术，更好地将完成高光谱影像分类任务。
附图说明
[0052]
本发明构成说明书的一部分附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
[0053]
图1为本发明实施例中一种高光谱影像分类流程示意图。
具体实施方式
[0054]
下面将结合附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
[0055]
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0056]
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
[0057]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0058]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
[0059]
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0060]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0061]
实施例一，如图1所示，为本实施例基于卷积神经网络和图注意力网络加权特征融和的一种对高光谱影像分类方法。
[0062]
本实施例采用python语言编写，采用经典深度学习框架pytorch实现， python遥感图像读写函数为实施基础。调用遥感图像处理库spectral，输入待读取遥感图像文件名，遥感图像就被读入大小为h
×
w
×
b的张量中，张量中各元素为各波段对应的像元辐射值，其中，h为遥感图像的长度，w为遥感图像的宽度，b为遥感影像波段数。调用遥感图像读写函数，将待分析高光谱遥感图像读入张量x。python遥感影像读写函数为本技术领域的公知技术，在此不作赘述。
[0063]
基于卷积神经网络和图注意力网络加权特征融的高光谱影像分类，具体操作步骤如下：
[0064]
(1)对于高光谱影像x，由于其为具有几百个非常窄的连续光谱组成，具有丰富信息的同时，它也是包含很多冗余信息，且由于大气，传感器，环境干扰，人为标注等的影像，光谱信息未必准确，因为首先利用1维卷积神经网络处理原始高光谱影像，即利用：
[0065]
[0066]
其中，经过1维卷积神经网络处理后的特征输出，h,w,m分别为特征图的长、宽和通道数，k
i,j,b,m
为1维卷积神经网络的卷积核，i、j和b分别为卷积核所处的不同位置，b
h,w,m
为1维卷积神经网络的偏置，σ(表示leakyrelu激活函数。
[0067]
(2)为了利用超像素对高光谱影像分类带来的增益，首先需要像构建素级特征和超像素特征的编码器和解码器，根据：
[0068][0069]
构建联系矩阵，其中，x为输入的三维高光谱影像，为按照光谱维度展平的高光谱影像，s
j
为超像素级别高光谱影像，o
i,j
为在位置i,j的联系矩阵；
[0070]
然后根据联系矩阵，构建超像素和像素的编码器，即
[0071][0072]
其中v为超像素特征，encoder(x；o)为像素级特征编码器，flatten(x)为将高光谱数据展开成一维向量，且o为数据预处理部分得到的联系矩阵，为超像素构建的联系矩阵的转置。
[0073]
利用编码器将高光谱影像从栅格数据转化为超像素节点数据。节点数据经过节点信息嵌入后，为了和卷积神经网络的特征进行聚合需要从节点数据返回到栅格数据，即利用下式(4)表达的解码器将节点数据转化为栅格数据：
[0074][0075]
其中，为解码后的三维高光谱影像，decoder(为超像素特征解码器，rshape( 表示执行维度变换操作。
[0076]
(3)利用编码器得到的节点特征，利用图注意力网络计算节点嵌入信息：
[0077][0078][0079]
其中，α
ij
为注意力系数，leakyrelu为激活函数，w和a为不同的可学习参数，k∈n
i
为只计算节点邻居的注意力系数，v
i
和v
j
分别为i位置和j位置的超像素特征，k为多头注意力机制的头数，δ为leakyrelu激活函数，a
t
为转置的可学习参数。
[0080]
将得到的节点嵌入信息经过解码器解码返回到栅格数据，由于图注意力网络具有不稳定性，所以采用全连接层和归一化层对图注意力网络进行处理，得到归一化的特征，即：
[0081][0082]
其中为归一化的特征图，x
*
为从超像素节点转换回像素的特征，e[x
*
]为 x
*
的均值，var[x
*
]为x
*
的方差，γ,β为两个不同位置的可学习参数。
[0083]
(4)降维和去噪后的特征进入另一个分支中抽取像素级特征，但是为了抽取长程信息，首先利用注意机制对特征进行编码，即：
[0084][0085]
其中z
j
为得到注意力信息，为通过自注意力机制得到位置注意力图，为j位置的原始特征图，c
i
为通过1维卷积神经网络对对原始特征图进行变换得到的值，α为对应位置的可学习参数。
[0086]
以相似的方法可以得到通道注意力信息：
[0087][0088]
其中z
j
为得到注意力信息，m
cji
为通过自注意力机制得到的位置注意力图，为i位置的原始特征图，β为可学习参数，c为空间中通道总数。通过以上步骤即得到使用空间注意力模块和通道注意力模型进行编码的像素级特征。
[0089]
(5)为了提高高层抽象复杂的高光谱特征，使用2维可分离卷积进行特征抽取：
[0090][0091]
其中，经过1维卷积神经网络处理后的特征输出，h,w,b分别为特征图的长、宽和通道数，为卷积核，为偏置，σ表示激活函数，这里用的激活函数为leakyrelu激活函数。2维可分离卷积极大地降低的整个模型的参数量，另一方面降低卷积神经网络面临的小样本问题。
[0092]
(6)重复进行一次注意力机制编码和卷积神经网络特征抽取之后，执行多维特征加权融合，即：
[0093]
f＝η
·
ac+(1
‑
η)
·
sg
ꢀꢀꢀ
(11)
[0094]
η为权重参数，f为融合特征，c,g分别为基于卷积神经网络分支和图卷积网络分支产生的特征。使用两种神经网络模型抽取高光谱影像特征后，即得到复合超像素和像素级特征的特征信息。
[0095]
(7)使用两种神经网络模型抽取高光谱影像特征后，即得到复合超像素和像素级特征的特征信息。最后需要利用反向传播训练整个网络，使用交叉熵损失函数来进行反向传播
[0096][0097]
其中，其中，l(y,p)为损失值，y指分类标签图，p为预测的标签图，n为预测的标签总数，d为地物类别总数，且d＝1,2,...,d，y
i,d
为第i个像素预测为d 类，p
i,d
为将第i个像素预测为d类的概率。
[0098]
上述方法提出一种卷积神经网络和图注意力网络加权特征融方法，将基于超像素分割的图注意力网络和集合注意力机制的卷积网络结合来处理有限的训练样本问题。该方法基于卷积神经网络框架，通过结合像素级和超像素级特征转换器，不仅能够使用卷积神
经网络的提取复杂的边界信息，还能够利用图卷积网络平滑特征，减少误分率。本质上说，该方法利用图注意网络分支计算超像素的平滑特征，使得在小样本情况下依然能够保持分类图的光滑，同时利用卷积神经网络，将一些容易误分的小目标区域进行微调，提高分类效率。
[0099]
以下通过对比试验来验证本发明的有益效果。
[0100]
本试验采用的数据为印度松树和帕维亚大学高光谱数据用作验证模型有效的实验数据集。印度松树由机载可视红外成像光谱仪(aviris)于1992年对美国印第安纳州一块印度松树进行成像，然后截取尺寸为145
×
145的大小进行标注作为高光谱图像分类测试用途。aviris成像光谱仪成像波长范围为0.4
‑
2.5μ m，是在连续的220个波段对地物连续成像的，但是由于第104
‑
108，第150
‑
163 和第220个波段不能被水反射，因此，一般使用的是剔除了这20个波段后剩下的200个波段作为研究的对象。该数据总共有21025个像素，但是其中只有 10249个像素是地物像素，其余10776个像素均为背景像素，在实际分类中，这些像素是需要剔除的，由于截取的这块区域均是庄稼，总共有16类，因此不同的地物具有较为相似的光谱曲线，而且这16类中，样本的分布极不均匀。
[0101]
帕维亚大学的数据集捕捉了意大利帕维亚大学周围的城市区域，由位于意大利北部的rosis
‑
03传感器于2001年收集。该数据的尺寸为610
×
340，因此共包含2207400个像素,空间分辨率为1.3米/像素的和光谱覆盖范围从0.43到 0.86μm。但是其中包含大量的背景像素，包含地物的像素总共只有42776个，这些像素中共包含9类地物，包括树、沥青道路、砖块、牧场等,除去12个非常嘈杂的波段后，有103个光谱波段。
[0102]
参照表2，分别采用经典的支持向量机(方法1)、1维卷积神经网络(方法2)、联合空谱注意力网络(方法3)、混合空谱网络(方法4)、图卷积网络(方法5)、多维图卷积网络(方法6)、卷积网络增强图卷积网络(方法7) 和本发明的方法进行变化检测。
[0103]
分类评价指标：采用定量评价方法，数据集一共选择了110个像素的作为训练样本和9619个像素作为测试样本，数据集二总共选择了48个样本作为训练样本和42680的各样作为测试样本。
[0104]
评价指标采用如下两个指标：
[0105]
(1)kappa系数：
[0106]
kappa系数是用来评价分类问题的权威评价指标。kappa系数越大，精度越高。在变化检测中，可以将变化检测结果看做二分类问题(变化和未变化)。本试验中，选取的是方法1～3所能获得的最高kappa系数来评价方法1～7的检测能力。
[0107]
kappa系数计算方法为：
[0108]
根据样本获取混淆矩阵，见表1：
[0109]
表1混淆矩阵
[0110][0111]
表1中，tto表示标签为类别一预测也为类别一的数量；tf表示实际为类别二但是预测为类别一的数量。ft表示实际为类别一，但是预测为类别二的数量。ttt标签为类别二预测也为类别二的数量；nco为tto和ft之和，nct为 tf和ttt之和，nro为tto和tf之和，nrt为ft和ttt之和，n为总样本数。 kappa系数的计算公式为：
[0112][0113]
(2)整体精度：
[0114]
整体精度(overall accuracy，oa)是用来评价分类问题的评价指标。整体精度越高，检测精度越高。oa的计算方法同样基于表1所示的混淆矩阵，整体精度oa计算公式为：
[0115][0116]
采用kappa系数和整体精度评价方法1～7和本发明方法的变化检测能力，对比试验结果见表2。
[0117]
表2对比试验结果
[0118][0119]
从表2可见，本发明方法能获得更高的整体精度和kappa系数，表明本发明方法具有更强的分类能力。本发明方法和方法一到七的kappa系数的差异，比整体精度差异更加明显，因为整体精度未考虑分类正确标签和分类错误标签的数量问题，而kappa系数考虑到了该问题，因此，kappa系数的评价更加客观。
[0120]
由此可得出结论，与传统变化检测方法相比，本发明方法拥有更高的分类精度。本发明充分考虑了样本的多尺度深层特征，全面的考虑特征的各个层次，提高了分类精度。
[0121]
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
[0122]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。