基于自适应空谱注意力核生成网络的高光谱图像分类方法

1.本发明属于遥感图像处理领域，尤其涉及一种基于自适应空谱注意力核生成网络的高光谱图像分类方法。


背景技术：

2.高光谱图像是由数百个光谱波段组成的三维图像数据，具有丰富的光谱信息和空间信息，既可以描述地面目标的物理特性又可以反映空间分布情况，因此被广泛应用在城市发展、地质勘探、环境监管等领域。高光谱图像分类的目的在于根据获得的样本特征将图像中的每个像素点划分到一个特定的地物类别，并根据地物类别的不同生成对应的分类结果图。
3.随着近年来深度学习理论的快速发展，以卷积神经网络(cnn)为主的深度学习方法在高光谱图像分类领域得到了广泛的应用，并取得了不错的进展。虽然基于cnn的高光谱分类方法已经取得了优秀的分类表现，但是这些分类方法往往需要大量的标记样本对模型进行参数优化，以获得良好的分类性能，当标记样本数量受限时，分类性能会出现断崖式下降。然而在高光谱图像处理领域，获得大规模的可用标记样本的成本是高昂的。因此，如何提高模型在小样本情况下的分类精度是高光谱图像应用领域的一个严峻挑战。


技术实现要素：

4.为解决现有高光谱分类方法依赖于训练样本数量的局限性，本发明提供一种基于自适应空谱注意力核生成网络的高光谱图像分类方法，能够利用极少的标记样本实现高光谱图像分类。
5.一种基于自适应空谱注意力核生成网络的高光谱图像分类方法，采用基于自适应光谱-空间注意力核的网络模型对高光谱图像所包含的地物类别进行分类，其中，网络模型包括：
6.光谱注意力核生成模块，用于获取可以对高光谱像素邻域立方体x的光谱特征信息进行自适应选择的光谱注意力核函数s；
7.光谱特征选择模块，用于计算高光谱像素邻域立方体x各像素点与光谱注意力核函数s的哈达玛积，得到具有波段选择性的特征图m；
8.空间注意力核生成模块，用于获取可以捕捉特征图m中不同空间分布关系的空间注意力核函数集合w；
9.空间特征提取模块，用于利用空间注意力核函数集合w捕捉特征图m中不同像素邻域内的空间分布关系，得到具有空间相关性的特征图h；
10.光谱-空间特征分类模块，用于根据光谱-空间特征图h获取高光谱图像所包含的地物类别。
11.进一步地，所述光谱注意力核生成模块获取光谱注意力核函数s的方法为：
12.分别使用全局平均池化层和全局最大池化层从高光谱像素邻域立方体x中提取全
局平均特征x
avg
和全局最大特征x
max
，并将两者送入卷积层进行特征映射时自适应生成的光谱注意力权重s
avg
与s
max
的和值作为光谱注意力核函数s。
13.进一步地，所述高光谱像素邻域立方体x的获取方法为：
14.假设待分类的高光谱图像包含c个波段，每个波段包含h
×
w个像素点，其中，h、w分别为高光谱图像的高度和宽度；使用空间尺寸为s
×
s的滑动窗口逐像素点对高光谱图像进行采样，且采样过程中采用边界补零策略，得到h
×
w个维度大小为s
×s×
c的高光谱像素邻域立方体x。
15.进一步地，所述空间注意力核生成模块获取空间注意力核函数集合w的方法为：
16.逐像素点对特征图m进行滑动窗口采样，得到多个以特征图m各像素点为中心像素点的像素邻域立方体，并将各像素邻域立方体组成特征集合点的像素邻域立方体，并将各像素邻域立方体组成特征集合其中，i＝1,2,
…
,ss，ss为特征图m像素点的个数；
17.分别将各像素邻域立方体di输入全局平均池化层和全局最大池化层，得到各像素邻域立方体di对应的全局特征平均d
iavg
和全局最大特征d
imax
；
18.将全局特征平均d
iavg
和全局最大特征d
imax
的和值分别作为各像素邻域立方体di对应的全局特征表示，并将全局特征表示通过卷积层映射到维度更高的特征空间qi；
19.将各像素邻域立方体di与特征空间qi的维度分别重塑为(k
×
k)
×
c和g
×
c，其中，k
×
k为空间注意力核函数wi感受野的设定尺寸，g为空间注意力核函数wi中空间注意力核的设定数量，然后根据如下公式分别计算各像素邻域立方体di对应的空间注意力核函数wi：
[0020][0021]
其中，‖
·
‖2表示沿着高光谱图像的空间特征维度计算l2范数，sfm-1
(
·
)表示沿着高光谱图像的第一个维度进行softmax归一化，t表示转置；
[0022]
将各高光谱像素邻域立方体对应的空间注意力核函数组成空间注意力核函数集合w＝{w1,w2,
…
,wi,
…
,w
ss
}。
[0023]
进一步地，所述空间特征提取模块获取光谱-空间特征图h的方法为：
[0024]
将每一个高光谱像素邻域立方体di分别沿着各自的光谱特征维度平均划分为g组，且每一组均包含多个光谱特征通道，同时，高光谱像素邻域立方体di的第g组光谱特征通道对应空间注意力核函数wi的第g个空间注意力核其中，g＝1,2,
…
,g；
[0025]
将各光谱特征通道分别与各自对应的空间注意力核计算哈达玛积；
[0026]
分别将每一个光谱特征通道内的所有像素点对应的哈达玛积沿着空间维度相加，则同属于一个高光谱像素邻域立方体di的所有光谱特征通道对应的和值为关于高光谱像素邻域立方体di的空间特征向量hi，进而得到光谱-空间特征图h＝{h1,h2,
…
,hi,
…
,h
ss
}。
[0027]
进一步地，所述网络模型还包括：
[0028]
样本获取模块，用于获取高光谱数据集，并将高光谱数据集按照设定比例划分为训练集和验证集，其中，所述高光谱数据集中的每一条样本均由高光谱像素邻域立方体及其中心像素对应的类别标签构成；
[0029]
反向传播模块，用于当训练集中的高光谱像素邻域立方体依次经过光谱注意力核
生成模块、光谱特征选择模块、空间注意力核生成模块、空间特征提取模块以及光谱-空间特征分类模块的操作后，将得到的各样本的地物类别与对应的类别标签构建交叉熵损失函数，使得光谱注意力核生成模块、光谱特征选择模块、空间注意力核生成模块、空间特征提取模块以及光谱-空间特征分类模块根据交叉熵损失函数调节自身的可学习参数，直至得到符合设定要求的网络模型。
[0030]
进一步地，所述设定要求为：所有训练轮次中，总体分类精度oa最高，其中，训练轮次至少为200次，且每个训练轮次的总体分类精度oa的获取方法为：
[0031]
每个训练轮次结束后，将验证集的高光谱像素邻域立方体依次经过当前网络模型所包含的光谱注意力核生成模块、光谱特征选择模块、空间注意力核生成模块、空间特征提取模块以及光谱-空间特征分类模块的操作后，根据得到的验证集各样本的地物类别的预测值与对应的类别标签真实值计算总体分类精度oa。
[0032]
进一步地，所述高光谱数据集中每一条样本的高光谱像素邻域立方体以其中心像素对应的类别标签获取方法为：
[0033]
对于待分类的高光谱图像i∈rh×w×c，其中，h、w分别为高光谱图像的高度和宽度，c为波段数，同时，假设高光谱图像i包含n个标记样本，以n个标记样本为中心像素，使用空间尺寸为s
×
s的滑动窗口逐个中心像素进行采样，且采样过程中采用边界补零策略，得到n个维度大小为s
×s×
c的像素邻域立方体，并组成高光谱图像样本集χ＝{x1,x2,
…
,xk,
…
,xn}，其中xk∈rs×s×c；每个像素邻域立方体xk的类别标签由其中心像素xk决定，与χ对应的类别标签集合其中yk∈{1,2,
…
,m}，m为地物类别数；最后，由χ和组成高光谱图像数据集
[0034]
有益效果：
[0035]
1、本发明提供一种基于自适应空谱注意力核生成网络的高光谱图像分类方法，首先通过光谱注意力核函数s实现光谱特征信息的有效选择，然后通过能够捕捉不同空间分布关系的空间注意力核函数集合w实现对不同像素邻域内空间特征的有效提取，使得本发明即使在小样本情况下也可以得到很高的分类精度，并能够产生更加均匀平滑且边界清晰的分类结果图。
[0036]
2、本发明提供一种基于自适应空谱注意力核生成网络的高光谱图像分类方法，光谱注意力核生成模块获取光谱注意力核函数s时，将全局平均特征x
avg
和全局最大特征x
max
送入卷积层进行特征映射，能够实现光谱特征的自适应选择。
[0037]
3、本发明提供一种基于自适应空谱注意力核生成网络的高光谱图像分类方法，空间注意力核生成模块获取空间注意力核函数wi时，将全局特征平均d
iavg
和全局最大特征d
imax
的和值分别作为各像素邻域立方体di对应的全局特征表示，再将全局特征表示通过卷积层映射到维度更高的特征空间qi，能够增加空间注意力核函数的多样性，提高分类精度。
[0038]
4、本发明提供一种基于自适应空谱注意力核生成网络的高光谱图像分类方法，采用像素邻域立方体作为网络模型的训练样本，能够充分利用像素邻域立方体内丰富的光谱-空间信息，有效提高分类精度。
附图说明
[0039]
图1为本发明提供的基于自适应空谱注意力核生成网络的网络模型的原理框图；
[0040]
图2为本发明提供的网络模型的训练流程示意图；
[0041]
图3为本发明提供的indian pines数据集分类结果图；其中，(a)为伪彩色图，(b)为地面真值图，(c)为分类结果图；
[0042]
图4为本发明提供的pavia university数据集分类结果图；其中，(a)为伪彩色图，(b)为地面真值图，(c)为分类结果图；
[0043]
图5为本发明提供的salinas数据集分类结果图；其中，(a)为伪彩色图，(b)为地面真值图，(c)为分类结果图。
具体实施方式
[0044]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
[0045]
本发明提供的一种基于自适应空谱注意力核生成网络的高光谱图像分类方法，采用基于自适应光谱-空间注意力核的网络模型对高光谱图像所包含的地物类别进行分类，其中，如图1所示，网络模型包括：光谱注意力核生成模块、光谱特征选择模块、空间注意力核生成模块、空间特征提取模块以及光谱-空间特征分类模块；其中，各模块的功能具体如下：
[0046]
光谱注意力核生成模块，用于获取可以对高光谱像素邻域立方体x的光谱特征信息进行自适应选择的光谱注意力核函数s，具体的：分别使用全局平均池化层和全局最大池化层从高光谱像素邻域立方体x中提取全局平均特征x
avg
和全局最大特征x
max
，并将两者送入卷积层进行特征映射时自适应生成的光谱注意力权重s
avg
与s
max
的和值作为光谱注意力核函数s。
[0047]
需要说明的是，高光谱像素邻域立方体x的获取方法为：将待分类的高光谱图像记为i∈rh×w×c，其中，高光谱图像i每个波段包含h
×
w个像素点，共有c个波段，其中h、w分别为高光谱图像的高度和宽度；使用设定空间尺寸，如9
×
9的滑动窗口逐像素点对高光谱图像i进行采样，且采样过程中采用边界补零策略，则可以得到h
×
w个维度大小为9
×9×
c的像素邻域立方体。
[0048]
进一步地，全局平均特征x
avg
和全局最大特征x
max
可以用数学表达式表示为：
[0049][0050]
x
max
＝max(x)∈r1×1×c[0051]
其中，x(i,j)表示像素邻域立方体中位于(i,j)位置处的像素向量；为了实现光谱特征的自适应选择，将x
avg
和x
max
送入两个1
×
1卷积层进行特征映射，自适应地生成光谱注意力权重s
avg
和s
max
,可以用数学表达式表示为：
[0052][0053]
[0054]
其中，表示1
×
1卷积操作，w1∈r
(c/r)
×c,w2∈rc×
(c/r)
分别是卷积层的权重参数，σ(
·
)和δ(
·
)分别表示relu和sigmoid激活函数，r表示通道降维的比例；将s
avg
和s
max
相加得到最终的自适应光谱注意力核函数s，用于实现光谱特征的自适应选择。
[0055]
光谱特征选择模块，用于计算高光谱图像x各像素点与光谱注意力核函数s的哈达玛积，得到具有波段选择性的特征图m。
[0056]
需要说明的是，基于前面得到的高光谱图像x的像素邻域立方体，且为了实现对光谱信息的自适应选择，本发明将高光谱像素邻域立方体x逐像素点与自适应光谱注意力核s∈r1×1×c计算哈达玛积，得到具有波段选择性的输出特征图m∈rs×s×c，矩阵向量m中位于(i,j)处的像素向量m(i,j)可以用数学表达式表示为：
[0057]
m(i,j)＝s
·
x(i,j)∈r1×1×c[0058]
空间注意力核生成模块，用于获取可以捕捉特征图m中不同空间分布关系的空间注意力核函数w，具体如下：
[0059]
对于输入特征图m∈rs×s×c，逐像素点进行滑动窗口采样，得到s
×
s个像素邻域立方体，并组成新的特征集合其中di∈rk×k×c，k
×
k表示空间注意力核的感受野；将di分别输入全局平均池化层和全局最大池化层，得到关于di的全局特征平均d
iavg
和全局最大特征d
imax
，可以用数学表达式表示为：
[0060][0061]dimax
＝max(di)∈r1×1×c[0062]
其中，d(i,j)表示di中位于(i,j)位置处的像素向量；为了增加空间注意力核函数的多样性，将d
iavg
和d
imax
相加得到关于di的全局特征表示di∈r1×1×c，并通过1
×
1卷积层映射到高维特征空间qi∈r1×1×
cg
；将di和qi的维度分别重塑为kk
×
c和g
×
c，其中，kk＝k
×
k为空间注意力核函数wi感受野的设定尺寸，g为空间注意力核函数wi中空间注意力核的设定数量，则与邻域立方体di所对应的自适应空间注意力核函数wi可以用数学表达式表示为：
[0063][0064]
其中，‖
·
‖2表示沿着高光谱图像的空间特征维度计算l2范数，sfm-1
(
·
)表示沿着第一维度，即维度值为kk的维度，进行softmax归一化，t表示转置。此外，本发明将各高光谱像素邻域立方体对应的空间注意力核函数组成核函数集合w＝{w1,w2,
…
,wi,
…
,w
ss
}，其中，i＝1,2,
…
,ss，ss＝s
×
s为特征图m像素点的个数。
[0065]
对wi进行维度重塑，得到与邻域立方体di一一对应的自适应空间注意力核wi∈rk×k×c。
[0066]
空间特征提取模块，用于利用空间注意力核函数w捕捉特征图m中不同像素邻域内的空间分布关系，得到具有强空间相关性的特征图h，具体如下：
[0067]
将每一个高光谱像素邻域立方体di分别沿着各自的光谱特征维度平均划分为g组，且每一组均包含多个光谱特征通道，同时，高光谱像素邻域立方体di的第g组光谱特征通道对应空间注意力核函数wi的第g个空间注意力核其中，g＝1,2,
…
,g；
[0068]
将各光谱特征通道分别与各自对应的空间注意力核计算哈达玛积；
[0069]
分别将每一个光谱特征通道内的所有像素点对应的哈达玛积沿着空间维度相加，则同属于一个高光谱像素邻域立方体di的所有光谱特征通道对应的和值为关于高光谱像素邻域立方体di的空间特征向量hi，进而得到光谱-空间特征图h＝{h1,h2,
…
,hi,
…
,h
ss
}。
[0070]
也就是说，本发明将每一个像素邻域立方体di沿着高光谱图像的光谱特征维度平均划分为g组，每一组分别与对应的逐通道计算哈达玛积，然后分别将各光谱特征通道内所有像素点对应的哈达玛积沿着空间维度相加，得到关于像素邻域立方体di的空间特征向量hi∈r1×1×c,hi中第m个通道的元素值可以由数学表达式表示为：
[0071][0072]
其中，表示向上取整，表示自适应空间注意力核wi中位于处的元素值，di(u,v,m)表示邻域di中位于(u,v,m)处的元素值；对s
×
s个像素邻域立方体di逐一计算对应的空间特征向量hi，得到特征向量集合h＝{h1,h2,
…
,hi,
…
,h
ss
}，并进行维度重塑得到与输入特征图m具有相同维度的特征图h∈rs×s×c。
[0073]
例如，假设一个高光谱像素邻域立方体有c个光谱特征通道，被分成了g组，每一组光谱特征通道中的各光谱特征通道均与同一个空间注意力核计算哈达玛积，然后再分别将每一个光谱特征通道中的所有像素点对应的哈达玛积相加，若一个光谱特征通道的空间尺寸为k
×
k，则将k
×
k个哈达玛积相加，每一个光谱特征通道对应一个和值，则c个和值构成一个高光谱像素邻域立方体的空间特征向量hi。
[0074]
光谱-空间特征分类模块，用于根据光谱-空间特征图h获取高光谱图像所包含的地物类别。具体的，光谱-空间特征分类模块将光谱-空间特征图h∈rs×s×c输入全局平均池化层进行全局平均池化，得到类别特征向量p∈r1×1×c；将类别特征向量p输入带有softmax分类器的全连接分类层产生最终的高光谱图像分类结果。
[0075]
基于上述网络模型对高光谱图像所包含的地物类别进行分类的具体过程，下面详细介绍基于自适应光谱-空间注意力核的网络模型的训练获取方法；所述网络模型还包括样本获取模块和反向传播模块。
[0076]
其中，样本获取模块，用于获取高光谱数据集，并将高光谱数据集按照设定比例划分为训练集和验证集，其中，所述高光谱数据集中的每一条样本均由高光谱像素邻域立方体以及高光谱像素邻域立方体的中心像素对应的类别标签构成；同时，所述高光谱数据集中每一条样本的高光谱像素邻域立方体以及高光谱像素邻域立方体对应的类别标签获取方法为：
[0077]
对于待分类的高光谱图像i∈rh×w×c，其中，h、w分别为高光谱图像的高度和宽度，c为波段，同时，假设高光谱图像i包含n个标记样本，以n个标记样本为中心像素，使用空间尺寸为s
×
s的滑动窗口逐个中心像素进行采样，且采样过程中采用边界补零策略，得到n个维度大小为s
×s×
c的像素邻域立方体，并组成高光谱图像样本集χ＝{x1,x2,
…
,xk,
…
,xn}，其中xk∈rs×s×c；每个像素邻域立方体xk的类别标签由其中心像素xk决定，与χ对应的类别标签集合其中yk∈{1,2,
…
,m}，m为地物类别数；最后，将由χ和组成的高光谱图像数据集按照一定的比例对各个样本类别进行随机采样，将200个样本划分为训练集，400个样本划分为验证集，剩余标记样本划分为测试集。
[0078]
反向传播模块，用于当训练集中的高光谱图像依次经过光谱注意力核生成模块、光谱特征选择模块、空间注意力核生成模块、空间特征提取模块以及光谱-空间特征分类模块的操作后，将得到的各样本的地物类别与对应的类别标签构建交叉熵损失函数，使得光谱注意力核生成模块、光谱特征选择模块、空间注意力核生成模块、空间特征提取模块以及光谱-空间特征分类模块根据交叉熵损失函数调节自身的可学习参数，直至得到符合设定要求的网络模型。其中，所述设定要求为：所有训练轮次中，总体分类精度oa最高，其中，训练轮次至少为200次，且每个训练轮次的总体分类精度oa的获取方法为：
[0079]
每个训练轮次结束后，将验证集的高光谱像素邻域立方体依次经过当前网络模型所包含的光谱注意力核生成模块、光谱特征选择模块、空间注意力核生成模块、空间特征提取模块以及光谱-空间特征分类模块的操作后，根据得到的验证集各样本的地物类别的预测值与对应的类别标签真实值计算总体分类精度oa。
[0080]
也就是说，整个网络模型的训练过程需至少迭代200个训练轮次，每个训练轮次结束后，将验证集的样本送入当前训练轮次得到的网络模型，再根据得到样本类别标签的预测值来计算总体分类精度，所有训练轮次迭代完毕后，选择在验证集上得到最高总体分类精度oa的训练轮次产生的模型参数作为最终的网络模型参数。
[0081]
需要说明的是，本发明采用he正态分布对网络模型中所有可训练参数进行初始化；同时，本发明用来监督网络训练结果的交叉熵损失函数用数学表达式表示为：
[0082][0083]
其中，l(
·
)表示指示函数，当j＝yi时，l(yi,j)＝1，否则l(yi,j)＝0，yi表示第i个标记样本的真实标签值，表示第i个标记样本被分为第j类的分类概率；采用adam优化器优化模型中所有的可学习参数。
[0084]
需要说明的是，在本发明中，设置三个超参数，即光谱注意力核的通道降维比例r，空间注意力核的感受野k
×
k以及空间注意力核的数量g；例如，面对不同的数据集时，本发明给出了最优超参数设置如表1所示。
[0085]
表1：不同数据集的超参数设置
[0086][0087]
由此可见，如图2所示，本发明的基于卷积神经网络的网络模型的获取方法可以总结如下：
[0088]
步骤1：读取待分类高光谱图像，以标记样本为中心像素逐像素点采样，获得尺寸为s
×s×
c的像素邻域立方体，组成标记样本集合，像素邻域立方体的类别标签由中心像素决定；将标记样本集合与中心像素所对应的类别标签集合组合得到高光谱图像数据集；按照一定的比例对各个样本类别进行随机采样，得到总共200个标记样本作为训练集，400个样本作为验证集，剩余的标记样本作为验证集。
[0089]
步骤2：构建自适应光谱注意力核生成模块，生成可以对光谱特征信息进行自适应选择的光谱注意力核。
[0090]
步骤3：构建光谱特征选择模块，利用生成的光谱注意力核实现对光谱特征信息的有效选择，获得紧凑而有效的光谱特征表示。
[0091]
步骤4：构建自适应空间注意力核生成模块，充分利用不同像素邻域立方体内上下文信息的多样性，动态生成可以捕捉不同空间分布关系的空间注意力核。
[0092]
步骤5：构建空间特征提取模块，利用生成的空间注意力核对不同的像素邻域立方体进行空间特征提取，得到用于分类的样本特征。
[0093]
步骤6：构建光谱-空间特征分类模块，对输入的光谱-空间特征的进行分类，得到高光谱图像分类结果。
[0094]
步骤7；模型初始化与训练优化，采用he正态分布初始化模型中所有cnn的训练参数，将训练集数据分批次输入模型进行训练，通过交叉熵损失函数对模型的分类结果进行监督，并通过adam优化器对模型的所有训练参数进行优化。
[0095]
步骤8：将验证集数据送入训练好的模型进行分类并计算分类精度，生成分类结果图。
[0096]
进一步地，使用本发明对indian pines、pavia university以及kennedy space center三个公开的高光谱图像数据集进行分类，三个数据集中各个类别的样本采样数量如表2、表3、表4所示，不同数据集的总体分类精度(oa)，平均分类精度(aa)以及卡帕系数(κ)如表5所示，可知本发明在使用200个标记样本进行模型训练的小样本情况下，在indian pines、pavia university和kennedy space center三个公开高光谱数据集上分别实现了94.82％、98.48％和98.57％的总体分类精度。同时，三个数据集的分类结果图分别如图3中的(a)～(c)、图4中的(a)～(c)、图5中的(a)～(c)所示，说明本发明不仅可以在小样本情况下得到更高的分类精度，而且可以产生更加均匀平滑，且边界清晰的分类结果图。
[0097]
表2：indian pines数据集各类别的样本采样数量
[0098][0099]
表3：pavia university数据集各类别的样本采样数量
[0100][0101]
表4：kennedy space center数据集各类别的样本采样数量
[0102][0103]
表5：不同数据集分类精度
[0104][0105]
综上所述，本发明通过对不同通道内的光谱特征施加自适应注意力权重，来实现光谱特征信息的有效选择；同时，通过利用不同像素邻域内上下文信息的差异性，在不同空间位置处生成该位置特有的具有更强空间相关性的空间注意力特征核，也即空间注意力核不是静态不变，而是随着空间位置的变化而动态变化，以此实现对不同像素邻域内空间特征的有效提取，提高了分类精度。
[0106]
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。