基于卷积神经网络和注意力机制的高光谱图像分类方法

1.本发明属于图像分类领域，涉及基于卷积神经网络结合光谱注意力机制和空间注意力机制的高光谱图像分类方法研究。


背景技术：

2.随着遥感技术的快速发展以及成像光谱仪的出现，人们逐渐关注高光谱成像遥感技术。高光谱图像(hsi)是一种通过成像光谱仪在不同的电磁波内采集而得到的三维图像，拥有两个空间维和一个光谱维，其空间维是一个二维图像，表征地表物体的空间信息；光谱维是一条光谱响应曲线，反映地表物体的光谱信息。因此，高光谱图像实现了图像与光谱的统一，即“图谱合一”的特点。与普通图像相比，高光谱图像信息丰富、光谱波段范围广且光谱分辨率高，更有利于检测识别地表物体，因此高光谱成像遥感技术被广泛应用在不同领域中。然而高光谱数据的冗余度高、数据量大和相关性强等特点给其分类识别方面带来了很大挑战。
3.过去用于高光谱图像分类的传统方法是基于手工特征，如决策树，支持向量机和核方法等，这些方法需要研究人员具有丰富的高光谱图像先验知识，样本标记和类别识别都会花费大量人力和时间。另外，上述的传统方法不能充分利用丰富的信息，只能提取浅层次的特征，导致分类效果不理想。
4.近年来卷积神经网络(cnn)直接从人机交互中学习高级抽象特征，其分类性能优于基于手工制作特征的传统方法，这使得卷积神经网络逐渐成为高光谱图像分类领域的热点。现有基于卷积神经网络的高光谱图像分类模型有三大类，分别是1dcnn、2dcnn和3dcnn。 1dcnn模型是基于光谱的分类方法，仅提取光谱特征，存在空间信息缺失的问题；2dcnn 模型是基于空间的分类方法，该方法利用与传统rgb图像相似的方法来学习空间特征，存在通道关系信息缺失的问题；3dcnn模型是基于光谱空间分类方法，由于高光谱图像是三维立方体，因此3dcnn得到广泛普及。但该方法存在两个问题，一方面，随着网络深度的增加，模型会越来越复杂，消耗大量时间成本；另一方面，高光谱数据集是遥感数据，获取难度大，导致仅少数样本可用于训练，模型复杂则出现梯度消失问题，可能会存在过拟合现象，实际上分类性能并不好。


技术实现要素：

5.针对上述问题，本发明的目的在于提供一种基于深度学习的高光谱图像分类方法。
6.由于hsi是立方体数据，单纯的2dcnn无法从光谱维度中提取出较好的分类特征图。类似地，而仅仅只使用3d cnn会增加计算复杂度。因此，本研究拟提出了一种用于hsic 的3d-2d cnn方法，从多维度充分捕捉利用其潜在信息，得到更好的分类结果。其主要优势在于三维神经网络可以了解特征立方体的空间和光谱维数的局部信号变化，利用重要的判别信息进行分类，而且与其他3d cnn模型相比，该模型降低了复杂性。不仅保留特征学习过
程中的联合空间和光谱信息，还充分利用了三维hsi数据的结构特征，以此来达到更高的分类精度。
7.cnn仅关注图像的一些局部信息，例如边缘特征，但是高光谱图像的识别不单单依赖于某种局部特征，是需要结合多个局部特征才能完成最终的分类任务。若使用单一的大尺度卷积核进行特征提取时会明显的增加模型计算工作量，也会忽略了一些重要的局部信息而影响模型的最终分类精度。虽然增加cnn网络的宽度与深度可以增加模型的性能，但是会加大过拟合和梯度爆炸等问题发生的概率，于是本研究提出了多尺度卷积神经网络来提取特征。
8.随着深度学习在高光谱图像分类中的普及，计算机视觉领域的注意力机制也逐渐被作为辅助工具引入深度学习高光谱图像的分类任务中。注意力机制通过模拟人眼观察事物自觉接受感兴趣区域的思想，从众多特征中忽略与当前任务无关的信息，关注与当前任务有关的信息。常用的注意力机制模型包括空间注意力机制和通道注意力机制。空间注意力机制是为同一特征图的空间信息重新分配权重，获取包含不同空间权重信息的特征图；通道注意力机制是在通道维度上为特征图重新分配权重，获取不同通道的权重特征图。高光谱图像的光谱是一条具有波峰和波谷的连续曲线，而不是具有固定值的直线。因此，一些光谱段应该权重较小，关键光谱段权重应该更大。光谱维度引入通道注意力机制，模型会给每个光谱通道分配合适的权重，从而使得模型可以捕捉光谱内部信息并进行分类。在每个地表覆盖区域的边缘，高光谱图像邻域像素块可能会包含多个像素，这些像素的地表覆盖标签与中心像素不同，这些像素被称为干扰像素，会削弱光谱空间特征的分辨能力，降低分类精度，因此引入空间注意力机制抑制邻域像素块中的干扰像素影响。
9.本文重点考虑高光谱图像数据的特点，提出了一种卷积神经网络结合光谱注意力机制和空间注意力机制的高光谱遥感图像分类方法，该方法首先利用3d-2dcnn提取空间光谱联合特征，为了让有用的特征得到更好的表达，引入注意力机制给特征分配不同的权重使得模型可能更好捕获重要特征。最后通过softmax层分类判别。本文所提出的模型充分考虑了高光谱图像数据在光谱维度和空间维度的联系，能挖掘数据间的潜在联系，可以有效的提高分类精度。通过与经典的深度学习方法和当前最新方法进行对比实验，验证了本文所提出模型的有效性。
10.为达到上述目的，本发明提供如下技术方案：
11.一种基于卷积神经网络结合光谱注意力机制和空间注意力机制的高光谱图像分类方法，该方法包括以下步骤：
12.步骤1)将所用的数据进行预处理；
13.步骤2)采用3dcnn提出数据的空间光谱联合特征；
14.步骤3)将空间光谱联合特征加入注意力机制；
15.步骤4)采用2dcnn提取数据的光谱特征；
16.步骤5)将提取到的特征通过两层全连接层和softmax分类层。
17.进一步，所述步骤1)具体为包括以下步骤：
18.步骤11)高光谱图像的光谱分辨率很高且相邻之间相关性较强，这使得光谱维度上通道间存在信息冗余，直接进行学习会提升图像处理的时间同时影响分类精度。为了去除光谱冗余，在原始hsi数据i∈r
m*n*d
的光谱维度上应用pca，将光谱波段的数量从d减少到
b, 同时保持相同的空间维度(即宽度m和高度n)。这样就只减少了光谱波段，保留了空间信息，这对物体的识别很重要。用x∈r
m*n*b
表示降维后的hsi数据，其中b为pca后的光谱波段数。
19.步骤12)高光谱图像分类是像素级别的分类任务，即未经处理的训练集的单位是一个个像素。然而，深度卷积神经网络的输入一般都需要有空间大小,即几何意义上的长和宽。为此，在输入到卷积层之前需要先将原始训练像素进行填充操作，使其变成一个像素块。三维hsi 立体原始数据集(m*n*b),通过填充将中心像素(1*1*b)划分成像素块(s*s*b)。其中，m*n和 s*s分别表示原始数据集和像素块的空间大小，b则表示光谱维的数量。填充是将中心像素与其相邻像素拼成一个像素块，并且赋子相邻像素和中心像素同样的标签。对于边缘部分的像素则采取镜像复制填充，而不是用0值填充，这是适用于进行高光谱像素填充方法，可以获得更多的信息。一方面，可以赋予待训练像素一定的空间大小，便于输入网络；另一方面，由于高光谱图像具有空间相似性，可以提取更多不同的地物信息。
20.进一步，所述步骤2)具体为包括以下步骤：
21.步骤21)调整了cnn的网络结构以构建多尺度卷积神经网络。在3dcnn模块中利用大小不同的多个卷积核来提取特征映射，并将他们结合起来得到多组局部特征，从而提取多尺度特征。3dcnn模块采用了三个卷积层，第一个卷积层采用了8个3
×3×
7的卷积核，第二层分别采用了16个1
×1×
1,16个3
×3×
3和16个5
×5×
5的卷积核，对特征图进行不同尺寸大小的特征提取，第三层卷积层分别使用32个3
×3×
3，32个3
×3×
3，32个3
×3×
3的卷积核，再将三个分支的结果融合起来。通过多分支叠加可以有效增加网络的宽度，这些不同尺寸大小的卷积核可以有效的提取多个尺度的特征信息，提取的特征信息比其单一卷积分支层更加全面。
22.步骤22)设置参数。第一个卷积层设置步长大小stride＝1，设置padding＝0。第二个卷积层和第三个卷积层中，所有的卷积核步长大小设为stride＝1，设置padding＝same，这样设置的目的是为了让每个分支的网络输出特征图大小相同，便于后期直接将每个尺度大小的特征进行合并。在三维卷积层中，第i层的第j个特征图中空间位置(x,y,z)处的激活值表示为如下所示：
[0023][0024]
其中f是一个激活函数，d
l-1
是第l-1层的三维特征图数量，w
i,j
是第i层第j个特征图的权重参数，b
i,j
是第i层第j个特征图的偏差参数，2δ+1，2λ+1和2v+1是卷积核的高度、宽度和深度。
[0025]
进一步所诉步骤3)具体包括以下步骤：
[0026]
步骤31)在三维卷积块后使用注意力模块，该模块具有通用性和端到端的可训练性，可直接插入到三维卷积块和二维卷积块中间。使用通道注意力机制，赋予特征图通道不同的比重，细化特征图，通过捕捉特征的通道关系来减少通道冗余并构建通道注意图。特征图x同时执行通道维的三维最大池化和三维平均池化操作，然后送入由两个全连接层组成的共享网络中，得到的特征对应元素逐个相加，再经过sigmoid激活函数激活，得到最终的通道注意力 mc。通道注意力计算如下：
[0027]
mc＝σ(fc(max_pool(x))+fc(avg_pool(x)))
[0028]
其中σ表示sigmoid激活函数，max_pool表示最大池化操作，avg_pool表示平均池化操作。
[0029]
步骤32)为了抑制干扰像素的影响，引入自注意力机制构建空间注意力模块，利用像素之间的相关性来获取注意区域并捕获空间注意特征。空间注意力模块的输入xc是通道细化后的特征图，由以下的公式计算得到：
[0030][0031]
其中为对应元素相乘，结果的大小和最开始的输入一样。
[0032]
1.输入xc分别和三个1
×
1卷积核进行卷积操作，生成特征图：f(xc),g(xc),h(xc)；
[0033]
2.f(xc)和g(xc)点积运算计算不同像素间的相似性；
[0034]
3.对自相关特征r进行softmax归一化处理得到注意力权重；
[0035]
4.注意力权重与特征图h(xc)逐像素相乘生成空间注意力ms。
[0036]
步骤33)两个注意力模块的输出图y为：
[0037][0038]
进一步，所述步骤4)具体为包括以下步骤：
[0039]
步骤41)在提取到光谱空间特征之后，再用一个二维卷积层去提取不同光谱波段内的空间信息，采用64个3
×
3的2dcnn卷积核。在二维卷积中，第i层的第j个特征图中空间位置(x,y) 处的激活值表示为如下所示：
[0040][0041]
进一步，所述步骤5)具体为包括以下步骤：
[0042]
步骤51)为了将特征图输出给全连接层，需将其flatten操作，将提取的多维特征一维化。两个全连接层的节点数分别设为256和128，为了防止模型过拟合，全连接层都使用比例为 0.4的dropout。最后，softmax分类层的节点数设为数据集类别数。
[0043]
有益效果：
[0044]
1.提出的多尺度卷积神经网络能够提取数据更多的局部特征，相比于传统神经网络避免了信息上的丢失，在浅层特征提取中具有很大的优势。
[0045]
2.利用3d-2dcnn提取了hsi立方体数据的光谱空间联合特征，避免模型复杂带来的过拟合现象，充分利用hsi“图谱合一”的特点。
[0046]
3.提出了一个注意力模块组件，关注相邻光谱维度之间的相关性和空间域上的空间相关性，同时抑制不必要的特征。
[0047]
4.以hsi数据特点出发完成对其分类，构建的分类模型能够在多项指标中均有最优的性能表现，突出了本方法的实用性。
附图说明
[0048]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0049]
图1为基于卷积神经网络和注意力机制的高光谱图像分类模型总体结构图
[0050]
图2为注意力模块总体示意图
[0051]
图3为通道注意力结构图
[0052]
图4为空间注意力结构图
具体实施方式
[0053]
以下将结合附图，对本发明的优选实例进行详细的描述。
[0054]
本发明提供一种基于卷积神经网络和注意力机制的高光谱图像分类方法，该方法包含以下步骤：
[0055]
步骤1：由于hsi数据是高维数据，倘若作为神经网络模型的直接使用，需要使用数据预处理模块对原始数据进行数据预处理工作，首先使用pca进行降维处理，采用公开数据集 indian pines，原始数据光谱维度为220，经过降维处理后减少到30。
[0056]
步骤2：根据3d-2dcnn的结构特点，将降维后的像素数据转化为邻域像素块进行输入。先对边界像素进行镜像复制填充，然后将其转化为大小为25*25*30大小的三维矩阵作为网络的输入。
[0057]
步骤3：首先使用3dcnn模块对数据进行空间域特征提取，再利用注意力模块抑制不必要的特征，然后使用2dcnn在3dcnn的基础上进一步学习更抽象的空间特征。
[0058]
步骤4：在模型训练阶段，将模型softmax层预测的数据结果与真实的数据标签记性对照，将预测误差损失值实时记录并反馈给模型，通过多轮次的数据迭代训练，不断优化更新网络节点的权值与偏置，使最终分类结果更加接近真实标签，在完成上述参数训练后，对测试数据进行决策响应。
[0059]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。