基于耦合双通道生成对抗网络的高光谱图像分类方法

本发明涉及一种高光谱图像分类方法。

背景技术：

1、高光谱图像(hsi)的精细光谱带在遥感领域提供了丰富的地表语义信息，因此高光谱图像的光谱带和空间分布特征广泛应用于特征分类领域。hsi分类的目的是为分配给每个像素矢量的不同标签定义类别。

2、卷积神经网络(cnns)使用局部连接提取空间特征，并通过共享权重来减少参数数量。由于这一优势，基于cnns的hsi分类方法和他们的变体近年来越来越受欢迎。但由于缺乏足够的标记数据，基于cnns的模型通常会被过度训练，从而导致过拟合问题。因此，研究者们提出了一些半监督方法来生成除了原始训练数据之外的新的hsi数据，其中，生成对抗网络(gans)具有出色的泛化能力，可以生成独立于未标记数据的质量的高质量的样本。

3、技术上，生成对抗网络(gans)是一种深度神经网络模型，通常包含一个生成器和一个判别器，其中生成器生成尽可能真实的假数据，判别器试图区分真实数据和假数据。通过两个网络之间的对抗性竞争，双方都获得最优的结果。

4、gans可以在一定程度上缓解有限训练样本困境，但仍然存在两个关键问题，即平衡崩溃和样本多样性不足。随着深度学习理论的发展和应用，研究者们基于gans模型不断提出先进分类方法，旨在减轻平衡崩溃和改善样本多样性不足的问题。

技术实现思路

1、本发明的目的是：gans存在平衡崩溃和样本多样性不足的问题。

2、为了达到上述目的，本发明的技术方案是提供了一种基于耦合双通道生成对抗网络的高光谱图像分类方法，其特征在于，包括以下步骤：

3、步骤1、将一个随机噪声向量z以及一个用于生成样本的标签向量y输入级联卷积层，在级联卷积层中：

4、标签向量和噪声向量被馈送到网络的两个分离分支中，两个分离分支分别对标签向量和噪声向量进行相同的处理后得到向量y3以及向量z3，将向量y3与向量z3在光谱维度上拼接得到向量g，其中：

5、标签向量所处的分离分支对输入的标签向量y做如下处理：

6、步骤101、将标签向量y馈送到核大小为1的一维卷积层中进行初始信息映射，并将标签向量映射到27个特征图中，之后，将特征图变换为向量y1，并将向量y1用relu激活函数馈入bn层；

7、步骤102、bn层输出的向量y1馈送到三个连续的二维转置卷积层中，除最后一个二维转置卷积层之外，其他每个二维转置卷积层后面都有一个bn层和一个relu激活函数，经由三个连续的二维转置卷积层获得向量y2；

8、步骤103、一个核大小为1×1的卷积层用卷积核对向量y2的光谱信息进行重构，得到向量y3；

9、将向量g输入级联的空间光谱注意块，以增强生成特征图中的关键信息并抑制干扰信息的表示，最终通过tanh激活函数完成3d hsi样本的生成；

10、步骤2、将级联卷积层生成的3d hsi样本与真实样本h混合，形成鉴别器的输入样本d，输入样本d所对应的标签被认定为yd，每个输入样本d在其原有的类别空间中增加一个新的真假样本类别；

11、步骤3、将输入样本d输入鉴别器，在鉴别器内：

12、步骤301、由级联的空间光谱注意块对输入样本d进行处理，获得空间注意力细节掩膜aspa和光谱注意力细节掩膜aspe；

13、步骤302、基于空间注意力细节掩膜aspa和光谱注意力细节掩膜aspe构建空间特征dspa和光谱特征dspe；

14、步骤303、将空间特征dspa和光谱特征dspe连接起来并送到fc层进行最终融合，fc层使用softmax函数来实现判别和分类。

15、优选地，步骤302中，构建空间特征dspa时，将空间注意力细节掩膜aspa作为矩阵与输入样本d相乘，并在此加权因子的引导下，进行光谱维度上的聚合。

16、优选地，步骤302中，构建光谱特征dspe时，将光谱注意力细节掩膜aspe作为矩阵与输入样本d相乘，并在此加权因子的引导下，进行光谱维度上的聚合。

17、优选地，步骤302中，空间特征dspa由三个连续的二维卷积层来挖掘，每一层二维卷积层的核大小为3×3，其中3、16、32依次为卷积核的数量。

18、优选地，步骤302中，光谱特征dspe将由三个连续的一维卷积层进行挖掘，每一层一维卷积层的核大小为7，卷积核的数量分别为32、64和128。

19、优选地，步骤301中，级联的空间光谱注意块包括空间注意机制部分以及光谱注意机制部分，分别用于引导空间光谱特征提取层完成特征挖掘任务，其中：

20、在空间注意机制部分：

21、对特征图x采用深度分离的方式在每个通道层上聚合空间信息，表示为下式：

22、

23、

24、式中，h(xi)、w(xj)表示深度卷积运算的结果，表示深度卷积运算，xi表示特征图x的第i行，xj表示特征图x的第j列，wh表示行卷积核，wi表示列卷积核；

25、将h(xi)的集合表示成xh，它代表特征图在h尺度上的空间嵌入信息；将w(xj)的集合表示成xw，它代表特征图在w尺度上的空间嵌入信息；

26、对xh和xw矩阵变换后，得到和

27、对和进行矩阵乘法，获得输入特征映射在不同通道上的空间相关矩阵mspa，再经过逐通道层的softmax函数获取最终的空间注意分布aspa，其中，每个频谱通道层获得其独特的空间注意细节为：

28、

29、式中，表示空间坐标为(i,j)的第z通道特征图的空间关注值，为空间坐标为mspa的对应值；

30、在光谱注意机制部分：

31、融合特征图的空间信息：

32、

33、其中，xz(i,j)表示空间坐标为(i,j)的第z通道特征图的值，mspa作为加权因子，以获得光谱特征向量e；

34、光谱信息挖掘：

35、v(e)＝wv⊙e

36、u(e)＝wu⊙e

37、其中，wv和wu是两个核大小为1的逐点卷积层，v(e)和u(e)表示逐点卷积运算的结果，符号⊙表示运算处理；

38、对生成的特征向量v(e)应用残差连接后得到vres.(e)；对生成的特征向量u(e)应用残差连接之后再进行矩阵变化得到ures.&t.(e)；

39、将ures.&t.(e)和vres.(e)进行矩阵乘法得到光谱相关矩阵mspe，将光谱相关矩阵mspe送入softmax函数以获取目标的光谱注意力掩膜aspe，其中，光谱注意力掩膜aspe中系数的值：

40、

41、式中，为光谱注意力掩膜aspe中第i行第j列值，表示第i个波段和第j个波段之间的相关注意力系数，是mspe中的相应值；

42、通过空间注意机制部分以及光谱注意机制部分得到空间注意力与光谱注意力后，再由注意力融合与特征提取部分进行空谱特征挖掘，包括以下步骤：

43、输入特征图x与mspa进行矩阵之间的哈达玛积，抑制特征图每个通道上空间冗余信息，并强化地物的空间分布，再送入一个3×3大小的dwconv层wd进行空间特征提取，最后利用残差连接将两个特征图进行融合获得融合的特征图x′，如下式所示：

44、

45、光谱波段信息提取：

46、x″＝x′+wp⊙(x′*mspe+x′)

47、式中，x″表示输出结果，wp表示1×1的逐点卷积层；

48、x″被送入一个bn层与relu层，该过程采用了残差链接；

49、空谱特征提取层采用一个核为3×3×7三维卷积核进行联合特征提取，在卷积运算的过程中实现对数据空间信息的融合，得到特征图此外，填充操作用于保证光谱维度的一致性；

50、输出的特征图被送入下一个空谱特征提取层进行进一步的特征挖掘。

51、本发明提出一个耦合双通道生成对抗网络(cdgan)用于hsi分类，主要由一个耦合生成网络(cgn)和一个双通道判别网络(ddn)组成。cgn通过级联卷积层实现hsi样本的重建，其中，样本标签信息用于避免平衡崩溃。而ddn分别提取输入真/假样本的空间注意权值和光谱注意权值，并以双通道方式在空间和光谱两个维度上进行特征挖掘。为了增强输入样本在空间和光谱两个维度上的细节特征，本发明设计了一种新的级联空间-光谱注意块(cssab)。最后，融合不同尺度的特征图，进行最终的样本判别和分类，可以减轻样本多样性不足的影响。

52、本发明提出了一种基于耦合双通道生成对抗网络(cdgan)的高光谱图像(hsi)分类方法，cdgan包含耦合生成网络(cgn)和双通道鉴别网络(ddn)，可以有效提高hsi图像分类的准确性。同时，本发明还开发了一种新型的级联空间-谱域注意力块，利用注意力提取指导输入特征图的特征挖掘。在受限训练样本条件下，对两个基准hsi数据集(pavia大学和salinas场景)进行了大量实验，验证了本发明提出方法的有效性，实验结果与其他最先进的分类方法相比取得了竞争性的结果。