一种基于多尺度混合卷积网络的高光谱图像分类方法

本发明涉及图像分类处理，具体为一种基于多尺度混合卷积网络的高光谱图像分类方法。

背景技术：

1、高光谱遥感利用许多电磁波获取被测物体的相关数据，是当前遥感技术的前沿领域，高光谱图像由地表图像信息和光谱信息结合而成，具有光谱信息量大、纳米级光谱分辨率、图谱合一等优点。利用深度学习技术对成像光谱仪与飞行器、卫星结合所获取的高光谱图像进行分类已成为新兴的研究领域。

2、高光谱图像分类的依据是光谱信息和空间信息，目前高光谱图像分类领域中，空间信息和光谱信息的组合使用已广泛应用于高光谱图像分类，中国专利公开号为“cn113837314a”，名称为“一种基于混合卷积神经网络的高光谱图像分类方法”，该方法构建了一个混合卷积神经网络模型；该网络模型采用单3d卷积模型同时提取预处理后的高光谱图像的光谱和空间维度特征；采用单2d卷积模型进一步提取空间维度特征；采用单1d卷积模型处理输出信息；得到分类结果，该方法未考虑到不同尺度以及不同层次的特征之间的关系，远距离像素块之间的关联也未能利用，分类效果有待提高。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于多尺度混合卷积网络的高光谱图像分类方法，解决了分类精度的问题。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：一种基于多尺度混合卷积网络的高光谱图像分类方法，该方法具体包括如下步骤

5、步骤1，高光谱图像：采用公开的高光谱图像数据集；

6、步骤2，图像预处理：对步骤1中的高光谱图像进行数据降维并对降维之后的图像进行样本取块，得到一个高光谱样本块；

7、步骤3，构建多尺度混合卷积网络模型：整个网络模型包含两个多尺度三维卷积块、两个多尺度二维卷积块、一个混合注意力块、一个三维卷积层、一个二维卷积层、一个一维卷积层、两个全连接块和一个分类器。将高光谱样本块输入到直连的两个多尺度三维卷积块中提取包含多尺度信息的空谱特征；将经过两个多尺度三维卷积块提取的空谱特征重构后分别输入到两个多尺度二维卷积块中，进一步提取多尺度多层次的空间特征；将经过两个多尺度三维卷积块提取的空谱特征输入到三维卷积层中，将卷积结果重构后输入到二维卷积层中，进一步提取光谱特征；将多尺度多层次的空间特征与光谱特征进行特征融合后输入到混合注意力块，使其只关注有用的空间信息以及光谱信息；将关注的空间信息以及光谱信息重构后输入一维卷积层得到向量形式的特征；最后输入到两个全连接块中，并通过分类器输出分类结果。

8、步骤4，选择损失函数及评价指标：通过计算分类的结果与标签的损失函数，直到训练的次数达到设定的阈值或损失函数的值达到设定范围内即可认为模型参数训练完成，同时选择评价指标来衡量算法的精度，评估系统的性能；

9、步骤5，保存训练模型：选择训练过程中效果最好的一组模型参数进行固化，之后需要进行高光谱图像分类操作时，直接将高光谱图像输入到网络当中即可得到最终的分类图像。

10、进一步地，所述步骤1中采用的公开数据集为：印度松树数据集(in)、帕维亚大学数据集(up)和萨利纳斯数据集(sa)。

11、进一步地，所述步骤2中数据降维的方法使用主成分分析法(pca，principalcomponent analysis)，其降维过程如下：

12、对维度为w×h×c1的原始高光谱图像i1进行协方差矩阵特征分解，转换成维度为w×h×c2的新高光谱图像i2，其中，w为图像宽度，h为图像高度，c1为原图像通道数，c2为变换后的波段数，降维操作能减少数据特征冗余，还能减少计算参数。

13、进一步地，所述步骤2中样本的取块操作过程为：

14、将所述新高光谱图像i2裁剪为大小为w×w×c1的三维图像块，输入到网络模型中，w为窗口大小。

15、进一步地，所述步骤3中多尺度三维卷积块由小尺度、中尺度和大尺度三条支路构成，小尺度支路依次由一个三维卷积层、一个批归一化层和一个激活函数层组成，中尺度和大尺度支路依次由一个三维卷积层、一个激活函数层、一个三维卷积层、一个批归一化层和一个激活函数层组成，三条支路得到的张量按第一维数拼接在一起；多尺度二维卷积块由小尺度、中尺度和大尺度三条支路构成，每条支路依次由一个二维卷积层、一个批归一化层和一个激活函数层组成，三条支路得到的张量按第一维数拼接在一起；混合注意力块包括光谱注意力块和空间注意力块两部分，采用串行方式连接；光谱注意力块中先通过两条支路将输入分别进行全局平均池化和全局最大池化，将池化结果依次输入到一维卷积层和激活函数层1中，得到的张量按第一维数拼接，之后依次输入到线性层1、激活函数层2、线性层2、激活函数层1、一维卷积层和激活函数层1中，最后将其与输入特征进行元素相乘；空间注意力块中先通过两条支路将输入分别进行平均池化和最大池化，将池化结果依次输入到二维卷积层和批归一化层中，得到的张量按第一维数拼接，之后依次输入到二维卷积层和激活函数层中；全连接块依次由一个线性层、一个激活函数层和一个dropout层组成。

16、进一步地，所述步骤4中损失函数选择交叉熵损失函数；损失函数的选择影响着模型的好坏，能够真实的体现出预测值与真实值的差异，并且能够正确的反馈模型的质量。评价指标选择总体准确度、平均准确度和一致性，能够有效的评估分类的质量，衡量分类网络的作用。

17、(三)有益效果

18、与现有技术相比，本发明提供了一种基于多尺度混合卷积网络的高光谱图像分类方法，具备以下有益效果：

19、1、本发明采用多个多尺度3d卷积模块对高光谱图像的空-谱联合特征进行提取，充分融合不同尺度下的光谱和空间维度特征，提高高光谱图像的分类性能。

20、2、本发明采用多个多尺度2d卷积模块，进一步提取不同层次的空间维度特征，减少计算量的同时，进一步提高高光谱图像的分类精度。

21、3、本发明通过添加混合注意力模块，建立远像素块之间的联系，进一步提高高光谱图像的分类精度。

技术特征：

1.一种基于多尺度混合卷积网络的高光谱图像分类方法，其特征在于：该方法具体包括如下步骤，

2.根据权利要求1所述的一种基于多尺度混合卷积网络的高光谱图像分类方法，其特征在于：所述步骤1中采用的公开数据集为：印度松树数据集(in)、帕维亚大学数据集(up)和萨利纳斯数据集(sa)。

3.根据权利要求1所述的一种基于多尺度混合卷积网络的高光谱图像分类方法，其特征在于：所述步骤2中数据降维的方法使用主成分分析法(pca，principal componentanalysis)，其降维过程如下：

4.根据权利要求3所述的一种基于多尺度混合卷积网络的高光谱图像分类方法，其特征在于：所述步骤2中样本的取块操作过程为：

5.根据权利要求1所述的一种基于多尺度混合卷积网络的高光谱图像分类方法，其特征在于：所述步骤3中多尺度三维卷积块由小尺度、中尺度和大尺度三条支路构成，小尺度支路依次由一个三维卷积层、一个批归一化层和一个激活函数层组成，中尺度和大尺度支路依次由一个三维卷积层、一个激活函数层、一个三维卷积层、一个批归一化层和一个激活函数层组成，三条支路得到的张量按第一维数拼接在一起；多尺度二维卷积块由小尺度、中尺度和大尺度三条支路构成，每条支路依次由一个二维卷积层、一个批归一化层和一个激活函数层组成，三条支路得到的张量按第一维数拼接在一起；混合注意力块包括光谱注意力块和空间注意力块两部分，采用串行方式连接；光谱注意力块中先通过两条支路将输入分别进行全局平均池化和全局最大池化，将池化结果依次输入到一维卷积层和激活函数层1中，得到的张量按第一维数拼接，之后依次输入到线性层1、激活函数层2、线性层2、激活函数层1、一维卷积层和激活函数层1中，最后将其与输入特征进行元素相乘；空间注意力块中先通过两条支路将输入分别进行平均池化和最大池化，将池化结果依次输入到二维卷积层和批归一化层中，得到的张量按第一维数拼接，之后依次输入到二维卷积层和激活函数层中；全连接块依次由一个线性层、一个激活函数层和一个dropout层组成。

6.根据权利要求1所述的一种基于多尺度混合卷积网络的高光谱图像分类方法，其特征在于：所述步骤4中损失函数选择交叉熵损失函数；损失函数的选择影响着模型的好坏，能够真实的体现出预测值与真实值的差异，并且能够正确的反馈模型的质量。评价指标选择总体准确度、平均准确度和一致性，能够有效的评估分类的质量，衡量分类网络的作用。

技术总结
本发明属于图像分类处理技术领域，尤其为一种基于多尺度混合卷积网络的高光谱图像分类方法，该方法具体包括如下步骤，步骤1，高光谱图像：采用公开的高光谱图像数据集；步骤2，图像预处理：对步骤1中的高光谱图像进行数据降维并对降维之后的图像进行样本取块，得到一个高光谱样本块。本发明采用多个多尺度3D卷积模块对高光谱图像的空‑谱联合特征进行提取，充分融合不同尺度下的光谱和空间维度特征，提高高光谱图像的分类性能。

技术研发人员：葛微,陈博文,陈婷婷,王鹏,詹伟达,唐雁峰
受保护的技术使用者：长春理工大学重庆研究院
技术研发日：
技术公布日：2024/1/14