一种基于多元互学习网络的高光谱图像迁移分类方法

本发明属于遥感图像处理与应用，涉及一种基于多元互学习网络的高光谱图像迁移分类方法，具体是一种结合邻域不变性和跨域混合的互学习网络高光谱图像迁移分类方法。

背景技术：

1、高光谱图像成像波段众多，光谱成像仪在可见光和红外光谱区内拥有数十甚至数百个波段，同时能提供空间域信息和光谱域信息，且光谱分辨率高，细节信息丰富，有利于进行精细地物分析。在军事侦察、植被调研、农业监测等领域有广泛应用。但是，高光谱数据量大造成冗余且波段间相关性高，使得分类需要大量的训练样本。最重要的是由于高光谱数据集标注依赖专业设备和相关领域专家，获得足够多的标记数据不合实际。因此，目前传统的有监督高光谱图像分类方法面临着巨大的挑战。

2、近年来，一些研究人员提出了领域自适应方法，将知识从标签丰富的源领域转移到标签稀缺的目标领域，取得了显著的成就。但传统的领域自适应假设两域共享相同地物类型，由于不同地区地物组成不同，源域和目标域中极可能存在私有类别，因此无法直接应用于跨场景高光谱图像分类。一种更实用的方法是不对目标域标签集施加任何先验知识，仅假设源域和目标域标签有公共部分，我们称之为通用高光谱迁移分类。

3、周浩等人(中国发明专利，申请专利号：cn202310869709.4)提供了一种高光谱图像的分类方法、装置及电子设备,获取高光谱图像数据集。利用网络优化后的基于卷积残差块与空间注意力机制的双通道孪生网络进行分类模型训练,并采用迁移学习的方法对跨域场景下高光谱图像分类，提高了高光谱图像的分类精度。但其特别针对小样本场景进行优化，在实际应用中，高光谱图像数据具有高度的变异性，小样本可能导致模型无法充分捕捉数据的多样性和复杂性。

4、朱姗姗等人(中国发明专利，申请专利号：cn202311699520.1)公开了一种基于多分支注意力网络的光谱分类方法。利用多分支注意力对基础卷积块输出的特征数据进行进一步学习，增强了网络的特征提取能力，利用分支权重对不同分支输出的特征数据进行特征融合，使得分类模型能学习到更加丰富的拉曼特征峰全局和局部信息，提高了高光谱图像分类的准确性。但其未考虑到跨域类别不平衡问题，由于类别分布可能不同，导致对少数类的预测准确率降低，模型的泛化能力不足。

5、这些不足已成为制约高光谱图像分类从理论研究向大规模实际应用转化的关键瓶颈。亟需开发一种具备处理数据类别分布不同、规模不一的跨域高光谱图像识别方法，从而满足实际应用中模型面对新数据、新任务。

技术实现思路

1、本发明的目的是克服现有技术的缺陷，提供一种基于多元互学习网络的高光谱图像迁移分类方法，用于解决现有高光谱图像分类技术难以实现跨数据迁移的问题。该方法基于自适应邻域选择来减少域内变化，获得更一般化的特征表示。该方法利用跨域流形混合方法模拟未知类样本，拓展决策边界。本发明提出多元互学习网络解决公共类和私有类分离问题；提出基于互学习网络的跨域流形混合方法以解决特征漂移问题；提出自适应邻域搜索方法以解决类别不平衡的问题。本发明可实现不同空谱分辨率、不同光谱范围、以及不同任务覆盖的高光谱图像之间的信息共享与传递，为持续的高光谱图像分类提供一种有效的解决方案，使高光谱图像分类理论离大规模实际用更进一步。

2、为了达到上述目的，本发明采用的技术方案：

3、一种基于多元互学习网络的高光谱图像迁移分类方法，所述的高光谱图像迁移分类方法首先，使用光谱仪采集不同区域的高光谱图像各两张分别作为源域和目标域，其次，使用基于通道注意力的卷积神经网络提取数据集特征，其次，利用自适应邻域搜索方法寻找目标域样本最相似的邻居，利用跨域流形混合方法来增强网络对未知类别的识别能力，再次，利用已知类分类器网络来输出目标样本可能属于的标签类别，最后利用未知类分类器网络来对已知类分类器网络输出的结果进行打分，分数高于阈值的即可归为已知类别，低于阈值的将其识别为未知类。具体包括以下步骤：

4、步骤1，选取两张包含相同标签类别(以下简称公共类)的高光谱图像，选取其中一张高光谱图像作为源数据集(以下简称源域)，选取另一张高光谱图像作为目标数据集(以下简称目标域)。需要说明的是源域中包含而目标域中不包含的标签类别称为源域私有类，源域中不包含而目标域中包含的标签类别称为目标域私有类。所述源域数据集将作为训练网络的数据集，目标域数据集将作为测试使用数据集。读取源域的数据和目标域的数据，并对源域数据和目标域数据进行预处理，所述的预处理包括维度统一和数据扩展。

5、步骤2，将步骤1中预处理后得到的源域和目标域的高光谱数据分别输入到基于通道注意力的特征提取网络(以下简称特征提取网络)，分别得到源域数据和目标域数据的特征向量。

6、步骤3，利用步骤2中的提取的目标域中的光谱特征，输入相似度计算网络，计算目标样本的邻域相似度，首先维护目标域数据内存库，每个小批量训练后进行更新，并对特征进行l2归一化：其中mj表示第j个样本的l2归一化特征，表示第j个目标域样本的特征向量，表示特征向量的l2范数；则输入样本和目标域中的第k个样本之间的邻域相似度通过内积计算，计算公式为：sj,k＝mj·mk，其中mk表示第k个样本的l2归一化特征。

7、步骤4，同时，基于流形混合的思想，在源域和目标域之间构建混合样本以模拟潜在的未知类别样本(以下简称跨域流形混合)。将步骤2中提取的源域和目标域特征向量通过特征混合网络进行插值混合，具体的：随机从beta分布中采样一个插值因子λ～beta(α,α)，其中α是beta分布的超参数，实际取值一般在[0.1,10]之间，λ表示插值因子；结合beta分布，利用步骤2中的源域数据的特征和目标域数据的特征向量生成混合特征向量，所述生成混合特征向量的公式如下所示：其中表示混合特征向量；λ表示插值因子；表示源域数据的特征向量；表示源域数据；表示目标域数据的特征向量；表示目标域数据。

8、步骤5，将步骤3得到的邻域相似度和步骤4中混合特征向量输入到已知类分类器网络进行训练，输出训练样本在所有已知类别上的最大概率分布类别。其中已知类分类器网络由多个二分类器网络组成，二分类器网络的数目与源域高光谱图像的标签类别数相同，训练过程中所用的损失函数为交叉熵损失函数。

9、步骤6，将步骤5的输入结果输入到未知类分类器网络进行训练。联合优化已知类分类器网络和未知类分类器网络的决策结果，进行一致性约束，利用已知类分类器网络的高置信度决策来指导未知类分类器网络的优化。所述未知类分类器网络同样由多个二分类器构成，二分类器网络的数目与源域高光谱图像的标签类别数相同。使用开集熵最小化损失和跨域损失来训练未知类分类器网络，通过最小化跨域损失函数，使得混合样本的正类得分降低。

10、所述开集熵最小化损失的公式为：

11、

12、其中，k表示源域类别数量；po表示未知类分类器网络输出的概率；l表示源域已知类别的标签索引；xt表示目标域无标签的数据；po(l|xt)表示未知类分类器网络对第l类的正类分数。

13、所述的跨域损失的公式为：

14、其中，表示源域数据；表示源域数据标签；目标域数据；表示混合特征向量。

15、步骤7，测试阶段，具体的：

16、步骤7.1，使用步骤2中的特征提取网络，提取目标域样本特征向量。

17、步骤7.2，使用步骤7.1的特征输入到已知类分类器网络，输出每一个样本所输出的最大概率类别标签。

18、步骤7.3，根据步骤7.2标签预测结果选择相应的未知类分类器网络，并记录未知类分类器网络输出的正分数。

19、步骤7.4，将步骤7.3的输出的正分数与阈值比较，所述的阈值范围为[0,1]。若该样本的未知类分类器网络输出得分低于阈值，则标记为未知类，输出未知类标签；否则保持初步预测的已知类别，输出对应地已知类标签。

20、本发明与现有技术相比，主要具有如下的有益效果：

21、第一，本发明在步骤3中，提出一种自适应领域搜索算法，在克服高光谱遥感图像不同类别样本不均衡的问题同时最大化样本与其邻居的特征相似性，增强特征泛化性，减少域内变化。

22、第二，本发明在步骤4中，基于流形混合的思想。提出一种跨域流形混合方法以更平滑的方式跨域模拟未知类样本，减少高光谱遥感图像跨域分布偏移的现象。

23、第三，本发明在步骤5和步骤6中，通过一致性约束将已知类分类器网络和未知类分类器网络的决策联系起来，创新性的识别未知类别。