一种基于动态学习的增量式高光谱图像分类方法及装置

本发明属于遥感图像应用，涉及一种基于动态学习的增量式高光谱图像分类方法及装置。

背景技术：

1、高光谱图像将光谱探测技术和成像技术相结合，不仅能够对地物目标的空间特征进行成像，还能够获取空间中每个像素点的连续光谱信息，因此包含的空大幅宽间信息和高分辨光谱信息，可实现细粒度地物覆盖分析，被广泛地应用于农业检测、地质勘探、军事侦察和环境监测等方面。

2、高光谱图像分类根据图像中每一个像素点的光谱特征和空间特征为其分配一个特定的类别标签，是大部分地物覆盖分析应用的关键技术与核心内容。在传统机器学习方法中，通常需要使用大量的标签数据来训练分类器，这意味着我们需要对每个类别的高光谱图像进行手动标注，这是一项费时费力的任务。并且，如果需要增加新的类别，必须重新训练整个分类器，这会导致计算成本和时间的浪费。增量学习是一种在已有的分类器基础上继续学习新类别的方法，它能够不断优化和扩展分类器的能力，避免重复训练带来的时间和计算成本的浪费。在高光谱图像分类中，采用增量学习的策略，根据新的高光谱图像样本逐步扩充分类器的类别，更好地适应不断增加的地物类别，可以极大减少时间及人力成本，更有利于工程实际应用。

3、目前已有基于增量学习的分类模型被提出，以适应待分类别不断更新的高光谱遥感应用。例如：bai j.等人2020年在ieee transactions on cybernetics的第52卷第6期上发表的《class incremental learning with few-shots based on linear programmingfor hyperspectral image classification》提出了一种线性规划增量学习分类器，在没有任何旧类数据的情况下，通过在原始权重矩阵中添加一列新类的权重值，利用训练良好的分类模型来学习新的高光谱类别依赖少量的新类数据实现高光谱图像增量学习。xum.等人2022在remotesensing的第14卷第11期上发表的《hyperspectral imageclassification based on class-incremental learning with knowledgedistillation》，提出了利用知识蒸馏来保持模型对旧类的识别能力，设计了线性校正单元来纠正由于新旧类训练样本数量差异引起的分类器偏向性问题，从而在仅有少量旧类范例的条件下保持模型对所有类别的分类能力。

4、综上所述，在现有的基于增量学习的高光谱分类方法中，或要求依赖于少量的旧类别数据，或只能实现单阶段的增量学习，无法在缺失旧类别数据的情况下进行连续的增量式高光谱图像分类。由于在实际遥感应用中，不断涌现出新类别，分类模型需要不断识别出新类别，并保持已学习类别的识别能力，因此开发一种不依赖旧类别样本的持续性增量学习方法至关重要。

技术实现思路

1、本发明旨在克服现有高光谱图像分类模型的使用限制，提供一种基于动态学习的增量模型来用于高光谱图像分类方法和装置，解决现有高光谱图像分类中无法同时实现不依赖旧类别样本数据和多阶段增量学习的问题。

2、为了达到上述目的，本发明采用的技术方案如下：

3、一种基于动态学习的增量式高光谱图像分类模型，首先将采集的高光谱图像原始数据构建为数据集；初始化阶段，使用基类数据集中的训练样本及对应的标签数据训练模型，以实现对基类的准确分类；增量阶段，采用动态结构重组策略将主分支蒸馏与侧分支更新相结合，为新类的学习留下结构化的空间。在上述可动态扩展结构的基础上，提出原型选择机制，通过选择性地将新类样本加入到蒸馏过程中，来增强新旧类之间的区别，提高分类精度。

4、具体包括步骤如下：

5、a、构建数据集

6、利用高光谱成像仪采集得到原始图像数据，并将采集得到的高光谱原始图像数据进行预处理，包括数据校正和去噪、波段选择、标签生成等。

7、定义高光谱图像数据集为其中t代表不同的增量阶段，i为样本索引，nt为该阶段的样本总数，xi为高光谱图像中的地物样本，yi为相应的类别标签，yi∈{1,2,...,k...kt}，kt为该阶段的类别总数。因此，训练初始阶段t＝0时，增量式高光谱图像分类模型的基类数据集为d0，增量阶段t≥1时，模型的增量数据集为dt。此外，按照预先设定的比例划分训练数据集和测试数据集。

8、b、初始化阶段

9、b1、随机初始化：随机初始化增量式高光谱图像分类模型的网络参数，主要参数为权重参数、偏置参数和批归一化参数。

10、b2、模型初始化：使用基类数据集d0中的训练样本和其对应的标签数据训练增量式高光谱图像分类模型。所述的增量式高光谱图像分类模型包括特征提取器和分类器两部分：特征提取器采用10层的resnet网络，依次包含卷积层、6个残差模块、全局平均池化层、全连接层和全连接层。其中残差模块包含两个卷积层和一个跳跃连接。分类器采用全连接层，并使用交叉熵损失函数训练该网络模型：

11、

12、其中，k0为基类数据集合中类别总数，pk为全连接层输出的第k个类别概率，当y＝k时，δ＝1，否则δ＝0。

13、b3、计算基类原型：对每个基类数据在特征空间中的映射取均值得到基类k的类原型

14、c、增量阶段

15、c1、原型扩增：对每个基类的类原型进行过采样来扩充样本量，将扩充后的样本记为并将原型扩增损失定义为：

16、

17、c2、动态结构重组

18、在增量阶段，采用动态结构重组策略将主分支蒸馏与侧分支更新相结合，为新类的学习留下结构化的空间，同时稳定地保留旧类的空间。

19、主分支蒸馏：在特征提取器的每个卷积块中插入一个残差适配器，其中原始特征提取器称为主分支，它采用蒸馏损失lt,kd来保持旧类特征：

20、

21、其中，ft(xi)与ft-1(xi)分别为阶段t与阶段t-1的特征提取器。

22、侧分支更新：残差适配器称为侧分支，它采用交叉熵损失lt,ce来学习新类特征：

23、

24、使用结构重参数化策略将残差适配器中的信息无损地集成到特征提取器中，确保每个增量阶段网络的参数量不会发生变化。其中，残差结构中的参数与原始卷积核的参数经过零填充运算和线性变换融合，融合完成后将残差适配器移除，保持网络结构不变，以进行下一次增量阶段的更新。

25、c3、相似性匹配和动态更新

26、原型归一化并计算匹配度：旧类原型表示旧类样本特征的类内均值，将旧类原型做归一化处理。将新类样本映射到特征空间，并计算新类特征与归一化旧类原型间的相似性，其中相似性度量采用余弦距离。

27、设定阈值常数t，完成动态更新：计算新类特征与旧类原型间的余弦距离。新类特征与旧类原型间的余弦距离大于t，即与旧类不相似，则该新类样本用于残差适配器的更新以学习新特征，并在其蒸馏损失的相应位置添加掩码mkd。若余弦距离小于t，即与旧类相似，则新类样本用于主分支的蒸馏过程以保留旧类判别特征，并在其分类损失的相应位置添加掩码mce。

28、c4、损失函数：利用增量数据集的训练样本和对应的标签在增量损失函数的约束下训练高光谱图像分类模型，其中增量损失函数表示为：

29、lt＝mce(lt,ce)+λmkd(lt,kd)+γlt,pa

30、其中λ，γ分别为不同掩码的权重值。

31、进一步地，训练整体网络时，使用sgd算法进行优化，初始阶段进行200轮迭代，初始学习率为10-1。学习率分别在第60，120，170轮迭代时衰减0.1。增量阶段进行170轮迭代，初始学习率为10-1。学习率分别在第80，120，150轮迭代时衰减0.1，批量大小设置为128。

32、一种基于动态学习的增量式高光谱图像分类装置，包括：

33、采集模块，用于获取高光谱图像原始数据；

34、存储器，用于存储获取的高光谱图像数据和计算机程序；计算机程序包括数据集构建程序、初始化程序、增量阶段程序；

35、处理器，用于执行所述存储器中存储的计算机程序，当所述计算机程序被执行时，所述处理器用于：

36、读取存储的高光谱图像数据，所述高光谱数据图像数据为高光谱成像仪采集并存储；根据获取的高光谱图像数据，利用数据集构建程序划分初始化阶段和增量阶段的训练集和测试集；利用初始化程序对图像进行分类，然后利用增量阶段程序动态更新和调整模型，以适应增量阶段新出现的新类别。

37、本发明的有益效果：

38、本发明采用了动态学习实现增量式高光谱图像分类方法及装置，首先动态结构拓展通过主分支蒸馏保持旧类特征，侧分支更新学习新类特征，并采用结构重参数化保持增量过程中结构和参数量不变。其次采用原型筛选机制减少新类与旧类的混淆，进一步提高分类精度。本发明为持续性增量情况下实现精确的高光谱图像分类提供了一种可行的解决方案。