一种遥感图像小样本类增量目标识别方法与流程

本发明属于图像识别，涉及小样本学习方法，尤其是一种遥感图像小样本类增量目标识别方法。

背景技术：

1、随着星载、机载成像技术的快速发展，获取可见光、红外、合成孔径雷达(sar)等高分辨率多源遥感图像的能力在显著增强，面向广泛应用的红外图像智能解译已成为研究热点。

2、目标识别作为红外图像解译的重要研究内容，在军事侦查、海事救援等任务中具有广阔的应用前景。由于不同成像传感器获取遥感图像目标样本难易程度存在较大差异，导致目标可见光样本较多而目标红外样本较少，由此带来了红外图像解译中的小样本目标识别问题更为突出。

3、同时，实际应用场景中往往会出现新类别目标需要识别，因此红外图像目标识别网络需要具备使用少量样本不断学习识别新类别目标的能力，带来了小样本类增量识别的需求。

4、现有小样本类增量识别方法利用充足的基类样本学习一个复杂的模型(例如transformer)。然而，在实际应用场景中，由于任务的紧迫性，仅有少量的新类目标样本可以用来训练网络，且基类目标样本同样稀少，导致现有小样本类增量学习方法难以适用于遥感图像小样本目标识别问题。

技术实现思路

1、本发明的目的在于提供一种遥感图像小样本类增量目标识别方法，以缓解现有小样本类增量学习方法在基类目标样本同样稀少时，难以成功训练识别网络的问题。

2、本发明解决其技术问题所采用的技术方案是：一种遥感图像小样本类增量目标识别方法，包括如下步骤：

3、(1)搜集关注类sar遥感图像/红外目标样本，对小样本类增量mstar数据集和增量vais数据集进行重构，按具体样本情况设定基类任务s1与增量任务st，使用n-way k-shot方式对基类任务s1与增量任务st的目标识别进行验证；

4、(2)基于其他小样本学习方法，使用基类目标样本训练识别网络；

5、(3)使用基类目标样本获得基类任务原型；

6、(4)使用基类目标样本训练原型蒸馏网络pdκ以及原型赋权网络；

7、(5)拼接基类任务原型与第t个任务的原型得到分类器，t＞1；

8、(6)使用第t个任务的目标样本，基于分类器以不同学习率更新第t个任务的原型的不同维度；

9、(7)利用学习好的分类器对前t个任务中的目标进行识别。

10、进一步，所述的步骤(2)基于基类目标样本构建一个特征提取器f作为特征提取部分，同时构建用于分类的全连接层，得到sar遥感图像小样本目标识别网络。

11、进一步，所述的步骤(3)定义嵌入空间中第c类的基类目标样本数量为nc，基于训练好的特征提取器f，由基类目标样本计算基类任务中每一类的平均特征，定义第c类的原型即嵌入空间中第c类所有训练样本的平均特征，由此，可以获得第t个任务的原型

12、再进一步，所述的步骤(4)输入一个批次的基类目标样本至训练好的特征提取器f获得样本特征，并将之输入至参数为κ的原型蒸馏网络pdκ进行降维；同时将基类任务原型p1输入至原型蒸馏网络pdκ进行降维，并再输入至参数为的原型赋权网络得到基类任务原型权重；将基类任务原型权重与基类任务原型p1按维度进行点乘得到赋权后的基类任务原型；计算赋权后的基类任务原型与样本特征每个维度的余弦距离，作为对输入样本每个类别的预测概率，进而计算交叉熵损失lce；获取小样本学习方法对基类目标样本的预测概率，并计算其与基于原型得到的预测概率的kl散度，记作lkl，基于lce和lkl更新原型蒸馏网络参数、原型赋权网络参数以及基类任务原型p1。

13、再进一步，所述的步骤(5)～(7)中先将第t(t＞1)个任务所有基类目标样本输入特征提取器f以及原型蒸馏网络pdκ得到第t个任务的原型pt；输入一个批次的新类样本至特征提取器f与原型蒸馏网络pdκ得到样本特征；按类别计算基类任务原型权重平均值pwn，将pwn与新类原型按维度点乘，并将之与上一任务原型合并，得到第t个任务的新类原型pnew；计算pnew与样本特征的余弦距离，得到预测概率，进而计算交叉熵损失lce；基于交叉熵损失lce，更新第t个任务的原型pt；使用训练好的新类原型pnew、特征提取器以及原型蒸馏网络pdκ对前t个任务的目标进行识别。

14、更进一步，使用n-way k-shot方式对基类任务进行验证时，在10个类别中随机选择每一类别的8个样本作为训练集，并使用剩下的所有样本对网络性能进行评估。

15、更进一步，使用n-way k-shot方式对增量任务进行验证时，每次对新类任务数据集中的每类目标随机挑选5个基类目标样本进行训练，并使用基类与当前增量任务数据集中所有类别目标除去基类目标样本之外的样本计算网络的识别率

16、本发明的有益效果在于：本发明方法相比于现有小样本类增量目标识别方法，在基类目标样本同样稀少的遥感图像小样本类增量目标识别场景中具备更优的性能。

技术特征：

1.一种遥感图像小样本类增量目标识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种遥感图像小样本类增量目标识别方法，其特征在于，所述的步骤(2)基于基类目标样本构建一个特征提取器f作为特征提取部分，同时构建用于分类的全连接层，得到sar遥感图像小样本目标识别网络。

3.根据权利要求2所述的一种遥感图像小样本类增量目标识别方法，其特征在于，所述的步骤(3)定义嵌入空间中第c类的基类目标样本数量为nc，通过训练好的特征提取器f，基于基类目标样本计算基类任务s1中每一类的平均特征，定义第c类的原型获得第t个任务的原型

4.根据权利要求3所述的一种遥感图像小样本类增量目标识别方法，其特征在于，所述的步骤(4)输入一个批次的基类目标样本至特征提取器f获得样本特征，输入至参数为κ的原型蒸馏网络pdκ进行降维；同时将基类任务原型p1输入至原型蒸馏网络pdκ进行降维，再输入至参数为的原型赋权网络得到基类任务原型权重；将基类任务原型权重与基类任务原型p1按维度进行点乘得到赋权后的基类任务原型；计算赋权后的基类任务原型与样本特征每个维度的余弦距离，作为对输入样本每个类别的预测概率，计算交叉熵损失lce；获取小样本学习方法对基类目标样本的预测概率，并计算其与基于原型得到的预测概率的kl散度lkl，基于lce和lkl更新原型蒸馏网络参数、原型赋权网络参数以及基类任务原型p1。

5.根据权利要求4所述的一种遥感图像小样本类增量目标识别方法，其特征在于，所述的步骤(5)～(7)中先将第t个任务所有基类目标样本输入特征提取器f以及原型蒸馏网络pdκ得到第t个任务的原型pt；输入一个批次的新类样本至特征提取器f与原型蒸馏网络pdκ得到样本特征；按类别计算基类任务原型权重平均值pwn，将pwn与新类原型按维度点乘，并将之与上一任务原型合并，得到第t个任务的新类原型pnew；计算新类原型pnew与样本特征的余弦距离，得到预测概率，进而计算交叉熵损失lce；基于交叉熵损失lce，更新第t个任务的原型pt；使用训练好的新类原型pnew、特征提取器以及原型蒸馏网络pdκ对前t个任务的目标进行识别。

6.根据权利要求5所述的一种遥感图像小样本类增量目标识别方法，其特征在于，使用n-way k-shot方式对基类任务进行验证时，在10个类别中随机选择每一类别的8个样本作为训练集，并使用剩下的所有样本对网络性能进行评估。

7.根据权利要求5所述的一种遥感图像小样本类增量目标识别方法，其特征在于，使用n-way k-shot方式对增量任务进行验证时，每次对新类任务数据集中的每类目标随机挑选5个基类目标样本进行训练，并使用基类与当前增量任务数据集中所有类别目标除去基类目标样本之外的样本计算网络的识别率。

技术总结
本发明公开了一种遥感图像小样本类增量目标识别方法，搜集目标样本并构建小样本类增量MSTAR数据集和增量VAIS数据集，设定基类任务与增量任务，基于小样本学习方法，使用基类目标样本训练识别网络，依次使用基类目标样本获得基类任务原型，训练原型蒸馏网络以及原型赋权网络，然后拼接基类任务原型与第t个任务的原型得到分类器，使用第t个任务的目标样本，基于分类器以不同学习率更新第t个任务的原型的维度，最后利用学习好的分类器对前t个任务中的目标进行识别；本发明方法相比于现有小样本类增量目标识别方法，在基类目标样本同样稀少的遥感图像小样本类增量目标识别场景中具备更优的性能。

技术研发人员：邰园,张智杰,邹尔博,雷波,范强,张政
受保护的技术使用者：中船智控科技（武汉）有限公司
技术研发日：
技术公布日：2024/8/27