一种基于多任务表征学习的小样本SAR图像目标识别方法

一种基于多任务表征学习的小样本sar图像目标识别方法
技术领域
1.本发明属于合成孔径雷达(synthetic aperture radar,sar)图像解译领域，具体涉及一种基于多任务表征学习的小样本sar图像目标识别方法。


背景技术：

2.合成孔径雷达可全天时、全天候获取高分辨目标场景图像，在军事和民事领域已得到广泛应用。从图像数据中挖掘出有效的情报信息是sar图像解译的关键。自动目标识别(automatic target recognition,atr)作为sar图像解译的重要手段，一直是sar领域的热点研究课题。近年来，随着深度学习技术的进一步发展，基于深度学习的识别方法在解决sar图像目标识别问题上取得了显著成效。然而，基于数据驱动的深度学习方法需要由大量训练样本提供先验知识来实现目标鉴别，而在样本有限条件下易发生过拟合。在实际sar应用场景中，特别是军事场景中，目标样本稀缺是一种常态。而现有多数sar图像目标识别方法在目标样本稀缺条件下表现不佳。因此，开展小样本sar自动目标识别方法研究具有极其重要的实用价值。
3.小样本学习旨在学习一个在样本有限条件下可实现稳健目标识别的模型。现有解决小样本sar图像目标识别的方法大致有元学习和迁移学习两大类。其中，元学习通过在训练阶段模拟小样本任务来训练模型以快速学习知识，而迁移学习通过源任务学习到的知识来辅助完成目标任务。现有基于元学习和迁移学习的小样本sar图像目标识别方法的共同之处是学习一个强大的特征提取模型来实现小样本目标识别。因此，训练一个有效的特征提取模型对提升小样本识别性能是非常重要的。然而，现有多数基于深度学习的小样本sar图像目标识别方法仅从单一任务出发学习特征表示模型，使其表征能力受限，进而很大程度上影响了小样本sar图像目标识别性能。
4.为了在训练样本有限的情况下实现稳健的sar图像目标识别，本发明提出了一种基于多任务表征学习的小样本sar图像目标识别方法。


技术实现要素：

5.本发明针对上述样本稀缺条件下sar图像目标识别存在的问题，提出一种基于多任务表征学习的小样本sar图像目标识别方法。该方法通过综合目标等变特征学习、不变特征学习以及目标类边界学习三种思想来建立目标识别模型，并采用多任务学习方式训练具有强大表征能力的特征提取器。其次，基于训练阶段所获得的特征提取器完成小样本目标特征提取，并通过小样本目标特征拟合逻辑回归分类器，以实现目标识别。
6.本发明为实现小样本sar图像目标识别所采用的技术路线为：在学习阶段，通过样本数量充足的辅助类样本学习一个有效的特征表示模型；在推理阶段，基于训练阶段所获得的特征表示模型去完成小样本目标特征提取，并通过拟合逻辑回归分类器来实现小样本目标识别。具体来说，为了实现小样本sar图像目标识别，首先建立基于残差结构的特征表示模型，通过形变卷积运算来有效感知目标形态学特征，并采用注意力机制在特征通道层
面完成目标特征自适应精炼，以实现有用信息增强，冗余信息抑制；然后，采用等变特征学习、不变特征学习、以及类边界学习的多特征学习思想来鼓励表征模型学习丰富的目标鉴别信息；最后，基于特征表示模型提取小样本目标特征，并通过拟合逻辑回归分类器来实现小样本sar图像目标识别。
7.本发明的技术方案为一种基于多任务表征学习的小样本sar图像目标识别方法，该方法步骤如下：
8.步骤1：采集具有充足数量的辅助类sar图像样本db＝{(x,y)}，其中是一幅通道数为1，像素大小为h
×
w的sar图像，表示该幅sar图像的类别标签，总共有nb个类别；同时，采集小样本sar目标样本集df＝{(x,y)}，其中表示小样本sar图像的类别标签，且nb个辅助类和nf个小样本目标类是完全不相交的；
9.步骤1.1：将所有sar图像裁剪为统一像素大小的感兴趣目标区域；
10.步骤1.2：将辅助类sar图像样本进行多种几何变换，并对变换后的sar图像样本进行变换标注；
11.步骤2：设计多任务表征学习网络，并采用步骤1中的辅助类sar图像样本进行网络训练；
12.所述多任务表征学习网络包括：特征提取器fb、等变特征学习分支fe、不变特征学习分支fi、类边界学习分支fc，所述特征提取器fb的输入为sar图像，等变特征学习分支fe、不变特征学习分支fi、类边界学习分支fc的输入为特征提取器fb的输出；
13.步骤2.1：构建特征提取器fb；
14.采用形变卷积运算以赋予特征提取器fb感知目标形态学特征的能力，并通过注意力机制在特征通道层面进行特征自适应增强与抑制，以获取有强大信息量的特征映射；
15.步骤2.2：构建等变特征学习分支fe；
16.根据变换标注，采用有监督的方式让特征提取器具有感知目标样本发生变化的能力，等变特征学习分支的损失函数采用交叉熵损失函数，其表达式如下：
[0017][0018]
其中，n表示输入网络的sar图像样本数，n
t
表示sar图像的转换类别数，y
ij
为人工赋予的转换类别标签，p
ij
表示样本i属于类别j的预测概率；
[0019]
步骤2.3：构建不变特征学习分支fi；
[0020]
为了让特征提取器具有提取目标不变特征的能力，采用对比损失函数让具有不同转换类别的相同sar图像样本的相似度更高，其表达式如下：
[0021][0022]
[0023]
其中，s(
·
)表示相似性函数，dn表示负样本特征集合，τ表示可调节的温度系数，m表示转换类别总数，v0表示没有经过任何转换的原始图像特征，vm表示经过第m种转换的sar图像特征，v0表示存储的v0图像特征；
[0024]
步骤2.4：构建类边界学习分支fc；
[0025]
根据类别标签y，采用有监督的方式让相同类别的sar图像样本在特征嵌入空间中聚合，类边界学习分支的损失函数同样采用交叉熵损失函数，其表达式如下：
[0026][0027]
其中，nb表示sar图像的类别数，表示类别标签；p
ij
表示样本i属于类别j的预测概率；
[0028]
步骤2.5：采用三重损失函数来联合训练多任务表征学习网络，总损失函数定义如下：
[0029]
l＝l
eq
+l
in
+l
ba
[0030]
步骤3：采用训练好的特征提取器fb对小样本sar图像目标特征提取；
[0031]
步骤4：采用步骤3提取的特征拟合一个逻辑回归分类器，完成小样本目标识别任务。
[0032]
综上所述，本发明可获得的有益效果是：
[0033]
本发明提出的基于多任务表征学习的小样本sar图像目标识别方法，通过在特征提取器中嵌入形变卷积层来感知目标的形态学特征，并采用注意力机制来自适应筛选具有丰富目标信息的特征通道，同时采用目标等变特征学习、不变特征学习以及目标类边界学习的多任务学习方式来提升特征提取器的表征能力，以实现小样本条件下的稳健sar图像目标识别。
附图说明
[0034]
图1为本发明的网络结构图；
[0035]
图2为不同学习任务有效性分析的实验结果。
具体实施方式
[0036]
为了更好地展现出本发明的技术要点，以下将对发明内容进行详细阐述。本发明是一种基于多任务表征学习的小样本sar图像目标识别方法，该方法的网络结构如图1所示。本发明的具体实施过程如下：
[0037]
步骤1：采集具有足够数量的辅助类sar图像样本db＝{(x,y)}，其中是一幅高为h，宽为w，通道数为1的sar图像，表示属于nb个类别的sar图像类别标签；同时，采集小样本sar目标样本集df＝{(x,y)}，其中表示小样本sar图像的类别标签，特别地，nb个辅助类和nf个小样本目标类是完全不相交的；
[0038]
步骤1.1：为了约减目标冗余背景以便于网络训练，将所有sar图像样本统一裁剪为64
×
64像素大小的目标感兴趣区域；
[0039]
步骤1.2：为了使特征提取器能够感知等变特性，将辅助类sar图像样本进行多种
几何变换，并对变换后的sar图像样本进行标注；本实施例总共进行了16种几何变换，其中包括多种旋转和尺度变换的组合；
[0040]
步骤2：设计基于残差架构的多任务表征学习网络，并采用步骤1中的辅助类sar图像样本进行网络训练；
[0041]
步骤2.1：构建特征提取器fb。采用形变卷积操作以提升特征提取器fb感知目标形态学特征的能力，并通过注意力机制在通道层面进行自适应特征通道选择，即实现有用信息增强，冗余信息削减，从而能够获取具有丰富目标信息的特征映射。为了防止网络过拟合，采用dropblock方法来提升卷积层的泛化能力；
[0042]
步骤2.2：构建基于三层结构感知器模型的等变特征学习分支fe。采用有监督的方式让特征提取器能够获取感知目标样本发生变化的能力，等变特征学习分支的损失函数采用交叉熵损失函数，其表达式为：
[0043][0044]
其中，n表示输入网络的sar图像样本数，n
t
表示sar图像的转换类别数，y
ij
为人工赋予的转换类别标签，p
ij
表示样本i属于类别j的预测概率；
[0045]
步骤2.3：构建基于三层结构感知器模型的不变特征学习分支fi。为了让特征提取器能够具有提取目标不变特征的能力，采用对比损失函数让具有不同转换类别的相同sar图像样本的相似度更高，其表达式如下：
[0046][0047][0048]
其中，s(
·
)表示相似性函数，dn表示负样本特征集合，τ表示温度系数，一般设置为1，m表示转换类别总数，v0表示没有经过任何转换的原始图像特征，vm表示经过第m种转换的sar图像特征，v0表示存储的v0图像特征；
[0049]
步骤2.4：构建基于一层感知器模型的类边界学习分支fc。采用有监督的方式让相同类别的sar图像样本在特征嵌入空间中聚合，类边界学习分支的损失函数同样采用交叉熵损失函数，其表达式为：
[0050][0051]
其中，nb表示sar图像的类别数，表示类别标签；p
ij
表示样本i属于类别j的预测概率；步骤2.5：采用三重损失函数来联合训练多任务表征学习网络，总损失函数定义如下：
[0052]
l＝l
eq
+l
in
+l
ba
[0053]
步骤3：将特征提取器在训练阶段获取的目标感知能力扩展到推理阶段，利用上述步骤学习到的特征提取器来实现小样本sar图像目标特征提取；
[0054]
步骤4：通过特征提取器学习的小样本目标特征拟合一个逻辑回归分类器，以完成小样本sar图像目标识别任务。
[0055]
1.仿真条件：
[0056]
本仿真实验采用了公开的mstar数据集，该数据集包含了在不同俯仰角和方位角下采集的10类地面军事目标sar图像。本实验使用的是15
°
、17
°
、30
°
俯仰角下采集的sar图像样本，其具体的目标类型和样本数量如表1所示。同时，从测试集中随机采样一批数据且将其划分为两个数据集：有标签的数据集d
su
和无标签待识别的数据集d
qu
，以模拟小样本目标识别任务，其数据设置情况如表2所示。为了得到具有统计意义的实验结果，本发明的所有仿真实验均重复进行1000次。本仿真实验在win10 64位计算机系统，16gb内存，gpu型号为nvidia geforce rtx 2060的平台上完成，并采用pycharm仿真软件，使用基于pytorch框架的python语言实现。
[0057]
2.仿真内容和结果：
[0058]
仿真一：评估不同程度样本匮乏条件下的识别性能。
[0059]
本仿真实验基于mstar数据集评估了不同程度样本匮乏条件下的小样本识别性能，同时选取了一种经典原型网络protonet作为对比方法。本实验选取了17
°
俯仰角下的7类sar图像样本作为训练集，17
°
俯仰角下的2s1、brdm2、zsu23/4三类sar图像样本作为测试集，同时基于测试数据集模拟3-way 1-shot、3-way 3-shot、3-way 5-shot、3-way 10-shot四种小样本识别任务。不同程度样本匮乏条件下的识别结果如表3所示。从表中可以看出，在不同程度样本匮乏条件下，本发明方法的识别性能最高比protonet提升11.69％。本发明方法在完成3-way1-shot小样本识别任务时可达到80％以上，在完成3-way 5-shot小样本识别任务时可达到90％以上，且在不同程度样本匮乏条件下的识别性能都优于protonet。由此可见，本发明方法在解决不同程度样本匮乏条件下的小样本sar图像目标识别方面有一定优势。
[0060]
仿真二：评估不同俯仰角条件下的识别性能。
[0061]
本仿真实验基于mstar数据集评估了不同俯仰角条件下的小样本识别性能，同时选取了protonet、relationnet、msar三种基于深度学习的小样本目标识别方法作为对比方法。本实验将17
°
俯仰角下的7类sar图像样本全部用于模型训练，将15
°
、17
°
、30
°
俯仰角下的3类sar图像样本用于模型测试以模拟3-way 1-shot和3-way 5-shot的小样本识别任务。各方法在不同俯仰角条件下的识别性能如表4所示。从表中可看出，在15
°
俯仰角下测试3-way1-shot识别任务时，本发明方法的识别率最高比msar方法提升19.52％。随着俯仰角变化的增大，小样本sar图像目标识别的难度逐渐增加，识别性能也都有所下降。但总体来看，本发明方法在不同俯仰角条件下都具有较好的小样本sar图像目标识别性能。
[0062]
仿真三：探究不同学习任务的有效性。
[0063]
为了探究不同学习任务在解决小样本sar图像目标识别问题中的有效性，本仿真实验在mstar标准数据集上开展了相关的消融实验。将含有类边界学习的网络标记为基准模型，将含有类边界学习和不变特征学习的网络标记为模型1，将含有类边界学习和等变特征学习的网络标记为模型2，含有三个学习任务的网络为本发明方法。本实验将在3-way 1-shot的小样本目标识别任务上论证这四种模型的性能。各模型的识别性能如图2所示。从图中可以看出，相比于基准模型，添加不变特征学习任务可以获得0.32％的识别性能提升，添
加等变特征学习任务可以获取0.86％的识别性能提升，同时添加等变和不变特征学习任务可以获得1.76％的识别性能提升。由此可见，三个学习任务对小样本sar图像目标识别性能都具有促进作用。
[0064]
表1 mstar数据集划分的详细情况
[0065][0066][0067]
表2小样本识别任务中的数据设置情况
[0068]
[0069]
表3不同程度样本匮乏条件下的识别性能评估(％)
[0070][0071]
表4不同俯仰角条件下的识别性能评估(％)
[0072]