基于部件解析多尺度卷积神经网络的SAR目标识别方法

本发明属于图像处理
技术领域：
，更进一步涉及目标识别
技术领域：
中的一种基于部件解析多尺度卷积神经网络的合成孔径雷达sar(syntheticapertureradar)目标识别方法。本发明针对合成孔径雷达sar图像，提出一种结合部件解析的多尺度卷积神经网络结构，可用于对sar图像中静止目标的型号进行识别。
背景技术：
：合成孔径雷达sar是一种主动式微波成像雷达，具有全天候、全天时、分辨率高以及穿透力强等特点，成为目前对地观测和军事侦查的重要手段。基于深度学习的sar目标识别方法最常用的为特征提取与分类器联合训练的端到端的过程，以卷积神经网络cnn(convolutionalneuralnetwork)为代表，目前在sar目标识别方面取得了非常好的性能。但是这类方法一般只利用到sar目标的图像域幅度信息，而对目标的电磁散射信息没有充分利用，通常做法是将幅度信息作为cnn网络的输入来进行学习，只提取到了sar目标的视觉信息。而电磁散射信息作为sar目标的重要组成部分之一，反映了目标的真实物理结构，属性散射中心asc(attributedscatteringcenters)是目前对sar目标电磁散射特性描述最充分的模型，现有利用asc进行识别的方法一般是基于模板匹配的方法，这种方法的识别性能对模型依赖性强，而实际场景中难以建立合适完备的模型库西安电子科技大学在其申请的专利文献“基于cnn的sar目标识别方法”(专利申请号cn201510165886.x，申请公开号cn104732243a)中提出一种基于cnn的sar目标识别方法。该方法的实现步骤为：对每个训练图像进行多次随机平移变换，得到扩充数据扩充到训练样本集中；搭建由两层卷积层和两层全链接层构成的卷积神经网络；将扩充后的训练样本集输入到cnn网络模型中进行训练，得到训练好的cnn网络模型；对测试样本做多次平移变换得到扩充后的测试样本集；将测试样本集输入到训练好的cnn网络模型中测试，得到其识别率。该方法利用了数据扩充方式来减轻sar目标样本少带来的过拟合问题，且构建了合适的cnn模型对sar图像提取丰富的视觉特征，得到较好的识别结果。但是，该方法仍然存在的不足之处是，该方法搭建的卷积神经网络仅仅将sar目标的幅度信息作为输入，对sar目标的物理特性挖掘不足，使得模型学习到的特征不能很全面的反映sar目标的结构特点，限制了模型的识别性能。bofeng,weitang,daoyanfeng等人在其发表的论文“targetrecognitionofsarimagesviahierarchicalfusionofcomplementaryfeatures”(optik-internationaljournalforlightandelectronoptics,2020)中提出了一种分级融合多种互补特征的sar图像目标识别方法。该方法的具体步骤为：对测试图像提取其pca特征，用基于稀疏表示的分类方法对pca特征进行分类，得到测试图像的分类结果；如果分类结果被判断为不可靠，则对测试样本进行asc参数估计，利用模版匹配对asc进行分类，得到测试图像的分类结果；若分类结果再次被判断为不可靠，则对测试样本提取其目标轮廓特征，然后利用轮廓匹配对目标轮廓特征进行分类，得到测试图像的分类结果。该方法存在的不足之处是，在利用asc进行分类时，需要建立模版集并将测试图像的asc与模版集中的asc进行匹配，依赖模板集的建立以及复杂的匹配算法，而实际中对于非合作目标难以建立合适的模板库。技术实现要素：本发明的目的是针对上述现有技术的不足，提出一种基于部件解析多尺度卷积神经网络的合成孔径雷达sar目标识别方法，旨在解决现有技术基于模版匹配方法利用sar目标电磁散射信息时难以建立合适的模版库导致sar目标识别准确率低，且基于卷积神经网络利用sar目标的幅值信息时对sar目标的物理特性挖掘不足导致对sar目标提取的特征不够丰富的问题。实现本发明目的的技术思路是：本发明构建了一个部件解析多尺度卷积神经网络，通过训练好的部件解析多尺度卷积神经网络直接对sar目标进行识别，避免了现有技术利用基于模版匹配方法进行sar目标识别时难以建立合适的模版库的问题。本发明利用部件解析方法得到sar复图像的部件二值图，然后利用多尺度卷积神经网络将部件二值图包含的电磁散射信息与sar实图像包含的幅值信息进行融合，充分挖掘了sar图像中包含的信息，解决了现有技术对sar目标提取的特征不够丰富的问题。本发明的具体步骤如下：(1)生成训练集：(1a)将选取的包含m种类型地面静止目标，每种地面静止目标至少包含200张合成孔径雷达sar复图像的样本组成样本集，其中m≥3；(1b)对sar复图像样本集中的每张sar复图像取模，得到包含幅值信息的sar实图像样本集；(1c)利用部件解析方法，得到sar复图像样本集中每张复图像对应的部件二值图，将所有的部件二值图构成包含电磁散射信息的部件二值图样本集；(1d)将sar实图像样本集和部件二值图样本集共同组成训练集；(2)构建部件解析多尺度卷积神经网络：(2a)搭建一个五层的主干网络模块，其结构依次为：第一卷积层，第二卷积层，第三卷积层，特征图concat层，第四卷积层；将第一至第四卷积层的卷积核的个数分别设置为96，96，512，512，卷积核大小分别设置为11×11，7×7，5×5，3×3；特征图concat层在通道维度上拼接输入的特征图；所述主干网络模块有两个输出端；(2b)搭建一个由点乘层和全局平均池化层组成的部件特征模块，点乘层在通道维度上将输入的图像进行点乘；全局平均池化层对输入的每幅特征图的每个通道求平均值，得到每幅输入特征图对应的特征向量；(2c)搭建一个由全局平均池化层，筛选层，特征向量concat层组成的特征融合模块；全局平均池化层对输入的每幅特征图的每个通道求平均值，得到每幅输入特征图对应的特征向量；筛选层采用筛选公式实现对所有输入特征向量的对应位置的筛选；特征向量concat层在通道维度上拼接所有的输入特征向量；(2d)搭建一个由第一全连接层，第二全连接层，softmax层组成的分类模块；将第一至第二全连接层的输出神经元个数分别设置为1024，3；softmax层采用softmax函数计算输入样本被识别为每一种类别的概率；(2e)将主干网络模块的第一输出端与部件特征模块相连作为第一支路，将主干网络模块的第二输出端与第一支路并联后再依次与特征融合模块、分类模块串联，构成部件解析多尺度卷积神经网络；(3)训练部件解析多尺度卷积神经网络：(3a)采用正态分布随机点对部件解析多尺度卷积神经网络的权值进行随机初始化，同时对网络的偏置初始化为0，得到初始化后的部件解析多尺度卷积神经网络；(3b)将训练集输入到部件解析多尺度卷积神经网络中，利用交叉熵损失函数，计算网络的输出与训练图像的类别标签之间的交叉熵损失值，通过反向传播算法迭代更新网络的参数，直到网络的交叉熵损失函数收敛为止，得到训练好的部件解析多尺度卷积神经网络；(4)对待分类的合成孔径雷达sar复图像进行分类：采用与步骤(1b)和(1c)相同的方法，对待分类的合成孔径雷达sar复图像进行预处理，将预处理后的sar实图像和部件二值图输入到训练好的部件解析多尺度卷积神经网络中，输出合成孔径雷达sar复图像对应的类别。本发明与现有的技术相比具有以下优点：第一，本发明利用生成的训练集训练部件解析多尺度卷积神经网络，使其学到的特征中包含了sar目标的幅值信息以及电磁散射信息，在对sar目标进行识别时克服了现有技术只用sar目标幅值信息或者只用电磁散射信息导致对sar目标信息挖掘不够充分的问题，使得本发明对sar目标内在信息挖掘更加充分，提高了sar目标识别的准确率。第二，本发明通过将asc参数生成对应的asc部件二值图，并利用多尺度卷积神经网络提取的特征图与asc部件二值图生成asc部件特征图，同时部件特征图与全局特征图融合后映射到标签实现了端到端的学习，克服了现有技术利用电磁散射信息时难以建立合适的模版库的问题，使得本发明不用构建模版库，直接利用网络实现sar目标识别。附图说明图1是本发明的流程图；图2是本发明主干网络模块的结构示意图；图3是本发明部件特征模块的结构示意图；图4是本发明特征融合模块的结构示意图。具体实施方式下面结合附图，对本发明做进一步的描述。参照图1，对本发明实现的具体步骤详细描述。步骤1，生成训练集。将选取的包含m种类型地面静止目标，每种地面静止目标至少包含200张合成孔径雷达sar复图像的样本组成样本集，其中m≥3。对sar复图像样本集中的每张sar复图像取模，得到包含幅值信息的sar实图像样本集。利用部件解析方法，得到sar复图像样本集中每张复图像对应的部件二值图，将所有的部件二值图构成包含电磁散射信息的部件二值图样本集。所述部件解析方法如下：第1步，利用下述属性散射中心模型，提取sar复图像样本集的每张复图像中目标的每个属性散射中心的所有参数，并组成参数集：其中，e(·)表示属性散射中心模型，f表示合成孔径雷达发射的信号频率，φ表示合成孔径雷达波束方位角，表示第m张sar复图像中目标的第i个属性散射中心的所有参数组成的参数集，k表示第m张sar复图像中目标包含的属性散射中心的总数，∑表示求和操作，i表示第m张sar复图像中目标的属性散射中心的序号，ai表示第i个属性散射中心的复幅度，j表示虚数单位符号，fc表示合成孔径雷达发射信号的中心频率，αi表示第i个属性散射中心的频率依赖因子，该因子为在范围中选取的一个值，exp(·)表示以自然常数e为底的指数操作，π表示圆周率，c表示光速，xi和yi分别表示第i个属性散射中心在距离维和方位维的位置坐标，cos(·)表示余弦操作，sin(·)表示正弦操作，sinc(·)表示辛克函数，li和分别表示第i个属性散射中心的长度和方位角，γi表示第i个属性散射中心的方位依赖因子，其取值为一个近似为0的值。第2步，根据每个属性散射中心的频率依赖因子值和长度值，确定该属性散射中心的几何散射类型，具体方法如下：将频率依赖因子值等于1，长度值大于0的每个属性散射中心确定为二面角的几何散射类型。将频率依赖因子值等于1，长度值等于0的每个属性散射中心确定为三面角的几何散射类型。将频率依赖因子值等于0.5，长度值大于0的每个属性散射中心确定为圆柱的几何散射类型。将频率依赖因子值等于0.5，长度值等于0的每个属性散射中心确定为帽顶的几何散射类型。将频率依赖因子值等于0，长度值等于0的每个属性散射中心确定为球的几何散射类型。将频率依赖因子值等于0，长度值大于0的每个属性散射中心确定为边缘侧向的几何散射类型。将频率依赖因子值等于-0.5，长度值大于0的每个属性散射中心确定为边缘绕射的几何散射类型。将频率依赖因子值等于-1，长度值等于0的每个属性散射中心确定为角绕射的几何散射类型。第3步，将每幅sar复图像中相同几何散射类型的属性散射中心归为一类部件。第4步，将每类部件的每幅sar复图像中属性散射中心的所有参数与合成孔径雷达sar的系统参数，输入到属性散射中心模型中成像，得到每类部件对应的单类部件重构sar图像。第5步，将所有类部件的每幅sar复图像中属性散射中心的所有参数与合成孔径雷达sar的系统参数，输入到属性散射中心模型中成像，得到所有类部件对应的所有类部件重构sar图像。第6步，将[0,1]范围内任意选取的一个值设置为阈值，将所有的部件重构sar图像中大于阈值的值设为1，小于阈值的值设为0，从而得到二值图像，将得到的二值图像定义为sar复图像对应的部件二值图。将sar实图像样本集和部件二值图样本集共同组成训练集。步骤2，构建部件解析多尺度卷积神经网络。搭建一个五层的主干网络模块，其结构依次为：第一卷积层，第二卷积层，第三卷积层，特征图concat层，第四卷积层；将第一至第四卷积层的卷积核的个数分别设置为96，96，512，512，卷积核大小分别设置为11×11，7×7，5×5，3×3；特征图concat层在通道维度上拼接输入的特征图；所述主干网络模块有两个输出端。参照图2对本发明实施例构建的主干网络模块作进一步的描述。主干网络模块的输入为sar实图像，通过第一卷积层、第二卷积层和第三卷积层对sar实图像逐层提取特征，分别得到三组三通道的输出特征图，concat层将第一卷积层的输出特征图、第二卷积层的输出特征图和第三卷积层的输出特征图在通道维度上进行拼接，第四卷积层对拼接后的特征图进一步提取特征。搭建一个由点乘层和全局平均池化层组成的部件特征模块，点乘层在通道维度上将输入的图像进行点乘；全局平均池化层对输入的每幅特征图的每个通道求平均值，得到每幅输入特征图对应的特征向量。参照图3对本发明实施例构建的部件特征模块作进一步的描述。点乘层具有两个输入，分别为主干网络模块的输出特征图和部件二值图，其中部件二值图共包含9幅二值图，分别为1幅对应于所有类部件重构sar图像的二值图和8幅对应于单类部件重构sar图像对应的部件特征向量。点乘层将两个输入的图像在通道维度上进行点乘。全局平均池化层对点乘后的每幅特征图的每个通道求平均值，得到9个部件特征向量s1-s9，其中s1为对应于所有类部件重构sar图像的部件特征向量，s2-s9分别为对应于八幅单类部件重构sar图像的部件特征向量。搭建一个由全局平均池化层，筛选层，特征向量concat层组成的特征融合模块；全局平均池化层对输入的每幅特征图的每个通道求平均值，得到每幅输入特征图对应的特征向量；筛选层采用筛选公式实现对所有输入特征向量的对应位置的筛选；特征向量concat层在通道维度上拼接所有的输入特征向量；参照图4对本发明实施例构建的特征融合模块作进一步的描述。全局平均池化层对主干网络模块的输出特征图的每个通道求平均值，得到对应的特征向量。筛选层的输入为部件特征向量s2-s9，采用筛选公式实现对部件特征向量s2-s9的对应位置的筛选，得到筛选后的特征向量。特征向量concat层在通道维度上将全局平均池化层输出的特征向量、部件特征向量s1和筛选层输出的特征向量进行拼接，得到拼接后的特征向量。所述筛选公式如下：v＝maxcol(vinput)+meancol(vinput)其中，v表示筛选后的特征向量，maxcol(·)表示按列取最大值操作，vinput表示由特征融合模块中的全局平均池化层输出的所有特征向量组成的矩阵，meancol(·)表示按列取平均值操作。搭建一个由第一全连接层，第二全连接层，softmax层组成的分类模块；将第一至第二全连接层的输出神经元个数分别设置为1024，3；softmax层采用softmax函数计算输入样本被识别为每一种类别的概率。所述的softmax函数如下：其中，pt表示输入图像属于第t种类型的概率，t＝1,2,…,m，exp(·)表示以自然常数e为底的指数操作，ov表示第二个全连接层中第v个神经元的输出，v的取值与t的对应相等，n表示第二个全连接层中的神经元总数，n表示第二个全连接层中的神经元的序号，on表示第二个全连接层中第n个神经元的输出。将主干网络模块的第一输出端与部件特征模块相连作为第一支路，将主干网络模块的第二输出端与第一支路并联后再依次与特征融合模块、分类模块串联，构成部件解析多尺度卷积神经网络。步骤3，训练部件解析多尺度卷积神经网络。采用正态分布随机点对部件解析多尺度卷积神经网络的权值进行随机初始化，同时对网络的偏置初始化为0，得到初始化后的部件解析多尺度卷积神经网络。将训练集输入到部件解析多尺度卷积神经网络中，利用交叉熵损失函数，计算网络的输出与训练图像的类别标签之间的交叉熵损失值，通过反向传播算法迭代更新网络的参数，直到网络的交叉熵损失函数收敛为止，得到训练好的部件解析多尺度卷积神经网络。所述的交叉熵损失函数如下：其中，loss表示交叉熵损失函数，r表示训练集中样本的总数，σ表示求和操作，r表示训练集中样本的序号，z(r)表示训练集中第r个样本对应的真实类型标签，log表示以2为底的对数操作，s(r)表示将训练集中第r个样本输入网络中预测类型的概率。步骤4，对待分类的合成孔径雷达sar复图像进行分类。采用与步骤(1b)和(1c)相同的方法，对待分类的合成孔径雷达sar复图像进行预处理，将预处理后的sar实图像和部件二值图输入到训练好的部件解析多尺度卷积神经网络中，输出合成孔径雷达sar复图像对应的类别。下面结合仿真实验对本发明的效果做进一步的描述。1、仿真实验条件：本发明的仿真实验的硬件平台为：处理器为intelxeonsilver4114cpu，处理器主频为2.20ghz，内存为128gb，显卡为nvidiagtx2080ti。本发明的仿真实验的软件平台为：ubuntu16.04lts操作系统，caffe，python2.7和matlabr2018a。2、实验内容及结果分析：本发明的仿真实验所用数据为从公开的“运动与静止目标的获取与识别mstar”数据集中选取的包括雷达俯仰角在15°及17°下的三类军事地面目标，这三类目标分别为：装甲车btr70、步兵战车bmp2以及主战坦克t72。选取雷达在17°俯仰角下的698幅sar图像和相应的类别标签作为训练样本，选取雷达在15°俯仰角下的1365幅sar图像和相应的类别标签作为测试样本，所有样本图像的大小为128×128像素。本发明仿真实验是采用本发明和两种现有技术的合成孔径雷达sar目标识别方法，分别对上述选取的三类军事地面目标的sar图像进行分类，获得分类结果。在仿真实验中，本发明采用的属性散射中心参数是取自于，杨栋文等人发表的论文“efficientattributedscattercenterextractionbasedonimage-domainsparserepresentation”中的方法对上述mstar数据集中的每幅sar复图像中的目标提取的每个属性散射中心的所有参数，将所有属性散射中心的所有参数组成参数集，采用本发明实施方式步骤中的部件解析方法，得到上述mstar数据集中每幅sar复图像对应的部件二值图。将所有的sar实图像训练样本和二值图训练样本组成训练集，用训练集中的样本训练部件解析多尺度卷积神经网络，将所有的sar实图像测试样本和二值图测试样本组成测试集，用训练好的部件解析多尺度卷积神经网络对测试集中的测试样本进行测试，得到每个测试样本的类别。在本发明的仿真实验中，两种现有技术的合成孔径雷达sar目标识别方法分别为：基于线性支持向量机分类器的目标识别方法、基于传统卷积神经网络的目标识别方法。其中，基于线性支持向量机分类器的目标识别方法是指直接将sar实图像输入线性支持向量机分类器中对其进行分类；基于传统卷积神经网络的目标识别方法是指直接将sar实图像输入到传统卷积神经网络中对其进行分类。为了评价本发明方法与两种现有技术方法的识别效果，按照下式，分别计算仿真实验的每种方法的测试样本的识别率：其中，accuracy表示测试样本的识别率，m表示对mstar测试样本分类正确的样本个数，n表示mstar测试样本的总个数，识别率accuracy值越大，说明识别性能越好。将本发明仿真实验采用的两种方法的识别结果分别计算识别率后，将计算结果列入表1中。表1中的svm表示采用现有技术的基于线性支持向量机分类器的目标识别方法。表1中的cnn表示采用现有技术的基于传统卷积神经网络的目标识别方法。表1不同识别方法对应的mstar测试样本识别率对比表实验方法本发明方法svmcnn识别率98.61％84.91％96.56％由表1可以看出，对于本发明实验所用的“运动与静止目标的获取与识别mstar”数据，本发明提出的基于部件解析多尺度卷积神经网络的sar目标识别方法的识别率可以达到98.61％，相比于现有技术方法,本发明方法具有最高的识别率。本发明方法充分利用了目标的电磁散射信息和幅值信息，通过融合目标的部件特征图和全局特征图得到更有效的特征表示，使得本发明得到的特征描述能力更强，对图像的分类能力更强，提高了sar目标识别的性能。综上所述，本发明提出的基于部件解析多尺度卷积神经网络的sar目标识别方法充分利用了目标的电磁散射信息和幅值信息，相较于现有技术，有着较高的识别率，且目标的识别率高于98％。可见，本发明方法是一种有效的且性能更好的sar目标识别方法。当前第1页12