基于中层语义属性和卷积神经网络的SAR图像分类方法与流程

本发明属于图像处理技术领域，特别涉及一种基于中层语义属性特征和卷积神经网络的SAR图像分类方法。

背景技术：

合成孔径雷达(Synthetic Aperture Radar，SAR)是一种用于地面目标物体成像的雷达系统。SAR凭借其高分辨率、全天时和全天候的特性，成为了地面观测的重要工具。SAR图像分类是遥感图像解译的一个重要组成部分，在农林业规划、灾害监测、环境保护、军事侦察等领域都有着广泛的应用。

随着高分辨率SAR图像技术的发展，传统的SAR图像分类技术的效果越来越差。同时，也为SAR图像新特征的发展带来了更大的挑战。高层语义特征表达被普遍认为是更具有判别性的新的SAR图像特征。词袋模型(Bag of Word，BoW)是一种中层语义特征。BoW已经广泛应用于遥感图像的图像注释、物体分类和目标检测等领域。但是对于SAR图像的中层语义特征研究工作目前仍比较少，有部分工作是基于BoW的，比如BoW-MVR是基于均值比率检测子的中层特征。但是，普通BoW模型都是基于低层像素级别的特征得到的。而且，简单聚类得到的BoW特征往往缺乏直观上的含义。在后面的特征选择中很难引入人工先验，在实际实验中得到的特征缺乏准确的物理含义。

卷积神经网络是目前最成功的图像特征学习模型之一。卷积神经网络的优势在于它能够自动学习提取数据中具有判别性且高层次的语义特征从而实现图像分类，但是当它直接应用于SAR图像分类上的效果并不是很好。其中一个重要的原因就是，SAR图像的数据量有限，目前没有可用的大量的SAR图像数据用来训练卷积神经网络。

技术实现要素：

本发明的目的在于结合中层语义特征和卷积神经网络解决普通中层特征聚类判别性不足和SAR图像卷积神经网络训练数据的不足。提出了用于SAR图像分类的中层特征判别性聚类算法，以及基于筛选得到判别性中层图像块作为属性表示卷积神经网络提取高层语义特征的方法。用该方法得到的高层语义特征相对目前的纹理特征和BoW特征，对于SAR图像有较好的分类效果。

本发明的技术方案为一种基于中层语义属性和卷积神经网络的SAR图像分类方法，包括以下步骤：

步骤1，对待分类的SAR图像进行中层语义属性特征图像块的提取，包括以下子步骤，

步骤1.1，准备待分类SAR图像数据集和负样本SAR图像数据集，从待分类图像和负样本图像中提取随机图像块的MVR特征；

步骤1.2，对待分类图像中提取的随机图像块的MVR特征进行k-means聚类和迭代检测，并获得字典；

步骤1.3，根据纯度和判别度的线性组合值将字典进行排列，筛选出l个最具有判别性的聚类中心作为SAR图像属性，l为预设的数值；

步骤2，基于属性和卷积神经网络的SAR图像分类，包括以下子步骤，

步骤2.1，利用步骤1得到所有待分类SAR图像的属性训练卷积神经网络；

步骤2.2，将图像的全局特征和每个属性的卷积神经网络特征串联，生成最终特征；

步骤2.3，用支持向量机对提取的最终特征进行分类。

而且，所述步骤1.1中从待分类图像和负样本图像中提取随机图像块的MVR特征的实现如下，

(a)设有包含M张待分类SAR图像的数据集D，和包含N张负样本SAR图像的数据集N，分别将数据集D和N平均分成两个不重叠的子数据集D₁,D₂和N₁,N₂，所有数据集图像的大小为n×n；

(b)设D₁中待分类图像T_k，计算T_k图像L个尺度的MVR特征金字塔为P_k，其中，MVR特征为向量(L,R)，其中L＝m²/v，m,v分别表示训练图像T_k的局部均值和局部方差；均值比率R为边缘响应的最大值，表示如下，

R＝max(rⁱ) (1)

其中，rⁱ表示边缘响应，i表示方向，i＝0,…,3，i＝0表示水平方向，i＝1表示+45°方向，i＝2表示垂直方向，i＝3表示-45°方向；将MVR特征金字塔P_k转换为单个特征矩阵，P_k表示所有尺度下的特征；

(c)通过高斯低通滤波器计算得到图像T_k每个像素的概率分布，并随机取s个图像块，得到子数据集D₁的MVR特征作为正样本MVR特征；同时，从负样本子数据集N₁中随机抽样得到负样本MVR特征；

(d)按照(b)(c)同样的方式，获取子数据集D₂和N₂的MVR特征。

而且，所述步骤1.2中对待分类图像中提取的随机图像块的MVR特征进行k-means聚类和迭代检测，并获得字典的实现如下，

1)设聚类中心数量其中，s表示子数据集D₁中随机提取的图像块个数；

2)删除D₁中少于3个区域块的聚类中心；

3)为D₁的每个聚类中心训练一个线性SVM分类器，用聚类中心的所有区域块作为正样本，并用N₁中所有的区域块作为负样本训练该分类器；

4)用训练好的分类器在验证集D₂上作检测，并且将每个分类器预测SVM分数大于-1的区域块组成新的聚类中心；

5)交换数据集D₁,N₁和D₂,N₂，以D₂,N₂训练SVM分类器，并在验证集D₁上作检测，返回重复(1)-(5)，直到满足每个聚类中的区域块不再变化，得到字典。

而且，所述步骤1.3中根据纯度和判别度的线性组合值将字典进行排列，筛选出l个最具有判别性的聚类中心作为SAR图像属性的实现如下，

设纯度和判别度的线性组合值A(K[j])表示如下，

A(K[j])＝pur(K[j])+λ·discrim(K[j]) (2)

其中，K[j]表示第j个聚类中心，pur(·)表示纯度，discrim(·)表示判别度，系数λ∈(0,1)。

而且，所述步骤2.1中的卷积神经网络包括1个输入层、3个卷积层、2个下采样层、1个全连接层和1个输出层，卷积神经网络用反向传导和随机梯度下降算法训练。

本发明的局部特征MVR基于能够抵抗相干斑噪声干扰的均值比率，通过对一组庞大的多尺度的SAR图像块进行一种迭代判别式聚类和检测，挖掘出具有判别性的属性图像块表达，再通过卷积神经网络对属性图像块中包含的语义属性特征进行学习。本发明提出的一种基于属性和卷积神经网络的SAR图像分类方法，通过学习SAR图像中的中高层语义特征，从而提高SAR图像分类的准确率。

附图说明

图1本发明实施例的中层语义属性特征图像块的提取流程图。

图2本发明实施例的基于属性和卷积神经网络的SAR图像分类架构说明图。

图3本发明实施例的均值比率的局部窗和方向说明图。

图4本发明实施例的卷积神经网络结构说明图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

SAR图像具有乘性相干斑噪声、极低信噪比和训练数据量少等特点，本发明提供的基于均值比率的局部特征MVR能够很好地抵抗相干斑噪声的影响，较好地描述复杂结构信息；通过在聚类和判别式检测器之间不断优化和交叉验证，选择聚类，从而提高中层图像块的代表性和判别性；将中层判别式图像块作为属性卷积神经网络的输入，克服训练数据不足的局限，深度学习得到语义属性组合特征对SAR图像的分类有较好的效果。

本发明方法的中层表达通过基于低层MVR特征，生成一组中层的视觉字典；引入了聚类和判别式分类器迭代的算法，并且通过筛选得到一组最具判别性的、多尺度的语义字典作为属性表示；还通过引入卷积神经网络来学习语义属性特征，并结合SAR图像全局特征实现图像分类。这种基于属性级别的卷积神经网络学习(CNN)，使得深度学习更加具有针对性，而且同时也解决了训练数据不足的问题，学习得到的属性特征具有高层语义性。

本发明实施例可采用计算机软件技术实现自动流程运行，包括两个阶段，中层语义属性特征图像块的提取阶段以及基于属性和卷积神经网络的SAR图像分类阶段。

如图1，本发明实施例的中层语义属性特征图像块的提取阶段包括以下3个步骤：

步骤1.1，准备待分类SAR图像数据集和负样本SAR图像数据集，从待分类图像和负样本图像中提取随机图像块的MVR特征，实现方式如下：

a.设在执行之前需要准备好M张待分类SAR图像数据集D，和N张负样本SAR图像数据集N，这里的负样本数据集N和数据集D来自于同一种雷达系统但是属于不同类别的图像；分别将数据集D和N平均分成两个不重叠的子数据集D₁,D₂和N₁,N₂，用于交叉验证；所有数据集图像的大小为n×n；

b.设D₁中有某待分类图像T_k，计算T_k图像L个尺度的MVR特征金字塔为P_k，其中，M为待分类的图像张数；MVR特征为向量(L,R)，其中L＝m²/v，m,v分别表示训练图像T_k的局部均值和局部方差，局部窗参见图3，即MVR特征提取窗口；均值比率R为边缘响应的最大值，可表示如下：

R＝max(rⁱ) (1)

其中，rⁱ表示边缘响应，i表示方向(i＝0,…,3)，i＝0表示水平方向，i＝1表示+45°方向，i＝2表示垂直方向，i＝3表示-45°方向；均值比率R的局部窗和方向说明图参见图3，其中，(a)表示局部窗，x_c为图像块的中心点，(b)-(e)分别为水平、+45°、垂直以及-45°方向检测模板；将MVR特征金字塔P_k转换为单个特征矩阵，即P_k表示所有尺度下的特征，具体转换为现有技术，本发明不予赘述；具体实施时，最小尺寸图像块的大小与MVR特征提取窗口大小一致；

c.通过高斯低通滤波器计算得到图像T_k每个像素的概率分布，具体计算为现有技术，本发明不予赘述；并随机取s个图像块，得到子数据集D₁的MVR特征作为正样本MVR特征；同时，从负样本子数据集N₁中随机抽样得到s个负样本MVR特征，本领域技术人员可根据实际情况选取随机抽样数量s；

d.针对子数据集D₂和N₂重复步骤b、c同样的处理，以获取子数据集D₂和N₂的MVR特征。

步骤1.2，对待分类图像中提取的随机图像块的MVR特征进行k-means聚类和迭代检测，并获得字典，实现方式如下：

6)设聚类中心数量其中，s表示子数据集D₁中随机提取的图像块个数；

7)删除D₁中少于3个区域块的聚类中心；

8)为D₁的每个聚类中心训练一个线性SVM分类器，用聚类中心的所有区域块作为正样本，并用N₁中所有的区域块作为负样本训练该分类器；

9)用训练好的分类器在验证集D₂上作检测，并且将每个分类器预测SVM分数大于-1的区域块组成新的聚类中心；

10)交换数据集D₁,N₁和D₂,N₂，即以D₂,N₂训练SVM分类器，并在验证集D₁上作检测，重复(2)-(5)，直到满足收敛条件，即每个聚类中的区域块不再变化，得到字典，即表示图像的基元。

步骤1.3，根据纯度和判别度的线性组合值A(K[j])将字典进行排列，筛选出l个最具有判别性的聚类中心作为SAR图像属性，其中A(K[j])表示如下：

A(K[j])＝pur(K[j])+λ·discrim(K[j]) (2)

其中，K[j]表示第j个聚类中心，pur(·)表示纯度，discrim(·)表示判别度，系数λ∈(0,1)。纯度和判别度的具体实现为现有技术，本发明不予赘述。具体实施时，本领域技术人员可预设的l取值。

如图2，本发明实施例中基于属性和卷积神经网络的SAR图像分类阶段包括以下3个步骤：

步骤2.1，利用步骤1得到所有待分类SAR图像的属性(参见相应所求得的MVR特征)训练卷积神经网络。

本发明实施例中的卷积神经网络结构说明参见图4，其中包括1个输入层、3个卷积层、2个下采样层、1个全连接层和1个输出层，整个网络用一般的反向传导和随机梯度下降算法训练(具体实现为现有技术，本发明不予赘述)。

本卷积神经网络共有8层，每层的具体结构分别为：

(1)输入层：输入数据为64×64像素的SAR图像。

(2)C1层：该层为卷积层，卷积核大小为5×5，卷积深度为20，输出为60×60的特征映射。

(3)S2层：该层为下采样层。窗口尺寸为4×4。

(4)C3层：该层为卷积层，卷积核大小为5×5，卷积深度为50，输出为11×11的特征映射。

(5)S4层：该层为下采样层，窗口尺寸为4×4。

(6)C5层：该层为卷积层，卷积核大小为5×5，卷积深度为500，输出1×1的特征映射。

(7)F6层：该层为全连接层，包含500个神经元。

(8)输出层：由7个欧氏径向基函数构成。

步骤2.2，将图像的全局特征和每个属性的卷积神经网络特征串联，生成最终特征。

步骤2.3，用支持向量机对提取的最终特征进行分类。

参见图2基于属性和卷积神经网络的SAR图像分类架构说明，首先根据步骤1提取待检测SAR图像中前l个最具有判别性的聚类中心作为SAR图像属性，利用卷积神经网络提取每个属性的特征和图像的全局特征，然后将全局特征与每个属性的卷积神经网络特征串联，得到最终的特征，最后通过SVM实现SAR图像的分类。即步骤1得到了用于表示图像的字典；步骤2中提取到特征后，与字典中的特征进行匹配；不同类别的图像，在字典中匹配到的特征不同；就某一特定类，为了得到对应的特征表示，需要用训练数据进行训练，以此学习到用于描述该类的特征。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。