遥感图像飞机目标的分层识别方法与流程

本发明涉及飞机目标的分层识别方法。

背景技术：

随着遥感技术日趋成熟,获取的遥感图像质量得到大幅提升,也使得基于遥感图像的目标检测成为热门研究问题。而对于各类地面目标,飞机检测具有及其重要的研究意义与价值,并且具有广泛的应用场景。

目前国内外对遥感图像飞机目标检测展开了大量研究也取得了一定成果,对于机场地物的提取，国内外学者主要的研究方向是在图像中识别出机场的特征，目前对机场的检测主要从以下三个方面进行研究：基于机场跑道的检测方法，基于结构特征的机场检测方法，基于模板匹配方法的机场检测。较为通用的飞机检测方法为基于特征提取与分类器训练学习的方法，如用霍夫变换和直线相位编组方法检测机场，用圆周频率滤波结合hog特征和adaboost分类器识别飞机的方法，以及利用视觉显著性进行遥感图像飞机检测的方法，如用cie颜色空间的空间频率视觉显著性检测机场，用sift(scale-invariantfeaturetransform，sift)和hu矩的特征结合支持向量机识别飞机的方法。

但是随着遥感图像分辨率的提高以及成像幅宽的变大，遥感图像数据量急剧增加，从如此庞大的数据中高效准确地识别出目标成为了解决问题的关键。对于信息量大、背景复杂的遥感图像，传统方法往往会出现飞机目标识别准确率低，速度慢的问题。

技术实现要素：

本发明的目的是为了解决现有遥感图像中飞机目标识别准确率低，速度慢的问题，而提出的遥感图像飞机目标的分层识别方法。

遥感图像飞机目标的分层识别方法具体过程为：

步骤一、对原始包含飞机目标的高分辨率遥感图像进行降采样得到降采样后的低分辨率图像；

所述高分辨率为小于等于0.5米的分辨率；

所述低分辨率为大于等于0.5米的分辨率；

步骤二、对降采样后的低分辨率图像进行lsd检测，得到断裂直线，连接断裂直线，保留满足长度阈值的直线，利用机场跑道的光谱特征，对满足长度阈值的直线中满足光谱阈值的直线进行筛选；

步骤三、对步骤二筛选的直线提取与机场跑道走向一致的平行线组，对获得的与机场跑道走向一致的平行线组进行聚类，得到机场跑道直线；

步骤四、利用步骤三的机场跑道直线，定位机场图像,对定位的机场图像进行切割，切割成子图；

步骤五、利用视觉显著性方法检测子图像，得到候选窗口；

步骤六、提取候选窗口sift特征，构建特征向量，利用分类器分类，获得飞机目标最终识别结果。

本发明的有益效果为：

本发明在现有算法的基础上,围绕大场景高分辨率光学遥感图像中飞机目标的检测识别问题进行了大量研究工作，提出了一种飞机目标的分层识别算法。

本发明适用于大场景遥感图像中机场目标的检测。本发明以层次化处理策略为贯穿线索，对大场景的高分辨率遥感图像从机场区域到飞机目标的目标识别方法进行了研究。提出的从区域到目标的层次化检测方法主要面向应用中快速的遥感图像目标检测的需要。对于信息量大、背景复杂的遥感图像，可以获得较快的识别速率以及较高识别准确率，提高了识别速率以及识别准确率，这在军事和民用领域都具有十分重要的意义。

本发明提出了遥感图像飞机目标的分层识别方法，在不同分辨率层检测不同目标，从而实现飞机目标的快速识别。因为不同尺度的目标具有不同的特征，在降采样图像中检测出大尺度目标——机场。然后，利用视觉显著性模型，对原始的高分辨率图像，根据检测到的机场区域对候选飞机进行定位。最后，应用训练好的分类器对待识别窗口进行识别，得到识别结果。

本发明充分分析了大场景遥感图像中机场区域的直线，面以及区域特征，利用机场特有的区别于其他区域的直线特征检测机场，得到较好的检测效果，具有较好的前景。

针对飞机的实验在googleearth数据源对飞机进行了识别。实验结果表明，该方法不仅能够可靠有效地识别高分辨率遥感图像中的飞机目标，而且能够在复杂场景中有较强的鲁棒效果。

结合实施例一本发明所提出的遥感图像飞机目标的分层识别方法对飞机目标识别做了大量实验，实验数据源来源于googleearth数据源的20个机场的光学遥感图像，图像分辨率为0.5米，场景为13公里长，13公里宽。机场检测率为100％，飞机识别率为94％。

结合实施例二得出用霍夫变换和直线相位编组方法检测机场所用时间为203s，用圆周频率滤波结合hog特征和adaboost分类器识别飞机所用时间为183s；总时间为386s；

用cie颜色空间的空间频率视觉显著性检测机场，所用时间为192s；用sift和hu矩的特征结合支持向量机识别飞机所用时间为212s；总时间为404s；

本发明遥感图像飞机目标的分层识别方法检测机场，所用时间为175s；识别飞机所用时间为156s；总时间为331s；

得出本发明检测速度优于现有技术。

附图说明

图1为本发明原始大场景图像降分辨率后图像；

图2为本发明lsd检测结果图；

图3为本发明直线连接原则1图；

图4为本发明直线连接原则2图；

图5为本发明算法流程图；

图6a为机场部分线段连接前示意图；

图6b为机场部分线段连接后示意图；

图7为保留满足长度阈值的直线示意图；

图8a为机场跑道光谱值示意图；

图8b为干扰直线光谱值示意图；

图9为对平行线组取外接矩形示意图；

图10为跑道直线最终检测结果图；

图11为机场检测结果图；

图12a为亮度显著性图；

图12b为颜色显著性图；

图12c为方向显著性图；

图12d为全局显著性图；

图13a为飞机候选窗口检测结果1图；

图13b为飞机候选窗口检测结果2图；

图13c为飞机候选窗口检测结果3图；

图13d为飞机候选窗口检测结果4图；

图14a为部分飞机识别结果1图；

图14b为部分飞机识别结果2图；

图14c为部分飞机识别结果3图；

图14d为部分飞机识别结果4图；

图15为不同方法识别精度对比图。

具体实施方式

具体实施方式一：本实施方式遥感图像飞机目标的分层识别方法具体过程为：如图5所示；

步骤一、对原始包含飞机目标的高分辨率遥感图像进行降采样得到降采样后的低分辨率图像；

所述高分辨率为小于等于0.5米的分辨率；

所述低分辨率为大于等于0.5米的分辨率；

步骤二、对降采样后的低分辨率图像进行lsd检测，得到断裂直线，连接断裂直线，保留满足长度阈值的直线，利用机场跑道的光谱特征，对满足长度阈值的直线中满足光谱阈值的直线进行筛选；

步骤三、对步骤二筛选的直线提取与机场跑道走向一致的平行线组，对获得的与机场跑道走向一致的平行线组进行聚类，得到机场跑道直线；

步骤四、利用步骤三的机场跑道直线，定位机场图像,对定位的机场图像进行切割，切割成子图；

步骤五、利用视觉显著性方法检测子图像，得到候选窗口；

步骤六、提取候选窗口sift特征，构建特征向量，利用分类器分类，获得飞机目标最终识别结果。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中对原始包含飞机目标的高分辨率遥感图像进行降采样得到降采样后的低分辨率图像；具体过程为：

实验中降采样结果图见图1。

对于一幅图像i尺寸为m×n，对图像i进行s倍降采样，即得到(m/s)×(n/s)尺寸的分辨率图像；

其中s是m和n的公约数。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二中对降采样后的低分辨率图像进行lsd检测，得到断裂直线，连接断裂直线，保留满足长度阈值的直线，利用机场跑道的光谱特征，对满足长度阈值的直线中满足光谱阈值的直线进行筛选；具体过程为：

步骤二一、对降采样后图像进行lsd检测，得到所有断裂直线的图像和断裂直线的相关数据；

所述断裂直线的相关数据为断裂直线的斜率、长度和起始点坐标等。

过程为：

将降采样后图像进行灰度处理，得到灰度图像，将灰度图像作为lsd算法的输入，输出所有断裂直线的图像和断裂直线的相关数据；

这里值得说明的是，整个飞机检测识别系统的输入是一幅18级0.5米分辨率的google卫星多光谱影像，而这里用于lsd直线检测的是下采样至8米分辨率的灰度图像，之所以下采样至8米，是因为可以将lsd的计算量减少为原来的1/256而且同时又能保持线条特征不会丢失，既提高了运算效率，同时也保证了检测效果。检测结果见图2。

步骤二二、连接断裂直线，得到连接后直线；断裂直线连接的目的是使机场跑道的线段连续。

所述连接断裂直线应同时满足两个条件：

1)角度相同或相差1°(因为同一条跑道经lsd检测得到的直线会断裂，断裂后角度会有1°左右的误差)；

2)满足1)的断裂直线的平行距离小于等于距离阈值(平行的直线(角度相同)才存在平行距离)；

距离阈值取值为图像中l1个像素点距离(图像为降采样后图像)；l1＝2；

根据条件1，连接角度相同或角度相差1°范围内的断裂直线。如图3所示，如果以ab作为参考，则gh明显排除，因为gh角度与ab角度有显著差异。线段cd和ef的角度与线段ab相同，所以保留。

根据条件2，线段ef不会和ab相连，因为线段ab和ef的直线距离大于距离阈值。

由图4可知，线段ab与cd相连的原因是线段ab与cd直线距离在阈值范围内且线段ab、cd连线与线段cd夹角即角度β小于角度阈值，而线段ab、ef连接线与线段ef夹角即角α大于角度阈值。这样就保证了线段ab与cd的连接。角度阈值设为1度。机场部分线段连接前和连接后示意图分别如图6a和6b所示。

步骤二三、设置直线长阈值和直线短阈值，保留大于等于直线短阈值小于等于直线长阈值的连接后的直线；对同角度断裂直线进行连接之后，机场跑道所对应直线相较其他区域直线是长度较长的平行线，所以，去掉长度多长或过短的直线可减少机场检测的干扰平行直线。

所述直线长阈值选取为图像中l2个像素点距离(图像为降采样后图像)；直线短阈值选取为图像中l3个像素点距离(图像为降采样后图像)；l2＝1500，l3＝60；

为合理而且有效选取直线长度阈值，对现有机场长度以及宽度，包括跑道宽度进行了统计，经过断裂直线连接，平行的机场直线会连接成较长直线，又考虑实际机场长度，所以长阈值选取为图像中1500个像素点距离。而短阈值方面，因为不同机场lsd检测情况不同，所以机场较短直线长度不一，最终根据大量实验，并且考虑到各个机场实际情况，将短阈值设置为图像中60个像素点距离，保留满足长度阈值的直线结果如图7所示。

步骤二四、基于机场跑道光谱特性对步骤二三保留的连接后的直线进行筛选，得到满足机场跑道光谱阈值的平行线；利用机场是人工建筑，跑道光谱值高的特点筛选机场跑道。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤二四中基于机场跑道光谱特性对步骤二三保留的连接后的直线进行筛选，得到满足机场跑道光谱阈值的平行线；利用机场是人工建筑，跑道光谱值高的特点筛选机场跑道。具体过程为：

设定r、g、b三个波段的阈值；

对步骤二三保留的连接后的直线进行膨胀，膨胀半径为a，a＝4，求膨胀后直线在降采样光学图像相应区域内的r、g、b每个波段光谱平均值，保留波段光谱平均值满足r、g、b三个波段的阈值的直线；

其中：r、g、b三个波段的阈值为：r、g、b每个波段光谱平均值均在(100,255)的范围内，且任意两个波段光谱平均值的差值不得超过l4，l4＝30；

如图8a、8b可知，机场跑道通常都是颜色单一且亮度高，所以跑道区域光谱的r值，g值，b值都很高，且它们的差值的绝对值(即r值和g值的差值绝对值，r值和b值的差值绝对值和b值和g值的差值绝对值)都很小，利用光谱差值可以去除部分类似于河流和农田等光谱值低以及光谱差值大的平行干扰直线。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤三中对步骤二筛选的直线提取与机场跑道走向一致的平行线组，对获得的与机场跑道走向一致的平行线组进行聚类，得到机场跑道直线；

具体过程为：

步骤三一、对步骤二筛选的直线按角度(角度一定在180°内)分为180类，每一个类别对应1度的角度区间，统计每一类中步骤二筛选的直线的总长度，并找到总长度最大值所对应的角度区间，即为机场跑道的走向角度所在区间，获得与机场跑道走向一致的平行线组；

步骤三二、基于扩散模型和得分决策对获得的与机场跑道走向一致的平行线组进行聚类，得到机场跑道直线。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤三一中对步骤二筛选的直线按角度(角度一定在180°内)分为180类，每一个类别对应1度的角度区间，统计每一类中步骤二筛选的直线的总长度，并找到总长度最大值所对应的角度区间，即为机场跑道的走向角度所在区间；具体过程为：

将步骤二筛选的直线按0-180度划分成180个小区间，形成一个1×180的向量，向量中每一个元素的值表示该元素所在区间的所有直线的长度之和，如公式(1)所示

式中n表示步骤二筛选的直线的总数量，angle(i)score表示角度i对应的所有直线的总长，line(j)length表示第j条直线的长度，line(j)angle表示第j条直线的角度；i＝1,2,...,180；

angle(i)score最大值所对应的角度即为机场跑道的走向角度，通过保留与机场跑道的走向角度相同的直线，剔除其他直线段，即可获得与机场跑道走向一致的平行线组。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤三二中基于扩散模型和得分决策对获得的与机场跑道走向一致的平行线组进行聚类，得到机场跑道直线；具体过程为：

如果单纯依靠平行线组的外接矩形作为机场所在位置的掩膜，则掩膜所标识的区域将有很大一部分属于非机场区域，如图9所示，不会存在飞机目标，如果将这些区域也做疑似目标检测的话，将导致后续的检测的计算量大大增加，同时也会提高虚警率，所以需要平行线组做一次聚类操作，以去除机场区域外围干扰直线，保留机场跑道对应直线，从而减少计算量和虚警。

对于这种情况，设计了一种基于扩散模型和得分决策的平行线聚类方法。该方法的思想在于利用了机场的平行线组的密度更高，当对整幅二值图做膨胀操作时，机场跑道的这些平行线组取较小的膨胀半径时，膨胀区域便能连接形成一个连通域，而此时这个连通域不会与干扰直线的连通域相连；而只有当膨胀半径大到一定的程度时，干扰直线的膨胀区域才有可能与机场直线的膨胀区域相连通。对于这个过程，可以构建一个随着膨胀半径r变化的变量，希望随着r的增大该变量随着在机场中各直线膨胀区域没连接之前，变量值不断增大，而在机场各区域连通时，该变量值最小，而在之后继续扩大r时，该变量值又不断增大。基于这一思想，本发明将该膨胀半径r不断增大的过程称为扩散过程，而寻求低得分的过程称为得分决策，该算法的具体实现如下：

步骤步骤三二一：设获得的与机场跑道走向一致的平行线上的点的坐标为(x0,y0)，对获得的与机场跑道走向一致的平行线上的点做扩散，得到扩散后的直线扩散图；

扩散的过程为：

i(x,y)＝1

其中，r为扩散半径，x为扩散后点的横坐标，y为扩散后点的纵坐标，i(x,y)为扩散后的扩散区域中的点的像素值为1；

步骤步骤三二二：计算扩散后的直线扩散图的8连通域个数，作为初始扩散区的数量num，初始化扩散半径r＝0，计算扩散后的直线扩散图的得分score，计算方法为：

score＝num×10+r(3)

不断扩大扩散半径r＝r+1，直到扩散区的数量num＝1，此时停止扩散，找到最小得分score对应的扩散半径，最后保留该扩散半径下的面积最大的连通域对应的平行线组，即得到机场跑道直线图。直线检测结果见图10。

该方法属于一种非监督聚类方法，其聚类依据在于平行线的密集程度或者说是平行线的间隔。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至四之一不同的是，所述步骤四中利用步骤三的机场跑道直线，定位机场图像,对定位的机场图像进行切割，切割成子图；具体过程为：

步骤四一、利用步骤三的机场跑道直线，定位机场图像；过程为：

对机场跑道直线取最小外接矩形，得到机场掩膜图像及机场位置坐标，将机场掩膜图像转化为高分辨率(0.5米分辨率)下的机场掩膜，完成机场图像定位；如图11所示；

该掩膜图像对应的分辨率为步骤一降采样后的低分辨率为8米，飞机检测是在高分辨率图像上检测的，所以要将机场掩膜图像转化为步骤一高分辨率0.5米分辨率下的机场掩膜，用于后续的提取机场并做飞机识别，完成机场图像定位。

步骤四二、按照一定的窗口大小和步进距离对定位的机场图像进行切割，切割成子图，同时记录每一张子图的坐标以用于后续检测目标后复原目标位置。

这里所选取的步进长度为l5米，l5＝500m，窗口大小为k米×k米，k米×k米为600m×600m。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤五中利用视觉显著性方法检测子图像，得到候选窗口；具体过程为：

步骤五一、利用视觉显著性方法检测机场子图，得到飞机目标候选窗口。飞机目标相对于机场的其他区域，一般具有不同的颜色、亮度、纹理等特点。根据飞机目标与机场中干扰物的区别，本发明的显著性模型在itti模型之上添加色彩对比度显著性特征图以及离散矩显著性特征图。色彩的对比度特征表明了目标色彩相对其他色彩的差异，离散矩特征图可以有效表征目标的纹理结构。

步骤五一一：对子图像运用itti显著算法得到亮度显著图、纹理显著图、颜色显著图和方向显著图；

其中，纹理显著图为在传统itti模型上补充的显著图；

飞机目标相对于背景目标来说，颜色分布不同，表现在全局颜色对比度差异大，本发明补充itti模型一个颜色对比度特征图，计算每个像素的色彩与全局图像的差异，为了减少计算量，本发明求取颜色特征图的方法为，先求出各颜色的直方图分量，在直方图中计算颜色对比度，这可以防止求每个像素对比度时重复遍历全局图像。

步骤五一二：利用itti显著算法中融合图像的方法将亮度显著图、纹理显著图、颜色显著图和方向显著图融合为全局显著性图；显著性各效果图见图12a、12b、12c、12d。

步骤五二、设置面积阈值区间和长宽比阈值区间，对全局显著性图进行二值化，得到二值化图；

若二值化图中某连通域的面积和长宽比都在面积阈值区间和长宽比阈值区间内，保留该连通域，并将该连通域中心点作为候选窗口中心点，候选窗口大小为l6×l6像素，得到候选窗口；l6×l6为50×50或150×150；

若二值化图中某连通域的面积和长宽比不都在面积阈值区间和长宽比阈值区间内，则不保留该连通域。

候选窗口检测相关效果图见图13a、13b、13c、13d。

其它步骤及参数与具体实施方式一至八之一相同。

具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述步骤六中提取候选窗口sift特征，构建特征向量，利用分类器分类，获得飞机目标最终识别结果。具体过程为：

飞机目标的识别任务在高分辨率图像完成，高分辨率图像包含很多目标的细节信息，便于对飞机型号的判断。本发明将识别飞机型号分成第一类和第二类，第一类是长度小于22.5米的目标，第二类是大于22.5米的目标，第一类目标提取的样本切片的大小为50×50，第二类目标的切片大小为150×150，而不同尺寸的目标，所使用的svm分类器参数也不一样。而这里对于切片的选取，是根据疑似目标的检测结果中的位置为切片中心坐标，按照尺寸切取原图得到切片。

步骤六一、提取正负样本的sift特征，训练svm分类器，得到训练好的svm分类器；

所述正样本为400张个人工选取的含有真实飞机目标的图像(飞机目标为对飞机目标取最小外接矩形)，负样本为500张人工选取的不含飞机目标的图像；

步骤六二、提取步骤五得到的候选窗口的sift特征，输入训练好的svm分类器，输出飞机目标最终识别结果(最终识别结果包含飞机得到飞机位置坐标，最终识别结果不包含飞机就不记录飞机位置坐标)。

其它步骤及参数与具体实施方式一至九之一相同。

采用以下实施例验证本发明的有益效果：

实施例一：

本发明所提出的遥感图像飞机目标的分层识别方法对飞机目标识别做了大量实验，实验数据源来源于googleearth数据源的20个机场的光学遥感图像，图像分辨率为0.5米，场景为13公里长，13公里宽。机场检测率为100％，飞机识别率为94％，其中部分飞机识别结果如图14a、14b、14c、14d。

实施例二：

本发明同两种典型飞机识别方法在识别率和识别所用时间上进行了对比，对比结果如下。其中，方法一是用霍夫变换和直线相位编组方法检测机场，用圆周频率滤波结合hog特征和adaboost分类器识别飞机。方法二是用cie颜色空间的空间频率视觉显著性检测机场，用sift和hu矩的特征结合支持向量机识别飞机。如图15所示。

表1不同方法所用时间对比图

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。