一种无人机对地目标roi提取方法
【专利摘要】本发明公开了一种无人机对地目标ROI提取方法，包括：对基准卫星图像进行预处理，提取能够反映目标局部特征的模式；统计分析目标区域和关联环境区域的模式分布情况，计算出各个模式的显著性值，并建立目标视觉显著性模型；对于实时图像，获取每个像素点的模式和每个像素点的模式对应的显著性值，每个像素点的模式对应的显著性值对应实时图像的视觉显著性图像；根据视觉显著性图像估计目标粗略位置；利用目标粗略位置为中心、大小与目标区域大小一致的区域中的模式的尺度分布信息估计出实时图像大致的分辨率；根据目标粗略位置、估计分辨率值得到与基准卫星图像分辨率基本一致的ROI。
【专利说明】一种无人机对地目标ROI提取方法
【技术领域】
[0001]本发明属于图像目标检测识别【技术领域】，特别涉及一种无人机对地目标ROI提取方法。
【背景技术】
[0002]航空图像中的特定目标检测技术在战场特定区域监测、目标精确打击等方面具有重要的意义。由于客观条件的限制，很多情况下取得特定目标的基准图像比较困难。目前常用的方式是利用卫星光学图像或者高空侦察机拍摄到的航空图像作为特定目标的基准图像，以机载摄像机在飞行过程中拍摄到的图像作为实时图像，通过目标检测算法在实时图像中完成特定目标的检测和定位，如图1所示。该应用方式的主要难点包括:(I)基准图像与实时图像的成像环境存在较大差异，主要包括成像时间、天气状况、载体姿态、成像分辨率等因素。这就要求检测算法对目标图像的光照变化、尺度变化、旋转角度具有较强的适应性。(2)小型无人机负载有限，且存在载体抖动，从算法稳定性考虑一般要求在DSP上运行。目前的目标检测算法的计算复杂度相对较高，存在机制上的问题，无法满足机载实时处理要求。
[0003]目前，国内外研究者通常采用特征检测与匹配的方法实现特定目标的精确定位。该方法首先分别从基准图像和实时图像中提取出具有光照不变性、尺度不变性或仿射不变性的特征，以期使得算法对光照、尺度、仿射变化具有一定的环境适应性。然后，利用特征描述与匹配的方法获得实时图像目标特征与基准图像目标特征的对应关系，由此推算出目标在实时图像中的位置。该类方法存在的主要问题是:实时图像特征数量庞大，使得特征匹配的搜索范围很大，且提取出具有尺度或仿射不变性的特征也需要较高的计算复杂度，难以满足机载处理的需要。
[0004]为减小特征匹配的搜索空间，部分研究者提出采用视觉显著性分析技术从实时图像中提取可能包含目标区域的感兴趣区域ROI (Region Of Interest)，然后将基准图像目标特征与ROI中的特征进行匹配定位。然而，目前的ROI定位方法均是基于自底向上的思想，没有利用目标本身的信息，提取的ROI可能会漏掉感兴趣的目标，致使检测失败。另外，该类方法只能在PC上达到实时的速度，不能满足机载处理的需求。
[0005]总的来说，目前的方法仍然无法解决无人机对地特定目标的机载实时检测问题，亟需在新的视觉显著性计算机制、特定目标检测技术的系统性与适用性等方面进一步开展深入的研究工作，力图在算法正确率、效率、环境适应性等方面取得进展，形成系统性的成果。
【发明内容】
[0006]本发明的主要目的在于提供一种新的视觉显著性计算机制，以解决ROI的快速可靠定位问题，使得基于特征匹配的目标精确计算的复杂度大大降低。另外，本发明提出了目标描述结构邻域的选择方法、特征的统计方法、及各种计算方法的DSP优化方法，用于解决无人机对特定目标的ROI定位问题。
[0007]为实现上述目的，本发明提供一种无人机对地目标ROI提取方法，其特征在于，所述方法包括步骤:
[0008]步骤1:对基准卫星图像进行预处理，并从不同尺度和不同姿态的基准图像中提取能够反映目标局部特征的模式，包括目标区域的模式和关联环境区域的模式；
[0009]步骤2:统计分析目标区域和关联环境区域的模式分布情况，根据目标区域和关联环境区域模式分布情况的对比关系，计算出各个模式的显著性值，并建立目标视觉显著性模型；
[0010]步骤3:对于实时图像，经过图像增强预处理后，与步骤I和2同样的方式，获取每个像素点的模式，根据所述目标视觉显著性模型获取每个像素点的模式对应的显著性值，每个像素点的模式对应的显著性值对应实时图像的视觉显著性图像；
[0011]步骤4:采用和基准图像中目标区域大小一致的窗口在所述实时图像的目标显著性图像上滑动，取均值或者加权均值最大的位置为估计的目标粗略位置；利用目标粗略位置为中心、大小与目标区域大小一致的区域中的模式的尺度分布信息估计出实时图像大致的分辨率；根据目标粗略位置、估计分辨率值得到与基准卫星图像分辨率基本一致的R0I。
[0012]本发明的技术效果:本发明提出一种综合利用目标及其关联环境知识的目标视觉显著性模型表示与构建方法。利用模式表达局部结构特征克服了特征描述方法维数高、匹配搜索范围大的缺陷。本发明检测的目标为特定的固定目标，目标与周围环境的关系较为稳定，因此基于目标区域模式与关联环境区域模式的互斥性来计算目标模式的显著性符合人类视觉的特点。本发明提出一种方便快捷地提高目标视觉显著性模型环境适应性的方法。由于特定目标检测通常只能提供单幅卫星图像作为基准图像，本发明通过利用模式分布来表达目标区域及周围关联区域特性的方法，使得可以在不增加实时图像计算量的情况下将经过不同分辨率、姿态变换的基准图像信息融合到目标视觉显著性模型中，从而使得目标视觉显著性模型具有较高的环境适应性。本发明提出基于目标视觉显著性模型的ROI提取方法，可克服传统显著性区域提取针对性不强的问题，利用目标显著性模型，采用模式检索的方法得到目标显著图，并完成候选目标的ROI提取以及大致的目标尺度信息估计，大大提高了算法的针对性和效率，同时由于提取的ROI与基准图像具有基本一致的分辨率，降低了目标精确定位的难度。
【专利附图】
【附图说明】
[0013]图1为特定目标检测的典型应用示例示意图；
[0014]图2为本发明中无人机对地目标ROI提取方法流程示意图；
[0015]图3为本发明中模式采样点选取方式示意图；
[0016]图4为本发明中视觉显著性图像求取示意图；
[0017]图5为本发明中积分图像计算滑动窗口均值示意图；
[0018]图6为本发明中双线性插值方法示意图。
【具体实施方式】
[0019]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
[0020]本发明将针对只提供单幅基准图像的情况，研究从实时图像中快速检测特定目标的方法。图1示出了特定目标检测的典型应用示例，其中上排为基准图像，红色框内为待检测的特定目标区域；下排为待处理的实时图像。本发明中，特定目标指的是图1上排基准图像中的矩形框标注的典型区域，也称为目标区域。我们将以目标中心为中心，4*4倍目标区域大小的区域作为关联环境区域。
[0021]本发明的技术思想是，采用结构模式作为描述目标局部特征的基本方式，利用不同尺度和旋转角度下的基准图像提供的目标知识，结合其与周围环境的关系，得到目标模式的置信度及其相关属性，建立目标显著性模型；然后，利用模式检索的方式得到实时图像的显著性图像，从而提取包含候选目标的R0I。其中，我们将图像局部结构特征的描述称为结构模式，下文中结构模式也简称为模式，常用的有LBP等。本技术思想不涉及大规模的数值计算，可满足无人机对地特定目标检测的计算复杂度需求。
[0022]图2示出了本发明中基于目标视觉显著性模型的无人机对地目标检测方法流程图。如图2所示，该方法包括以下步骤:
[0023]步骤1:对基准卫星图像进行图像增强等预处理，并对其进行缩放、旋转角度变换，然后利用结构模式表示和计算方法，从不同尺度和不同姿态的基准图像中提取能够反映目标局部特征的模式，包括目标区域的模式和关联环境区域中的模式；所述模式指图像局部结构特征。
[0024]所述图像增强预处理主要指高斯平滑。高斯平滑计算方法如下:采用3X3的模板同基准卫星图像进行卷积来实现，得到平滑后的图像G(x，y)。3X3的模板可采用如下的两个算子卷积近似求得:
[0025]
【权利要求】
1.一种无人机对地目标ROI提取方法，其特征在于，所述方法包括步骤: 步骤1:对基准卫星图像进行预处理，并从不同尺度和不同姿态的基准图像中提取能够反映目标局部特征的模式，包括目标区域的模式和关联环境区域的模式； 步骤2:统计分析目标区域和关联环境区域的模式分布情况，根据目标区域和关联环境区域模式分布情况的对比关系，计算出各个模式的显著性值，并建立目标视觉显著性模型； 步骤3:对于实时图像，经过图像增强预处理后，与步骤I和2同样的方式，获取每个像素点的模式，根据所述目标视觉显著性模型获取每个像素点的模式对应的显著性值，每个像素点的模式对应的显著性值对应实时图像的视觉显著性图像； 步骤4:采用和基准图像中目标区域大小一致的窗口在所述实时图像的目标显著性图像上滑动，取均值或者加权均值最大的位置为估计的目标粗略位置；利用目标粗略位置为中心、大小与目标区域大小一致的区域中的模式的尺度分布信息估计出实时图像大致的分辨率；根据目标粗略位置、估计分辨率值得到与基准卫星图像分辨率基本一致的R0I。
2.根据权利要求1所述的方法，其特征在于，步骤I中不同尺度和不同姿态的基准图像如下得到:
x=axl-byl+c
y=bxl+ayl+d
a= o ' cos 9 ' c=w / 2-aw / 2+bh / 2
b= o 1 sin 9 1 d=h / 2_bw / 2_ah / 2
o 1 =1 / o，9 ' =-9 其中，基准图像的宽度和高度分别为`W和h，，(X，y)为基准图像上的像素点，(xl，yl)为尺度和姿态转换后的图像上的像素点，9和O为尺度和姿态转换使用的旋转角度和缩放因子。
3.如权利要求1所述的方法，其中，所述目标区域和关联环境区域的模式的提取包括模式采样和模式值计算；其中，模式采样方式采用DAISY-16采样方法；模式值计算方式采用局部二值模式。
4.如权利要求3所述的方法，其中，对于目标区域和关联环境区域的模式采样包括对于目标区域和关联环境区域的所有像素点提取16个邻域点，所述16个邻域点的加权和的邻域大小不同。
5.如权利要求4所述的方法，其中，对目标区域和关联环境区域中每个像素点的模式值如下:
6.如权利要求1所述的方法，其中，步骤2中统计分析目标区域和关联环境区域的模式分布情况具体为统计不同尺度和不同姿态下目标区域和关联环境区域中各个像素点对应的模式值出现的次数，根据其出现次数得到各个模式的显著性值。
7.如权利要求6所述的方法，其中，步骤2中目标视觉显著性模型如下表示:
8.如权利要求7所述的方法，其中，步骤3中根据实时图像上每个像素点的模式值索引所述目标视觉显著性模型中相应模式对应的显著性值，并根据各个像素点的模式对应的显著性值得到实时图像的目标视觉显著性图。
9.如权利要求1所述的方法，其中，步骤4中根据实时图像上各个像素点的模式检索目标视觉显著性模型获得各个模式对应的尺度分布，并统计区域内目标尺度分布曲线，根据分布曲线的极值位置估计出目标的大致尺度。
【文档编号】G06T7/00GK103679740SQ201310745111
【公开日】2014年3月26日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】朱承飞, 常红星, 李书晓 申请人:中国科学院自动化研究所