专利名称:一种地面建筑物识别定位方法
技术领域:
本发明属于成像自动目标识别领域,具体涉及一种地面建筑物识别定位方法,用于飞行器前视识别地面建筑物。
背景技术:
建筑物作为人造目标的重要基元,其识别可用于城市规划、监督、飞行器导航、避撞等领域。地面背景复杂,各种建筑物的大小、形状各不相同,运动平台载荷成像高度和成像角度可变,所以地面建筑物的识别定位是一项困难的任务。
目前常用的目标检测识别的方法可分为两类,一种是由下而上的数据驱动型,另一种是由上而下的假设检验驱动型。前者不管目标的属性如何,先对原始输入图像进行一般性的分割、标记和特征提取等低层处理,然后将每个带标记的已分割区域的特征矢量与目标类型相匹配并做出检测识别判断。后者需要先根据目标的模型,对图像中可能存在的特征提出假设,之后根据假设对感兴趣区有目的进行分割、标记、特征提取,在此基础上再对目标模型做精匹配来检测识别目标。
汪哲慎,李翠华在“基于改进Hough变换的建筑目标搜索与识别”,中国图像图形学报,Vol.10 No.4 Apr 2005中提出了采用竖直线对建筑物进行检测,利用改进的Hough变换算法,记录离散参数值,缩小检测角度的范围;用欧氏距离进行近似,以节省存储量和运算量,增强检测抗噪声的鲁棒性。但在该方法中,由于初步检测结果竖直线多为不连续的线段,因此需要对结果进行优化、合并处理。在背景复杂的情况下,会产生大量不连续的线段,使得优化、合并的计算量显著增加,从而无法满足实时性要求。洪志令,姜青山,董槐林等在“复杂背景下一类建筑目标的识别及变化检测”,第十二届全国图像图形学学术会议中提出了一种在复杂背景前提下,对一类正多边形建筑物进行识别与变化检测的方法。该方法的核心在于以线为基本的处理单位,对线进行多层次的感知组合过程。最后经过严格最佳匹配过程对建筑物进行拟合与识别,并进行变化检测。该方法的局限性主要在于只能对正多边形建筑目标进行识别。对于非正多边形的情况中要求边界参数已知,而这种情况在实际应用中并不多见。李朝锋,王士同在“基于形态学Top-Hat算子和知识处理的目标识别方法”,微电子学与计算机,2005年第22卷第12期中提出了利用开Top-Hat运算,闭Top-Hat运算,以及形态滤波等方法来进行目标识别。该方法对复杂背景的SPOT卫星遥感图像上似圆状目标识别取得了良好的效果。但是由于Top-Hat运算会使得计算量随着目标尺寸的增大而显著增大,而且只能用于下视,因此该方法不适于前视地面建筑物识别的情况。上述文献均没有考虑对不同视点、不同尺度、不同高度的地面建筑物进行识别。
发明内容
本发明提供一种地面建筑物识别定位方法,目的在于解决从不同视点、不同尺度、不同高度对地面建筑物识别定位的问题,用于前视识别地面建筑物。
本发明的一种地面建筑物识别定位方法,预先构建标准特征库从不同视点、不同尺度地面建筑物形状特征视图,场景特征视图和地面建筑物纹理特征视图三类特征视图中提取特征量;以下步骤为 (1)图像增强步骤,对原始输入图像进行直方图均衡化; (2)背景抑制处理步骤,对直方图均衡化图像进行形态学增强和形态学背景抑制; (3)灰度级合并步骤,对背景抑制处理后的图像进行灰度级合并,减少图像的灰度级; (4)反馈分割步骤,将灰度级合并后的图像进行门限分割,得到二值图像,对该二值图像各感兴趣区域依次进行特征提取与匹配、感兴趣区域与其近邻感兴趣区域的关系特征匹配、多个感兴趣区域之间关系匹配、感兴趣区域对应区域纹理特征匹配和感兴趣区域的近邻感兴趣区域对应区域纹理特征匹配,每次匹配后均需要进行感兴趣区域数量判断; (5)竖条特征检测步骤,用原始输入图像的平均灰度值作为阈值,将原始输入图像转化为二值图像,使用线模板对该二值图像进行检测,输出线条图像,计算线条图像中各竖条长度,根据标准特征库中高度特征量对各竖条进行匹配,筛选出符合条件的竖条; (6)二次特征匹配步骤,综合考虑反馈分割步骤和竖条特征检测步骤的结果,判断在步骤(4)中保留下来的各感兴趣区域在步骤(5)竖条特征检测中对应的区域有无竖条特征,如果存在这些特征则减小该感兴趣区域总误差,否则总误差不变,再根据总误差对各感兴趣区域进行匹配,如果匹配成功保留该感兴趣区域并返回到原始输入图像,对其建筑物进行定位。
所述的一种地面建筑物识别定位方法,所述预先构建标准特征库可以顺序包括下述过程 (1)计算各个特征量 (1.1)待识别地面建筑物在场景视图中高度与其成像距离的乘积Kh、待识别地面建筑物在场景视图中宽度与其成像距离的乘积Kw、待识别地面建筑物的面积因子Ks; Khi=hi×Di i=1,2,3,… Kwi=wj×Di i=1,2,3,… Ksi=si/(hi×wi),i=1,2,3,… 式中,不同视点、不同尺度下待识别建筑物在场景视图中的高度hi,宽度wi,面积si,成像距离Di; (1.2)不同视点、不同尺度下建筑物成像的高度特征量Hi、宽度特征量wi、周长特征量Ci、面积特征量Si和形状因子Fi; Hi=Kh/Di,Wi=Kw/Di,Si=Ks×Hi×Wi,Ci=2×Hi×Wi, (1.3)不同视点、不同尺度下的形态学增强结构元素和形态学背景抑制结构元素; 形态学增强结构元素为不同视点、不同尺度下高宽为1像素×N像素的矩形,N为3~7的自然数; 形态学背景抑制结构元素为不同视点、不同尺度下宽度特征量Wi和高度特征量Hi所构成的矩形; (1.4)不同视点、不同尺度下待识别地面建筑物与周围建筑物关系Ki、待识别地面建筑物之间关系Dij、待识别地面建筑物内部纹理特征Ti、待识别地面建筑物周围场景纹理特征Tin; 其中hi为待识别地面建筑物i在场景视图中高度,hin为待识别地面建筑物i的周围建筑物在场景视图中高度; 待识别地面建筑物个数大于1时, 其中(xi,yi)为待识别地面建筑物i在场景视图中重心坐标,(xj,yj)为待识别地面建筑物j在场景视图中重心坐标,纵向距离加权值p取2~5,横向距离加权值q取1~3;某待识别地面建筑物与近邻各待识别地面建筑物之间最小距离为该待识别地面建筑物的最小距离; 若待识别地面建筑物以水平纹理特征为主,则Ti为 若待识别地面建筑物以竖直纹理特征为主,则Ti为 其中hi为待识别地面建筑物i在场景视图中高度,wi为待识别地面建筑物i在场景视图中宽度; 待识别地面建筑物个数大于1时,考虑Tin, 若待识别地面建筑物的周围建筑物以水平纹理特征为主,则Tin为 若待识别地面建筑物周围建筑物以竖直纹理特征为主,则 其中hin为i待识别地面建筑物的周围建筑物在场景视图中高度,win为i待识别地面建筑物周围建筑物在场景视图中宽度; (2)将所述各类特征值存入数据库中,得到不同视点、不同尺度下地面建筑物的标准特征库;所述视点由成像高度、成像距离和成像点的方位角确定,所述尺度由成像距离确定。
所述的地面建筑物识别定位方法,所述背景抑制处理步骤可以顺序包括下述过程 (1)形态学增强,选择不同视点不同尺度下高宽为1像素×N像素的矩形作为形态学增强结构元素,对直方图均衡化图像进行闭运算,减少待识别建筑物内部纹理信息,增强图像对比度,N为3~7的自然数; (2)形态学背景抑制,选择不同视点不同尺度下标准特征库中宽度特征量和高度特征量所构成的矩形作为形态学背景抑制结构元素,对形态学增强后的图像进行开运算,滤除与待识别建筑物形状明显不同的建筑物或背景,使得图像灰度级别减少。
所述的地面建筑物识别定位方法,其特征在于所述灰度级合并步骤,对背景抑制处理后的图像进行直方图统计,根据阈值对每个灰度值出现的次数进行判断,次数小于阈值的灰度值与最近邻次数大于等于阈值的灰度值进行合并,所述阈值为200~500的整数。
所述的一种地面建筑物识别定位方法,所述反馈分割步骤可以顺序包括下述过程 (1)门限分割,将灰度级合并后的图像,将其灰度级作为门限,进行灰度级门限分割,转为二值图像; (2)特征提取与匹配,标记二值图像中每块区域,计算各标记区域的特征量面积、重心、周长、高度、宽度和形状因子,根据标准特征库中各个特征量,对二值图像中每块标记区域的各特征量进行比较,计算各特征量的误差以及总误差,总误差即各特征量的误差总和,若某感兴趣区域的各特征量的误差以及总误差都在指定范围内,则该感兴趣区域匹配成功,保留匹配成功的感兴趣区域,否则舍弃; (3)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转下一步,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
(4)感兴趣区域与其近邻感兴趣区域的关系特征匹配,计算各感兴趣区域与其近邻感兴趣区域的关系特征Ki′ 其中Hi′为i感兴趣区域高度,Hin′为i感兴趣区域的近邻感兴趣区域高度,将各感兴趣区域Ki′与标准特征库里相应值进行比较,若误差在指定范围内,则匹配成功,保留该感兴趣区域,否则舍弃; (5)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转下一步,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
(6)多个感兴趣区域之间关系匹配,判断待识别建筑物个数是否大于1,否则转过程(8),是则分别计算出过程(4)保留的各感兴趣区域间距离 其中(Xi,Yi)、(Xj,Yj)分别为感兴趣区域i、感兴趣区域j的重心坐标,纵向距离加权值p取2~5,横向距离加权值q取1~3;某感兴趣区域与近邻各感兴趣区域之间最小距离为该感兴趣区域的最小距离,各感兴趣区域的最小距离与标准特征库里相应值进行比较,若误差在指定范围内,则匹配成功,保留该感兴趣区域,否则舍弃; (7)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转下一步,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
(8)感兴趣区域对应区域纹理特征匹配,在原始输入图像中找到过程(6)保留的感兴趣区域的对应区域,计算各个对应区域的纹理特征,与标准特征库相应纹理特征进行比较,若误差在指定范围内,则匹配成功,保留该感兴趣区域,否则舍弃; (9)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转下一步,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
(10)感兴趣区域的近邻感兴趣区域对应区域纹理特征匹配,判断待识别建筑物个数是否大于1,否则转二次特征匹配步骤,是则在原始输入图像中找到过程(8)保留的感兴趣区域的近邻感兴趣区域对应区域,分别计算各个对应区域的纹理特征,与标准特征库相应纹理特征进行比较,若误差在指定范围内,则匹配成功,保留该感兴趣区域,否则舍弃; (11)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转二次特征匹配步骤,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
所述的一种地面建筑物识别定位方法,所述竖条特征检测步骤可以顺序包括下述过程 (1)线检测,用原始输入图像的平均灰度值作为阈值,将原始输入图像转化为二值图像,使用一个垂直线模板和一个水平线模板分别对二值图像进行检测,得到线条图像,将两个方向的线条图像合并为结果线条图像; 其中垂直线模板为 其中水平线模板为 (2)竖条长度筛选,在结果线条图像中计算每个竖条的长度,与标准特征库中高度特征量进行比较,若竖条长度小于标准特征库中高度特征量则舍去,筛选出符合条件的竖条。
所述的一种地面建筑物识别定位方法,所述二次特征匹配步骤可以顺序包括下述过程 (1)在反馈分割步骤中保留下来的各感兴趣区域在竖条特征检测步骤中对应的区域是否有竖条特征,若存在这些特征,则按预设的权重值减小该区域的总误差值,若不存在,则总误差值保持不变; (2)判断某感兴趣区域的总误差值是否小于指定门限,是则将该感兴趣区域确定为待识别建筑物区域,否则舍弃; (3)定位步骤,将该待识别建筑物区域对应到原始输入图像上相应区域,标记区域重心,完成对目标的定位。
本发明通过预先构建待识别建筑物标准特征库,针对地面建筑物的特点,利用数学形态学提取图像的结构信息,在此基础上进一步提取特征量与标准特征库匹配,并考虑待识别建筑物的纹理和场景信息,对前视地面建筑物进行识别定位。已经在直升机上成功用于具有复杂背景的前视地面建筑物识别定位,识别精度高,可靠性好,适用于对不同视点、不同尺度、不同高度的前视地面建筑物进行识别。
图1为直升机前视三维地面建筑物识别定位示意图,其中直升机1,视点2,视场角3,成像高度4,离目标水平距离5; 图2为本发明总体流程示意图; 图3为反馈分割流程示意图; 图4不同视点、不同尺度的电信楼形状特征视图; 图5电信楼场景特征视图,其中(A)为在飞行为东偏北45°方向成像距离6km成像高度1km的场景特征视图;(B)为在飞行为东偏北45°方向成像距离6km成像高度2km的场景特征视图;(C)为在飞行为东偏北45°方向成像距离10km成像高度1km的场景特征视图;(D)为在飞行为东偏北45°方向成像距离10km成像高度2km的场景特征视图; 图6电信楼纹理特征视图,其中(A)为在飞行为东偏北45°方向成像距离6km成像高度1km的纹理特征视图;(B)为在飞行为东偏北45°方向成像距离6km成像高度2km的纹理特征视图;(C)为在飞行为东偏北45°方向成像距离10km成像高度1km的纹理特征视图;(D)为在飞行为东偏北45°方向成像距离10km成像高度2km的纹理特征视图; 图7电信楼在飞行为东偏北45°方向成像距离6km成像高度1km下所成图像; 图8为图7的形态学增强图像; 图9为图8的形态学背景抑制图像; 图10对图9灰度级合并后经第一次门限分割后的二值图像; 图11对图9灰度级合并后经第二次门限分割后的二值图像; 图12对图9灰度级合并后经第三次门限分割后的二值图像; 图13为图7转化的二值图像; 图14对图13线模板检测的结果线条图像; 图15对图14竖条筛选结果图像; 图16电信楼目标定位图像。
具体实施例方式 直升机前视三维地面建筑物识别定位示意图如图1所示,下面参考图2以前视电信楼为例来说明本发明的步骤 (1)预先构建标准特征库,从不同视点、不同尺度电信楼形状特征视图,场景特征视图和纹理特征视图三类特征视图中提取特征量,电信楼形状特征视图如图4所示,电信楼场景特征视图如图5所示,电信楼纹理特征视图如图6所示。
构建在飞行为东偏北45°方向成像距离6km成像高度1km下电信楼地面建筑物标准特征库 (1.1)计算各个特征量 ①Kh、Kw、Ks; 电信楼在场景视图中高度与其成像距离的乘积Khi=hi×Dii=1,…,10,计算得Kh=550; 电信楼在场景视图中宽度与其成像距离的乘积Kwi=wi×Di i=1,…,10,计算得Kw=144; 电信楼的面积因子Ksi=si/(hi×wi),i=1,…,10,计算得Ks=0.79 式中,不同视点、不同尺度下电信楼在场景视图中的高度hi、宽度wi,面积si,成像距离Di; ②在飞行为东偏北45°方向成像距离6km成像高度1km下电信楼成像的高度特征量h1、宽度特征量W1、周长特征量C1、面积特征量S1和形状因子F1; H1=Kh/D1,W1=Kw/D1,S1=Ks×H1×W1,C1=2×H1×W1, 式中,成像距离D1为6km 计算得H1=91像素,W1=24像素,C1=230像素,S1=1725像素,F1=2.44 ③在飞行为东偏北45°方向成像距离6km成像高度1km下的形态学增强结构元素和形态学背景抑制结构元素; 形态学增强结构元素选择高宽为1像素×5像素的矩形; 形态学背景抑制结构元素一般选择宽度特征量W1和高度特征量H1所构成的矩形,由于电信楼底部有侧楼,顶部呈三角形,考虑电信楼目标不被滤去,取电信楼高度特征量、宽度特征量的0.6倍所构成的矩形作为形态学背景抑制结构元素,即形态学背景抑制结构元素为55像素×14像素; ④在飞行为东偏北45°方向成像距离6km成像高度1km下Ki、Dij、Ti、Tin; 电信楼周围没有其它建筑物,所以电信楼与周围建筑物关系K1=0,由于电信楼是惟一待识别目标,所以不用考虑待识别地面建筑物之间距离Dij和待识别地面建筑物周围场景纹理特征Tin,由内部纹理特征公式计算得T1=7.8 (1.2)将所述各类特征值存入数据库中,得到在飞行为东偏北45°方向成像距离6km成像高度1km下电信楼的标准特征库。
(2)图像增强步骤,对原始输入图像进行直方图均衡化,用于增强动态范围偏小的图像反差,增加像素灰度值的动态范围,从而得到增强图像整体对比度的效果,其原始输入图像如图7所示。
(3)背景抑制处理步骤,顺序包括下述过程 (3.1)形态学增强,选择大小为1像素×5像素的矩形作为形态学增强结构元素对直方图均衡化图像进行闭运算,减少待识别建筑物内部纹理信息,增强图像对比度。经形态学增强后结果如图8所示。
(3.2)形态学背景抑制,选用大小为55像素×14像素的矩形形态学结构元素对图8进行开运算。以滤除与电信楼形状和尺度明显不同的建筑物或背景,使得图像灰度级别减少,其结果如图9所示。
(4)灰度级合并步骤,对背景抑制处理后的图像进行直方图统计,根据阈值对每个灰度值出现的次数进行判断,次数小于阈值的灰度值与最近邻的次数大于等于阈值的灰度值进行合并,这里阈值取300。
(5)反馈分割步骤 (5.1)门限分割步骤,对灰度级合并后的图像,将其灰度级作为门限,进行灰度级门限分割,转为二值图像。第一次分割的结果如图10所示,第二次分割的结果如图11所示,第三次分割的结果如图12所示。
(5.2)特征提取步骤,标记二值图像中每块区域,计算各标记区域的特征量面积、重心、周长、高度、宽度和形状因子。第一次分割结果中有一个感兴趣区域,面积S1′=308像素,重心坐标(X1,Y1)=(239像素,12像素)(其中X1表示纵坐标,Y1示横坐标,以下类同),周长C1′=80像素,高度H1′=33像素,宽度W1′=10像素,形状因子F1′=1.78。第二次分割结果中有两个感兴趣区域,面积S1′=474像素,S2′=692像素,重心坐标(X1,Y1)=(165像素,158像素),(X2,Y2)=(239像素,14像素),周长C1′=170像素,C2′=112像素,高度H1′=81像素,H2′=34像素,宽度W1′=8像素,W2′=23像素,形状因子F1′=4.95,F2′=1.39。第三次分割结果中有六个感兴趣区域,面积S1′=1343像素,S2′=153像素,S3′=1038像素,S4′=93像素,S5′=180像素,S6′=140像素,重心坐标(X1,Y1)=(160像素,154像素),(X2,Y2)=(180像素,57像素),(X3,Y3)=(237像素,15像素),(X4,Y4)=(239像素,38像素),(X5,Y5)=(239像素,311像素),(X6,Y6)=(240像素,53像素),周长C1′=186像素,C2′=104像素,C3′=150像素,C4′=64像素,C5′=68像素,C6′=62像素,高度H1′=86像素,H2′=51像素,H3′=40像素,H4′=31像素,H5′=30像素,H6′=28像素,宽度W1′=19像素,W2′=3像素,W3′=31像素,W4′=3像素,W5′=6像素,W6′=5像素,形状因子F1′=2.43,F2′=5.65,F3′=1.43,F4′=3.68,F5′=2.13,F6′=2.30。
(5.3)特征匹配步骤,根据标准特征库中各个特征量对各感兴趣区域进行特征匹配,如果某感兴趣区域匹配成功则保留该区域作为下一步分类的感兴趣区域。第一次和第二次分割后所提取各特征量与标准特征库中各个特征量匹配,没有保留感兴趣区域,第三次分割后所提取各特征量与标准特征库中各个特征量匹配,发现第一块区域匹配成功,记录下该区域作为下一步分类的感兴趣区域。
(5.4)感兴趣区域数量判断,第一次和第二次分割中保留的感兴趣区域个数小于待识别建筑物个数,修改灰度级门限转下次门限分割,第三次分割中保留的感兴趣区域个数不小于待识别建筑物个数,转下一步。
(5.5)感兴趣区域与其近邻感兴趣区域的关系特征匹配,对于(5.3)所保留的第三次分割第一个感兴趣区域,计算该感兴趣区域与其近邻感兴趣区域的关系特征K1′,计算得K1′=0,与特征库中相应值匹配,匹配成功,保留该感兴趣区域。
(5.6)感兴趣区域数量判断,第三次分割中保留的感兴趣区域个数不小于待识别建筑物个数,转下一步。
(5.7)多个感兴趣区域之间关系匹配,电信楼是惟一待识别建筑物,所以不考虑多个感兴趣区域之间关系。
(5.8)感兴趣区域对应区域纹理特征匹配,根据第三次分割图像中第一个感兴趣区域对应到在原始输入图像中的相应区域,再根据电信楼纹理特征确定水平纹理类型,按下式计算纹理特征。
其中Ho为感兴趣区域对应在原始输入图像区域中高度,Wo为电信楼在原始输入图像中宽度,计算得T1′=7.81,与特征库中相应值匹配,匹配成功,保留该区域。
(5.9)感兴趣区域数量判断,第三次分割中保留的感兴趣区域个数不小于待识别建筑物个数,转下一步。
(5.10)电信楼是惟一待识别建筑物,所以不考虑感兴趣区域的近邻感兴趣区域对应区域纹理特征匹配,转二次特征匹配步骤。
(6)竖条特征检测步骤 (6.1)线检测,用原始输入图像的平均灰度值作为阈值,将原始输入图像转化为二值图像,该二值图像如图13所示,使用一个垂直线模板和一个水平线模板分别对图13的二值图像进行检测,得到线条图像,将两个方向的线条图像合并为结果线条图像,如图14所示; 其中垂直线模板为 其中水平线模板为 (6.2)竖条长度筛选,在图14中计算每个竖条的长度,由于电信楼底部有侧楼,顶部呈三角形,所以取标准特征库中高度特征量一半作为门限进行比较,若竖条长度小于该门限则舍去,筛选出符合条件的竖条,竖条高度筛选结果如图15所示。
(7)二次特征匹配步骤 (7.1)反馈分割中保留下来的一个感兴趣区域在竖条特征检测中对应的区域有竖条特征,所以按预设的权重值减小总误差值。
(7.2)该感兴趣区域的总误差值小于指定门限,将该感兴趣区域确定为电信楼的区域。
(7.3)定位步骤,把确定为电信楼的感兴趣区域,对应到原始输入图像上相应区域,标记区域重心,完成对目标的定位,定位图像如图16所示。
权利要求
1.一种地面建筑物识别定位方法,预先构建标准特征库从不同视点、不同尺度地面建筑物形状特征视图,场景特征视图和地面建筑物纹理特征视图三类特征视图中提取特征量;以下步骤为
(1)图像增强步骤,对原始输入图像进行直方图均衡化;
(2)背景抑制处理步骤,对直方图均衡化图像进行形态学增强和形态学背景抑制;
(3)灰度级合并步骤,对背景抑制处理后的图像进行灰度级合并,减少图像的灰度级;
(4)反馈分割步骤,将灰度级合并后的图像进行门限分割,得到二值图像,对该二值图像各感兴趣区域依次进行特征提取与匹配、感兴趣区域与其近邻感兴趣区域的关系特征匹配、多个感兴趣区域之间关系匹配、感兴趣区域对应区域纹理特征匹配和感兴趣区域的近邻感兴趣区域对应区域纹理特征匹配,每次匹配后均需要进行感兴趣区域数量判断;
(5)竖条特征检测步骤,用原始输入图像的平均灰度值作为阈值,将原始输入图像转化为二值图像,使用线模板对该二值图像进行检测,输出线条图像,计算线条图像中各竖条长度,根据标准特征库中高度特征量对各竖条进行匹配,筛选出符合条件的竖条;
(6)二次特征匹配步骤,综合考虑反馈分割步骤和竖条特征检测步骤的结果,判断在步骤(4)中保留下来的各感兴趣区域在步骤(5)竖条特征检测中对应的区域有无竖条特征,如果存在这些特征则减小该感兴趣区域总误差,否则总误差不变,再根据总误差对各感兴趣区域进行匹配,如果匹配成功保留该感兴趣区域并返回到原始输入图像,对其建筑物进行定位。
2.如权利要求1所述的一种地面建筑物识别定位方法,其特征在于所述预先构建标准特征库顺序包括下述过程
(1)计算各个特征量
(1.1)待识别地面建筑物在场景视图中高度与其成像距离的乘积Kh、待识别地面建筑物在场景视图中宽度与其成像距离的乘积Kw、待识别地面建筑物的面积因子Ks;
Khi=hi×Di i=1,2,3,…
Kwi=wi×Di i=1,2,3,…
Ksi=si/(hi×wi),i=1,2,3,…
式中,不同视点、不同尺度下待识别建筑物在场景视图中的高度hi,宽度wi,面积si,成像距离Di;
(1.2)不同视点、不同尺度下建筑物成像的高度特征量Hi、宽度特征量Wi、周长特征量Ci、面积特征量Si和形状因子Fi;
Hi=Kh/Di,Wi=Kw/Di,Si=Ks×Hi×Wi,Ci=2×Hi×Wi,
(1.3)不同视点、不同尺度下的形态学增强结构元素和形态学背景抑制结构元素;
形态学增强结构元素为不同视点、不同尺度下高宽为1像素×N像素的矩形,N为3~7的自然数;
形态学背景抑制结构元素为不同视点、不同尺度下宽度特征量Wi和高度特征量Hi所构成的矩形;
(1.4)不同视点、不同尺度下待识别地面建筑物与周围建筑物关系Ki、待识别地面建筑物之间关系Dij、待识别地面建筑物内部纹理特征Ti、待识别地面建筑物周围场景纹理特征Tin;
其中hi为待识别地面建筑物i在场景视图中高度,hin为待识别地面建筑物i的周围建筑物在场景视图中高度;
待识别地面建筑物个数大于1时,
其中(xi,yi)为待识别地面建筑物i重心坐标,(xj,yj)为待识别地面建筑物j重心坐标,纵向距离加权值p取2~5,横向距离加权值q取1~3;某待识别地面建筑物与近邻各待识别地面建筑物之间最小距离为该待识别地面建筑物的最小距离;
若待识别地面建筑物以水平纹理特征为主,则Ti为
若待识别地面建筑物以竖直纹理特征为主,则Tj为
其中hi为待识别地面建筑物i在场景视图中高度,wi为待识别地面建筑物i在场景视图中宽度;
待识别地面建筑物个数大于1时,考虑Tin,
若待识别地面建筑物的周围建筑物以水平纹理特征为主,则Tin为
若待识别地面建筑物周围建筑物以竖直纹理特征为主,则
其中hin为i待识别地面建筑物的周围建筑物在场景视图中高度,win为i待识别地面建筑物的周围建筑物在场景视图中宽度;
(2)将所述各类特征值存入数据库中,得到不同视点、不同尺度下地面建筑物的标准特征库;所述视点由成像高度、成像距离和成像点的方位角确定,所述尺度由成像距离确定。
3.如权利要求1所述的地面建筑物识别定位方法,其特征在于,所述背景抑制处理步骤顺序包括下述过程
(1)形态学增强,选择不同视点不同尺度下高宽比为1像素×N像素的矩形作为形态学增强结构元素,对直方图均衡化图像进行闭运算,减少待识别建筑物内部纹理信息,增强图像对比度,N为3~7的自然数;
(2)形态学背景抑制,选择不同视点不同尺度下标准特征库中宽度特征量和高度特征量所构成的矩形作为形态学背景抑制结构元素,对形态学增强后的图像进行开运算,滤除与待识别建筑物形状明显不同的建筑物或背景,使得图像灰度级别减少。
4.如权利要求1所述的地面建筑物识别定位方法,其特征在于所述灰度级合并步骤,对背景抑制处理后的图像进行直方图统计,根据阈值对每个灰度值出现的次数进行判断,次数小于阈值的灰度值与最近邻次数大于等于阈值的灰度值进行合并,所述阈值为200~500的整数。
5.如权利要求1所述的一种地面建筑物识别定位方法,其特征在于,所述反馈分割步骤顺序包括下述过程
(1)门限分割,将灰度级合并后的图像,将其灰度级作为门限,进行灰度级门限分割,转为二值图像;
(2)特征提取与匹配,标记二值图像中每块区域,计算各标记区域的特征量面积、重心、周长、高度、宽度和形状因子,根据标准特征库中各个特征量,对二值图像中每块标记区域的各特征量进行比较,计算各特征量的误差以及总误差,总误差即各特征量的误差总和,若某感兴趣区域的各特征量的误差以及总误差都在指定范围内,则该感兴趣区域匹配成功,保留匹配成功的感兴趣区域,否则舍弃;
(3)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转下一步,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
(4)感兴趣区域与其近邻感兴趣区域的关系特征匹配,计算各感兴趣区域与其近邻感兴趣区域的关系特征Ki′
其中Hi′为i感兴趣区域高度,Hin′为i感兴趣区域的近邻感兴趣区域高度,将各感兴趣区域Ki′与标准特征库里相应值进行比较,若误差在指定范围内,则匹配成功,保留该感兴趣区域,否则舍弃;
(5)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转下一步,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
(6)多个感兴趣区域之间关系匹配,判断待识别建筑物个数是否大于1,否则转过程(8),是则分别计算出过程(4)保留的各感兴趣区域间距离
其中(Xi,Yi)、(Xj,Yj)分别为感兴趣区域i、感兴趣区域j的重心坐标,纵向距离加权值p取2~5,横向距离加权值q取1~3;某感兴趣区域与近邻各感兴趣区域之间最小距离为该感兴趣区域的最小距离,各感兴趣区域的最小距离与标准特征库里相应值进行比较,若误差在指定范围内,则匹配成功,保留该感兴趣区域,否则舍弃;
(7)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转下一步,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
(8)感兴趣区域对应区域纹理特征匹配,在原始输入图像中找到过程(6)保留的感兴趣区域的对应区域,计算各个对应区域的纹理特征,与标准特征库相应纹理特征进行比较,若误差在指定范围内,则匹配成功,保留该感兴趣区域,否则舍弃;
(9)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转下一步,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
(10)感兴趣区域的近邻感兴趣区域对应区域纹理特征匹配,判断待识别建筑物个数是否大于1,否则转二次特征匹配步骤,是则在原始输入图像中找到过程(8)保留的感兴趣区域的近邻感兴趣区域对应区域,分别计算各个对应区域的纹理特征,与标准特征库相应纹理特征进行比较,若误差在指定范围内,则匹配成功,保留该感兴趣区域,否则舍弃;
(11)感兴趣区域数量判断,判断保留的感兴趣区域个数是否不小于待识别建筑物个数,是则转二次特征匹配步骤,否则再判断所有灰度级是否分割完,当所有灰度级没有分割完则按从大到小的顺序修改灰度级门限,转过程(1),若所有灰度级分割完则认为该图像不包含待识别建筑物。
6.如权利要求1所述的一种地面建筑物识别定位方法,其特征在于,所述竖条特征检测步骤顺序包括下述过程
(1)线检测,用原始输入图像的平均灰度值作为阈值,将原始输入图像转化为二值图像,使用一个垂直线模板和一个水平线模板分别对二值图像进行检测,得到线条图像,将两个方向的线条图像合并为结果线条图像;
其中垂直线模板为
其中水平线模板为
(2)竖条长度筛选,在结果线条图像中计算每个竖条的长度,与标准特征库中高度特征量进行比较,若竖条长度小于标准特征库中高度特征量则舍去,筛选出符合条件的竖条。
7.如权利要求1所述的一种地面建筑物识别定位方法,其特征在于,所述二次特征匹配步骤顺序包括下述过程
(1)在反馈分割步骤中保留下来的各感兴趣区域在竖条特征检测步骤中对应的区域是否有竖条特征,若存在这些特征,则按预设的权重值减小该区域的总误差值,若不存在,则总误差值保持不变;
(2)判断某感兴趣区域的总误差值是否小于指定门限,是则将该感兴趣区域确定为待识别建筑物区域,否则舍弃;
(3)定位步骤,将该待识别建筑物区域对应到原始输入图像上相应区域,标记区域重心,完成对目标的定位。
全文摘要
一种地面建筑物识别定位方法,属于成像自动目标识别领域,目的在于解决从不同视点、不同尺度、不同高度对地面建筑物识别定位的问题,用于前视识别地面建筑物。本发明预先构建地面建筑物标准特征库,顺序包括图像增强步骤,背景抑制处理步骤,灰度级合并步骤,反馈分割步骤,竖条特征检测步骤和二次特征匹配步骤。本发明针对地面建筑物的特点,利用数学形态学提取图像的结构信息,在此基础上进一步提取特征量与标准特征库匹配,并考虑待识别建筑物的纹理和场景信息,对前视地面建筑物进行识别定位。识别精度高,可靠性好,适用于城市规划、监督、飞行器地标导航、避撞等领域对不同视点、不同尺度、不同高度的前视地面建筑物进行识别。
文档编号G06K9/46GK101114337SQ200710052928
公开日2008年1月30日 申请日期2007年8月8日 优先权日2007年8月8日
发明者张天序, 鹰 路, 杨效余 申请人:华中科技大学