基于视差图的视差方向上连续型物体检测方法和装置制造方法

基于视差图的视差方向上连续型物体检测方法和装置制造方法
【专利摘要】本发明公开了一种基于视差图的视差方向上连续型物体检测方法和装置，该检测方法包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。根据本发明实施例的方法提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检。
【专利说明】基于视差图的视差方向上连续型物体检测方法和装置
【技术领域】
[0001]本发明总体地涉及图像处理，更具体地涉及基于视差图的视差方向上连续型道路分割物检测方法和装置。
【背景技术】
[0002]诸如驾驶辅助系统的应用日渐普及。在驾驶辅助系统中，道路场景物体的检测非常重要。道路场景物体的例子有，路肩石、白线、栅栏、车辆、行人、高楼、树木等。
[0003]对于道路场景物体的检测，根据所进行处理的图像类型，现有的检测方法可大致分为两类，即，基于灰度图的检测方法和基于视差图的检测方法。
[0004]基于灰度图的检测方法在灰度图上基于边缘，颜色，纹理，或者其他灰度图像特征进行物体，其中的一些方法可能利用其他感应器获取物体信息，结合灰度图像进行物体检测。
[0005]例如，在非专利文献1，Giancarlo Alessandretti, Alberto Broggi, and PietroCerri 等人的文章 Vehicle and Guard Rail Detection Using Radar and Vision DataFusion, IEEE2007TRANSACT10NS ON INTELLIGENT TRANSPORTATION SYSTEMS 中，介绍了一种基于雷达成像和视觉成像相结合的车辆与栅栏检测方法。在该方法中，利用雷达定位感兴趣区域，再用灰度图像进行检测。
[0006]该第一类检测方法基于灰度图像进行检测，受环境条件例如光照强度、色彩变化和以及视觉几何形变的影响较大，在实际应用过程中不稳定。例如，图1示出了具有栅栏部分的灰度图像的示例，其中栅栏部分以椭圆形圈出示意。图2示出了光照、背景以及视觉几何变形等各种因素变化下不同灰度图像的示例。可见，环境和几何变形等对灰度图像的形式影响较大，因此对检测结果也具有较大影响。
[0007]另一类方法是基于立体相机获得视差图来进行物体的检测。
[0008]例如，在非专利文献2，即 Zhencheng Hu, Francisco Lamosa and KeiichiUchimura 的文章 A Complete U-V-Disparity Studyfor Stereovision Based3D DrivingEnvironment Analysis, Proceedings ofthe Fifth International Conference on3_DDigital Imaging and Modeling2005中，介绍了一种基于U视差图和V视差图的物体分割的方法。该方法首先进行U视差图和V视差图的计算，然后在U视差图和V视差图上进行线的检测，则检测到的线段有可能是物体的表面，最后U视差图和V视差图上对应具有相同视差值的线段被认为是同一个物体，从而实现物体分割。
[0009]在第二类方法中，存在无法解决遮挡的问题。因为U视差图和V视差图分别是视差图在X和y坐标方向的视差累计图，所以水平和垂直方向上的遮挡问题固有地存在。图3示意性地示出了具有栅栏部分的视差图以及对应的U视差图和V视差图。图4示意性地示出了此时各部分在U视差图和V视差图中对栅栏部分的遮挡情况。
[0010]因此，希望能提供如下技术，该技术既能很好解决环境变化和几何形变的问题，又能解决水平和垂直方向上的遮挡问题。
【发明内容】

[0011]在同一发明人做出的申请号为CN201210147642.5，申请日为2012年5月11日的专利申请中，提出了在视差图中采用平行于地面的切片来切割视差图，然后基于这样的切片的U视差图来检测连续型的道路分割物，例如栅栏。
[0012]在该先前专利申请中，切片的获得从而道路场景物体的检测依赖于路面信息，因此如果路面信息不准确就会大大影响后续的其他检测。
[0013]鉴于上述情况，提出了本发明。
[0014]根据本发明的实施例，提供了一种基于视差图的视差方向上连续型物体检测方法，包括:获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。
[0015]所述按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图可以包括:按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
[0016]在该物体检测方法中，基于各个视差截面图的特征序列识别物体可以包括:确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及在位置上的连续性。
[0017]根据一个实施例，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及基于各个视差截面图的特征序列识别物体包括:将各个视差截面图中的的竖直线段对应于一个视差图中对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。
[0018]根据一个实施例，该物体检测方法还可以包括:在根据预定数目的视差截面图识别出物体之后，根据视差连续性的特征对后续视差截面图中的物体特征进行预测和选取。
[0019]根据本发明另一方面，提供了一种基于视差图的视差方向上连续型物体检测装置，可以包括:视差图获得部件，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；视差截面图获取部件，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；特征提取部件，用于根据待检测物体的特性，从视差截面图中提取特征；以及物体识别部件，用于基于各个视差截面图的特征序列识别物体。
[0020]根据本发明实施例的视差方向上连续型物体检测方法和装置提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检，或者通过UV视差图检测由于遮挡或噪声所产生的误检或者漏检情况，会取得更理想的检测效果。【专利附图】

【附图说明】
[0021]图1示出了具有栅栏部分的灰度图像的示例；
[0022]图2示出了光照、背景以及视觉几何变形等各种因素变化下不同灰度图像的示例；
[0023]图3示意性地示出了具有栅栏部分的视差图以及对应的U视差图和V视差图；
[0024]图4示意性地示出了图3中各部分在U视差图和V视差图中对栅栏部分的遮挡情况；
[0025]图5示出了根据本发明一个实施例的基于视差图的视差方向上连续型物体检测方法的总体流程图；
[0026]图6中的(a)、(b)、(c)示出了根据本发明一个实施例的原始视差图和视差截面图的不意图；
[0027]图7示出了根据本发明一个实施例的按距离从近到远(即，视差值从大到小)的顺序截取的6个视差截面图(按纸面方向，从左到右、从上到下)以及在上面提取的竖直边；
[0028]图8中的(a)、(b)、(c)、(d)示出了根据本发明一个实施例的原始视差图(a)以及物体检测处理中的检测的特征序列(b)、通过追踪的特征预测和过滤的结果(C)、将特征序列对应特征点拟合并获得检测结果(d)在原灰度图中的示意性显示；
[0029]图9示出了根据本发明一个实施例的基于视差图的视差方向上连续型物体检测装置的总体配置的总体框图；以及
[0030]图10是示出按照本发明实施例的具有高度的连续型物体检测系统的总体硬件框图。
【具体实施方式】
[0031]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0032]将按如下顺序进行描述:
[0033]1、词汇解释和基本概念介绍
[0034]2、第一实施例:视差方向上连续型物体检测方法
[0035]3、第二实施例:视差方向上连续型物体检测装置
[0036]4、系统硬件配置
[0037]5、总结
[0038]1、词汇解释和基本概念介绍
[0039]在具体描述之前，首先下面解释一下本文中涉及的一些词汇。
[0040]本文中，“视差截面图”是与确定视差值对应或与确定视差值范围对应的所有像素点形成的视差图横截面，或者可以理解为与深度(或者说距离)方向垂直的切片，该切片可以具有一定厚度，如果切片为不具有厚度的切面，则该视差截面图是由等视差值的像素点形成的图；如果切片具有由某视差值范围表示的厚度，则该视差截面图是由视差值落入该视差值范围内的像素点组成的图。
[0041]“视差方向上连续型物体”指的是沿视差方向延伸的物体，例如栅栏、灌木丛、墙、路肩石、分道线等。[0042]下面介绍一下本文中涉及的基本概念，以便于理解。
[0043]视差，实际指从某一基线两端各引一直线到同一较远物体时，其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。
[0044]视差图(disparitymap)是以任一幅图像为基准,其大小为该基准图像的大小,元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。
[0045]普通视差图中的某点坐标以(x，y，d)表示，其中X为横坐标，y为纵坐标；d为该点(x，y)处的视差。
[0046]2、第一实施例:视差方向上连续型物体检测方法
[0047]下面描述根据本发明一个实施例的、具有高度的连续型道路分割物检测方法的第一示例的整体过程。
[0048]图5示出了根据本发明一个实施例的基于视差图的视差方向上连续型物体检测方法100的总体流程图。
[0049]如图5所示，在步骤SllO中，获得包括该连续型物体的视差图，该物体在视差方向上连续。
[0050]任何现有的获取视差图的方法均可以用于本发明。例如，可以通过双目相机、多目相机、立体相机拍摄并计算得到包括该连续型道路分割物部分的视差图，具体地，例如，可以通过双目相机来拍得左图像和右图像，基于左图像和右图像计算得到视差图。或者，可以从立体视图中获得深度图，根据深度图得到视差图。
[0051]在步骤S120中，按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图。
[0052]如前所述,视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面。一般地，视差截面图可以看成是远近剖面图，是由与某一视差值对应的所有视差点所形成的视差图横截面或者是视差值落入某一视差值范围的所有视差点所形成的视差图横截片。下文中，为描述方便，所述的视差图横截面包括具有一定厚度的视差图横截片，即不管切片是否具有厚度，均统一称为“视差截面图”或“视差图横截面”。
[0053]在后文中，为描述方便，认为视差截面图垂直于地面。不过需要说明的是，如果进行拍摄的立体相机的光轴与地面不平行，则视差截面图与地面并不垂直，本发明也适用于视差截面图与地面不垂直的情况。
[0054]根据一个实施例，通过遍历原始视差图，按视差值从大到小的顺序，选取各个视差值，从而形成一系列的视差截面图。这里优选地按照从大到小的顺序来进行各个视差截面图的选取乃至后面陈述的针对各个视差截面图的特征提取。这是因为，根据下面的公式
(I)，视差值与距离成反比例关系，按照视差值从大到小的顺序，即按照距立体相机的距离从近到远的顺序，距离越近的视差截面图很有更丰富和准确的图面信息，因此更适合于作为检测的开始，而且按照距离立体相机从近到远的顺序截取和处理视差截面图，适于后文描述对远处的视差界面图中特征的预测和追踪。
[0055]d=b*f/z...(I)[0056]其中d是视差值，b是立体相机两镜头中心距离，f是相机焦距，z是相对于相机的距离，其中b和f是固定值，由相机自身决定。
[0057]这里顺便说一下，由该公式(I)，可进一步看出，在立体相机的光轴与地面平行的情况下，一系列的视差截面图就相当于三维世界中的一系列垂直于地面的剖面图。
[0058]根据另一实施例，替代通过与某一视差值对应的所有视差点来形成视差截面图，利用落入某一视差值范围内的所有视差点来形成视差截面图，以便减小噪音干扰和提高运
算效率。
[0059]图6示出了根据本发明一个实施例的原始视差图和视差截面图的示意图，其中图6中的(a)表示原始视差图，图6中的(b)和(C)表示在不同距离范围处的两个视差截面图。这里说明一下，图6中的(a)本来为彩色图，其中不同的颜色表示不同视差值，即对应于不同深度或距离，但因为专利图不允许存在彩色图，因此这里以不同深浅的黑白图来替代原彩色图。图6中的(b)和(C)分别表示在两个不同视差值范围内对应视差点所形成的视差截面图，具体地分别是视差值为397-401 (16倍像素距离)，和577-581范围内的视差点所形成截面图，截面图中包含了 5个视差值对应的视差点。在图6的示例中，视差截面图是垂直于地面的距离剖面图，包含了物体横截面特征信息。
[0060]另外，根据另一个实施例，为了提升算法效率，可以采用下采样来减少计算量，例如每隔视差值20或者别的数值选取一次视差横截面，然后离散的组成视差截面图的序列。而且，视差值的范围(或者说，切片的厚度)以及这些视差值范围之间的间隔(切片之间的间隔)可以不是固定的，而是可变的，有关取值可以根据实际应用来人工设定或者通过学习来自动设定。
[0061]另外，根据一个实施例，按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
[0062]具体地，根据公式(1)，按照例如每IOOcm的距离(即z=100)，如，100cm-200cm、200cm-300cm等等的距离，对应地即bf/100-bf/200、bf/200-bf/300等等的视差间隔获取视差截面图。按这样的与实际3D中的等距离对应的视差间隔获取视差截面图，可以进一步确保下文所述的特征序列的周期性特性，便于进行精确的物体检测。
[0063]在步骤S130中，根据待检测物体的特性，从视差截面图中提取特征。
[0064]不同的物体在视差截面图中表现出来的特征也不同。
[0065]例如，对于路边连续物体，如栅栏、灌木丛，围墙、路肩石等，他们在视差截面图中的共同特征是:存在小的竖直边位于道路两侧；并且这些小的竖直边在不同深度的相邻视差截面图中具有高度和位置基本连续的特征，换句话说在相邻的视差截面图中，小的竖直边相对位置或者尺寸变化很小，也可以说是远近距离方向上连续；再例如路肩石，其特征和栅栏很相似，只是高度会比较小并且一般是固定高度。再例如，车道线也是一种道路场景中的在距离方向上的连续物体，其在视差截面图中的特征是不具备高度，正好落在路面上，有一定的固定左右宽度，并且在远近距离方向上连续。
[0066]一般地，道路场景中的在距离方向上的连续物体是一种沿距离方向周期性重复的物体，因此其在视差截面图中的特征也会呈现出这种周期性，而且因为去除了原视差图中的遮挡，因此更适合于利用视差截面图序列中的特征来进行识别。
[0067]需要说明的是，这种距离方向上连续的物体，个别的也会有间隔连续特征，如虚线型的车道线或者一些特别的栅栏，但是即便如此，其也体现出距离方向上周期性重复的特征，因此同样适合于应用视差截面图的方法来进行检测。
[0068]相比之下，对于道路场景中的车辆，行人，路边楼房，或者其他的孤立型物体，它们在远近距离方向上占据的位置空间不如道路上连续物体占用的长，因此它们在距离方向上连续性不强，在一个或者少数几个相邻视差截面图上有大片的轮廓特征，采用现有的基本的物体特征就可以实现识别。例如，车辆的轮廓特征是对称的，矩形，行人的轮廓特征是有一定宽高比例的长条形，而楼房的轮阔特征是矩形或者半矩形框架之类，但是所有的这类孤立物体都可以通过前面道路场景的识别结果进行位置和逻辑关系的判定来确定。因此，对于此类非沿距离方向连续的物体的检测，根据本发明实施例的基于视差截面图序列来提取特征序列进而进行检测的方法虽然也可以应用，但是并不具有特别优势。
[0069]需要说明的是，之前提到的高度，理想来说是相对于路面的高度，但是如前所述，本发明的基于视差截面图序列的技术并不依赖于路面高度的知识，而且，在本发明实施例中，实际过程中并不具有路面高度或者物体相对于路面的高度信息，物体的高度是根据视差图中例如线段的长度估计出来的。
[0070]从视差截面图中提取的特征可以包括下列中的至少一个:线段、点。
[0071]作为示例，下文将以检测栅栏为例说明根据本发明实施例的基于视差截面图序列检测物体的方法的实施，不过该方法可以类似地应用于其他的连续物体检测方法。
[0072]具体地，对于栅栏检测，提取出小的竖直边作为栅栏的主要特征。
[0073]图7示出了根据本发明一个实施例的按距离从近到远(即，视差值从大到小)的顺序截取的6个视差截面图(按纸面方向，从左到右、从上到下)以及在上面提取的小的竖直边。
[0074]如图7所示，在每一个视差截面图中，小的竖直边被检测和提取出来，标记为红线。由于视差值与距离成反比例关系，同时根据成像原理，成像尺寸和距离成反比，因此可以有以下等式，
[0075]D/B=F/Z=H/Y[0076]其中d是视差值，B是立体相机两镜头中心距离，f是相机焦距，Z是物体距相机中心的距离，h是相机成像后图片中(更确切地，相机内部胶片或者CCD上)物体的高度或者宽度，Y是物体实际的高度或者宽度。由此可知，由于物体实际尺寸固定，因此表示栅栏的竖直边高度h与视差值d成正比例关系。举个例子，实际3D世界中通常栅栏的高度在900mm±50mm，因此视差图中表示栅栏的竖直边高度h范围可以由公式(2)算出，h= (d*850/B，d*950/B)，从而基于此竖直边高度h范围可以选择表示栅栏特征的小竖直边。
[0077]当然，在识别例如路肩石的情况下，视差截面图中表示路肩石的竖直边高度范围与此不同。以及在识别例如车道线的情况下，应该选取视差截面图中、落入对应的宽度范围的横向线段。
[0078]在步骤S140中，基于各个视差截面图的特征序列识别物体。
[0079]根据一个实施例，可以基于一些预定规则来基于各个视差截面图的特征序列识别物体:例如，一个规则是，确定相邻的视差截面图中相应特征在形状上的相似度以及在图中位置上的差别，有关差别是否小于预定阈值(或者相似度是否大于预定阈值)。[0080]此操作的目的在于判断在有关特征在不同的视差截面图中是否周期性的出现。一种具体实现示例为:为了评估视差截面图1中的特征A和视差截面图2中的特征B之间的相似性，将一个视差截面图1中的特征A换算到另一个视差截面图中，得到特征A’。比如，以栅栏识别为例，假设视差截面图1对应的视差值为100，存在小竖直边A ;视差截面图2对应的视差值为200，存在小竖直边B。将视差截面图1中的小竖直边A的高度hA除以2得到了在视差截面图2中的换算高度h / =hA/2，然后可以通过计算I h / -匕|/\计算两者高度上的差别。类似地，可以通过换算评价两特征在位置上的差别。
[0081]对于栅栏识别，另一规则为:在视差截面图上，是否存在相对于图像近似对称的居于两侧的小竖直边。这是因为在实际3D世界中，栅栏一般是相对于路面左右对称布置的。
[0082]根据另一实施例，可以通过进行特征的直线或曲线拟合来基于特征序列识别物体。
[0083]例如，对于栅栏识别而言，在视差图中，其上端的连线一般近似为直线，以及其下端的连续也近似为直线。
[0084]为此，可以选取之前获得的小竖直边的上端点，将这样的端点放在一张图上，例如原始的视差图上(去除所有其余像素点)，然后利用直线提取方法例如霍夫变换或者最小二乘法来在该图中检测直线，判断是否存在一条覆盖大部分上端点的直线；类似地，可以选取之前获得的小竖直边的下端点，将这样的端点放在一张图上，例如原始的视差图上(去除所有其余像素点)，然后利用直线提取方法例如霍夫变换或者最小二乘法来在该图中检测直线，判断是否存在一条覆盖大部分下端点的直线。并且如果存在，则检测这样的上下两条直线表征了栅栏，并可以确定栅栏的位置并进行输出，例如向驾驶员提供声音或者可视性预警“左侧20cm处有栅栏，请勿靠近”。
[0085]在例如基于预定数目的视差截面图检测到了栅栏之后，可以利用这样的检测结果来对后续的视差截面图中的栅栏特征进行预测和追踪或选取。追踪方法可以是现有任何方法，例如平均值法，差值法的简单模型。
[0086]为了更好说明追踪的概念，观察图7，其中白色线段是在图5的S130步骤中所获得的栅栏特征，如果我们把所有的在不同距离的视差截面图中的特征放在一张图上，便形成了图8中的(b)图，因此通过由距离方向上的追踪便可以去除孤立的不连续的栅栏特征(图8中的(a)图为原始视差图，供对比用)。如图7中上一排的最右侧的图所示，其中中间的两条小竖直边在距离方向上满足追踪预测，将被保留，但是另外两个竖直边则在距离方向上不能满足追踪预测，将被去掉。通过距离方向上的追踪，特征点被过滤，只有满足要求的点才被保留，如图8中(c)所示，对比于(b)，楼房，车辆或者路面上所形成的特征点或者噪声被过滤掉，保留下来的大部分特征点都是栅栏的特征。图8中的(d)表示将特征序列对应特征点拟合并获得检测结果的示意图。
[0087]根据另一个实施例，在根据预定数目的视差截面图识别出物体之后，如果在后续的视差截面图中对物体的特征追踪失败，例如在后续的连续多个视差截面图中不存在利用追踪预测到的特征，则这可能从一个方面指示先前识别的准确度不高，因此可以丢弃先前的检测结果，将新的视差截面图的特征连同先前的视差截面图中的特征合并起来，重新进行检测。
[0088]或者，在先前的检测中，例如仍以栅栏为例，如果霍夫变换或者最小二乘法拟合得到多条备选直线，则可以为各条备选直线赋予置信度，然后通过后续追踪的结果来验证或更新所选直线的置信度，或者如果发现所选择的直线不能很好地追踪后续视差截面图中的栅栏特征，则可以丢弃所选择的直线，而选择备选直线中的另一条直线来表征栅栏。
[0089]或者，如果利用先前检测的结果对后续的视差截面图中的特征追踪失败，则这也可能意味着路况发生了变化，例如由直路变成了弯路，此时可以考虑变换对栅栏端点的拟合模型，例如替代利用直线来拟合栅栏的上端点，改为用二次曲线来拟合栅栏的上端点。
[0090]前面以检测栅栏为例说明了本发明的基于视差截面图序列来检测物体的方法。不过这仅为示例，本发明并不局限于此，如前所述，可以应用于检测诸如路肩石、车道线、灌木、侧墙等沿距离方向连续的物体。而且，本发明也可以应用于检测诸如车辆、行人、楼房、路牌等相对非沿距离方向连续的物体，只是本发明特别适合于沿距离方向连续的物体的检测。
[0091]根据本发明实施例的方法提取出视差截面图序列，进行特征的提取和物体的识另O，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检，或者通过UV视差图检测由于遮挡或噪声所产生的误检或者漏检情况，会取得更理想的检测效果。
[0092]3、第二实施例:视差方向上连续型物体检测装置
[0093]图9示出了根据本发明一个实施例的基于视差图的视差方向上连续型物体检测装置的总体配置2000的总体框图。
[0094]如图9所示，该视差方向上连续型物体检测装置2000可以包括:视差图获得部件2100，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；视差截面图获取部件2200，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；特征提取部件2300，用于根据待检测物体的特性，从视差截面图中提取特征；以及物体识别部件2400，用于基于各个视差截面图的特征序列识别物体。
[0095]有关视差方向上连续型物体检测装置的视差图获得部件2100、视差截面图获取部件2200、特征提取部件2300、物体识别部件2400的操作可以参考结合图5所示的流程图的各个步骤的描述，这里不再赘述。
[0096]4、系统硬件配置
[0097]本发明还可以通过一种具有高度的连续型物体检测硬件系统来实施。图10是示出按照本发明实施例的具有高度的连续型物体检测系统1000的总体硬件框图。如图10所示，具有高度的连续型物体检测系统1000可以包括:输入设备1100，用于从外部输入有关图像或信息，例如立体相机拍摄的左右图像或深度信息，或者连续型道路分割物部分的视差图等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的视差方向上连续型道路分割物检测方法，或者实施为上述的视差方向上连续型道路分割物检测装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络(未示出)，根据处理过程的需要向远程传送处理后的图像等等；输出设备1300，用于向外部输出实施视差方向上连续型道路分割物检测所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述视差方向上连续型道路分割物检测过程所涉及的图像、视差图、视差截面图、特征等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
[0098]5、总结
[0099]根据本发明的实施例，提供了一种基于视差图的视差方向上连续型物体检测方法，包括:获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。
[0100]所述按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图可以包括:按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
[0101]在该物体检测方法中，基于各个视差截面图的特征序列识别物体可以包括:确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及在位置上的连续性。
[0102]根据一个实施例，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及基于各个视差截面图的特征序列识别物体包括:将各个视差截面图中的的竖直线段对应于一个视差图中对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。
[0103]根据一个实施例，该物体检测方法还可以包括:在根据预定数目的视差截面图识别出物体之后，根据视差连续性的特征对后续视差截面图中的物体特征进行预测和选取。
[0104]根据本发明另一方面，提供了一种基于视差图的视差方向上连续型物体检测装置，可以包括:视差图获得部件，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；视差截面图获取部件，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；特征提取部件，用于根据待检测物体的特性，从视差截面图中提取特征；以及物体识别部件，用于基于各个视差截面图的特征序列识别物体。
[0105]根据本发明实施例的视差方向上连续型物体检测方法和装置提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检，或者通过UV视差图检测由于遮挡或噪声所产生的误检或者漏检情况，会取得更理想的检测效果。
[0106]前述对各个实施例描述仅为说明性的，本领域技术人员可以根据需要进行很多修改和/或替换，这些修改和/或替换未脱离本发明的原理，应视为落入本发明的保护范围。
[0107]再例如，前述实施例中以栅栏为例说明本发明的技术，不过本发明不限于此，而是可以应用于检测任何具有视差方向上连续型道路分割物，例如灌木、路肩石、车道线等。更进一步地，实际上，本发明也不限于视差方向上连续型道路分割物的检测，而是可以应用于检测任何物体。只不过，本发明特别适用于检测视差方向上的重复切片具有类似性的任何物体。
[0108]此外，前述实施例中，以视差截面图与地面垂直为例进行说明。不过，如前所述，这仅为描述方便进行此假设，实际上，在立体相机的光轴与地面不平行的情况下，视差截面图与对面并不垂直，但是此时本发明仍然适用。
[0109]以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
[0110]因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
[0111]还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
[0112]上述【具体实施方式】，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
【权利要求】
1.一种基于视差图的视差方向上连续型物体检测方法，包括: 获得包括该连续型物体的视差图，该物体在视差方向上连续； 按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面； 根据待检测物体的特性，从视差截面图中提取特征；以及 基于各个视差截面图的特征序列识别物体。
2.如权利要求1所述的物体检测方法，所述按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图包括: 按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
3.如权利要求1所述的物体检测方法，其中，从视差截面图中提取的特征包括:基于物体实际的高度或者宽度与视差值成正比例关系的特性，确定在对应的视差截面图中物体的高度或者宽度，从而选择对应尺寸的特征。
4.如权利要求1所述的物体检测方法，基于各个视差截面图的特征序列识别物体包`括: 确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及在位置上的连续性。
5.如权利要求1所述的物体检测方法，其中，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种， 所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及 基于各个视差截面图的特征序列识别物体包括: 将各个视差截面图中的的竖直线段对应于一个视差图中， 对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合； 判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及 如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。
6.如权利要求1或5所述的物体检测方法，在根据预定数目的视差截面图识别出物体之后，根据视差连续性的特征对后续视差截面图中的物体特征进行预测和选取。
7.一种基于视差图的视差方向上连续型物体检测装置，包括: 视差图获得部件，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；视差截面图获取部件，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面； 特征提取部件，用于根据待检测物体的特性，从视差截面图中提取特征；以及 物体识别部件，用于基于各个视差截面图的特征序列识别物体。
8.如权利要求7所述的物体检测装置，所述视差截面图获取部件按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图包括: 按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
9.如权利要求7所述的物体检测装置，物体识别部件基于各个视差截面图的特征序列识别物体包括: 确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及位置上的连续性。
10.如权利要求7所述的物体检测装置，其中，其中，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种， 所述特征提取部件根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及 所述物体识别部件基于各个视差截面图的特征序列识别物体包括: 将各个视差截面图中的的竖直线段对应于一个视差图中， 对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合； 判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及 如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确 定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。
【文档编号】G06T7/00GK103871042SQ201210535689
【公开日】2014年6月18日 申请日期:2012年12月12日 优先权日:2012年12月12日
【发明者】刘殿超, 刘媛, 胡平, 师忠超, 鲁耀杰 申请人:株式会社理光