三维物体检测装置和三维物体检测方法

三维物体检测装置和三维物体检测方法
【专利摘要】具备：三维物体检测部(33、37)，其根据摄像头(10)的车辆后方的图像信息检测在车辆后方的检测区域(A1、A2)存在的三维物体；静止物体判断部(38)，其根据前次处理的结果，计算周期性评价值和不规则性评价值，在周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值、不规则性评价值小于规定的不规则性评价阈值的情况下，判断为检测出的三维物体是沿着本车辆(V)的行驶道路存在的树木的影子(树荫Q1)；以及控制部(39)，其进行各处理的控制，其中，控制部(39)在由静止物体判断部(38)判断为检测出的三维物体是树荫(Q1)的情况下，抑制检测出的三维物体被判断为是其它车辆(VX)。
【专利说明】三维物体检测装置和三维物体检测方法

【技术领域】
[0001]本发明涉及一种三维物体检测装置和三维物体检测方法。
[0002]本申请主张2012年4月16日申请的日本特许申请的特愿2012-092912的优先权，针对文献参照中引入的指定国，通过参照上述申请所记载的内容来引入本申请中，并作为本申请的记载的一部分。

【背景技术】
[0003]已知如下一种检测装置(参照专利文献I):具备拍摄车辆侧方的摄像头，通过将由摄像头拍摄到的图像与预先存储的图案进行匹配，来检测道路外的灌木丛等三维物体。
[0004]专利文献1:日本特开2008-227646号公报


【发明内容】

[0005]发明要解决的问题
[0006]然而，如林荫道中所见到那样的具备能够保持形状的树干和形状变化的树叶的树木的影子的图像具备周期性和不规则性，因此存在难以统一地掌握图像的特征、难以从包含各种三维物体的像的摄像图像中识别树木的影子的像这样的问题。
[0007]本发明要解决的课题在于提供一种能够防止将具备周期性和不规则性的树木的影子错误检测为行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆来高精度地检测行驶于邻近车道的其它车辆的三维物体检测装置。
[0008]用于解决问题的方案
[0009]本发明根据摄像图像的差分波形信息或边缘信息来计算用于评价周期性的周期性评价值和用于评价不规则性的不规则性评价值，在计算出的周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值、计算出的不规则性评价值小于规定的不规则性评价阈值的情况下，判断为所检测出的三维物体是沿着本车辆的行驶道路存在的树木的影子，由此解决上述课题。
[0010]发明的效果
[0011]根据本发明，在根据基于摄像图像计算出的差分波形信息或边缘信息所计算出的周期性评价值在规定值域内、同样根据差分波形信息或边缘信息计算出的不规则性评价值为规定的阈值以上的情况下，能够识别出在图像信息中包含具备周期性和不规则性的树木的影子，因此能够防止将沿着车辆的行驶道路存在的树木的影子错误检测为行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆。其结果，能够提供一种高精度地检测行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆的三维物体检测装置。

【专利附图】

【附图说明】
[0012]图1是表示应用了本发明的三维物体检测装置的一个实施方式所涉及的车辆的概要结构图。
[0013]图2是表示图1的车辆的行驶状态的平面图(基于差分波形信息的三维物体检测)。
[0014]图3是表示图1的计算机的详细内容的框图。
[0015]图4是用于说明图3的对位部的处理概要的图，(a)是表示车辆的移动状态的俯视图，(b)是表示对位的概要的图像。
[0016]图5是表示图3的三维物体检测部生成差分波形的情形的概要图。
[0017]图6是表示由图3的三维物体检测部分割的小区域的图。
[0018]图7是表示由图3的三维物体检测部得到的直方图的一例的图。
[0019]图8是表示图3的三维物体检测部的加权的图。
[0020]图9是表示图3的拖影检测部的处理以及基于该处理计算差分波形的处理的图。
[0021]图10是表示由图3的三维物体检测部得到的直方图的另一例的图。
[0022]图11是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之一)。
[0023]图12是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之二)。
[0024]图13是表示图1的车辆的行驶状态的图(基于边缘信息的三维物体检测)，(a)是表示检测区域等的位置关系的俯视图，(b)是表示实际空间中的检测区域等的位置关系的立体图。
[0025]图14是用于说明图3的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
[0026]图15是用于说明图3的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。
[0027]图16是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域存在三维物体(车辆)时的亮度分布的图，(b)是表示在检测区域不存在三维物体时的亮度分布的图。
[0028]图17是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之一)。
[0029]图18是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之二)。
[0030]图19是表示用于说明边缘检测动作的图像例的图。
[0031]图20表示映现有树荫的检测区域的第一图。
[0032]图21是表示映现有树荫的检测区域的第二图。
[0033]图22是表示映现有树荫的检测区域的第三图。
[0034]图23是表示各检测对象的周期性评价值与不规则性评价值的关系的一例的表。
[0035]图24是表示包含树荫的判定处理的控制过程的另一例的流程图。
[0036]图25是用于说明移动量候选的计算处理的图，图25的(a)表示在时刻t的差分图像rot，图25的(b)表示在时刻t-1的差分图像rot-1。
[0037]图26是表示对位部和三维物体检测部的处理的流程图。
[0038]图27是表示周期性评价部的处理的流程图。
[0039]图28是表示所生成的直方图的图。
[0040]图29是表示周期性评价处理的动作过程的图。
[0041]图30是用于说明图29所示的步骤S27的图，(a)表示其它车辆驶入于周期性的静止物体的前侧的情况，(b)表示(a)的场面中的直方图，(C)表示其它车辆驶入于周期性的静止物体的后侧的情况，(d)表示(C)的场面中的直方图。
[0042]图31是用于说明边缘分布计算处理、计数处理、周期性的静止物体候选检测处理以及周期性的静止物体判断处理的图。
[0043]图32是表示周期性的静止物体的判断处理的动作过程的第一流程图。
[0044]图33是表示周期性的静止物体的判断处理的动作过程的第二流程图。
[0045]图34是表示检测区域的鸟瞰视点图像数据上的边缘点的图。
[0046]图35是表示鸟瞰视点图像数据中的边缘点的图，(a)表示车辆(轮胎部分)的边缘点，(b)表示草的边缘点，(C)表示雪的边缘点。
[0047]图36是表示不规则性评价处理的流程图。

【具体实施方式】
[0048]图1是应用了本发明的三维物体检测装置I的一个实施方式所涉及的车辆的概要结构图，本例的三维物体检测装置I是将本车辆V的驾驶员在驾驶过程中应予以注意的其它车辆、例如本车辆V在车道变更时有可能接触的其它车辆检测为障碍物的装置。特别地，本例的三维物体检测装置I检测行驶于与本车辆所行驶的车道相邻的邻近车道(以下也仅称为邻近车道)的其它车辆。另外，本例的三维物体检测装置I能够计算检测出的其它车辆的移动距离、移动速度。因此，以下说明的一例设为表示如下的例子:将三维物体检测装置I搭载于本车辆V，检测在本车辆周围检测出的三维物体中的行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆。如该图所示，本例的三维物体检测装置I具备摄像头
10、车速传感器20、计算机30、明亮度传感器50以及当前位置检测装置60。
[0049]摄像头10如图1所示那样在本车辆V的后方的高度h的位置以光轴相对于水平向下形成角度Θ的方式安装在本车辆V上。摄像头10从该位置拍摄本车辆V的周围环境中的规定区域。在本实施方式中，为了检测本车辆V的后方的三维物体而设置的摄像头I是一个，但是也能够设置例如用于获取车辆周围的图像的其它摄像头以用于其它用途。车速传感器20检测本车辆V的行驶速度，并根据例如由检测车轮转速的车轮速度传感器检测出的车轮速度来计算车速。计算机30检测车辆后方的三维物体，并且在本例中计算关于该三维物体的移动距离和移动速度。明亮度传感器50检测本车辆V周围的明亮度。明亮度传感器50可以由照度计构成，也可以构成为能够从摄像头10的图像信息获取明亮度信息。另外，也能够不直接检测明亮度，而参照将地点与日落时刻对应起来的日历信息，根据当前位置和时刻来检测本车辆V周围的当前的明亮度。当前位置检测装置60还能够从具备GPS的本车辆V的导航装置、内置有GPS的便携式的导航装置来获取位置信息。
[0050]图2是表示图1的本车辆V的行驶状态的平面图。如该图所示，摄像头10以规定的视角a拍摄车辆后方侧。此时，摄像头10的视角a被设定为除了能够拍摄到本车辆V所行驶的车道以外还能够拍摄到其左右的车道的视角。能够拍摄的区域包含在本车辆V的后方与本车辆V的行驶车道左右相邻的邻近车道上的检测对象区域Al、A2。
[0051]图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像头10、车速传感器20、明亮度传感器50以及当前位置检测装置60。
[0052]如图3所示，计算机30具备视点变换部31、对位部32、三维物体检测部33、检测区域设定部34以及拖影检测部40。本实施方式的计算部30是与利用差分波形信息检测三维物体的检测模块有关的结构。本实施方式的计算部30也能够设为与利用边缘信息检测三维物体的检测模块有关的结构。该情况能够将图3所示的结构中的由对位部32以及三维物体检测部33构成的模块结构A替换为用虚线包围的由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成的模块结构B来构成。当然能够具备模块结构A和模块结构B两方，能够利用差分波形信息进行三维物体的检测，并且还能够利用边缘信息进行三维物体的检测。在具备模块结构A和模块结构B的情况下，例如能够与明亮度等环境因素相应地使模块结构A和模块结构B中的某一个进行动作。以下，关于各结构进行说明。
[0053]<利用差分波形信息检测三维物体>
[0054]本实施方式的三维物体检测装置I根据由拍摄车辆后方的单眼的摄像头I获得的图像信息来检测在车辆后方的右侧邻近车道的检测区域Al或左侧邻近车道的检测区域A2存在的三维物体。检测区域设定部34在拍摄得到的图像信息内针对本车辆V后方的右侧和左侧分别设定检测区域Al、A2。该检测区域Al、A2的位置不特别地进行限定，也能够根据处理条件适当地进行设定。
[0055]接着，针对视点变换部进行说明。视点变换部31输入由摄像头10拍摄得到的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像头的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。之所以将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群这样的原理，利用该原理能够识别平面物体和三维物体。此外，在后述的利用边缘信息检测三维物体中也使用视点变换部31的图像变换处理的结果。
[0056]对位部32依次输入通过视点变换部31的视点变换得到的鸟瞰视点图像数据，并使所输入的不同时刻的鸟瞰视点图像数据的位置一致。图4是用于说明对位部32的处理概要的图，(a)是表示本车辆V的移动状态的俯视图，(b)是表示对位的概要的图像。
[0057]如图4的(a)所示，设为当前时刻的本车辆V位于VI，前一时刻的本车辆V位于V2。另外，设为其它车辆VX位于本车辆V的后侧方向并与本车辆V处于并列行驶状态，当前时刻的其它车辆VX位于V3，前一时刻的其它车辆VX位于V4。并且，设为本车辆V在一时刻移动了距离d。此外，前一时刻可以是从当前时刻起经过预先决定的时间(例如一个控制周期)的过去的时刻，也可以是经过任意的时间的过去的时刻。
[0058]在这样的状态中，当前时刻的鸟瞰视点图像PBt如图4的(b)所示那样。在该鸟瞰视点图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是处于位置V3的其它车辆VX的位置发生了倾倒。另外，前一时刻的鸟瞰视点图像PBw也同样地，描绘在路面上的白线为矩形状，是比较准确地以顶视观察所形成的状态，但是处于位置V4的其它车辆VX发生了倾倒。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包含在三维空间中从路面向上延伸的边缘)通过视点变换为鸟瞰视点图像数据的处理而表现为沿着倾倒方向的直线群，与此相对地路面上的平面图像不包含铅垂边缘，因此即使进行视点变换也不会产生那样的倾倒。
[0059]对位部32在数据上执行如上所述的鸟瞰视点图像PBpPBw的对位。此时，对位部32使前一时刻的鸟瞰视点图像PBw偏移来使位置与当前时刻的鸟瞰视点图像PBt相一致。图4的(b)的左侧的图像和中央的图像表示偏移了移动距离d’后的状态。该偏移量d’是与图4的(a)所示的本车辆V的实际的移动距离d对应的鸟瞰视点图像数据上的移动量，根据来自车速传感器20的信号和从前一时刻至当前时刻的时间来决定。
[0060]另外，在对位之后，对位部32取鸟瞰视点图像PBt、PBt_i的差分，生成差分图像I3Dt的数据。在此，差分图像PDt的像素值可以是将鸟瞰视点图像PBt、PBt^1的像素值之差绝对值化得到的像素值，也可以为了对应照度环境的变化而在该绝对值超过规定的阈值P时设为“1”，在不超过规定的阈值P时设为“O”。图4的(b)的右侧的图像是差分图像rot。
[0061]返回图3，三维物体检测部33根据图4的(b)所示的差分图像PDt的数据来检测三维物体。此时,本例的三维物体检测部33还计算在实际空间中的三维物体的移动距离。在检测三维物体以及计算移动距离时，三维物体检测部33首先生成差分波形。此外，在三维物体的移动速度的计算中使用三维物体的每单位时间的移动距离。而且，三维物体的移动速度能够在判断三维物体是否为车辆时使用。
[0062]在生成差分波形时，本实施方式的三维物体检测部33在差分图像PDt中设定检测区域。本例的三维物体检测装置I将本车辆V的驾驶员予以注意的其它车辆、特别是在本车辆V进行车道变更时有可能接触的行驶于与本车辆V所行驶的车道相邻的车道的其它车辆作为检测对象物进行检测。因此，在根据图像信息检测三维物体的本例中，在由摄像头I得到的图像中的本车辆V的右侧和左侧设定两个检测区域。具体地说，在本实施方式中，如图2所示那样在本车辆V后方的左侧和右侧设定矩形状的检测区域A1、A2。在该检测区域Al、A2中检测出的其它车辆被检测为与本车辆V所行驶的车道相邻的邻近车道的障碍物。此外，这样的检测区域A1、A2可以根据相对于本车辆V的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，移动距离检测装置I例如最好利用已有的白线识别技术等。
[0063]另外，三维物体检测部33将所设定的检测区域A1、A2的在本车辆V侧的边(沿着行驶方向的边)识别为触地线L1、L2(图2)。一般地说，触地线意味着三维物体接触地面的线，但是在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与基于其它车辆VX的本来的位置求出的触地线之差也不会过大，从而在实际使用上没有问题。
[0064]图5是表示图3所示的三维物体检测部33生成差分波形的情形的概要图。如图5所示，三维物体检测部33根据由对位部32计算出的差分图像H)t(图4的(b)的右图)中的相当于检测区域Al、A2的部分来生成差分波形DWt。此时，三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方便仅使用检测区域Al进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DWt。
[0065]具体地说，三维物体检测部33在差分图像DWt的数据上定义三维物体倾倒的方向上的线La。然后，三维物体检测部33对线La上示出规定的差分的差分像素DP的个数进行计数。在此，在差分图像DWt的像素值是将鸟瞰视点图像PBt、PBt^1的像素值之差绝对值化得到的像素值的情况下，示出规定的差分的差分像素DP是超过规定的阈值的像素，在差分图像DWt的像素值用“O”、“ I ”表现的情况下，示出规定的差分的差分像素DP是表示“ I ”的像素。
[0066]三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地线LI的交点CP。然后，三维物体检测部33将交点CP与计数数进行对应，根据交点CP的位置来决定横轴位置、即在图5的右图的上下方向轴上的位置，并且根据计数数决定纵轴位置、图5的右图的左右方向轴上的位置，绘制出交点CP处的计数数。
[0067]以下同样地，三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc…进行定义，来对差分像素DP的个数进行计数，根据各交点CP的位置决定横轴位置、基于计数数(差分像素DP的个数)决定纵轴位置进行绘制。三维物体检测部33依次重复上述内容进行频数分布化来如图5右图所示那样生成差分波形DWt。
[0068]此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域Al相重叠的距离不同。因此，当假设检测区域Al被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，三维物体检测部33在基于差分像素DP的计数数决定纵轴位置的情况下，根据三维物体倾倒的方向上的线La、Lb与检测区域Al相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中基于计数数决定纵轴位置时，三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
[0069]在生成差分波形DWt之后，三维物体检测部33通过与前一时刻的差分波形DWw的对比来计算移动距离。即，三维物体检测部33基于差分波形DWt、Dfft^1的时间变化来计算移动距离。
[0070]详细地说，三维物体检测部33如图6所示那样将差分波形DWt分割成多个小区域Dfftl?DWtn(n为2以上的任意整数)。图6是表示由三维物体检测部33分割出的小区域Dfftl?DWta的图。小区域DWtl?DWtaM如图6所示那样以相互重叠的方式进行分割。例如小区域DWtl与小区域DWt2重叠，小区域DWt2与小区域DWt3重叠。
[0071]接着，三维物体检测部33按各小区域DWtI?DWtn求出偏移量(差分波形的横轴方向(图6的上下方向)的移动量)。在此，根据前一时刻的差分波形DWw与当前时刻的差分波形DWt之差(横轴方向的距离)求出偏移量。此时，三维物体检测部33按各小区域Dfftl?DWtn,在使前一时刻的差分波形DWw沿横轴方向移动时，判断出与当前时刻的差分波形DWt的误差最小的位置(横轴方向的位置)，求出差分波形DWw的原来的位置与误差最小的位置的在横轴方向上的移动量来作为偏移量。然后，三维物体检测部33对按各小区域Dfftl?DWtn求出的偏移量进行计数来制作直方图。
[0072]图7是表示由三维物体检测部33得到的直方图的一例的图。如图7所示，各小区域DWtl?0胃^与前一时刻的差分波形DWw的误差最小的移动量即偏移量稍微产生偏差。因此，三维物体检测部33将包含偏差的偏移量制作成直方图，基于直方图计算移动距离。此时，三维物体检测部33根据直方图的极大值计算三维物体的移动距离。即，在图7所示的例子中，三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离τ *。此外，该移动距离τ *是其它车辆VX相对于本车辆V的相对移动距离。因此，三维物体检测部33在计算绝对移动距离的情况下，根据所得到的移动距离τ *和来自车速传感器20的信号来计算绝对移动距离。
[0073]此外，在制作成直方图时，三维物体检测部33也可以针对多个小区域DWtl?DWtn中的每一个进行加权，与权重相应地对按各小区域DWtl?DWtn求出的偏移量进行计数来制作直方图。图8是表示三维物体检测部33的加权的图。
[0074]如图8所示，小区域DWm(m为I以上、n_l以下的整数)是平坦的。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差小。三维物体检测部33针对这样的小区域DWm将权重减小。这是因为关于平坦的小区域DWm没有特征，从而在计算偏移量时误差变大的可能性高。
[0075]另一方面，小区域DWm+k(k为n-m以下的整数)有大量的起伏。即，小区域DWm的示出规定的差分的像素数的计数数的最大值与最小值之差大。三维物体检测部33针对这样的小区域DWm将权重增大。这是因为关于有很多起伏的小区域DWm+k具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。
[0076]此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成了多个小区域DWtl?DWtn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域DWtl?DWtn。在这种情况下，三维物体检测部33根据差分波形DWt与差分波形Dfft^1的误差最小时的差分波形DWt的偏移量来计算移动距离。即，求前一时刻的差分波形Dfft^1与当前时刻的差分波形DWt的偏移量的方法不限定于上述内容。
[0077]返回图3，计算机30具备拖影检测部40。拖影检测部40根据由摄像头10拍摄得到的摄像图像的数据来检测拖影的产生区域。此外，由于拖影是在CCD图像传感器等中产生的过曝光现象，因此如果采用使用了不产生这样的拖影的CMOS图像传感器等的摄像头10，则也可以省略拖影检测部40。
[0078]图9是用于说明拖影检测部40的处理以及基于该处理的差分波形DWt的计算处理的图像图。首先，设为对拖影检测部40输入了存在拖影S的摄像图像P的数据。此时，拖影检测部40根据摄像图像P检测拖影S。拖影S的检测方法多种多样，例如在一般的CCD (Charge-Coupled Device:电荷f禹合器件)摄像头的情况下,从光源仅向图像下方向产生拖影S。因此，在本实施方式中，检索从图像下侧向图像上方具有规定值以上的亮度值且在纵方向上连续的区域，将其确定为拖影S的产生区域。
[0079]另外，拖影检测部40生成关于拖影S的产生部分将像素值设为“I”、将除此以外的部分设为“O”的拖影图像SP的数据。在生成后，拖影检测部40将拖影图像SP的数据发送到视点变换部31。另外，输入了拖影图像SP的数据的视点变换部31将该数据视点变换为鸟瞰视点的状态。由此，视点变换部31生成拖影鸟瞰视点图像SBt的数据。在生成后，视点变换部31将拖影鸟瞰视点图像SBt的数据发送到对位部33。视点变换部31还将前一时刻的拖影鸟瞰视点图像SBw的数据发送到对位部33。
[0080]对位部32在数据上执行拖影鸟瞰视点图像SBt、SBt^1的对位。关于具体的对位，与在数据上执行鸟瞰视点图像PBt、PBt_i的对位的情况相同。另外，在对位后，对位部32关于各拖影鸟瞰视点图像SBt、SBt^1的拖影S的产生区域取逻辑或。由此，对位部32生成掩模图像MP的数据。在生成后，对位部32将掩模图像MP的数据发送到三维物体检测部33。
[0081]三维物体检测部33关于掩模图像MP中的与拖影S的产生区域相当的部分，将频数分布的计数数设为零。即，在生成了如图9所示那样的差分波形DWt的情况下，三维物体检测部33将拖影S的计数数SC设为零，生成校正后的差分波形DWt’。
[0082]此外，在本实施方式中，三维物体检测部33求出车辆V(摄像头10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。
[0083]图10是表示由三维物体检测部33得到的直方图的另一例的图。在摄像头10的视角内除了其它车辆VX以外还存在静止物体的情况下，在得到的直方图中出现两个极大值τ 1、τ 2。在这种情况下，两个极大值τ 1、τ 2中的某一方是静止物体的偏移量。因此，三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略与该偏移量相当的极大值，采用剩下的一方的极大值计算三维物体的移动距离。
[0084]此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像头10的视角内存在多辆其它车辆VX。但是，在检测区域Al、Α2内存在多辆其它车辆VX的情形是非常少见的。因此,三维物体检测部33中止移动距离的计算。
[0085]接着，说明基于差分波形信息的三维物体检测过程。图11和图12是表示本实施方式的三维物体检测过程的流程图。如图11所示，首先，在步骤SO中，计算机30根据规定的规则设定检测区域。稍后详细记述该检测区域的设定方法。然后，计算机30输入由摄像头10得到的摄像图像P的数据，由拖影检测部40生成拖影图像SP(Sl)。接着，视点变换部31根据来自摄像头10的摄像图像P的数据生成鸟瞰视点图像PBt的数据，并且根据拖影图像SP的数据生成拖影鸟瞰视点图像SBt的数据(S2)。
[0086]然后，对位部33将鸟瞰视点图像PBt的数据和前一时刻的鸟瞰视点图像PBw的数据进行对位，并且将拖影鸟瞰视点图像SBt的数据和前一时刻的拖影鸟瞰视点图像SBw的数据进行对位(S3)。在该对位之后，对位部33生成差分图像PDt的数据，并且生成掩模图像MP的数据(S4)。之后，三维物体检测部33根据差分图像PDt的数据和前一时刻的差分图像HV1的数据生成差分波形DWt (S5)。在生成差分波形DWt之后，三维物体检测部33将差分波形DWt中的相当于拖影S的产生区域的计数数设为零，从而抑制拖影S所产生的影响(S6)。
[0087]之后，三维物体检测部33判断差分波形DWt的峰值是否为第一阈值α以上(S7)。在此，在差分波形DWt的峰值不为第一阈值α以上的情况下、即几乎不存在差分的情况下，认为在摄像图像P内不存在三维物体。因此，在判断为差分波形DWt的峰值不为第一阈值α以上的情况下(S7:“否”)，三维物体检测部33判断为不存在三维物体，从而不存在作为障碍物的其它车辆(图12:S16)。然后，结束图11和图12所示的处理。
[0088]另一方面，在判断为差分波形DWt的峰值为第一阈值α以上的情况下(S7:“是”)，三维物体检测部33判断为存在三维物体，将差分波形DWt分割成多个小区域DWtl?Dfftn(S8)。接着，三维物体检测部33针对各小区域DWtI?DWtn进行加权(S9)。之后，三维物体检测部33计算各小区域DWu?DWtn的偏移量(SlO)，加上权重后生成直方图(Sll)。
[0089]然后，三维物体检测部33基于直方图计算三维物体相对于本车辆V的移动距离、即相对移动距离(S12)。接着，三维物体检测部33根据相对移动距离计算三维物体的绝对移动速度(S13)。此时,三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车速度来计算绝对移动速度。
[0090]之后，三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下(S14)。在满足双方的情况下(S14 是”)，三维物体检测部33判断为三维物体是其它车辆VX(S15)。然后，结束图11和图12所示的处理。另一方面，在任一方都不满足的情况下(S14 否”)，三维物体检测部33判断为不存在其它车辆(S16)。然后，结束图11和图12所示的处理。
[0091]此外，在本实施方式中，将本车辆V的后侧方设为检测区域A1、A2，检测本车辆V在行驶过程中要予以注意的行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX，特别地，重点在于在本车辆V进行车道变更的情况下是否有接触的可能性。这是为了在本车辆V进行车道变更的情况下，判断是否有可能接触到行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX。因此，执行了步骤S14的处理。即，当以使本实施方式的系统在高速公路上进行动作的情形为前提时，在三维物体的速度小于10km/h的情况下，即使存在其它车辆VX,在进行车道变更时由于位于距本车辆V很远的后方，因此很少会成为问题。同样地，在三维物体相对于本车辆V的相对移动速度超过+60km/h的情况下(即，三维物体相对于本车辆V的速度以大于60km/h的速度移动的情况下)，在进行车道变更时，由于移动到了本车辆V的前方，因此很少会成为问题。因此，在步骤S14中，也可以说对在进行车道变更时成为问题的其它车辆VX进行判断。
[0092]另外，通过在步骤S14中判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下，由此存在以下的效果。例如，根据摄像头10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数km/h的情况。因此，通过判断是否为10km/h以上，能够减少将静止物体判断为是其它车辆VX的可能性。另外，有可能由于噪声而导致将三维物体相对于本车辆V的相对速度检测为超过+60km/h的速度。因此，通过判断相对速度是否为+60km/h以下，能够减少因噪声引起的错误检测的可能性。
[0093]并且，代替步骤S14的处理，也可以判断绝对移动速度不为负或者不为Okm/h。另夕卜，在本实施方式中，重点在于本车辆V在进行车道变更的情况下是否有接触的可能性，因此在步骤S15中检测出其它车辆VX的情况下，可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。
[0094]这样，根据本例的基于差分波形信息的三维物体的检测过程，沿着通过视点变换而三维物体倾倒的方向，对在差分图像PDt的数据上示出规定的差分的像素数进行计数来进行频数分布化，由此生成差分波形DWt。在此，在差分图像PDt的数据上示出规定的差分的像素是指在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，通过沿着三维物体倾倒的方向对像素数进行计数来进行频数分布化，由此生成差分波形DWt。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体根据在高度方向上的信息来生成差分波形DWt。然后，根据包含高度方向的信息的差分波形DWt的时间变化来计算三维物体的移动距离。因此，与仅着眼于一个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易得到三维物体中相同的部分，从而根据相同部分的时间变化来计算移动距离，能够提高移动距离的计算精度。
[0095]另外，关于差分波形DWt中的与拖影S的产生区域相当的部分，将频数分布的计数数设为零。由此，去除差分波形DWt中的由拖影S产生的波形部位，从而能够防止将拖影S错误识别为三维物体的情形。
[0096]另外，根据在不同的时刻生成的差分波形DWt的误差最小时的差分波形DWt的偏移量来计算三维物体的移动距离。因此，根据波形这样的一维的信息的偏移量来计算移动距离，从而能够在计算移动距离时抑制计算成本。
[0097]另外，将在不同的时刻生成的差分波形DWt分割成多个小区域DWu?DWtn。通过像这样分割成多个小区域DWtl?DWtn,由此得到多个表示三维物体的各个部分的波形。另夕卜，针对各小区域DWu?01^求出各个波形的误差最小时的偏移量，对针对各小区域DWtl?DWtn求出的偏移量进行计数来制作直方图，由此计算三维物体的移动距离。因此，针对三维物体的各个部分求出偏移量，并根据多个偏移量求出移动距离，从而能够提高移动距离的计算精度。
[0098]另外，针对多个小区域DWtl?DWtn中的每一个进行加权，与权重相应地对针对各小区域DWtl?DWtn求出的偏移量进行计数来制作直方图。因此，关于特征性的区域将权重增大，关于非特征性的区域将权重减小，由此能够更适当地计算移动距离。因而，能够进一步提闻移动距尚的计算精度。
[0099]另外，关于差分波形DWt的各小区域DWtl?DWtn，示出规定的差分的像素数的计数的最大值与最小值之差越大，使权重越大。因此，最大值与最小值之差越大的特征性的起伏区域而权重越大，关于起伏小的平坦的区域，权重变小。在此，起伏大的区域相比于平坦的区域更容易正确地求出偏移量，因此通过最大值与最小值之差越大的区域而使权重越大，由此能够进一步提闻移动距尚的计算精度。
[0100]另外，根据对针对各小区域DWtl?DWtn求出的偏移量进行计数得到的直方图的极大值，计算三维物体的移动距离。因此，即使偏移量产生偏差，也能够根据其极大值来计算正确性更高的移动距离。
[0101]另外，求出关于静止物体的偏移量，并忽略该偏移量，因此能够防止由于静止物体而导致三维物体的移动距离的计算精度下降的情形。另外，在忽略了相当于静止物体的偏移量之后，如果存在多个极大值，则中止三维物体的移动距离的计算。因此，能够防止如存在多个极大值那样的导致错误地计算移动距离的情形。
[0102]此外，在上述实施方式中，根据来自车速传感器20的信号判断本车辆V的车速，但是不限于此，也可以根据不同时刻的多个图像来估计速度。在这种情况下，不需要车速传感器，能够实现结构的简单化。
[0103]另外，在上述实施方式中，将拍摄到的当前时刻的图像和前一时刻的图像变换为鸟瞰图，对变换后的鸟瞰图进行对位之后生成差分图像rot，对所生成的差分图像PDt沿着倾倒方向(将拍摄到的图像变换为鸟瞰图时的三维物体的倾倒方向)进行评价来生成差分波形DWt，但是不限定于此。例如也可以仅将前一时刻的图像变换为鸟瞰图，对变换得到的鸟瞰图进行对位之后再次变换为与所拍摄的图像相当的图像，用该图像和当前时刻的图像生成差分图像，对所生成的差分图像沿着相当于倾倒方向的方向(即，将倾倒方向变换为摄像图像上的方向所得到的方向)进行评价来生成差分波形DWt。即，对当前时刻的图像和前一时刻的图像进行对位，根据进行对位后的两个图像的差分生成差分图像rot，只要能够沿着将差分图像rot变换为鸟瞰图时的三维物体的倾倒方向进行评价，也可以不必明确地生成鸟瞰图。
[0104]〈基于边缘信息检测三维物体〉
[0105]接着，说明能够代替图3所示的模块A而进行动作的由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成的利用边缘信息的三维物体的检测模块B。图13是表不图3的摄像头10的摄像范围等的图，图13的(a)是俯视图，图13的(b)表不本车辆V后侧方的实际空间中的立体图。如图13的(a)所示，摄像头10被形成为规定的视角a，从本车辆V拍摄包含于该规定的视角a中的后侧方。摄像头10的视角a与图2所示的情况同样地被设定成在摄像头10的摄像范围内除了包含本车辆V所行驶的车道以外还包含相邻的车道。
[0106]本例的检测区域Al、A2在俯视图(鸟瞰视点的状态)中形成为梯形状，基于距离dl?d4来决定这些检测区域A1、A2的位置、大小以及形状。此外，该图所示的例子的检测区域Al、A2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。此外，本实施方式的检测区域设定部34也能够通过之前记述的方法来设定检测区域A1、A2。
[0107]在此，距离dl是从本车辆V到触地线L1、L2的距离。触地线L1、L2的意思是存在于与本车辆V所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆V的后侧方行驶于与本车辆V的车道相邻的左右车道的其它车辆VX等(包含二轮车等)。因此，能够事先根据本车辆V至白线W的距离dll和从白线W至预测为其它车辆VX行驶的位置的距离dl2，大致固定地决定作为其它车辆VX的触地线L1、L2的位置的距离dl。
[0108]另外，关于距离dl，不限于决定为固定的值，也可以设为可变。在这种情况下，计算机30通过白线识别等技术来识别白线W相对于本车辆V的位置，根据识别出的白线W的位置来决定距离dll。由此，使用所决定的距离dll可变地设定距离dl。在以下的本实施方式中，由于其它车辆VX行驶的位置(距白线W的距离dl2)和本车辆V行驶的位置(距白线W的距离dll)大致固定，因此设为距离dl被决定为固定的值。
[0109]距离d2是从本车辆V的后端部沿车辆行进方向延伸的距离。以在摄像头10的视角a内至少收容检测区域Al、A2的方式决定该距离d2。特别地，在本实施方式中，距离d2被设定为与由视角a划分的范围相连。距离d3是表示检测区域Al、A2的在车辆行进方向上的长度的距离。基于作为检测对象的三维物体的大小来决定该距离d3。在本实施方式中，由于检测对象是其它车辆VX等，因此距离d3被设定为包含其它车辆VX的长度。
[0110]距离d4是如图13的(b)所示那样表示被设定成在实际空间中包含其它车辆VX等的轮胎的高度的距离。距离d4在鸟瞰视点图像中设为图13的(a)所示的长度。此外，距离d4也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆V的车道隔一车道的邻近车道，则无法区分是在作为本车辆V所行使的车道的本车道的左右邻近车道内存在其它车辆VX、还是在隔一车道的邻近车道内存在其它车辆VX。
[0111]如以上那样决定距离dl?距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体地说，根据距离dl，决定形成梯形的检测区域A1、A2的上边bl的位置。根据距离d2，决定上边bl的起点位置Cl。根据距离d3，决定上边bl的终点位置C2。根据从摄像头10向起点位置Cl延伸的直线L3，决定形成梯形的检测区域Al、A2的侧边b2。同样地，根据从摄像头10向终点位置C2延伸的直线L4，决定形成梯形的检测区域Al、A2的侧边b3。根据距离d4，决定形成梯形的检测区域A1、A2的下边b4的位置。这样，由各边bl?b4包围的区域设为检测区域Al、A2。该检测区域Al、A2如图13的(b)所示那样在本车辆V后侧方的实际空间中形成为正方形(长方形)。
[0112]返回图3，视点变换部31输入由摄像头10拍摄得到的规定区域的摄像图像数据。视点变换部31针对所输入的摄像图像数据进行视点变换处理形成为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下(或者稍微斜向下)俯视的虚拟摄像头的视点观看的状态。例如能够通过日本特开2008-219063号公报所记载的技术来实现该视点变换处理。
[0113]亮度差计算部35为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部35能够通过仅设定一条在实际空间中的铅垂方向上延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
[0114]针对设定两条铅垂虚拟线的具体方法进行说明。亮度差计算部35针对进行视点变换得到的鸟瞰视点图像设定相当于在实际空间中在铅垂方向上延伸的线段的第一铅垂虚拟线以及相当于与第一铅垂虚拟线不同并在实际空间中在铅垂方向上延伸的线段的第二铅垂虚拟线。亮度差计算部35沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。以下，详细说明该亮度差计算部35的动作。
[0115]亮度差计算部35如图14的(a)所示那样设定相当于在实际空间中在铅垂方向上延伸的线段且通过检测区域Al的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部35设定与关注线La不同而相当于在实际空间中在铅垂方向上延伸的线段且通过检测区域Al的第二铅垂虚拟线Lr (以下称为参照线Lr)。在此，参照线Lr被设置于与关注线La分离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向上延伸的线段相当的线是指在鸟瞰视点图像中从摄像头10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
[0116]亮度差计算部35在关注线La上设定关注点Pa (第一铅垂虚拟线上的点)。另外，亮度差计算部35在参照线Lr上设定参照点Pr (第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间中形成图14的(b)所示的关系。根据图14的(b)可知，关注线La和参照线Lr是在实际空间中在铅垂方向上延伸的线，关注点Pa和参照点Pr是在实际空间中被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。
[0117]亮度差计算部35求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差较大时，认为在关注点Pa与参照点Pr之间存在边缘。因此，图3所示的边缘线检测部36根据关注点Pa与参照点Pr的亮度差来检测边缘线。
[0118]更详细地说明该点。图15是表示亮度差计算部35的详细动作的图，图15的(a)表示鸟瞰视点状态的鸟瞰视点图像，图15的(b)是将图15的(a)所示的鸟瞰视点图像的一部分BI放大后的图。此外，关于图15，也仅图示检测区域Al进行说明，关于检测区域A2，也以相同的过程计算亮度差。
[0119]在摄像头10拍摄到的摄像图像内拍摄有其它车辆VX的情况下，如图15的(a)所示那样，在鸟瞰视点图像内的检测区域Al出现其它车辆VX。如图15的(b)示出图15的(a)中的区域BI的放大图那样，设为在鸟瞰视点图像上，在其它车辆VX的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部35首先设定参照线Lr。参照线Lr沿铅垂方向设定在实际空间中距关注线La规定的距离的位置上。具体地说，在本实施方式所涉及的三维物体检测装置I中，参照线Lr被设定在与关注线La在实际空间中相距1cm的位置处。由此，参照线Lr在鸟瞰视点图像上例如被设定在与其它车辆VX的轮胎的橡胶相距相当于1cm的距离的其它车辆VX的轮胎的轮辋(wheel)上。
[0120]接着，亮度差计算部35在关注线La上设定多个关注点Pal?PaN。在图15的(b)中，为了便于说明，设定了六个关注点Pal?Pa6(以下，在表示任意的点的情况下，仅称为关注点Pai)。此外，设定在关注线La上的关注点Pa的个数可以是任意的。在以下的说明中，设为在关注线La上设定了 N个关注点Pa进行说明。
[0121]接着，亮度差计算部35将各参照点Prl?PrN设定成在实际空间中与各关注点Pal?PaN相同的高度。而且，亮度差计算部35计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(I?N)中的每个位置计算两个像素间的亮度差。亮度差计算部35例如计算第一关注点Pal与第一参照点Prl之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部35沿着关注线La和参照线Lr连续地求出亮度差。SP，亮度差计算部35依次求出第三?第N关注点Pa3?PaN与第三?第N参照点Pr3?PrN的亮度差。
[0122]亮度差计算部35在检测区域Al内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部35在实际空间中沿触地线LI的存在方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部35例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。
[0123]返回图3，边缘线检测部36根据由亮度差计算部35计算出的连续的亮度差来检测边缘线。例如在图15的(b)所示的情况下，第一关注点Pal和第一参照点Prl位于相同的轮胎部分，因此亮度差小。另一方面，第二?第六关注点Pa2?Pa6位于轮胎的橡胶部分，第二?第六参照点Pr2?Pr6位于轮胎的轮辋部分。因而，第二?第六关注点Pa2?Pa6与第二?第六参照点Pr2?Pr6的亮度差变大。因此，边缘线检测部36能够检测出在亮度差大的第二?第六关注点Pa2?Pa6与第二?第六参照点Pr2?Pr6之间存在边缘线。
[0124]具体地说，边缘线检测部36在检测边缘线时，首先依照下述的数式1，根据第i个关注点Pai (坐标(xi, yi))与第i个参照点Pri (坐标(xi’，yi，))的亮度差来对第i个关注点Pai赋予属性。
[0125][数I]
[0126]I (xi，yi) > I (xi，，yi，)+t 时
[0127]s(xi, yi) = I
[0128]I(xi，yi) < I(xi，，yi，)-t 时
[0129]s (xi, yi) = -1
[0130]在上述以外的情况时，
[0131]s(xi, yi) = O
[0132]在上述数式I中，t表示阈值，I(xi,yi)表示第i个关注点Pai的亮度值，
I(xi’，yi’)表示第i个参照点Pri的亮度值。根据上述数式I，在关注点Pai的亮度值高于参照点Pri加上阈值t得到的亮度值的情况下，该关注点Pai的属性s (xi, yi)为“I”。另一方面，在关注点Pai的亮度值低于从参照点Pri减去阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为“ -1”。在关注点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，关注点Pai的属性s(xi，yi)为“O”。
[0133]接着，边缘线检测部36基于下述数式2，根据沿着关注线La的属性s的连续性c(xi,yi)判断关注线La是否为边缘线。
[0134][数2]
[0135]s (xi, yi) = s (xi+1, yi+1)时(且除了 0 = 0)、
[0136]c (xi, yi) = I
[0137]在上述以外的情况时，
[0138]c(xi, yi) = O
[0139]在关注点Pai的属性s(xi, yi)与相邻的关注点Pai+Ι的属性s(xi+l, yi+1)相同的情况下，连续性c(xi, yi)为“I”。在关注点Pai的属性s(xi, yi)与相邻的关注点Pai+1的属性s (xi+1, yi+1)不同的情况下,连续性c (xi, yi)为“O”。
[0140]接着，边缘线检测部36关于关注线La上的所有关注点Pa的连续性c求出总和。边缘线检测部36通过将求出的连续性c的总和除以关注点Pa的个数N，来对连续性c进行标准化。边缘线检测部36在进行了标准化的值超过阈值Θ的情况下，将关注线La判断为边缘线。此外，阈值Θ是预先通过实验等设定的值。
[0141]S卩，边缘线检测部36基于下述数式3判断关注线La是否为边缘线。而且，边缘线检测部36关于描绘在检测区域Al上的所有关注线La判断是否为边缘线。
[0142][数3]
[0143]Σ c (xi, yi) /N > Θ
[0144]返回图3，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。如上述那样，本实施方式所涉及的三维物体检测装置I检测在实际空间中在铅垂方向上延伸的边缘线。检测出很多的在铅垂方向上延伸的边缘线就是在检测区域A1、A2存在三维物体的可能性高。因此,三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。并且，三维物体检测部37在检测三维物体之前，判断由边缘线检测部36检测出的边缘线是否为正确的边缘线。三维物体检测部37判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否大于规定的阈值。在边缘线上的鸟瞰视点图像的亮度变化大于阈值的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化不大于阈值的情况下，判断为该边缘线是正确的边缘线。此外，该阈值是通过实验等预先设定的值。
[0145]图16是表示边缘线的亮度分布的图，图16的(a)表示在检测区域Al内存在作为三维物体的其它车辆VX时的边缘线和亮度分布，图16的(b)表示在检测区域Al内不存在三维物体时的边缘线和亮度分布。
[0146]如图16的(a)所示，设为判断为在鸟瞰视点图像中设定于其它车辆VX的轮胎橡胶部分的关注线La是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像头10拍摄到的图像被视点变换为鸟瞰视点图像，由此其它车辆VX的轮胎在鸟瞰视点图像内被拉长。另一方面，如图16的(b)所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线La被错误判断为是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。
[0147]根据如以上那样的关注线La上的亮度分布的差异，三维物体检测部37判断边缘线是否为由于错误判断而检测出的。三维物体检测部37在沿着边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的。而且，在检测三维物体时不使用该边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。
[0148]具体地说，三维物体检测部37通过下述数式4、数式5中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述数式4通过关注线La上的第i个亮度值I (xi，yi)与相邻的第i+Ι个亮度值I (xi+1，yi+1)的差分的平方的合计值来评价亮度分布。下述数式5通过关注线La上的第i个亮度值I (xi, yi)和相邻的第i+Ι个亮度值I (xi+1，yi+1)的差分的绝对值的合计值来评价亮度分布。
[0149][数4]
[0150]铅垂对应方向的评价值=Σ[{I(xi, yi)-1(xi+l, yi+1)}2]
[0151][数5]
[0152]铅垂对应方向的评价值=Σ I(xi, yi)-1(xi+l, yi+1)
[0153]此外，不限于数式5，也可以如下述数式6那样，利用阈值t2将相邻的亮度值的属性b进行二值化，来将该二值化得到的属性b关于所有的关注点Pa进行总和。
[0154][数6]
[0155]铅垂对应方向的评价值=Σ b(xi, yi)
[0156]其中，11(xi, yi)-1 (xi+1, yi+1) I > t2 时,
[0157]b(xi, yi) = I
[0158]在上述以外的情况时，
[0159]b(xi, yi) = O
[0160]在关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pa(xi，yi)的属性b(xi，yi)为“I”。在除此以外的关系的情况下，关注点Pai的属性b(xi，yi)为“O”。该阈值t2是为了判断关注线La不在相同的三维物体上而通过实验等预先设定的。而且，三维物体检测部37将关于关注线La上的所有关注点Pa的属性b进行总和来求出铅垂对应方向的评价值，判断边缘线是否为正确的边缘线。
[0161]接着，关于本实施方式所涉及的利用边缘信息的三维物体检测方法进行说明。图17和图18是表示本实施方式所涉及的三维物体检测方法的详细内容的流程图。此外，在图17和图18中，为了方便，说明以检测区域Al为对象的处理，但是关于检测区域A2，也执行相同的处理。
[0162]如图17所示，首先，在步骤S20中，计算机30根据规定的规则设定检测区域。稍后详细记述该检测区域的设定方法。然后，在步骤S21中，摄像头10拍摄由视角a和安装位置所确定的规定区域。接着，视点变换部31在步骤S22中输入在步骤S21中由摄像头10拍摄得到的摄像图像数据，进行视点变换来生成鸟瞰视点图像数据。
[0163]接着，在步骤S23中，亮度差计算部35在检测区域Al上设定关注线La。此时，亮度差计算部35将与在实际空间中在铅垂方向上延伸的线相当的线设定为关注线La。接着，在步骤S24中，亮度差计算部35在检测区域Al上设定参照线Lr。此时，亮度差计算部35将相当于在实际空间中在铅垂方向上延伸的线段且与关注线La在实际空间中相距规定距离的线设定为参照线Lr。
[0164]接着，在步骤S25中，亮度差计算部35在关注线La上设定多个关注点Pa。此时，亮度差计算部35设定在边缘线检测部36检测边缘时不会成为问题的程度的个数的关注点Pa。另外，在步骤S26中，亮度差计算部35将参照点Pr设定成在实际空间中关注点Pa和参照点Pr处于大致相同的高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测在实际空间中在铅垂方向上延伸的边缘线。
[0165]接着，在步骤S27中，亮度差计算部35计算在实际空间中处于相同高度的关注点Pa与参照点Pr的亮度差。接着，边缘线检测部36依照上述的数式I计算各关注点Pa的属性S。接着，在步骤S28中，边缘线检测部36依照上述的数式2计算各关注点Pa的属性s的连续性C。接着，在步骤S29中，边缘线检测部36依照上述数式3，判断将连续性c的总和标准化得到的值是否大于阈值Θ。在判断为标准化得到的值大于阈值Θ的情况下(S29:“是”)，在步骤S30中，边缘线检测部36将该关注线La检测为边缘线。然后，处理转移到步骤S31。在判断为标准化得到的值不大于阈值Θ的情况下(329:“否”)，边缘线检测部36不将该关注线La检测为边缘线，处理转移到步骤S31。
[0166]在步骤S31中，计算机30判断是否对于检测区域Al上可设定的所有关注线La执行了上述的步骤S23?步骤S30的处理。在判断为未对于所有的关注线La进行上述处理的情况下(S31 否”)，将处理返回步骤S23，重新设定关注线La，并重复进行步骤S31为止的处理。另一方面，在判断为关于所有的关注线La进行了上述处理的情况下(S31 是”)，处理转移到图18的步骤S32。
[0167]在图18的步骤S32中，三维物体检测部37对于在图17的步骤S30中检测出的各边缘线计算沿着该边缘线的亮度变化。三维物体检测部37依照上述数式4、数式5、数式6中的任一个来计算边缘线的亮度变化。接着，在步骤S33中，三维物体检测部37去除边缘线中的亮度变化大于规定的阈值的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用边缘线。如上述那样这是为了抑制检测区域Al中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值是指预先通过实验等求出的根据由于路面上的文字、路肩的杂草等而产生的亮度变化设定的值。
[0168]接着，在步骤S34中，三维物体检测部37判断边缘线的量是否为第二阈值β以上。例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等根据在检测区域Al内出现的四轮车的边缘线的个数来设定该第二阈值β。在判断为边缘线的量为第二阈值β以上的情况下(S34:“是”)，在步骤S35中，三维物体检测部37检测为在检测区域Al内存在三维物体。另一方面，在判断为边缘线的量不为第二阈值β以上的情况下(S34:“否”)，三维物体检测部37判断为在检测区域Al内不存在三维物体。之后，结束图17和图18所示的处理。检测出的三维物体可以判断为是行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆VX，也可以考虑检测出的三维物体相对于本车辆V的相对速度来判断是否为行驶于邻近车道的其它车辆VX。
[0169]如上所述，根据本实施方式的利用边缘信息的三维物体的检测方法，为了检测存在于检测区域Al、Α2的三维物体，而针对鸟瞰视点图像设定了作为在实际空间中在铅垂方向上延伸的线段的铅垂虚拟线。而且，能够针对沿着铅垂虚拟线的多个位置的每个位置计算该各位置附近的两个像素的亮度差，根据该亮度差的连续性来判断有无三维物体。
[0170]具体地说，针对鸟瞰视点图像中的检测区域Al、Α2设定相当于在实际空间中在铅垂方向上延伸的线段的关注线La和与关注线La不同的参照线Lr。然后，沿着关注线La和参照线Lr连续地求出关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差。这样，通过连续地求出点之间的亮度差，来求出关注线La与参照线Lr的亮度差。在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定部分存在三维物体的边缘的可能性高。由此，能够根据连续的亮度差检测三维物体。特别地，为了进行在实际空间中在铅垂方向上延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理。因而，根据本例的方法，能够提高三维物体的检测精度。
[0171]另外，在本例中，求出铅垂虚拟线附近的大致相同高度的两个点的亮度差。具体地说，根据在实际空间中处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，因此能够明确地检测出存在在铅垂方向上延伸的边缘的情况下的亮度差。
[0172]并且，在本例中，根据关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差来对关注点Pa赋予属性，根据沿着关注线La的属性的连续性c来判断该关注线La是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而按照人的自然的感觉进行边缘检测。详细地说明该效果。图19是表示对边缘线检测部36的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。
[0173]与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部36除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部36能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测。
[0174]并且，在本例中，在由边缘线检测部36检测出的边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的边缘线。在将由摄像头10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在其它车辆VX的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，如果将描绘在路面上的文字等错误判断为边缘线，则在鸟瞰视点图像中混合包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因而，通过如本例那样判断沿着边缘线的鸟瞰视点图像的亮度变化，能够识别出由于错误判断而检测出的边缘线，从而能够提高三维物体的检测精度。
[0175]并且，在本例中，在由边缘线检测部36检测出的边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的边缘线。在将由摄像头10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在其它车辆VX的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，如果将描绘在路面上的文字等错误判断为边缘线，则在鸟瞰视点图像中混杂包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因而，通过如本例那样判断沿着边缘线的鸟瞰视点图像的亮度变化，能够识别出由于错误判断而检测出的边缘线，从而能够提高三维物体的检测精度。三维物体检测部33、37为了进一步向乘员的通知、进行车辆控制，也将检测结果发送到外部的车辆控制器。
[0176]<三维物体的最终判断>
[0177]返回图3，本例的三维物体检测装置I具备上述的两个三维物体检测部33 (或三维物体检测部37)、三维物体判断部34、静止物体判断部38以及控制部39。三维物体判断部34根据三维物体检测部33 (或三维物体检测部37)的检测结果，最终判断检测出的三维物体是否为存在于检测区域Al、A2的其它车辆VX。三维物体检测部33 (或三维物体检测部37)进行反映出静止物判断部38的判断结果的三维物体的检测。静止物体判断部38判断由三维物体检测部33 (或三维物体检测部37)检测出的三维物体是否为沿着本车辆V的行驶道路存在的树木的影子。
[0178]本实施方式的静止物体判断部38检测树木的影子(以下也称为树荫)。当在本车辆V与太阳等光源之间存在树木时，有时树木的影子映现到检测区域Al、A2中。树木具有树干、粗树枝、细树枝、长树枝、短树枝、树叶等多个形态不同的结构。这些各结构在相同的环境下呈现不同的行为。例如，即使被相同强度(风速)的风吹到，而树干几乎不动，其位置不变，但是粗树枝、短树枝稍微摇动，其位置也稍微变动。并且，细树枝、长树枝、树叶大幅摇动，其位置变化很大。这样，树木的形状的一部分不变化，但是其它一部分发生变化，与其相应地树木的影子也是一部分的形状、位置不变化，但是其它部分的形状、位置变化。当针对各局部分析树木的影子的摄像图像时，在树干部分的影子中周期性的特征和规则性的特征表现得较强，但是在树叶部分的影子中周期性的特征和规则性的特征表现得不强。因此，当将树木的影子作为一个影像进行分析时，无论是周期性的特征还是规则性的特征都很难发现显著的特征。也就是说，很难根据周期性的特征判断树木的影子的特征，并且也很难根据规则性的特征进行判断。
[0179]下面，将树木的影子的周期性的特征(周期性)和规则性的或不规则性的特征(不规则性)与其它的静止物体进行比较。
[0180]如图20所示，以固定间隔设置于行驶道路的路肩的护栏等结构物(静止物体)的形状是固定的，从其摄像图像中抽出的特征表现为周期性，因此与上述的树木的影子相比周期性高。另外，如护栏那样的人造的结构物整体是不动的，随着时间的经过保持相同的形状，因此从其摄像图像中抽出的特征中没有偏差，因此与上述的树木的影子相比不规则性低(规则性高)。
[0181]如图21所示，草(静止物体)沿着行驶道路的路肩生长，其形状不固定，因此从其摄像图像中抽出的特征表现为非周期性，因此可以说与上述的树木的影子相比周期性低。另外，如草那样的自然物整体形状不固定，随着时间的经过不会保持相同的形状，因此从其摄像图像中抽出的特征中发现偏差，因此可以说与上述的树木的影子相比不规则性高(规则性低)。这是因为草没有像树木那样成为树干那样的刚性高的部分，与风、雨等外部环境相应地改变形状的倾向高。此外，堆积于路肩的雪的图像信息也倾向于呈现与草的图像信息相同的特征。
[0182]并且，本实施方式的三维物体检测装置I最终检测的对象即其它车辆VX如图22所示那样行驶于与本车辆V的行驶车道相邻的邻近车道上，但是无法控制其它车辆VX存在于检测区域Al、A2的定时，未必能够从摄像图像中周期性地抽出特征，因此可以说与沿着上述本车辆V的行驶道路存在的树木的影子相比周期性低。另一方面，其它车辆VX的基本构造相同，随着时间的经过保持相同的形状，因此从其摄像图像中抽出的特征中没有偏差，因此与上述的树木的影子相比不规则性低(规则性高)。
[0183]另外，在周期性评价值低且不规则性也低的情况下，检测出的三维物体是其它车辆的可能性高。
[0184]图23是表示关于护栏等结构物Q2、树荫Q1、草/雪Q3以及其它车辆VX的周期性评价值和不规则性评价值的关系H的图。
[0185]如图23所示，关于周期性，由于护栏等结构物Q2规则地配置在路肩，因此倾向于呈现规定的阈值(第二周期性评价阈值)以上的周期性评价值。另外，由于各其它车辆VX的行驶间隔不能控制，因此周期性评价值有呈现小于规定的阈值(第一周期性评价阈值)的倾向。另外，如该图所示，关于不规则性，护栏等结构物Q2、其它车辆VX的形状是固定的，因此有呈现较低的不规则性评价值的倾向。
[0186]作为从摄像图像中所包含的各种三维物体中识别静止物体的方法，虽然也由发明人们提出了利用护栏等结构物Q2等的周期性高的点的方法、利用草、雪Q3等自然物的不规则性高的点的方法，但是如上述那样存在下面的问题:树木的影子(树荫)Q1为周期性是中度且不规则性也是中度，因此难以与草、雪Q3相区分。
[0187]另外，本实施方式的三维物体检测装置I的目的在于检测其它车辆VX，因此也能够考虑为无需与护栏等结构物Q2、草、雪Q3进行区分而只要识别为“其它车辆VX以外的静止物体”即可。
[0188]然而，为了高精度地检测对本车辆V的行驶产生影响的“其它车辆VX”，而需要根据其它车辆VX以外的物体是移动体还是静止物体、是三维物体还是平面物体、进一步地说根据其它车辆VX以外的物体是草、雪还是树荫，来设计与该检测对象的图像的特性相应的图像处理、物体检测处理。例如由于护栏Q2的形状是能够预测的，因此能够预测映现有护栏Q2的图像区域并在图像处理中执行反馈处理的处理，或者考虑草Q3的高度有上限，因此能够进行验证判断为草Q3的准确性之类的与物体的特性相应的处理。这样，为了提高对检测对象的检测精度,而要求正确地识别检测对象以外的物体(非检测对象物)。
[0189]在本实施方式的三维物体检测装置I中，能够从周期性和不规则性两个观点出发，分析其它车辆VX、护栏Q2、草、雪Q3以及树荫Ql各自的特性，根据周期性和不规则性来从摄像图像中所包含的各种物体的像中正确地识别出树荫Ql。
[0190]静止物体判断部38能够进行基于差分波形信息判断树木的影子的处理、或者基于边缘信息判断树木的影子的处理。
[0191]首先，说明根据差分波形信息判断树木的影子的处理。静止物体判断部38根据由三维物体检测部33生成的差分波形信息来计算用于评价该差分波形信息的周期性的周期性评价值，并且根据差分波形信息来计算用于评价该差分波形信息的不规则性的不规则性评价值。
[0192]基于差分波形信息计算周期性评价值的方法不特别地限定，能够根据从差分波形信息抽出的特征在规定周期中重复的程度来进行判断。例如从差分波形信息中抽出的峰值数是规定值以上、峰值间的偏差越小于规定值且与本车辆V的车速相应的差分波形信息的峰值部分的面积差分(面积差分与峰值之比)越小则能够判断为周期性越高。
[0193]另外，基于差分波形信息计算不规则性评价值的方法不特别地限定，能够根据从差分波形信息抽出的特征的偏差程度进行判断。例如从差分波形信息抽出的峰值数越小于规定值、峰值间的偏差是规定值以上且与本车辆V的车速相应的差分波形信息的峰值部分的面积差分(面积差分与峰值之比)越大，则能够判断为不规则性越高。此外，稍后详细记述基于差分波形信息计算周期性和不规则性的具体方法。
[0194]接着，说明根据边缘信息判断树木的影子的处理。静止物体判断部38根据由三维物体检测部37生成的边缘信息来计算用于评价该边缘信息的周期性的周期性评价值，并且根据边缘信息来计算用于评价该边缘信息的不规则性的不规则性评价值。
[0195]基于边缘信息计算周期性评价值的方法不特别地限定，能够根据从边缘信息抽出的特征在规定周期中重复的程度来进行判断。例如从边缘信息抽出的峰值数是规定值以上、峰值间的偏差越小于规定值且与本车辆V的车速相应的边缘信息的峰值部分的边缘量的差分越小，则能够判断为周期性越高。此外，稍后详细记述根据边缘信息计算周期性的具体方法。
[0196]另外，基于边缘信息计算不规则性评价值的方法不特别地限定，能够根据从边缘信息抽出的特征的偏差程度来进行判断。例如从边缘信息抽出的峰值数越小于规定值、峰值间的偏差超过规定值越多且与本车辆V的车速相应的边缘信息的峰值部分的边缘量差分越大，则能够判断为不规则性越高。
[0197]此外，稍后详细记述根据边缘信息计算周期性和不规则性的具体方法。
[0198]然后，静止物体判断部38在计算出的周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值、计算出的不规则性评价值小于规定的不规则性评价阈值的情况下，判断为由三维物体检测部33检测出的三维物体是沿着本车辆V的行驶道路存在的树木的影子。由此，能够识别出周期性和不规则性为中度的树荫Q3的像。此外，第一周期性评价阈值是小于第二周期性评价阈值的值。
[0199]此外，下面说明的第一周期性评价阈值和第二周期性评价阈值能够在根据差分波形信息判断周期性的情况和根据边缘信息判断周期性的情况下设定不同的值，不规则性评价阈值能够在根据差分波形信息判断周期性的情况和根据边缘信息判断周期性的情况中设定不同的值。
[0200]虽然不特别地进行限定，但是第二周期性评价阈值能够根据通过实验针对护栏等结构物Q2求出的周期性来进行设定。在周期性评价值为所设定的第二周期性评价阈值以上的情况下，能够判断为检测出的三维物体是护栏等结构物Q2。由于护栏等结构物Q2的周期性和树荫Q3的周期性能够比较明确地识别出，因此通过根据护栏等结构物Q2的周期性来设定第二周期性评价阈值，能够将树荫Q3以及草/雪Q2与护栏等结构物Q2正确地区分开。
[0201]另外，第一周期性评价阈值能够根据通过实验求出的其它车辆VX等移动体的周期性来进行设定。也就是说，在周期性评价值小于第一周期性评价阈值的情况下，能够判断为检测出的三维物体是移动体、例如其它车辆VX。其它车辆VX的周期性和草/雪Q2的周期性都较低，但是能够发现可进行区分的差别，因此通过根据其它车辆VX的周期性来设定第一周期性评价阈值，能够将树荫Q3以及草/雪Q2与其它车辆VX正确地区分开。
[0202]同样地，不规则性评价阈值能够根据通过实验求出的草/雪Q3的不规则性或树荫Ql的不规则性来进行设定。也就是说，在周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值、不规则性评价值为不规则性评价值阈值以上的情况下，能够判断为由三维物体检测部33检测出的三维物体是沿着本车辆V的行驶道路存在的草或雪Q3，在不规则性评价值小于不规则性评价阈值的情况下，能够判断为由三维物体检测部33检测出的三维物体是沿着本车辆V的行驶道路存在的树荫Ql。草/雪Q2和树荫Ql都具备不规则性，不容易对它们进行区分，但是如本实施方式那样根据周期性评价值来将范围缩小至树荫Ql以及草/雪Q2后，根据不规则性评价值来识别树荫Ql或草/雪Q2，由此能够将树荫Ql与草/雪Q2正确地区分开。
[0203]并且，本实施方式的静止物体判断部38在由明亮度传感器50检测出的明亮度小于规定值的情况下，将第一周期性评价阈值变更为较高的值。本实施方式的静止物体判断部38在明亮度小于规定值、即较暗的状况中难以检测草/雪Q3以及树荫Ql的周期性，因此能够将用于判断草/雪Q3以及树荫Ql的下限的阈值即第一周期性评价阈值变更为较高的值。在较暗的状况中，也难以检测其它车辆VX的周期性，因此也为了安全而优选容易将三维物体判断为是其它车辆VX。其结果，在较暗的状况中，也不会检测不出其它车辆VX，从而能够正确地判断草/雪Q3以及树荫Ql。
[0204]此外，本实施方式的静止物体判断部38参照将各位置信息与该位置是城区还是郊区的信息对应起来的地图信息383，在由当前位置检测装置60检测出的当前位置是城区的情况下，将第一周期性评价阈值变更为较低的值。各位置是城区还是郊区能够根据沿路的结构物的多少等来预先定义。
[0205]一般地，城区的沿路设置有大厦、广告塔、广告牌、其它结构物的情况多，这些结构物的影子有时映现在检测区域A1、A2中。这些结构物由于配置间隔不固定，因此周期性低，当这些结构物的影子与沿路的树木、草的影子重叠时，存在使其周期性下降的倾向。也就是说，在广告塔、广告牌、其它结构物存在很多的城区，存在映现到道路的检测区域Al、A2的树荫Ql或草/雪Q3的周期性变低的倾向。因此，本实施方式的静止物体判断部38在当前位置属于城区的情况下，能够将用于判断草/雪Q3以及树荫Ql的下限的阈值即第一周期性评价阈值变更为较低的值。其结果，在城市部也能够正确地判断草/雪Q3以及树荫Ql的周期性。
[0206]本实施方式的静止物体判断部38在周期性评价值小于第一周期性评价阈值的情况下，将检测出的三维物体判断为是移动体。同样地，静止物体判断部38在周期性评价值小于第一周期性评价阈值且不规则性评价值小于规定的不规则性评价阈值的情况下，判断为检测出的三维物体是移动体。特别地，静止物体判断部38在周期性评价值和不规则性评价值都较低的情况下，判断为是移动体中的其它车辆的可能性高。
[0207]接着，说明三维物体判断部34。本实施方式的三维物体判断部34最终判断三维物体检测部33、37所检测出的三维物体是否为在检测区域Al、A2存在的其它车辆VX。具体地说，三维物体判断部34在三维物体检测部33、37检测三维物体的结果在规定时间T的期间持续的情况下，判断为三维物体是在检测区域A1、A2存在的其它车辆VX。虽然不特别地进行限定，但是三维物体判断部34也可以在从差分波形信息抽出的差分波形的峰值数、峰值、移动速度等在规定值域、其状态持续规定时间以上的情况下，最终判断三维物体是否为在检测区域Al、A2存在的其它车辆VX、还可以在从边缘信息抽出的边缘的连续性、总和的标准化后的值、边缘线的量等在规定值域、其状态持续规定时间以上的情况下，最终判断三维物体是否为在检测区域Al、A2存在的其它车辆VX。
[0208]本实施方式的三维物体判断部34在由三维物体检测部33、37检测出的三维物体在规定时间以上被持续检测出的情况下，将该三维物体判断为是在右侧检测区域或左侧检测区域存在的其它车辆VX。
[0209]顺便提及，在三维物体判断部34判断为检测出的三维物体是在检测区域A1、A2存在的其它车辆VX的情况下，执行向乘员通知等处理。该三维物体判断部34能够依照控制部38的控制命令来抑制检测出的三维物体被判断为是其它车辆VX。
[0210]接着，说明控制部39。本实施方式的控制部39在前次的处理中通过静止物体判断部38判断出在摄像图像中包含有树荫Ql的像并在检测区域A1、A2映现有树木的影子的情况下，能够生成在下一次的处理中三维物体检测部33、37、三维物体判断部34、静止物体判断部38以及控制部39自身的任一个以上的各部将执行的控制命令。
[0211]本实施方式的控制命令是用于控制各部的动作使得抑制将检测出的三维物体判断为是其它车辆VX的命令。这是因为在检测区域A1、A2中映现有树木的影子的情况下，由于检测出的三维物体是树木的影子的可能性高，因此防止将其错误地判断为其它车辆VX。本实施方式的计算机30是计算机，因此针对三维物体检测处理、三维物体判断处理、静止物体判断处理的控制命令可以预先嵌入于各处理的程序中，也可以在执行时发送。本实施方式的控制命令也可以是使根据差分波形信息检测三维物体时的灵敏度下降的命令、使根据边缘信息检测三维物体时的灵敏度下降的命令。另外，在抑制将三维物体判断为是其它车辆VX的情况下，控制命令也可以是对于使将检测出的三维物体判断为其它车辆的处理中止、将检测出的三维物体判断为不是其它车辆的结果的命令。
[0212]本实施方式的控制部39在由静止物体判断部38判断为检测出的三维物体是树木的影子的可能性高的情况下，将抑制检测三维物体并判断为检测出的该三维物体是其它车辆VX的控制命令发送到三维物体检测部33、37或三维物体判断部34。由此，三维物体检测部33、37不容易检测三维物体。另外，三维物体判断部34不容易判断为检测出的三维物体是存在于检测区域A的其它车辆VX。
[0213]另外，控制部39在判断为由静止物体判断部38检测出的三维物体是树木的影子的可能性高的情况下，可以生成将三维物体的检测处理中止的内容的控制命令并输出到三维物体检测部33、37，也可以生成将三维物体的判断处理中止的内容的控制命令或判断为检测出的三维物体不是其它车辆的内容的控制命令并输出到三维物体判断部34。由此，能够获得与上述相同的作用效果。
[0214]以下，关于控制部39输出的具体的各控制命令进行说明。
[0215]控制部39在前次的处理中由静止物体判断部38判断为检测出的三维物体是树木的影子的可能性高的情况下，在检测区域Al、A2映现有树木的影子，判断为基于图像信息的处理发生错误的可能性高。如果仍旧通过与通常情况相同的方法检测三维物体，则存在将根据映现在检测区域Al、A2中的树荫Q的像而检测出的三维物体错误地判断为其它车辆VX的情况。因此，本实施方式的控制部39在下一次的处理中为了抑制根据树荫Q的像检测出的三维物体被错误地判断为其它车辆VX，而将与生成差分波形信息时的像素值的差分有关的阈值变高。这样，在检测区域Al、A2中映现有树荫Ql的情况下，通过将判断的阈值变高，来抑制三维物体的检测或是其它车辆VX的判断，因此能够防止由于树荫Ql引起的错误检测。
[0216]首先，关于根据差分波形信息检测三维物体的情况下的控制命令进行说明。如之前记述的那样，三维物体检测部33根据差分波形信息和第一阈值α来检测三维物体。然后，本实施方式的控制部39在由静止物体判断部38判断为所检测出的三维物体是树木的影子的可能性高的情况下，生成使第一阈值α提高的控制命令并输出到三维物体检测部33使得不容易检测三维物体。第一阈值α是指在图11的步骤S7中用于判断差分波形DWt的峰值的第一阈值α (参照图5)。另外，控制部39能够将使与差分波形信息中的像素值的差分有关的阈值P提高或降低的控制命令输出到三维物体检测部33。
[0217]另外，本实施方式的控制部39在由静止物体判断部38判断为检测出的三维物体是树木的影子的可能性高的情况下，能够将使对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值变低输出的控制命令输出到三维物体检测部33。对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值是指在图11的步骤S5中生成的差分波形DWt的纵轴的值。在前次的处理中判断为检测出的三维物体是树木的影子的可能性高的情况下，控制部39判断为根据映现在检测区域Al、Α2中的树荫Ql错误检测其它车辆VX的可能性高。因此，在下一次的处理中将差分波形DWt的进行频数分布化得到的值变低后输出，使得不容易在检测区域Α1、Α2中检测三维物体或其它车辆VX。这样，在判断为检测出的三维物体是树木的影子的可能性高的情况下，通过使输出值降低，来调整行驶于本车辆V的行驶车道附近的其它车辆VX的检测灵敏度，因此能够防止由于映现在检测区域Al、A2中的树荫Ql引起的对其它车辆VX的错误检测。
[0218]接着，关于根据边缘信息检测三维物体的情况下的控制命令进行说明。与之前记述的基于差分波形信息的处理同样地，在前次的处理中判断为检测出的三维物体是树木的影子的可能性高的情况下，控制部39判断为根据映现在检测区域Al、A2中的树荫Ql错误检测其它车辆VX的可能性高。因此，在判断为检测出的三维物体是树木的影子的可能性高的情况下，本实施方式的控制部39将使与在检测边缘信息时使用的亮度有关的规定阈值提高的控制命令输出到三维物体检测部37。与在检测边缘信息时使用的亮度有关的规定阈值是指图17的步骤S29中的对将各关注点Pa的属性的连续性c的总和标准化得到的值进行判断的阈值Θ、或者图18的步骤34中的对边缘线的量进行评价的第二阈值β。也就是说，本实施方式的控制部39在判断为检测出的三维物体是树木的影子的可能性高的情况下，生成将对在检测边缘线时使用的阈值Θ或边缘线的量进行评价的第二阈值β提高的控制命令并输出到三维物体检测部37使得不容易检测三维物体。这样，在判断为检测出的三维物体是树木的影子的可能性高的情况下，通过将判断的阈值变高，来抑制三维物体的检测或是其它车辆VX的判断，因此能够防止由于映现在检测区域Al、Α2中的树荫Ql引起的错误检测。
[0219]另外，本实施方式的控制部39在由静止物体判断部38判断为检测出的三维物体是树木的影子的可能性高的情况下，将使检测出的边缘信息的量变低或变高输出的控制命令输出到三维物体检测部37。检测出的边缘信息的量是指图17的步骤S29中的对各关注点Pa的属性的连续性c的总和进行标准化得到的值、或图18的步骤34中的边缘线的量。在前次的处理中判断为检测出的三维物体是树木的影子的可能性高的情况下，控制部39判断为根据映现在检测区域Al、Α2中的树荫Ql错误检测其它车辆VX的可能性高。因此，在下一次的处理中，将对各关注点Pa的属性的连续性c的总和进行标准化得到的值或边缘线的量变低并输出使得对检测三维物体并判断为该三维物体是其它车辆VX进行抑制。
[0220]具体地说，在检测出的三维物体是树木的影子的可能性高的情况下，将差分波形Dfft的进行频数分布化得到的值变低后输出。这样，在检测出的三维物体是树木的影子的可能性高的情况下，通过降低输出值，能够进行控制来抑制三维物体的检测或是其它车辆VX的判断，因此能够防止由于映现在检测区域Α1、Α2中的树荫Ql引起错误检测。
[0221]本实施方式的控制部39在由静止物体判断部38判断为检测出的三维物体是移动体的情况下，使三维物体判断部34将该三维物体最终判断为是其它车辆。也就是说，控制部39接收到静止物体判断部38的“三维物体是移动体”的判断后，进行起到与上述的“抑制将三维物体判断为其它车辆”的处理相反的作用的处理。具体地说，控制部39使与生成差分波形信息时的像素值的差分有关的阈值变低、将差分波形DWt的进行频数分布化得到的值变高后输出、使与在检测边缘信息时使用的亮度有关的规定阈值变低、或者将检测出的边缘信息的量变高输出等进行控制使得容易将三维物体判断为是其它车辆。
[0222]特别地，静止物体判断部38在假设周期性评价值小于第一周期性评价阈值且不规则性评价值小于规定的不规则性评价阈值而判断为检测出的三维物体是移动体的情况下，控制部39使三维物体判断部34判断为三维物体检测部33、37所检测出的三维物体是其它车辆。
[0223]下面，根据图24说明本实施方式的三维物体检测装置I的动作、特别是控制部39以及获取到控制命令的三维物体判断部34、三维物体检测部33、37的动作。图24所示的处理是在前次的三维物体检测处理之后利用前次处理的结果进行的本次的三维物体检测处理。
[0224]首先，在图24所示的步骤S41中，静止物体判断部38根据差分波形信息或边缘信息判断周期性。具体地说，计算用于判断周期性的周期性评价值。虽然不特别地进行限定，但是周期性评价值从差分波形信息或边缘信息抽出的峰值数为规定值以上、峰值间的偏差越小于规定值且与本车辆V的车速相应的差分波形信息的峰值部分的面积差分(面积差分与峰值之比)或边缘信息的峰值部分的边缘量的差分(边缘差分与峰值的边缘量之比)越小，则能够判断为周期性越高。稍后详细记述周期性评价的具体方法。
[0225]接着，在步骤S42中，静止物体判断部38判断计算出的周期性评价值是否为第二周期性评价阈值以上。在计算出的周期性评价值为第二周期性评价阈值以上的情况下进入步骤S52，判断为检测出的三维物体是护栏等结构物Q2。在计算出的周期性评价值小于第二周期性评价阈值的情况下，进入步骤S43。
[0226]在步骤S43中，静止物体判断部38判断计算出的周期性评价值是否小于第一周期性评价阈值。在此，第一周期性评价阈值是比第二周期性评价阈值低的值(评价为周期性低的值)。在计算出的周期性评价值小于第一周期性评价阈值的情况下进入步骤S53，判断为检测出的三维物体是其它车辆VX的可能性高。在计算出的周期性评价值为第一周期性评价阈值以上、即周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值的情况下，进入步骤S44。通过目前为止的处理，能够根据周期性来将范围缩小到树荫Ql以及草/雪Q3。
[0227]接着，在步骤S44中，静止物体判断部38根据差分波形信息或边缘信息来判断不规则性。虽然不特别地进行限定，但是能够根据从差分波形信息或边缘信息抽出的特征的偏差程度来判断不规则性评价值。例如从差分波形信息或边缘信息抽出的峰值数小于规定值、峰值间的偏差为规定值以上且与本车辆V的车速相应的差分波形信息的峰值部分的面积差分(面积差分与峰值之比)或边缘信息的峰值部分的边缘量的差分(边缘差分与峰值的边缘量之比)越大，则能够判断为不规则性越高。稍后详细记述不规则性评价的具体方法。
[0228]在步骤S45中，静止物体判断部38判断计算出的不规则性评价值是否小于不规则性评价阈值。在计算出的不规则性评价值为不规则性评价阈值以上的情况下，进入步骤S54，判断为检测出的三维物体是草/雪Q2。在计算出的不规则性评价值小于不规则性评价阈值、即周期性评价值为第一周期性评价阈值以上、小于第二周期性评价阈值、不规则性评价值小于不规则性评价阈值的情况下，进入步骤S46。
[0229]在步骤S46中，静止物体判断部38判断为检测出的三维物体是树荫Q1。在接下来的步骤S47中，控制部39在由静止物体判断部38判断为前次的处理中检测出的三维物体是树木的影子(树荫Ql)的情况下，判断为根据映现在检测区域A1、A2中的树荫Ql错误检测其它车辆VX的可能性高，进行将在三维物体检测处理、三维物体判断处理中使用的阈值设定得高、或将与阈值进行比较的输出值变低输出的控制使得在下一次的处理中抑制检测三维物体并判断为该三维物体是其它车辆VX。具体地说，向三维物体检测部33、37发送使与生成差分波形信息时的像素值的差分有关的阈值P、根据差分波形信息判断三维物体时使用的第一阈值α、生成边缘信息时的阈值Θ、根据边缘信息判断三维物体时使用的第二阈值β中的任一个以上变高的意思的控制命令以抑制三维物体的检测。此外，控制部39也可以生成使根据阈值进行评价的输出值变低的控制命令并输出到三维物体检测部33、37来代替提高阈值。如之前记述的那样，第一阈值α在图11的步骤S7中用于判断差分波形Dfft的峰值。阈值Θ是对将图17的步骤S29中的各关注点Pa的属性的连续性c的总和标准化得到的值进行判断的阈值，第二阈值β是对图18的步骤34中的边缘线的量进行评价的阈值。
[0230]此外，在提高输出值的情况下，控制部39向三维物体检测部33输出将对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值变高输出的控制命令。对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值是指在图11的步骤S5中生成的差分波形DWt的纵轴的值。同样地，控制部39能够向三维物体检测部37输出将检测出的边缘信息的量变高输出的控制命令。检测出的边缘信息的量是指将图17的步骤S29中的各关注点Pa的属性的连续性c的总和标准化得到的值、或图18的步骤34中的边缘线的量。控制部39在前次的处理中判断为光环境骤变的情况下，向三维物体检测部37输出将各关注点Pa的属性的连续性c的总和标准化得到的值或将边缘线的量变高的控制命令使得在下一次的处理中能够不容易检测三维物体。
[0231]在使各阈值或各输出值变化之后进入步骤S48，根据差分波形信息或边缘信息检测三维物体，再在步骤S49中判断在步骤S48中检测出的三维物体是否为其它车辆VX，在三维物体是其它车辆VX的情况下，在步骤S50中输出存在其它车辆的意思的判断结果，在三维物体不是其它车辆VX的情况下，在步骤S51中输出不存在其它车辆的意思的判断结果。步骤S48和步骤S49中的处理与如之前在图11和图12中说明的基于差分波形信息检测其它车辆VX的处理、同样地在图17和图18中说明的基于边缘信息检测其它车辆VX的处理相同。
[0232]另一方面，在步骤S49中，在未检测出三维物体的情况下，也可以进入步骤S55，中止三维物体的检测处理，还可以进入步骤S51，判断为检测出的三维物体不是其它车辆TL、不存在其它车辆VX。
[0233]最后说明周期性的评价方法以及不规则性的评价方法。此外，关于从摄像图像抽出的特征点的周期性的评价方法以及从摄像图像抽出的特征点的不规则性的评价方法，能够适当地应用在申请时周知的方法。例如，能够适当地应用利用 申请人:之前申请的PCT/JP2012/053834中公开的周期性物体的检测方法的被摄体的周期性的评价方法、利用日本特愿2011-198007中公开的被摄体的不规则性的检测方法的不规则性的评价方法。
[0234]此外，在下面，关于周期性或不规则性的评价方法，将静止部判断部38作为处理的主体进行说明，但是静止物体判断部38使对位部32或三维物体检测部33、或者亮度差计算部35、边缘线检测部36或三维物体检测部37进行处理的一部分并获取其处理结果，最终能够判断周期性或不规则性。
[0235]首先，说明基于差分波形信息的周期性的评价方法的一例。在本例中，静止物体判断部38计算由三维物体检测部33检测出的多个三维物体的移动量的候选。图25的(a)表示在时刻t的差分图像rot，图25的(b)表示在时刻t-1的差分图像rot-1。静止物体判断部38从图25的(b)所示的差分图像PDt中检测三维物体的触地点(特征点)。在此，触地点是指三维物体与路面的接触点。静止物体判断部38将检测出的三维物体中的最接近本车辆V的摄像头10的位置检测为触地点。
[0236]如图25所示，静止物体判断部38关于三维物体01检测触地点Pl，关于三维物体
02检测触地点P2，关于三维物体03检测触地点P3。接着，静止物体判断部38针对图25的(a)所示的在时刻t的差分图像PDt设定宽度W的区域T。此时，静止物体判断部38在与时刻t-1的差分图像rot-1的触地点Pl?P3对应的地方设定区域T。
[0237]接着，静止物体判断部38根据时刻t的差分图像PDt的数据检测三维物体的触地点。该情况也将检测出的三维物体中的最接近本车辆V的摄像头10的位置检测为触地点。在本例中，静止物体判断部38关于三维物体04检测触地点P4，关于三维物体05检测触地点P5，关于三维物体06检测触地点P6。本实施方式的对位部32、三维物体检测部33以及静止物体判断部38从鸟瞰视点图像的规定区域的图像、数据中抽出多个三维物体的特征点(触地点)。
[0238]然后，静止物体判断部38将触地点彼此进行对应。即，将触地点P4与触地点Pl进行对应的同时将触地点P5与触地点Pl进行对应，并且将触地点P6与触地点Pl进行对应。同样地，针对触地点P2、P3，也将触地点P4?P6进行对应。
[0239]静止物体判断部38计算相对应的触地点Pl?P6的距离(即，移动量候选)。然后，静止物体判断部38将计算出的距离作为移动量候选。静止物体判断部38针对各三维物体计算多个移动量候选。由此，抑制唯一地决定三维物体的移动量、针对同样的图像的特征周期性地出现的周期性的静止物体计算错误的移动量这样的情形。
[0240]此外，设置区域T的理由是因为即使由于本车辆V的俯仰、横摆等而在鸟瞰视点图像PBt、PBt-l的对位中产生误差，也稳定地进行触地点Pl?P6的对应。另外，通过鸟瞰视点图像Bt、PBt-1的触地点周围的亮度分布的匹配处理来决定触地点Pl?P6的对应。
[0241]静止物体判断部38对计算出的移动量候选进行计数，制作直方图(波形数据)。例如，如果触地点Pl与触地点P4的距离、触地点P2与触地点P5的距离以及触地点P3与触地点P6的距离相同，则静止物体判断部38将计数值设为“3”。这样，静止物体判断部38对移动量候选进行计数来制作直方图，计算与检测区域内的各触地点的分布对应的波形数据。
[0242]静止物体判断部38根据摄像头100的摄像间隔以及由车速传感器20检测出的本车辆V的移动速度，来计算周期性的静止物体在鸟瞰视图上的移动范围。静止物体判断部38针对本车辆V的速度计算具有规定范围(例如±10km/h)的余量的移动范围。例如在摄像头10的摄像间隔为33ms、一个像素所覆盖的车辆行进方向的实际距离为5cm的情况下，在一个控制周期内移动一个像素的三维物体的速度大约为5.5km/h。当考虑由于车辆运动而鸟瞰视点图像PBt、PBt-1的精度变差时，允许该大约5.5km/h,因此需要±10km/h的余量。
[0243]静止物体判断部38对由三维物体检测部33检测出的多个三维物体的周期进行评价，判断各三维物体是否为周期性的静止物体。静止物体判断部38根据制作出的直方图、计算出的移动范围以及周期性评价值，来判断由三维物体检测部33检测出的多个三维物体是否为周期性的静止物体。作为该周期性的静止物体，包含图23的具备周期性的其它车辆VX、草/雪Q3、树荫Ql、护栏等结构物Q2。
[0244]接着，参照流程图说明周期性的评价方法、即周期性的静止物体检测方法。图26是表示对位部32和三维物体检测部33的处理的流程图。对位部32由视点变换部31输入检测出的不同时刻的鸟瞰视点图像PBt、PBt-1的数据，进行对位(SI)。接着，三维物体检测部33取对位后的鸟瞰视点图像PBt、PBt-1的数据的差分(S2)。之后，三维物体检测部33根据规定值执行二值化处理来生成差分图像rot的数据(S3)。
[0245]图27是评价周期性并示出周期性的静止物体候选的检测处理以及周期性的判断处理的流程图，图28是表示所生成的直方图的一例的图。如图28所示，对计算出的移动量候选相同的移动量进行计数。在图28所示的例子中，关于移动量ml、m2、m3、m4，被检测出多个，因此它们的计数值高。
[0246]静止物体判断部38从直方图中检测最大值M(峰值；峰值信息)(Sll)。接着，静止物体判断部38在步骤S12中根据检测出的最大值M设定规定的阈值Th I (SI 2)。在此，规定的阈值Thl被设定为最大值M的70%。例如在最大值M的计数值为“V，的情况下，规定的阈值Thl被设定为“4.9”。根据计数值的最大值M求出规定的阈值Thl，因此即使根据本车辆V与三维物体的位置关系、日照条件等而计数值的大小变化，也能够设定适当的阈值。此外，在本实施方式中，规定的阈值Thl设为最大值M的70%的值，但是不限于此。
[0247]静止物体判断部38检测规定的阈值Thl以上的极大值Ml?M3 (峰值；峰值信息)(S13)。在此，在最大值M例如为“7”的情况下，静止物体判断部38检测具有“5”以上的计数值的极大值Ml?M3。然后，静止物体判断部38判断为与各极大值M、M1?M3 (包含最大值M)所对应的移动量候选相对应的三维物体(例如某两个触地点间的距离与各极大值M、Ml?M3中的任一个一致时的具有该触地点的两个三维物体)是周期性的静止物体候选。
[0248]静止物体判断部38检测极大值M、M1?M3 (包含最大值M)的间隔(峰值信息)，对检测出的间隔进行投票(S14)。即，在图28所示的例子中，关于间隔D1，投票数为“2”，关于间隔D2，投票数为“I”。
[0249]静止物体判断部38对周期性进行判断(评价)(S15)。此时，静止物体判断部38根据步骤S14中的投票数是否为规定投票数以上来评价周期性。此外，该投票数是周期性评价值的一个形态，规定投票数是周期性评价阈值的一个形态。规定投票数包含作为基于上述的识别护栏等结构物Q2的观点而设定的第二周期性评价阈值的规定投票数以及作为基于识别其它车辆VX的观点而设定的第一周期性评价阈值的规定投票数。在此，规定投票数设为从鸟瞰视点图像PBt中检测出的三维物体的检测数的一半。因此，在从鸟瞰图像PBt中检测出的三维物体的检测数为“4”的情况下，规定投票数为“2”。此外，规定投票数不限于上述，也可以是固定的值。
[0250]在判断为具有周期性的情况下(S15 是”)，静止物体判断部38使步骤S12中的规定的阈值Thl降低(S16)。另外，使规定的阈值THl降低的期间大致为I秒左右，每当判断为具有周期性时都重新设定规定的阈值Thl。这样，根据计数值的极大值M、Ml?M3的产生位置、即间隔来判断周期性，在判断为具有周期性的情况下使规定的阈值Thl降低，因此在判断出一次周期性的情况下，能够容易地对周期性的静止物体进行判断。另一方面，在判断出一次周期性之前不会使规定的阈值Thl降低，因此能够抑制由于对位的误差等引起的三维物体的错误检测。
[0251]另一方面，在判断为没有周期性的的情况下(S15 否”)，不使规定的阈值Thl降低，处理转移到步骤S17。
[0252]静止物体判断部38根据基于移动量候选的计数值的最大值M的规定的阈值Thl以上的极大值M、Ml?M3的产生位置(间隔)的投票数(峰值信息)来判断周期性。因此，能够忽略值比较小的极大值(例如图28的附图标记M4)，从而不容易受到噪声的影响，能够更高精度地判断周期性。
[0253]静止物体判断部38在步骤S17中根据从本车辆V的控制器获取到的信息来判断是否检测出本车辆V的规定以上的横向移动(S17)。顺便提及，本车辆V的控制器在转向方向灯打开且检测出基于由车速传感器检测出的车速决定的规定以上的转动角时，判断为检测出规定以上的横向移动。
[0254]静止物体判断部38在检测出规定以上的横向移动的情况下(SI7:“是”)，使在步骤S16中降低后的阈值Thl初始化(S18)。由此，能够根据车道变更后的环境的变化来检测周期性的静止物体。另一方面，在判断为未检测出规定以上的横向移动的情况下(S17:“否”)，不将规定的阈值Thl初始化而结束。
[0255]图29是表示周期性的静止物体的判断处理的流程图。静止物体判断部38计算相当于静止的移动量(S21)。即，静止物体判断部38根据摄像头10的摄像间隔和由车速传感器20检测出的本车辆V的移动速度来计算周期性的静止物体在鸟瞰视图上的移动范围。此时，静止物体判断部38针对本车辆V的速度计算具有规定范围的余量的移动范围。
[0256]静止物体判断部38判断在步骤S21中检测出的移动量的范围内是否存在极大值M、Ml、M3 (直方图的峰值)(S22)。静止物体判断部38在判断为极大值M、Ml?M3中的任一个存在于移动量的范围内的情况下(322:“是”)，判断为存在周期性的静止物体(S23)。周期性的静止物体以相同的间隔排列的情形较多，有特定的计数值变大的倾向。另外，由于周期性的静止物体处于静止状态，因此移动量候选的计数值理应收敛于考虑到移动体的速度等得到的移动范围内。因此，在步骤S22中判断为“是”的情况下，可以说多个三维物体是周期性的静止物体。
[0257]在步骤S22中，静止物体判断部38在判断为极大值M、M1?M3均未存在于上述移动量的范围内的情况下(S22 否”)，在步骤S24中判断有无周期性。在未判断为具有周期性的情况下(324:“否”)，将三维物体判断为是移动物体(S25)。另一方面，在步骤S24中判断为具有周期性的情况下(S24 是”)，根据规定的阈值Thl以上的极大值检测非周期性的极大值(S26)。非周期性的极大值例如相当于图28所示的极大值M3。该极大值M3与相邻的极大值的间隔不同于其它的极大值M、M1、M2。因此，静止物体判断部38将该极大值M3判断为没有周期性的非周期性的极大值。
[0258]然后，在无法检测出非周期性的极大值的情况下(326:“否”)，根据具有周期性、不存在非周期性的极大值的情形，静止物体判断部38判断为存在周期性的静止物体(S23)。
[0259]另一方面，在能够检测出非周期性的极大值的情况下(S26 是”)，静止物体判断部38判断周期性的极大值M、M1、M2是否低于前次值(S27)。在该处理中，静止物体判断部38计算本次处理中的周期性的极大值M、M1、M2的平均值，并且还计算前次处理中的周期性的极大值的平均值。静止物体判断部38判断本次处理的平均值是否比前次处理的平均值低规定值以上。
[0260]在判断为周期性的极大值M、Ml、M2低于前次值的情况下(S27 是”)，静止物体判断部38判断为其它车辆等驶入到了本车辆V与周期性的静止物体之间，检测出移动物体(S25)。
[0261]另一方面，在判断为周期性的极大值M、Ml、M2不低于前次值的情况下(S27:“否”)，静止物体判断部38判断为从本车辆V来看其它车辆VX等驶入到了周期性的静止物体的后侧，检测出周期性的静止物体(S23)。
[0262]图30是表示图29所示的步骤S27的详细内容的图，(a)表示其它车辆VO驶入到了周期性的静止物体的前侧的情况，(b)表示(a)的场面中的直方图。另外，(C)表示其它车辆VO驶入到了周期性的静止物体的后侧的情况，(d)表示(C)场面中的直方图。此外，在图30的(b)和(d)中，虚线表示其它车辆驶入前的直方图，实线表示其它车辆驶入后的直方图。
[0263]如图30的(a)所示那样假设其它车辆VO驶入到了周期性的静止物体前侧。此时，由于周期性的静止物体的摄像被其它车辆VO遮挡，因此如图30的(b)所示那样周期性的极大值的计数值有变小的倾向。特别地，在其它车辆VO驶入到了周期性的静止物体的前侧的情况下，其它车辆VO有可能存在于本车辆V可能进行车道变更的位置。因此，在这种情况下，静止物体判断部38检测出其它车辆VO (移动物体)。
[0264]根据本实施方式所涉及的三维物体检测装置1，从鸟瞰视点图像的规定区域的图像、数据中抽出多个三维物体的触地点(特征点)，计算与规定的检测区域内的触地点的分布对应的直方图(波形数据)，根据该直方图的峰值、峰值的间隔的投票数等(峰值信息)是否为规定的阈值以上，来判断多个三维物体是否为周期性的静止物体候选。能够将上述直方图的峰值、峰值的间隔的投票数等(峰值信息)应用为周期性评价值的一个形态，将上述规定的阈值应用为周期性评价阈值的一个形态。根据本方法，能够更明确地抽出周期性的静止物体所具有的周期性(重复性)来作为波形数据的峰值信息，从而能够更容易地从摄像图像中包含的三维物体中抽出周期性的静止物体候选。由此，能够更高精度地抽出周期性的静止物体。
[0265]接着，说明基于边缘信息的周期性的评价方法的一例。在本例中，静止物体判断部38检测边缘的分布。此外，静止物体判断部38能够使边缘检测部36进行边缘的分布的检测，并获取其结果。静止物体判断部38为了检测鸟瞰视点图像中包含的周期性的静止物体的边缘(特征点)，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。静止物体判断部38针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。具体地说，针对进行视点变换得到的鸟瞰视点图像设定相当于在实际空间中在铅垂方向上延伸的线段的第一铅垂虚拟线以及相当于在实际空间中在铅垂方向上延伸的线段的第二铅垂虚拟线。静止物体判断部38沿着第一铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。
[0266]静止物体判断部38如图31所示那样设定多条相当于在实际空间中从触地线LI上的点起在铅垂方向上延伸的线段且通过检测区域Al的第一铅垂虚拟线Kai (以下称为关注线Lai)。关注线Lai的条数不特别地限定。在下面的说明中，设为设定了 η条关注线Lai (i = I?η)进行说明。
[0267]静止物体判断部38与多条关注线Lai分别对应地设定多条相当于在实际空间中从触地线LI上的点起在铅垂方向上延伸的线段且通过检测区域Al的第二铅垂虚拟线Lri (以下称为参照线Lri)。各参照线Lri被设定于距离关注线Lai分离实际空间中的规定距离(例如1cm)的位置处。此外，与实际空间中在铅垂方向上延伸的线段相当的线是指在鸟瞰视点图像中从摄像头10的位置Ps起呈放射状扩展的线。
[0268]静止物体判断部38在各关注线Lai上设定多个关注点Paj。在图31所示的例子中设定了关注点Pal?Pa8，但是关注点Paj的个数不特别地限定。在下面的说明中，设为设定了 k个关注点Paj (j = I?k)进行说明。
[0269]静止物体判断部38在各参照线Lri上设定多个与上述关注点Paj分别对应的参照点Prj。相互对应的关注点Paj与参照点Prj在实际空间上被设定在大致相同的高度。此外，关注点Paj和参照点Prj不需要一定是严格意义上相同的高度，当然允许关注点Paj和参照点Prj被视为相同高度的程度的误差。
[0270]静止物体判断部38沿着各关注线Lai连续地求出相互对应的关注点Pai与参照点Prj之间的亮度差。在图31所示的例子中，计算第一关注点Pal与第一参照点Prl之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。然后，同样地依次求出第三?第八关注点Pa3?Pa8与第三?第八参照点Pr3?Pr8的亮度差。
[0271]静止物体判断部38在关注点Pai与参照点Prj的亮度差为规定值以上的情况下，判断为在关注点Pai与参照点Prj之间存在边缘要素。然后，静止物体判断部38计数沿着相同的关注线Lai存在几个该边缘要素。静止物体判断部38将计数出的边缘要素的个数作为各关注线Lai的属性进行存储。静止物体判断部38针对所有的关注线Lai执行边缘要素的检测以及计数的处理。此外，关注线Lai中的与检测区域Al重复的部分的长度根据各关注线Lai的位置而不同。计数出的边缘要素的个数也可以除以对应的关注线Lai的重复部分的长度来进行标准化。
[0272]在图31所示的例子中，在检测区域Al拍摄有其它车辆V0。假定为在其它车辆VO的轮胎的橡胶部分设定关注线La1、参照线Lri被设定在距此处相当于1cm的距离的轮胎的轮辋(wheel)上。此时，第一关注点Pal和第一参照点Prl位于相同的轮胎部分，因此它们之间的亮度差小。另一方面，第二?第八关注点Pa2?PaS位于轮胎的橡胶部分，第二?第八参照点Pr2?PrS位于轮胎的轮辋部分，因此它们之间的亮度差变大。如果第二?第八关注点Pa2?Pa8与第二?第八参照点Pr2?Pr8的亮度差为规定值以上，则静止物体判断部38检测出在第二?第八关注点Pa2?Pa8与第二?第八参照点Pr2?Pr8之间存在边缘要素。由于第二?第八关注点Pa2?PaS沿着关注线Lai存在7个边缘要素，因此检测7次边缘要素，边缘要素的计数值为“7”。
[0273]静止物体判断部38将针对各关注线Lai获得的边缘要素的计数值图表化得到边缘分布的波形(波形数据)。具体地说，静止物体判断部38在以边缘要素的计数值为纵轴、以实际空间中的关注线Lai的触地线LI上的位置为横轴的平面上绘制边缘要素的计数值。在实际空间中在触地线LI上等间隔地设定了关注线Lal?Lan的情况下，仅将针对各关注线Lai获得的边缘要素的计数值按关注线Lai?Lan的顺序排列就能够得到边缘分布的波形。在图31所示的例子中，在设定于其它车辆VO的轮胎的橡胶部分的关注线Lai在鸟瞰视点图像上与触地线LI相交叉的位置，边缘要素的计数值为“7”。
[0274]这样，静止物体判断部38针对在实际空间中在铅垂方向上延伸的多个铅垂虚拟线中的每一个累计沿着该铅垂虚拟线存在的边缘要素的个数。根据累计的边缘要素的个数得到边缘分布波形(波形数据)。
[0275]静止物体判断部38检测边缘分布波形的峰值。峰值是指在边缘分布波形上边缘要素的计数值从增加变为减少的点。静止物体判断部38针对边缘分布波形实施了例如低通滤波器、移动平均滤波器等的噪声去除处理之后，进行峰值检测。在此，也可以仅将具有规定的阈值以上的值的峰值检测为峰值。规定的阈值例如能够设定为边缘分布波形的最大值的60%的值。
[0276]静止物体判断部38对检测出的峰值中的等间隔排列的峰值的个数进行计数。具体地说，计算检测出的各峰值间的距离，抽出计算出的峰值间距离处于规定范围内的峰值，并对其个数进行计数。
[0277]静止物体判断部38根据计数出的峰值的个数(峰值信息)是否为规定的阈值Th2以上，来判断与被计数的各峰值对应的物体是否符合周期性的静止物体候选。具体地说，静止物体判断部38在计数出的峰值的个数为规定的阈值Th2以上时，判断为与被计数的各峰值对应的物体是周期性的静止物体候选。阈值Th2例如是根据桥塔(pylon)、护栏腿部、电线杆等作为检测对象的周期性的静止物体的种类而决定的值，能够通过实验等求出。具体地说，阈值Th2例如被设定为3以上、100以下的值。
[0278]静止物体判断部38在持续规定时间检测出周期性的静止物体候选时，判断为该周期性的静止物体候选是周期性的静止物体。具体地说，在持续规定时间检测出峰值的个数为规定的阈值Th2以上的状态时，判断为检测出的周期性的静止物体候选是周期性的静止物体的可能性高。然后，静止物体判断部38判断为与被计数的各峰值对应的物体是周期性的静止物体。在本例中，在边缘分布波形中计数的峰值的个数是周期性评价值的一个形态，阈值Th2是周期性评价阈值的一个形态。阈值Th2包含作为基于上述的识别护栏等结构物Q2的观点而设定的第二周期性评价阈值的阈值以及作为基于识别其它车辆VX的观点而设定的第一周期性评价阈值的阈值。“规定时间”是根据作为检测对象的周期性的静止物体的种类而决定的值，能够通过实验等求出。可以设为固定值，也可以根据摄像头10的摄像间隔、本车辆V的移动速度而变动。具体地说，“规定时间”例如被设定为0.1秒?5秒。
[0279]图32、图33是周期性的静止物体的检测处理的流程图。此外，在图32、33中，为了方便对以检测区域Al作为对象的处理进行说明，但是关于检测区域A2，也能够同样地进行处理。
[0280]如图32所示，在步骤S31中，根据得到的摄像图像数据进行视点变换处理，生成鸟瞰视点图像数据。接着，在步骤S32中，在检测区域Al上设定η条关注线Lai，并且设定与η条关注线Lai分别对应的η条参照线Lri (i = I?η)。静止物体判断部38设定在实际空间中从触地线LI上的点起在铅垂方向上延伸的关注线Lai。另外，设定相当于在实际空间中从触地线LI上的点起在铅垂方向上延伸的线段且距离对应的关注线Lai分离实际空间中的规定距离的参照线Lri。
[0281]静止物体判断部38在步骤S33中在各关注线Lai上设定k个关注点Paj，并且在各参照线Lri上设定与关注点Paj分别对应的k个参照点Prj (j = I?k)。相互对应的关注点Paj和参照点Prj在实际空间上被设定为大致相同的高度。
[0282]静止物体判断部38在步骤S34中判断相互对应的关注点Paj与参照点Prj的亮度差是否为规定值以上。在判断为亮度差为规定值以上的情况下，判断为在作为判断对象的关注点Paj与参照点Prj之间存在边缘要素，在步骤S35中，在第i个关注线Lai的计数值(bincounta))中代入“I”。在步骤S34中，在判断为亮度差小于规定值的情况下，判断为在作为判断对象的关注点Paj与参照点Prj之间不存在边缘要素，使处理进入步骤S36。
[0283]静止物体判断部38在步骤S36中判断是否关于作为当前处理对象的关注线Lai上的所有关注点Paj执行了步骤S34的处理。在判断为未关于所有的关注点Paj执行步骤S34的处理的情况下，返回步骤S34，求出下一个关注点Paj+Ι与参照点Pr j+Ι的亮度差，判断该亮度差是否为规定值以上。通过这样，静止物体判断部38沿着关注线Lai依次连续地求出关注点Paj与参照点Prj之间的亮度差，在求出的亮度差为规定值以上的情况下，判断为存在边缘要素。
[0284]静止物体判断部38在步骤S35中在第一个关注线Lai的计数值(bincount (i))中代入“I”之后，使处理进入步骤S37，因此，求出下一个关注点Paj+Ι与参照点Prj+1的亮度差，判断该亮度差是否为规定值以上。在判断为亮度差为规定值以上的情况下，静止物体判断部38判断为在作为判断对象的关注点Paj+Ι与参照点Prj+Ι之间存在边缘要素，在步骤S38中将第i个关注线Lai的计数值(bincount (i))累加。
[0285]静止物体判断部38在步骤S37中判断为亮度差小于规定值的情况下，判断为在作为判断对象的关注点Paj+Ι与参照点Prj+Ι之间不存在边缘要素，跳过步骤S38，使处理进入步骤S39。
[0286]静止物体判断部38在步骤S39中判断是否关于作为当前处理对象的关注线Lai上的所有的关注点Paj执行了步骤S34或步骤S37的处理。在判断为未关于所有的关注点Paj执行上述处理的情况下，使处理返回步骤S37，求出下一个关注点Paj+Ι与参照点Prj+1的亮度差，判断该亮度差是否为规定值以上。在步骤S39中判断为关于所有的关注点Paj执行了上述处理的情况下，进入步骤S41。静止物体判断部38计数边缘要素沿着相同的关注线Lai存在几个，将计数出的边缘要素的偶数作为关注线Lai的属性(bincount (i))进行存储。
[0287]此外，在步骤S36中判断为针对所有的关注点Paj执行了步骤S34的处理的情况下，静止物体判断部38判断为在作为当前处理对象的关注线Lai上不存在边缘要素。然后，静止物体判断部38在步骤S40中在bincount (i)中代入“O”,使处理进入步骤S41。在步骤S41中，在关于η条关注线Lai都执行了上述处理的情况下，使处理进入步骤S42，在未执行上述处理的情况下，进行步骤S34以后的处理。
[0288]静止物体判断部38在步骤S42中使针对η条关注线Lai分别获得的边缘要素的计数值bincount (i) (i = I?η)图表化得到边缘分布波形。具体地说，在以边缘要素的计数值为纵轴、以实际空间中的关注线Lai的触地线LI上的位置为横轴的平面上绘制边缘要素的计数值bincount (i) (i = I?η)。在接下来的步骤S43中,检测边缘分布波形的峰值。在步骤S44中，计算检测出的各峰值间的距离。在步骤S45中，抽出计算出的峰值间距离处于规定范围内的峰值，对其个数进行计数。静止物体判断部38也可以使边缘线检测部36、三维物体检测部37进行边缘的检测处理，来获取处理结果。
[0289]在步骤S46中，静止物体判断部38判断在步骤S46中计算出的峰值的个数是否为规定的阈值Th2以上。在判断为峰值的个数为规定的阈值Th2以上的情况下，静止物体判断部38判断为与各峰值对应的物体是周期性的静止物体候选，使处理进入步骤S47。
[0290]在步骤S47中，静止物体判断部38判断是否连续规定次数以上检测出峰值的个数为规定的阈值Th2以上的状态。在判断为连续规定次数以上检测出峰值的个数为规定的阈值Th2以上的状态的情况下，静止物体判断部38判断为与被计数的各峰值对应的物体是周期性的静止物体，在步骤S48中，对标签f_shuki代入“I”。另一方面，在步骤S47中判断为没有连续规定次数以上检测出峰值的个数为规定的阈值Th2以上的状态的情况下，静止物体判断部38跳过步骤S48，维持标签f_shuki的值。
[0291]在步骤S47中判断为峰值的个数小于规定的阈值Th2的情况下，使处理进入步骤S49，静止物体判断部38在步骤S49中判断是否连续规定次数以上检测出峰值的个数小于规定的阈值Th2的状态。在本例中，也能够将峰值的个数小于规定的阈值Th2的状态的检测次数设为周期性评价值的一个形态、将规定次数设为周期性评价阈值的一个形态。规定次数能够包含作为基于上述的识别护栏等结构物Q2的观点而设定的第二周期性评价阈值的次数以及作为基于识别其它车辆VX的观点而设定的第一周期性评价阈值的阈值。也能够将之前记述过的阈值Th2和规定次数两方设定为周期性评价阈值。在判断为连续规定次数以上检测出峰值的个数小于规定的阈值Th2的状态的情况下，静止物体判断部38判断为与被计数的各峰值对应的物体不是周期性的静止物体，在步骤S50中，对标签f_shuki代入“O”。另一方面，在步骤S49中未连续规定次数以上检测出峰值的个数小于规定的阈值Th2的状态的情况下，静止物体判断部38跳过步骤S50，维持标签f_shuki的值。
[0292]根据本实施方式所涉及的三维物体检测装置I以及三维物体检测方法，从鸟瞰视点图像的规定区域的图像数据抽出多个三维物体的边缘(特征点)，计算与规定区域内的边缘的分布对应的边缘分布波形(波形数据)，根据该边缘分布波形的峰值的个数(峰值信息)是否为规定的阈值以上，来判断多个三维物体是否为周期性的静止物体候选。因此，与第一实施方式同样地能够更明确地抽出周期性的静止物体所具有的周期性(重复性)来作为波形数据的峰值信息，从而能够更容易地从包含在摄像图像中的三维物体中抽出周期性的静止物体候选。由此，能够更高精度地抽出周期性的静止物体。
[0293]另外，针对在实际空间中沿着铅垂方向延伸的多个铅垂虚拟线中的每一个累计沿着铅垂虚拟线存在的边缘要素的个数，根据累计出的边缘要素的个数得到了边缘分布波形。而且，在边缘分布波形的峰值的个数为规定的阈值Th2以上时，判断为多个三维物体是周期性的静止物体候选。因此，即使不辨别检测出的多个三维物体是静止物体还是移动物体，也能够可靠地检测沿铅垂方向延伸的边缘高密度地排列的情况，从而能够更容易地检测作为周期性的静止物体的可能性更高的周期性的静止物体候选。
[0294]接着，说明基于边缘信息的不规则性的判断方法的一例。
[0295]静止物体判断部38从通过视点变换部331视点变换得到的检测区域Al、A2的鸟瞰视点图像数据中检测不满足预先决定的人造三维物体的条件且不规则排列的不规则边缘点。在此，预先决定的人造三维物体的条件是指在检测区域Al、A2的鸟瞰视点图像数据上边缘点呈大致直线状地以规定密度以上的密度排列的情形。此外，在不规则性的判断处理中，静止物体判断部38能够使边缘线检测部36、三维物体检测部37执行边缘信息的处理，来获取其处理结果。
[0296]图34是表示检测区域Al的鸟瞰视点图像数据上的边缘点的图。如图34所示，在检测区域Al的鸟瞰视点图像数据上存在多个边缘点P。其中的位于区域R1、R2内的边缘点P呈大致直线状地以规定密度以上的密度排列，满足预先决定的人造三维物体的条件。但是，位于区域R1、R2外的边缘点P没有呈大致直线状地以规定密度以上的密度排列，不满足预先决定的人造三维物体的条件。静止物体判断部38将上述多个边缘点P中的位于区域Rl、R2外的边缘点P检测为不规则边缘点P1。
[0297]静止物体判断部38从检测区域Al、A2的鸟瞰视点图像数据中检测边缘点P。该边缘点检测处理例如通过对鸟瞰视点图像数据实施拉普拉斯过滤来进行二值化处理，由此检测边缘点P。
[0298]静止物体判断部38检测所检测出的边缘点P中的满足预先决定的人造三维物体的条件的规则地排列的规则的边缘点P2。静止物体判断部38将在检测区域A1、A2的鸟瞰视点图像数据中边缘点P从摄像头10沿放射方向以规定密度以上的密度排列作为条件，检测规则的边缘点P2。列举一例，静止物体判断部38定义从摄像头10沿放射方向延伸的直线，根据该直线决定收敛于规定像素(例如10个像素)以内的区域。静止物体判断部38将该区域内的边缘点P判断为呈大致直线状地排列的边缘点，通过判断区域内的边缘点P彼此是否位于规定距离(规定像素)以内，来判断是否以规定密度以上的密度来排列。
[0299]当检测出边缘点P和规则的边缘点P2时，静止物体判断部38将从检测出的边缘点P的个数减去规则的边缘点P2的个数得到的个数检测为不规则边缘点Pl的个数。静止物体判断部38判断在检测区域A1、A2内是否存在斑驳地包含草和泥或土的雪的至少一方。在进行判断时，静止物体判断部38参照所检测出的不规则边缘点Pl的个数。
[0300]图35是表示检测区域Al的鸟瞰视点图像数据中的边缘点P的图，(a)表示车辆(轮胎部分)的边缘点P，(b)表示草的边缘点P, (C)表示雪的边缘点P。首先,车辆(轮胎)是人造物。因此，具有边缘点P容易规则地进行排列的倾向。因此，如图35的(a)所示，关于车辆，具有不规则边缘点Pl的个数变少、规则的边缘点P2变多的倾向。另一方面，由于草、雪不是人造的三维物体，因此如图35的(b)和图35的(c)所示那样，呈大致直线状地以规定密度排列的边缘点P(即，规则的边缘点P2)变少、不规则边缘点Pl的个数变多。静止物体判断部38通过将不规则边缘点Pl的个数与规定的阈值进行比较，能够判断出草、雪。在此，不规则边缘点Pl的值是不规则性评价值的一个方式，进行比较的规定的阈值是不规则性评价阈值的一个方式。规定的阈值至少包含作为从上述的识别包含树荫Ql以及草/雪Q3的观点出发设定的不规则性评价阈值的阈值。
[0301]期望静止物体判断部38根据不规则边缘点Pl的个数相对于边缘点P的个数或规则的边缘点P2的个数的比率来检测草、雪。有时在图像摄像时受到光环境的影响而增加和减少边缘点P的个数。因此，静止物体判断部38相比于简单地将不规则边缘点Pl的个数与规定的阈值进行比较，将上述比率与规定的阈值进行比较更不容易受到光环境的影响，从而能够正确地判断草、雪。在此，不规则边缘点Pl的个数相对于边缘点P的个数或规则的边缘点P2的个数的比率是不规则性评价值的一个方式，与进行比较的比率有关的规定的阈值是不规则性评价阈值的一个方式。规定的阈值至少包含作为从上述的识别包含树荫Ql以及草/雪Q3的观点出发设定的不规则性评价阈值的阈值。
[0302]接着，说明关于本实施方式所涉及的不规则性的评价方法，具体地说是不规则性高的草、雪的检测方法。图36是表示本实施方式所涉及的雪、草墙的检测方法的流程图。如图36所示，首先，静止物体判断部38对通过视点变换部31的视点变换得到的鸟瞰视点图像数据实施拉普拉斯过滤(SI)。由此,相当于边缘点P的像素的像素值变大,其它像素的像素值变小。
[0303]之后，静止物体判断部38针对实施了拉普拉斯过滤后的图像实施二值化处理(S2)，使边缘点P变得明确。然后，静止物体判断部38对边缘点P的个数N进行计数(S3)。静止物体判断部38在步骤S4、S5的处理中，将边缘点P从摄像头10沿放射方向以规定密度以上的密度排列作为人造的三维物体的条件来检测规则的边缘点P2，对规则的边缘点P2的个数M进行计数。即，静止物体判断部38首先检测铅垂边缘(S4)，对铅垂边缘周边(例如距铅垂边缘10个像素以内)的边缘点P的个数M进行计数(S5)。
[0304]接着，静止物体判断部38通过从在步骤S3中进行计数并计算出的边缘点P的个数N减去在步骤S5中计算出的规则的边缘点P2的个数M,来计算不规则边缘点Pl的个数L(S6)。静止物体判断部38计算比率(S7)。此时，静止物体判断部38基于L/N或L/M的式子计算不规则边缘点Pl的个数L相对于边缘点P的个数N或规则的边缘点P2的个数M的比率。此外，该比率只要包含L/N或L/M即可，也可以加上和减去其它数、还可以乘和除其它数。
[0305]接着，静止物体判断部38判断在步骤S7中计算出的比率是否为规定的阈值以上(S8)。在判断为比率为规定的阈值以上的情况下(38:“是”)，不规则边缘点？1的个数多，因此在检测区域Al、A2内存在草、雪的可能性高。因此，静止物体判断部38判断为在检测区域A1、A2内存在草或雪(S9)。控制部39对三维物体检测部37、三维物体判断部34发送抑制检测或判断三维物体的意思的控制命令(SlO)。由此，三维物体检测部37、三维物体判断部34能够识别出在检测区域Al、A2内存在源自草或雪的像，防止将草或雪错误检测为其它车辆VX。
[0306]另一方面，静止物体判断部38在判断为比率不为规定的阈值以上的情况下(S8:“否”)，判断为在检测区域Al、A2内不存在草或雪的像。
[0307]根据本实施方式所涉及的基于不规则性的判断的草、雪的检测方法，检测不满足预先决定的人造的三维物体的条件的不规则地排列的不规则边缘点P1，并且根据不规则边缘点Pl的个数L判断是否存在草和雪。在此，在车辆等人造物进入到了检测区域A1、A2内的情况下，因为是人造物，因此边缘点P具有容易规则排列的倾向。与此相对地，在草及雪的情况下，由于不是人造物，因此边缘点P容易不规则地排列。因此，能够根据不规则边缘点Pl的个数L来将前者与后者进行区分。因而，能够提高草、雪的判断精度。
[0308]另外，从检测区域A1、A2内的图像数据中检测边缘点P，并且检测满足预先决定的人造的三维物体的条件的规则排列的规则的边缘点P2，从前者中减去后者。因此，通过在掌握了整体的边缘点P之后减去规则的边缘点P2，由此能够检测不规则地排列的不规则边缘点P1。
[0309]另外,根据边缘点P的个数N或规则的边缘点P2的个数M与不规则边缘点Pl的个数L的比率，判断在检测区域A1、A2内是否存在草和雪的至少一方。因此，即使在由于光环境的差异而边缘点P被检测得较多或被检测得较少那样的情况下，边缘点P的个数N或规则的边缘点P2的个数M以及不规则边缘点Pl的个数L分别同样地被检测得较多或被检测得较少。因此，可以说比率本身不容易受到光环境的影响。因而，即使光环境变化，也能够不容易受到影响地检测草、雪。
[0310]另外，以在将检测区域Al、A2的图像数据变换为鸟瞰视点后的状态下边缘点大致呈直线状地以规定密度以上的密度排列为条件，抽出规则的边缘点P1。因此，关于如人造物等那样直线成分多的物体，容易检测出规则的边缘点P1，关于草、雪，不容易检测出规则的边缘点P1。因此，能够更正确地检测草、雪。
[0311]另外，以在将检测区域Al、A2的图像数据变换为鸟瞰视点后的状态下边缘点P从摄像头10沿放射方向以规定密度以上的密度排列为条件，检测规则的边缘点P2。因此，检测在实际空间中在铅垂方向上延伸的成分作为规则的边缘点P2，从而能够捕捉作为三维物体的车辆所具有的铅垂方向的边缘点P，因此能够明确车辆与草、雪的差异。
[0312]上述的边缘的不规则性能够作为本发明的差分图像信息的特征进行掌握。也就是说，能够在生成差分图像信息时，在对位后的鸟瞰视点图像的差分图像上，沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向对在差分图像上示出规定的差分的像素的像素数进行计数并进行频数分布化，但是将在该差分图像上示出规定的差分的像素作为本不规则性处理中的边缘进行处理，根据该像素的频数分布，应用上述方法来判断不规则性。
[0313]根据如以上那样构成并进行动作的本发明的本实施方式所涉及的三维物体检测装置1，起到下面的效果。
[0314](I)根据本实施方式的三维物体检测装置1，根据摄像图像的差分波形信息或边缘信息计算用于评价周期性的周期性评价值和用于评价不规则性的不规则性评价值，在周期性评价值在规定值域内、不规则性评价值为规定的阈值以上的情况下，能够识别出图像信息中包含有具备周期性和不规则性的树木的影子，因此能够防止将沿着车辆的行驶道路存在的树木的影子错误检测为行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆。其结果，能够提供一种高精度地检测行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX的三维物体检测装置。
[0315]无论是基于差分波形信息的处理还是基于边缘信息的处理，都起到同样的作用和效果。
[0316](2)根据本实施方式的三维物体检测装置1，在周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值、不规则性评价值为不规则性评价值阈值以上的情况下，能够判断为由三维物体检测部33检测出的三维物体是沿着本车辆V的行驶道路存在的草或雪Q3。草/雪Q2以及树荫Ql都具备不规则性，不容易对它们进行区分，但是如本实施方式那样根据周期性评价值将范围缩小至树荫Ql以及草/雪Q2后，根据不规则性评价值识别树荫Ql或草/雪Q2，由此能够将树荫Ql与草/雪Q2正确地进行区分。
[0317](3)根据本实施方式的三维物体检测装置1，在周期性评价值为所设定的第二周期性评价阈值以上的情况下，能够判断为检测出的三维物体是护栏等结构物Q2。由于能够比较明确地区分护栏结构物Q2的周期性和树荫Q3的周期性，因此通过根据护栏结构物Q2的周期性来设定第二周期性评价阈值，能够将树荫Q3以及草/雪Q2与护栏等结构物Q2正确地进行区分。其结果，能够正确地识别树荫Ql。
[0318](4)根据本实施方式的三维物体检测装置1，在周期性评价值小于第一周期性评价阈值的情况下，能够判断为检测出的三维物体是移动体、例如是其它车辆VX。虽然其它车辆VX的周期性与草/雪Q2的周期性都比较低，但是能够找出可辨别的差异，因此通过根据其它车辆VX的周期性来设定第一周期性评价阈值，能够将树荫Q3以及草/雪Q2与其它车辆VX正确地进行区分。其结果，能够正确地识别树荫Ql。
[0319](5)根据本实施方式的三维物体检测装置1，在难以检测物体的周期性的较暗的状况下，由于将用于判断草/雪Q3以及树荫Ql的下限的阈值即第一周期性评价阈值变为较高的值，因此能够容易地将三维物体判断为是其它车辆VX。其结果，即使在较暗的状况中，也不会检测不出其它车辆VX，从而能够正确地判断树荫Ql。在较暗的状况中，也难以检测其它车辆VX的周期性，因此从确保安全的观点出发也优选容易将三维物体判断为是其它车辆VX。
[0320](6)根据本实施方式的三维物体检测装置1，在当前位置属于城区的情况下，将用于判断草/雪Q3以及树荫Ql的下限的阈值即第一周期性评价阈值变为较低的值，因此即使在存在很多的广告塔、广告牌、其它结构物并在道路的检测区域Al、A2映现的树荫Ql或草/雪Q3的周期性有变低倾向的城市部，也能够正确地判断树荫Ql的周期性。
[0321](7)在判断为在前次的处理中检测出的三维物体是沿着本车辆V的行驶道路存在的树木的影子的情况下，通过将第一阈值α变高，能够调整检测灵敏度使得难以检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将树荫Ql的像错误检测为行驶于相邻的车道的其它车辆VX。
[0322](8)在判断为在前次的处理中检测出的三维物体是沿着本车辆V的行驶道路存在的树木的影子的情况下，通过使生成差分波形信息时的输出值变低，能够调整检测灵敏度使得难以检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将树荫Ql的像错误检测为行驶于相邻的车道的其它车辆VX。
[0323](9)在判断为在前次的处理中检测出的三维物体是沿着本车辆V的行驶道路存在的树木的影子的情况下，通过将生成边缘信息时的判断的阈值变高，能够调整检测灵敏度使得难以检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将树荫Ql的像错误检测为行驶于相邻的车道的其它车辆VX。
[0324](10)在判断为在前次的处理中检测出的三维物体是沿着本车辆V的行驶道路存在的树木的影子的情况下，通过将生成边缘信息时的判断的阈值变低，能够调整检测灵敏度使得难以检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将树荫Ql的像错误检测为行驶于相邻的车道的其它车辆VX。
[0325](11)此外，在本实施方式所涉及的三维物体的检测方法中也能够获得同样的作用和同样的效果。无论是基于差分波形信息的处理还是基于边缘信息的处理，都起到同样的作用和效果。
[0326]上述摄像头10相当于本发明所涉及的摄像单元，上述视点变换部31相当于本发明所涉及的图像变换单元，上述对位部32及三维物体检测部33相当于本发明所涉及的三维物体检测单元，上述亮度差计算部35、边缘线检测部36以及三维物体检测部37相当于本发明所涉及的三维物体检测单元，上述三维物体判断部34相当于三维物体判断单元，上述静止物体判断部38相当于静止物体判断单元，控制部39相当于控制单元，上述车速传感器20相当于车速传感器，上述明亮度传感器50相当于明亮度检测单元，上述当前位置检测装置60相当于当前位置检测单元。
[0327]附图标记说明
[0328]1:三维物体检测装置；10:摄像头；20:车速传感器；30:计算机；31:视点变换部；32:对位部；33、37:三维物体检测部；34:三维物体判断部；35:亮度差计算部；36:边缘检测部；38:静止物体判断部；40:拖影检测部；50:明亮度传感器；60:当前位置传感器；A1、A2:检测区域；CP:交点；DP:差分像素；DWt、Dff/:差分波形；DWU?DWm、Dffm+k?DWtn:小区域；L1、L2:触地线；La、Lb:三维物体倾倒的方向上的线；P:摄像图像；PBt:鸟瞰视点图像；PDt:差分图像；MP:掩膜图像；S:拖影；SP:拖影图像；SBt:拖影鸟瞰视点图像；V:本车辆；VX:其它车辆。
【权利要求】
1.一种三维物体检测装置，其特征在于，具备: 摄像单元，其搭载于车辆，拍摄车辆后方； 图像变换单元，其将由上述摄像单元获得的图像视点变换为鸟瞰视点图像；以及三维物体检测单元，其将由上述图像变换单元获得的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上，沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向，对在上述差分图像上示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，根据该差分波形信息检测存在于在上述车辆后方的右侧和左侧分别设定的检测区域的三维物体， 上述三维物体检测装置还具备: 静止物体判断单元，其根据上述差分波形信息计算用于评价该差分波形信息的周期性的周期性评价值，并且根据上述差分波形信息计算用于评价该差分波形信息的不规则性的不规则性评价值，在计算出的上述周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值并且计算出的上述不规则性评价值小于规定的不规则性评价阈值的情况下，判断为由上述三维物体检测单元检测出的三维物体是沿着上述本车辆的行驶道路存在的树木的影子； 三维物体判断单元，其判断由上述三维物体检测单元检测出的三维物体是否为存在于上述检测区域的其它车辆；以及 控制单元，其在由上述静止物体判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，抑制上述三维物体判断单元判断为所检测出的上述三维物体是其它车辆。
2.—种三维物体检测装置，其特征在于，具备: 摄像单元，其搭载于车辆，拍摄车辆后方； 图像变换单元，其将由上述摄像单元获得的图像视点变换为鸟瞰视点图像；以及三维物体检测单元，其在由上述图像变换单元获得的鸟瞰视点图像中，沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向检测相邻接的图像区域的亮度差为规定阈值以上的边缘信息，根据该边缘信息检测存在于在上述车辆后方的右侧和左侧分别设定的检测区域的三维物体， 上述三维物体检测装置还具备: 静止物体判断单元，其根据上述边缘信息计算用于评价该边缘信息的周期性的周期性评价值，并且根据上述边缘信息计算用于评价该边缘信息的不规则性的不规则性评价值，在计算出的上述周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值并且计算出的上述不规则性评价值小于规定的不规则性评价阈值的情况下，判断为由上述三维物体检测单元检测出的三维物体是沿着上述本车辆的行驶道路存在的树木的影子； 三维物体判断单元，其判断由上述三维物体检测单元检测出的三维物体是否为存在于上述检测区域的其它车辆；以及 控制单元，其在由上述静止物体判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，抑制上述三维物体判断单元判断为所检测出的上述三维物体是其它车辆。
3.根据权利要求1或2所述的三维物体检测装置，其特征在于， 上述静止物体判断单元在计算出的上述周期性评价值小于第一周期性评价阈值的情况下，判断为由上述三维物体检测单元检测出的三维物体是移动体。
4.根据权利要求1?3中的任一项所述的三维物体检测装置，其特征在于， 还具备明亮度检测单元，该明亮度检测单元检测上述车辆周围的明亮度， 在由明亮度检测单元检测出的明亮度小于规定值的情况下，上述静止物体判断单元将第一周期性评价阈值变更为高的值。
5.根据权利要求1?4中的任一项所述的三维物体检测装置，其特征在于， 还具备当前位置检测单元，该当前位置检测单元检测上述车辆的当前位置， 上述静止物体判断单元参照将各位置信息与表示该位置是城区还是郊区的信息进行对应得到的地图信息，在由当前位置检测单元检测出的当前位置包含在城区中的情况下，将第一周期性评价阈值变更为低的值。
6.根据权利要求1?5中的任一项所述的三维物体检测装置，其特征在于， 在由上述静止物体判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，上述控制单元生成将上述三维物体的判断处理中止的内容的控制命令或判断为所检测出的上述三维物体不是其它车辆的内容的控制命令，并输出到上述三维物体判断单元。
7.根据从属于权利要求1的权利要求3?6中的任一项所述的三维物体检测装置，其特征在于， 上述三维物体检测单元根据上述差分波形信息和第一阈值α检测三维物体， 在由上述静止物体判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，上述控制单元向上述三维物体检测单元输出将上述第一阈值α变高使得不容易检测出上述三维物体的控制命令。
8.根据权利要求7所述的三维物体检测装置，其特征在于， 在由上述静止物体判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，上述控制单元生成使对在上述鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值变低的控制命令，并将该控制命令输出到上述三维物体检测单元。
9.根据从属于权利要求2的权利要求3?6中的任一项所述的三维物体检测装置，其特征在于， 上述三维物体检测单元根据上述边缘信息和第二阈值β检测三维物体， 在由上述静止物体判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，上述控制单元向上述三维物体检测单元输出将上述第二阈值β变高使得不容易检测出上述三维物体的控制命令。
10.根据权利要求9所述的三维物体检测装置，其特征在于， 在由上述静止物体判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，上述控制单元向上述三维物体检测单元输出使所检测出的上述边缘信息的量以低的状态输出的控制命令。
11.根据权利要求1?10中的任一项所述的三维物体检测装置，其特征在于， 上述静止物体判断单元在计算出的上述周期性评价值小于第一周期性评价阈值且计算出的上述不规则性评价值小于规定的不规则性评价阈值的情况下，判断为由上述三维物体检测单元检测出的三维物体是移动体， 在由上述静止物体判断单元判断为所检测出的上述三维物体是移动体的情况下，上述控制单元使上述三维物体判断单元判断为所检测出的上述三维物体是其它车辆。
12.—种三维物体检测方法，其特征在于，包括以下步骤: 将由搭载于车辆的摄像头拍摄到的车辆后方的图像信息视点变换为鸟瞰视点图像；将上述视点变换后的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在对位后的该鸟瞰视点图像的差分图像上，沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向对在上述差分图像上示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，根据该差分波形信息，检测存在于在上述车辆后方的右侧和左侧分别设定的检测区域的三维物体； 判断所检测出的上述三维物体是否为存在于上述检测区域的其它车辆； 根据上述差分波形信息计算用于评价该差分波形信息的周期性的周期性评价值，并且根据上述差分波形信息计算用于评价该差分波形信息的不规则性的不规则性评价值，在所计算出的上述周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值并且所计算出的上述不规则性评价值小于规定的不规则性评价阈值的情况下，判断为由上述三维物体检测单元所检测出的三维物体是沿着上述本车辆的行驶道路存在的树木的影子；以及 在判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，抑制所检测出的上述三维物体被判断为是其它车辆。
13.—种三维物体检测方法，其特征在于，包括以下步骤: 将由搭载于车辆的摄像头拍摄到的车辆后方的图像信息视点变换为鸟瞰视点图像；在所获得的上述鸟瞰视点图像中，沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向，检测相邻接的图像区域的亮度差为规定阈值以上的边缘信息，根据该边缘信息检测存在于在上述车辆后方的右侧和左侧分别设定的检测区域的三维物体； 判断所检测出的上述三维物体是否为存在于上述检测区域的其它车辆； 根据上述边缘信息计算用于评价该边缘信息的周期性的周期性评价值，并且根据上述边缘信息计算用于评价该边缘信息的不规则性的不规则性评价值，在所计算出的上述周期性评价值为第一周期性评价阈值以上且小于第二周期性评价阈值并且所计算出的上述不规则性评价值小于规定的不规则性评价阈值的情况下，判断为由上述三维物体检测单元所检测出的三维物体是沿着上述本车辆的行驶道路存在的树木的影子；以及 在判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的树木的影子的情况下，抑制所检测出的上述三维物体被判断为是其它车辆。
【文档编号】G06T1/00GK104246821SQ201380020430
【公开日】2014年12月24日 申请日期:2013年2月25日 优先权日:2012年4月16日
【发明者】深田修, 早川泰久 申请人:日产自动车株式会社