图像处理装置的制作方法

1.本发明涉及一种利用搭载于车辆的传感器来识别车辆周围环境的图像处理装置。


背景技术：

2.在专利文献1中记载了利用传感器检测路肩，用于预防性安全措施和自动驾驶的技术。现有技术文献专利文献
3.专利文献1:日本特开2009-053818号公报。


技术实现要素：

发明要解决的问题
4.近年来，与预防性安全措施相关的警报、控制功能迎来了普及期。为了实现该预防性安全措施，用于事先预测事故的传感功能的开发也正在加速。现在，普及的功能大多涉及高速公路中的预防性安全措施功能、或者驾驶辅助、或者在一般道路中使碰撞防患于未然的紧急制动。其中,由于路端的传感检测的难度高,作为预防性安全措施功能之一的、基于路端检测的防止脱离行驶道路功能仍未普及。
5.与为了表示行驶道路的划分而人工绘制的车道不同，路端不一定具有人造墙或人行道的阶差。例如，在高速公路的情况下，在路端大多设有人工维护的墙壁，即使不像车道那样，也大多是连续的、干净的曲线，路端的识别相对容易。另一方面，在一般道路的情况下，有时电线杆或石块、草等障碍物向行驶道路突出，难以事先将车辆容易行驶的曲率形状模型化，对路端进行检测的传感检测的难度高。另外，在一般道路中，不仅是路端的形状难以识别，而且路端中断、路端的类别又混合存在的环境也很多，存在许多路端难以识别的场景。
6.在一般道路中，关于围墙、护栏、人行道等构成物(对象)，即使基本上沿着行驶道路的方向的形状不是多少有些平滑的曲线，也大多是连续连结的。但是，即使是这些构造物，也存在去往店铺或自家的入口等处发生中断、或其他障碍物遮挡等，具有不连续性、其路端的类别会立即变更的情况。
7.另外，在行驶道路的侧方，还存在高度非常低且与路面没有高度差的草坪、砂砾、没有铺装的土地区域、或者侧沟、稻田、田地等那样的比路面高度低的区域，这些区域与行驶道路之间的边界也是路端。而且，不仅这样区域的类别各种各样，而且在行驶道路的路端不连续地存在电线杆、障碍物、草、侧沟的盖、树木等各种各样的东西，更适当地对其进行识别成为重要的课题。
8.本发明是鉴于上述问题而完成的，其目的在于提供一种图像处理装置，为了更安全且舒适地控制车辆，利用传感器来检测自身车辆的周围环境，输出自身车辆的控制或警报所需的信息。
解决问题的技术手段
9.本发明的图像处理装置是根据车载摄像机的拍摄图像检测行驶道路的路端的图像处理装置，其特征在于，根据所述拍摄图像识别构成所述路端的对象的类别，根据该对象的类别，变更用于检测所述路端的参数。发明的效果
10.根据本发明，即使在一般道路等上多种路端不连续存在的环境下，也能够通过适当地优先连结并识别同一类别的路端的特征，稳定且正确地检测路端，实现防止脱离行驶道路功能的精度提高。
11.与本发明相关的其它特征将根据本说明书和附图加以明确。另外，通过以下的实施方式的说明，可以明确上述以外的问题、构成以及效果。
附图说明
12.图1是说明本实施方式的图像处理装置的整体构成的图。图2是说明传感器部的内部构成的图。图3是说明路端类别特征部的内部构成的图。图4是说明路端特征量提取部的内部构成的图。图5是示意地表示路端类别的具体例的图。图6是示意地表示拍摄图像的图和表示提取了路端累积特征量的图像的图。图7是说明低阶差路端和负路端的特征量提取方法的图。图8是说明无阶差路端和行驶道路区分路端的特征量提取方法的图。图9是说明本车行为推定部的内部构成的图。图10是说明本车行为推定例的图。图11是说明自身位置推定例的图。图12是说明路端特征地图生成部的内部构成的图。图13是表示路端特征地图的一例的图。图14是表示对图13的路端特征地图实施了内侧特征优先处理的地图的图。图15是说明与类别对应的行驶道路判定部的内部构成的图。图16是表示连结路端候选生成条件的图。图17是表示根据实施了图14所示的内侧特征优先处理的地图生成连结路端候选的地图的图。图18是表示路端候选连结条件的图。图19是表示多种路端的连结例(1)的图。图20是表示包括车辆在内的路端的连结例(2)的图。图21是表示包含行驶道路区分的路端的连结例(3)的图。图22是说明警报控制部的内部构成的图。图23是表示针对路端类别的警报和控制余量的信息的图。图24是说明由图像处理装置执行的处理的流程图。
具体实施方式
13.以下，使用附图对本发明的实施例进行说明。
14.＜图像处理装置＞图1是表示本实施方式中的图像处理装置的整体构成的图。图像处理装置1具有传感器部100、路端类别特征部200、行驶道路判定部300和警报控制部400。
15.传感器部100具有检测障碍物或行驶道路周边的形状等车辆周围的环境的传感器。传感器部100具有车载前传感器。在本实施例中，如图2的上部(1)所示，将左右摄像机部(立体摄像机)110记载为车载前传感器的例子，但传感器自身可以如图2的中部(2)所示，是摄像机部150单体，也可以如图2的下部(3)所示，是摄像机部170和激光雷达部180的融合传感器。另外，传感器部100不一定需要具有传感器，也可以是获取来自设置在车辆上的各种传感器的检测信号的构成。
16.路端类别特征部200实施与路端的类别对应的特征量(路端特征量)的提取。路端形成在行驶道路和对象之间，路端的类别根据对象而不同。路端类别特征部200按照每个对象的类别而提取路端特征量,使用该提取出的路端特征量来判定路端的类别。对表示自身车辆可否行驶的可行驶区域进行区分的边界、即行驶道路的路端存在各种类别，因此难以通过同一搜索方法提取不同类别的路端的特征量。例如，难以将与行驶道路的路面相比高度较高的障碍物、或者比行驶道路的路面低的区域、或者虽然没有三维高度差但与行驶道路的路面性质不同的路面(例如，相对于行驶道路面为沥青，是草坪、砂砾、土等)等对象与行驶道路的边界作为路端，通过同一图像处理算法进行提取。
17.与此相对,在本实施方式中,如图4所示,路端类别特征部200采用组合利用多种提取单元且并用多个路端特征量提取算法的方式。路端类别特征部200实施在同一空间(地图上)整合所提取的多个类别的路端的各特征量的处理，还一并实施噪声去除。路端类别特征部200以提取出的路端特征量为基础生成路端特征地图。
18.行驶道路判定部300利用由路端类别特征部200生成的路端特征地图,实施与路端的类别对应的行驶道路判定。在行驶道路判定部300中,在路端类别特征部200中按照路端的类别而提取路端特征量,因此使用该路端特征量生成路端特征地图。然后,从该路端特征地图中提取路端候选,按照各个类别实施路端候选的连结,利用连结的路端候选,判定是否进一步连结类别互不相同的路端候选。
19.基本上同一类别的路端特征量排列的可能性高，但根据路端特征量的类别，其连续性的发生频度也不同。例如，在表示路端的道路旁边的杆、表示行驶道路的路锥等的情况下，不相互连结，根本不是连续排列。因此,由于表示行驶道路区分的标记本身几乎不会连续排列,而且在这些情况下,相互具有大的间隔地排列在行驶道路上,因此这些类别的特征需要到相当长的距离来加以连结来判断行驶道路区分。
20.警报控制部400在规定的状况下对驾驶员进行警报，在状况没有改善的情况下，进行车辆控制。警报控制部400根据行驶道路判定部300的判定结果,在车辆接近作为行驶道路的边界的路端而要从行驶道路脱离的情况下,首先通过警报音的鸣响或警报显示来对驾驶员进行警报,进而在判定为即使如此也继续要脱离的状况、或者与行驶道路边界的距离非常近、或者在该状态下不进行转向则在某一定时间后脱离行驶道路的情况下,实施转向
和制动的车辆控制,抑制车辆脱离行驶道路。
21.＜传感器部100＞图2是说明传感器部的构成的图。在本实施例中，如上所述，基本上记载以立体摄像机为前提的实施例。然而，如先前所示，如图2的中部(2)和图2的下部(3)所示，传感器部100可以是具有摄像机部150的单镜头摄像机，也可以是组合了摄像机部170和激光雷达部180而成的融合传感器，还可以是其它tof传感器、包括毫米波和摄像机等的融合传感器等。
22.在假定图2的上部(1)的传感器部100是立体摄像机的本实施例中，在左右摄像机部110中获取左右摄像机的拍摄图像，对其进行几何、灵敏度的校正，实施左右摄像机部110的拍摄图像进行立体匹配所需的几何校正，即实施平行化，实施将左右摄像机的色调、亮度等设定为相同的灵敏度校准。在执行灵敏度和几何的校准之后，立体匹配部120执行左右拍摄图像的立体匹配，从而生成视差图像。在3d点群生成部130中，利用摄像机内部参数从该视差图像生成3维点群。
23.＜路端类别特征部200＞图3是说明路端类别特征部的构成的图。路端类别特征部200具有路端特征量提取部210、本车行为推定部220、路端特征地图生成部230、内侧特征优先部240和内侧特征类别判定部250。
24.在路端类别特征部200中,获取为了判定自身车辆可行驶的区域而利用的路端的特征量。特别是,在路端特征量提取部210中,利用立体摄像机的三维信息、来自摄像机的拍摄图像的信息,从与作为可行驶的区域的道路成为边界的障碍物、侧沟、路肩块等对象存在的位置提取路端特征量。提取出的路端特征量中包含路端的类别信息和位置信息。
25.在路端特征量提取部210中,这些路端特征量按照由传感器部100拍摄的单帧的结果、即按照每帧分别被提取。但是,与仅用单帧来判定行驶道路的区分线相比,与过去提取的路端特征量一起判定行驶道路的区分线,能够提取稳定且平滑的边界。即,如果是前进的车辆,则优选包含本车后方的路端来判定行驶道路区分的边界。
26.因此,为了将提取出的路端特征量按照时间序列排列而作为地图上的路端特征量,在本车行为推定部220中,推定自身车辆的行为,在路端特征地图生成部230中,根据推定的结果,进行将每帧得到的路端特征量排列在地图上而进行投票的处理。由此,在每帧中分别得到的路端特征量在从自身车辆的上方观察的俯瞰图上排列,路端特征量如同表示与行驶道路的边界的地图那样排列。此时，包括与特征量的类别有关的信息在内，在地图上进行投票。即，在地图上的路端所在的点上，进行与路端特征量的类别有关的信息也建立关联并存储的处理。
27.但是,在该时刻,也包含作为噪声而得到的路端特征量地排列在地图上。因此，在地图上，首先，内侧特征优先部240执行如下的处理：优先保持距本车行驶的位置在横向(行驶道路的路宽方向)最接近、即最内侧的对象的特征量，并从地图上削减在其外侧(路宽方向外侧)重复存在的其他对象的特征量。这是因为，通过排除了在路端区域中相较于存在于路宽方向内侧的路肩块或侧沟、墙壁等对象而言存在于路宽方向外侧的高度较高的墙壁、树木、大楼等构成的对象的路端特征量，能够更正确地判定由在路宽方向上处于最内侧的对象、即最接近车辆的对象构成的路端，而不会受到噪声的影响。
28.接着,对于在地图上投票到某阈值以上的路端特征量的类别信息,分别处理自身车辆的右路端和左路端,由内侧特征类别判定部250确定在自身车辆的左右排列的路端特征量的类别。在这种情况下，可能存在多种类别的特征按进深混合的情况。基本确定主要的特征类别，或者确定混合的多个特征类别，特征量极少的类别设为噪声。
29.＜路端特征量提取部210＞图4是说明路端特征量提取部的内部构成的图。路端特征量提取部210具备立体物累积部211、移动体部212、低阶差部213、负阶差部214、无阶差路端部215以及行驶道路区分立体物部216。
30.路端特征量提取部210根据对象的类别改变用于检测路端的参数。这里，根据对象的类别提取各种类别的路端特征量。图5是以剖面来示意地表示路端类别的例子的图。图5的(1)表示在行驶道路(车道)501的路宽方向右侧存在侧沟502，在比行驶道路501的中心靠路宽方向左侧的路端设置有高度高的栅栏的立体物累积区域503，进而在该立体物累积区域503的路宽方向左侧具有人行道504的例子。
31.在图5的(1)所示的例子中，行驶道路501和侧沟502之间的边界以及行驶道路501和立体物累积区域503之间的边界分别成为路端。而且，图5的(2)表示在行驶道路511的路宽方向左侧隔着比较低的阶差设置有人行道514，在行驶道路511的路宽方向右侧配置有凸条的路肩块512，进而在其右侧配置有人行道513。在图5的(2)所示的例子中，行驶道路511和人行道514之间的边界以及行驶道路511和路肩块512之间的边界分别成为路端。
32.而且，图5的(3)表示在行驶道路521的路宽方向左侧配置有草坪、砂砾或土等与行驶道路521的路面在相同高度上连续的无阶差区域522，在行驶道路521的路宽方向右侧存在例如在稻田、田地、低地等与行驶道路521之间隔着阶差并比行驶道路521的路面低的负阶差区域523。在图5的(3)所示的例子中，行驶道路521和无阶差区域522之间的边界、以及行驶道路521和负阶差区域523之间的边界分别成为路端。
33.例如，如图5的(1)所示，在立体物累积部211中，对与行驶道路501的路面相比高度高的立体物提取特征量。在立体物累积部211中,立体物的高度越高、即路面高度越高，越累积特征量，能够提取稳定的特征量。图6的(1)是由立体摄像机拍摄的原图像，图6的(2)是利用视差图像生成的累积特征量提取图像。在立体物累积部211中,使用左右一对原图像来生成视差图像,实施针对行驶道路的视差图像的累积路端特征量提取处理。在图6的(1)所示的原图像601中，拍摄有前方车辆602，在行驶道路603的左右配置有路肩块604、605和墙壁606、607。
34.在路端特征量提取部210中，如图6的(2)所示，横向为图像横坐标、纵向为表示进深的视差值，生成视差值越靠下侧越大的近距离、越靠上侧越小的远距离的图像。然后，对视差图像的各横坐标按列实施投票处理。例如,如果以自身车辆所存在的图像中心来考虑,则由于视差图像的下侧是路面上的视差值,所以如果从视差图像的下侧逐个视差值地读入,则逐渐成为远距离的视差值，成为投票场所逐渐向上侧移动的累积路端特征量提取结果。
35.然而,当视差图像到达前方车辆的车底位置时,从前方车辆的车底位置到车顶位置的视差值的进深距离恒定。因此,在累积路端特征量提取图像中,累积路端特征量的投票集中在相同的视差值、相同的图像横坐标处,成为投票值高的结果。同样地，路肩块和墙壁
也具有同样的结果。
36.视差图像上的路面越靠近视差图像的上侧，进深越远，因此不累积特征量而向分散的场所投票。然而,如果像路肩块或墙壁那样,到达具有高度的物体的位置,则由于在视差图像上在上方向上连续地成为相同的视差值,所以成为在由视差值和图像横坐标构成的投票空间上,视差值被累积的结果。因此,在本实施例中,假设存在越在该投票空间上累积视差值,越存在墙壁或路肩块等比路面高的障碍物。在图6的(2)所示的示例中，在左墙壁616和右墙壁617的位置处累积了更多的视差值，清楚地示出为白色。而且，在路肩块614、615的位置以及前方车辆的车底位置也累积视差值而显示为白色。
37.在上述立体物累积部211中得到的特征量中，还存在与移动体的侧面相关的特征量。例如，在存在作为移动体而在相邻车道行驶的车辆的情况下，如果以单帧的处理来考虑，则与墙壁同样地累积特征量，所以对于该移动体也能够提取特征量。通过将该提取出的特征量和车辆检测的结果合并利用,在移动体部212中确定是针对移动体的特征量,作为与立体物累积部211不同类别的特征量进行处理。即，在移动体部212中，进行提取前方车辆或对面车辆等移动体的特征量的处理。
38.在低阶差部213中,在立体物累积部211中进行主要提取难以提取特征量的5cm左右的低阶差的特征量的处理。如图5的(2)的左侧所示，低阶差的人行道514与行驶道路511的路面相比高度差小，因此在立体物累积部211提取的特征量中累积量少。因此，在低阶差部213中，专门进行提取低阶差的特征量的处理。
39.图7是说明低阶差路端和负路端的特征量提取方法的图。例如，如图7的左侧的箭头711所示，在视差图像701上从行驶道路703的中心位置702向左方搜索。根据视差值和图像位置计算三维位置，比较与行驶道路703的路面的高度相比是否产生高的阶差，将在与行驶道路703之间连续提取了阈值以上的高特征量的部位作为与行驶道路703之间的路端特征量而提取。
40.同样，在负阶差部214中，提取用以往的方法无法提取特征量的、比行驶道路703的路面低的阶差。采用在传感器部100的立体摄像机，例如能够检测出侧沟705等比行驶道路703的路面低的阶差。负阶差部214提取例如图5的(1)右侧所示的侧沟502、或图5的(3)右侧所示的稻田或田地等的比行驶道路低的负阶差区域523的特征量。例如，如图7的右侧的箭头712所示，在视差图像上从行驶道路703的中心位置702向右方搜索。根据视差值和图像位置计算三维位置，与路面的高度进行比较，判断是否产生比路面低的阶差，将连续提取出比行驶道路703的路面低阈值以上的特征量的部位作为与行驶道路703之间的路端特征量进行提取。在图7所示的例子中，能够通过低阶差部213提取比路面高但其高度低的人行道704的特征量，通过负阶差部214提取比路面低的侧沟705的特征量。
41.图8是说明无阶差路端和行驶道路区分路端的特征量提取方法的示意图。关于无阶差路端,如图8的左侧所示,将尽管在铺装的道路的左侧与行驶道路803a高度相同,但由草坪、砂砾、土等与行驶道路803不同的物质构成且不适合行驶的无阶差区域805的边界作为无阶差路端的路端特征量而提取。为了识别该无阶差区域805，基本上利用deeplearning这样的机器学习，提取可行驶的路面区域(行驶道路803a)和不可行驶的无阶差区域805，由无阶差路端部215提取该边界作为路端特征量。
42.最后,关于行驶道路区分立体物,如图8的右侧所示,由于施工中等原因,为了限制
车辆的行驶,存在临时排列路锥的情况。另外，以限制车辆移动方向为目的等，有时在进入停车场或店铺之前的交叉路口等常设杆。特别是由于施工的路锥等是不能暂定的目的，所以路锥彼此的距离远、原本设置个数少等，难以分割可行驶区域和因施工而不能行驶的区域。
43.但是,在立体摄像机中,能够将排列在行驶道路803b上的路锥作为立体物提取。因此，在检测为立体物后，如果其大小在一般的路锥的范围内，则通过识别机实施是否是用于限制车辆移动的路锥的识别。在识别为控制车辆移动的目的的行驶道路区分立体物的情况下,由行驶道路区分立体物部216作为路端特征量而提取。
44.路端特征量提取部210针对在各提取部211～216中提取出的各种特征量，按照提取出的处理，附加类别信息。由此，在排列有哪个类别的特征量等的判定中利用。
45.＜本车行为推定部220＞图9是说明本车行为推定部的构成的图。在本车行为推定部220中，利用作为can信息的车速传感器的结果、横摆率或操舵角度等车辆信息，由行为推定运算部221实施图10的(1)所示的基于四轮模型的自身车辆的行为预测。
46.根据该本车行为推定结果,如图13及图14所示,在从上方俯视自身车辆那样的二维坐标系中排列路端特征量,由此生成自身车辆行驶的区域中的短期间的本车相对的地图。但是，采用图10的(1)所示的根据can信息推定本车行为的方法的话，轮胎的气压或打滑等误差较多。因此，为了不仅进行根据can信息的预测，还进行更高精度的预测，如图10的(2)所示，利用时间序列的对应点，由相对位置姿势推定部222实施本车的2帧间的行为推定。即，在本实施方式中，使用本车的车辆信息和立体摄像机的拍摄图像来识别本车的行为。在图10的(2)中，示出了在时刻t[帧]和t+1[帧]处由本车的右摄像机拍摄的图像与在相互的图像中对应的点。
[0047]
在该方法的情况下,能够不受车的轮胎的滑动、轮胎的气压、尺寸等影响地实施本车的行为推定。在想要利用精度更高的本车行为的情况下，利用行为推定运算部221的结果。但是，该相对位置姿势推定部222根据所拍摄的图像，未必能够稳定地提取对应点。因此,实际上采用如下并用方式：在基本上得到帧间的对应点并能够推定相对位置的情况下,利用相对位置姿势推定部222的结果,相反,在未得到对应点、或者即使得到对应点但移动体等较多而未得到稳定的车辆行为的情况下,利用行为推定运算部221的结果。
[0048]
进而，也可以活用利用计算负荷变高的slam那样的自身地图位置推定部223的结果。也可以仅当slam的结果不可用时，才使用行为推定运算部221的结果。图11的(1)是表示车辆v0通过由墙壁1102及1103围成的道路1101的拐角处的状态、和车辆v0通过拐角处时嵌入的上次的传感结果(t[frm])及本次的传感结果(t+1[frm])的图。也可以如图11的(1)所示，在将对应点的信息嵌入到自己生成的地图中并再次通过同一路线时，通过使保存在自己生成的地图内的对应点的信息与从当前帧中提取的对应点进行匹配，来推定地图上的自己位置姿势，求出时间序列的移动量。
[0049]
图11的(2)是高精度地图的示意图。在本实施方式中，也可以利用高精度地图位置推定部224的结果。高精度地图1110例如包含行驶车道1111、从行驶车道1111分支的分支车道1112、分支车道1112的路端1113、
分支1114、中央分离带1115、反向车道1116、与反向车道1116合流的合流车道1117、合流车道1117的路端1118的信息。在图11的(2)所示那样的为了自动驾驶而原本准备了高精度地图的情况下，也可以是实施该高精度地图和本车位置姿势的推定的方法。或者,也可以是利用高精度gnss来掌握这样的高精度地图上的位置的方法。在这些本车行为推定部220中,通过这些多个方法并行地推定本车行为,从中采用高精度的方法。
[0050]
＜路端特征地图生成部＞图12是说明路端特征地图生成部的构成的图。在路端特征地图生成部230中,利用本车行为推定部220所得到的结果,如图13所示,在作为从本车正上方观察的俯瞰图的路端特征地图中,按时间序列排列每帧提取的路端特征量提取部210所得到的路端特征量。
[0051]
此外,在自身位置推定用地图生成部232中，不仅将路端地图，而且将用于提取帧之间的移动量的对应点的位置、以及此时的对应点的特征量等以三维位置保存在地图上。一旦完成了自身位置推定用地图,则在下次在同一道路上行驶时,为了复原其正确的位置,通过在地图中保存的对应点的位置和在当前帧中检测到的对应点中提取对应关系,不仅得到帧间的对应点,还得到与地图上的对应点,从而能够确定在地图上的位置。
[0052]
＜路端特征地图＞图13是表示路端特征地图的一例的图。在图13所示的场景中,在图13的上侧所示的行驶道路1311中,车辆v0在中央分离带侧的行驶道路1311a上行驶,利用立体摄像机进行检测范围1320的检测。然后,由路端特征量提取部210提取车辆v0的行进方向左侧的路端特征量,根据本车行为推定部220的推定信息,由路端特征地图生成部230在俯瞰的地图上表示该时间序列的结果。在该场合中，侧沟1313位于行驶道路1331b的白线的路宽方向外侧(侧方)，进而在其外侧并排配置有多个建筑物1315。在这种情况下，侧沟1313的特征量和相对于其后面的建筑物1315的立体物累积(路端特征量)1331分别能够提取两种。另外，侧沟1313沿着行驶道路1331b连续地设置，但在一部分上覆盖了盖1314而存在局部中断的部位，成为行驶方向上的特征量的间隙。
[0053]
图13的下侧所示的行驶道路1312也同样,车辆v1在路肩块侧的行驶道路1312b上行驶,提取车辆v1的行进方向左侧的路端特征量,其时间序列的结果被表示在俯瞰的地图上。在行驶道路1312b的白线的路宽方向外侧,配置有高度低的15cm左右的路肩块1316,进而在其外侧隔着人行道1317配置有墙壁1318,这些也同样能够提取立体物累积的特征量。另外,路肩块1316沿着行驶道路1312b连续地设置,但存在部分中断的部位,成为行驶方向上的特征量的间隙。
[0054]
这样，在行驶道路的路宽方向一侧和另一侧分别双重存在多个特征量，并且在行驶方向上存在特征量的间隙的情况下，该间隙越长，如何连结特征量来判断为路端就越困难。
[0055]
高精度地图信息附加更新部233对图11的(2)所示的高精度地图实施保存高精度地图和自身位置的关系的对应点的保存，并进行将其适当更新的处理。
[0056]
＜内侧特征优先部＞图14是表示由内侧特征优先部执行了内侧特征优先处理后的路端特征地图的一例的图。在行驶道路的侧方重复存在多个特征量的情况下,路端类别特征部200的内侧特征
优先部240进行消除重复的外侧的特征量的处理。在本实施例中,作为用于使接近行驶区域的内侧的特征量、即在道路宽度方向上接近自身车辆的路端特征量优先的处理,执行从自身车辆行驶方向观察将内侧的特征量作为路端特征量优先,并消除存在于其外侧的特征量的处理。如图14所示，仅留下从自身车辆观察位于最内侧的路端特征量1331、1333、1334，从俯瞰的地图上删除位于其外侧的重复的特征量1401～1406。由此，首先能够优先选定存在于内侧的路端的特征量。
[0057]
然而,在处于内侧的路端特征量大致连续存在的情况下,不会成为太大的问题,但在实际的行驶场景中,关于存在于内侧的路端,也存在考虑到车辆的出入而在人行道1317中断的区间或在交叉路口附近路端消失的区间。关于侧沟1313，由于在铺装成车或行人能够通行的区间或被盖1314闭塞的区间等，特征量往往会中断，因此存在很多若单纯地沿行驶方向连结路端特征量则产生问题的场景。因此，需要考虑根据类别适当连结路端候选。
[0058]
＜内侧特征类别判定部＞在本实施方式中，通过内侧特征类别判定部250，首先，判定当前存在什么样的路端类别的特征量，进而，计算这些每个类别的特征量的横向位置的最频值。例如，在图14中上侧所示的例子的情况下，从车辆v0看，在路宽方向外侧5m的位置(横向位置)存在负阶差的特征量(侧沟1313的特征量)，虽然是该特征量的一半左右的量(沿着行驶方向的长度)，但在路宽方向外侧的8m的位置(横向位置)，存在提取了建筑物1315的立体物累积(路端特征量)1331。以这种方式，将图14中剩余的特征量投影到车辆的行进方向上的方式累积。即，调查按横向位置在行进方向上排列了多大程度的何种类别的特征量。通过积累某种类别的累积结果，确定内侧路端候选的类别。通过这样提取类别和大致的横向位置，之后作为用于适当地连结路端候选的判断材料中利用的信息。
[0059]
＜行驶道路判定部＞图15是说明行驶道路判定部的构成的图,图16是表示连结路端候选生成条件的图。行驶道路判定部300进行与路端特征量的类别对应的行驶道路的判定。在与该类别对应的行驶道路判定部300中,在地图上对由路端类别特征部200提取出的多种路端特征量进行投票,利用以内侧优先方式去除了噪声的地图上的路端特征量及其类别信息,实施最终的行驶道路判定。行驶道路判定部300具有连结路端候选生成部310、路端候选连结部320和行驶道路区分判定部330。
[0060]
在连结路端候选生成部310中，如图16的(1)所示，利用地图上的路端特征量，进行是否将同一特征量类别的路端作为路端候选进行挑选并连结的判断处理。但是，如图16的(2)所示，根据路端的类别来变更成为应连结还是应作为路端候选的连结路端候选生成条件的阈值。这是因为,根据由对象构成的路端的类别,考虑特征量的可靠度、道路构造上是否是容易连续存在的物体的条件,由此能够在行驶道路区分判定部330中更适当地判定行驶道路区分。
[0061]
路端候选连结部320考虑路端的类别,优先连结同一类别的特征量的路端候选,由此能够正确地追踪相对于本车存在于路宽方向内侧的正确的路端。例如,如果不判断类别而仅优先连结存在于路宽方向内侧的特征量,则每当特征量中断时,在不同的路宽方向外侧的墙壁等上也会画路端边界线,难以画稳定的路端边界线。通过优先连结同一类别的路端特征量而画出路端边界线,能够更稳定地连结路宽方向内侧的路端候选。
[0062]
＜连结路端候选生成＞作为图16的(2)所示的表的看法，路面高度意味着地图1点上的特征量的投票量，越是高度高的物体，在立体照相机的视差图像上越能得到多的进深信息，所以投票量多，可靠性高。路面高度是地图上的投票量的多少，如果存在该阈值以上的投票量，则作为路端候选进行连结。
[0063]
如图16的(3)所示，路端类别特征部200的立体物累积部211提取存在于行驶道路的路宽方向外侧1612的物体1316的路端特征量，行驶道路判定部300的连结路端候选生成部310连续连结作为路端特征量而连续的立体物累积部1333，其结果，如果最小的行驶方向长度l0小于在图16的(2)的表中记载为最小长度的阈值，则作为路端候选过短，因此不能认定为路端候选。进而，在该特征量在行驶方向上空出了间隙的情况下，如果该最大间隔l1小于图16的(2)的表中所示的阈值，则认为是同一路端候选，将该路端候选连结处理。
[0064]
例如，如果是墙壁或障碍物，则基本上是高度高的立体物，所以投票量高，另外，如果考虑连续，则墙壁的连续性高，但是，如果也考虑例如树木或电线杆等障碍物，则向行驶方向的长度短的可能性也高。因此,如果高度方向的投票量多,则即使在稍短的50cm以上的进深方向上,也认为是路端候选。进一步地,所谓最大间隔,是考虑到在行驶道路中空出间隙的情况而判断为相同处理的最大纵深宽度的阈值,考虑到墙壁或障碍物经常空出间隙的情况而将最大500cm作为同一路端候选的连结条件,进行连结处理。
[0065]
接着，在移动体(车)的情况下，由于特定为某种程度的车高，所以将高度设为100cm以上，另外，将长度设为50cm以上的两轮等也作为对象。即使在两轮车或四轮车中，在中途也不会中断，但考虑到在车体的中途由于图像的特征少而存在难以产生立体的视差的区域，间隙的最大间隔在100cm以内是可以辨认的，连结移动体的同一特征量。即，对于最大间隔小于100cm的移动体，作为同一移动体，连结路端候选。
[0066]
接着，在路肩块1316的特征量中，以将人行道和车道分离的块的高度为10cm以上的块为对象。由于与墙壁或移动体相比人行道的高度低，所以作为路端的特征的1点1点的投票量少。因此,为了在沿着行驶方向具有某种程度的长度时才认定为路肩块1316的候选,将最小长度设为100cm以上。在路肩块1316的情况下，包括车出入的场所、栽种树木的情况等，经常中断的情况较多。因此,在最大间隔为500cm以内连结路端候选。
[0067]
关于路肩块1316,有时会空出更多的间隙,但如果进一步延伸,则在交叉路口等处中断的路肩块1316也会被连结,如果判定为无法向正交的交叉路口左右转弯,则会产生困扰。因此，基本上连结在最大间距为500cm以内的路肩块1316。在路肩块1316的间隙大于该间隙的情况下,作为其他路肩块进行处理。
[0068]
关于负路端，在负阶差部214中，对与行驶道路面相比更低的阶差提取特征量。在比行驶道路面低的场所的稻田、田地、侧沟等的边界提取特征量。但是，比行驶道路面低的场所的特征量大多受到阴影的影响等而难以产生特征量，可靠性低。此外，由于在高度方向上不会累积相同进深的特征量，因此可靠性低。因此,在不具备200cm以上的某种程度的长度的条件的情况下,由于可靠度低,所以在路端候选连结部320中,不将这样的负阶差用作路端候选。负阶差中断的情况也较多,但若连结过长的距离,则还担心误检测的影响,因此,在此将300cm以内的间隙作为同一路端候选进行连结。
[0069]
对于无阶差路端也一样,在路端特征量提取部210的无阶差路端部215中,使用拍
摄图像所具有的路面上的纹理信息来实施行驶道路与侧方区域的区分,对行驶道路与侧方区域之间被判定为纹理不同的边界区域投票特征量。利用该地图上的得票，连结作为无阶差路端的路端候选。由于在纹理的判定中也存在不稳定的情况,因此仅在连续200cm以上的情况下作为路端候选,另外,将间隙设为300cm以内。
[0070]
最后,关于路锥等行驶道路区分立体物,以高度30cm以上为对象,最小行驶方向的宽度为10cm以上。对于道路区分立体物,为了将相当大的空出间隙的情况或相当短的物体连结而识别为路端,对于该特征量利用识别机。因此,不仅以10cm以上的宽度确定为路端候选,而且还连结距离在800cm以内的行驶道路区分立体物,作为路端候选。
[0071]
行驶道路区分判定部330使用由路端候选连结部320连结的路端候选的信息,进行判定本车的行驶道路区分的处理。
[0072]
＜连结路端候选的生成＞图17表示根据图16的条件由连结路端候选生成部310连结同一特征量类别的路端候选的例子。在通过内侧优先来消除外侧的路端特征量的状况下,对在图17的上侧所示的行驶道路1311a中行驶的车辆v0的左侧的路端进行连结说明。
[0073]
首先,关于立体物累积1331的特征量,将路面高度及最小长度为50cm以上的作为路端候选。因此，在图17所示的例子中，对于建筑物1315产生两个路端候选1702、1703。这两个路端候选1702、1703由于最大间隔为500cm以上,因此不相互连结,而作为不同的路端候选生成。在图17中，通过用直线连结表示立体物累积1331的特征量的黑圆来表现连结。
[0074]
接着，连结多个相互相邻的负阶差特征量1334。在图17所示的例子中，侧沟1313的负阶差的一部分被封闭侧沟1313的盖1314中断。但是,在连结状态下,将负阶差的最小长度为200cm以上作为路端候选,如果负阶差的最大间隔小于300cm,则继续连结该负阶差特征量1334,在负阶差的最大间隔在300cm以上的情况下,作为其他路端候选进行处理。因此，作为图17的上侧所示的车辆v0的左侧的路端，在路宽方向内侧形成负阶差的两个路端候选1701、1704。
[0075]
在负阶差中，被盖1314中断的一部分的长度中断300cm以上,所以被分割为两个,一个成为负阶差的路端候选1701,对于被盖1314中断的另一个，由于中断的部分的长度小于300cm,所以作为连结而成的一个路端候选1704。
[0076]
接着,考虑在图17的下侧所示的行驶在行驶道路1312b上的车辆v1的行进方向左侧的路端候选,路宽方向外侧的墙壁1318通过内侧优先的处理被除去噪声,因此能够形成比较短的两个路端候选1712、1713。进一步地,在其内侧连结有低阶差的路肩块1316作为路端候选,但路肩块1316的中断部分有两个。由于一个中断部分是小于阈值的500cm的长度,另一个中断部分是阈值的500cm以上的长度,所以生成将一侧的低阶差1333彼此连结而成的路端候选1714和将另一侧的低阶差1333分割而成的路端候选1711。
[0077]
＜路端候选连结条件＞接着，在图18中示出连结生成的路端候选的条件。特别是实施对多种路端候选的连结,但在多种中包含移动体那样的情况和包含行驶道路区分立体物的情况下条件不同。
[0078]
特别是,在多种路端候选中包含移动体的情况下,即使在路端横向位置的偏移大的情况下也实施连结。这是因为，在移动体的情况下，设想为与路肩块或墙壁相比其横向位置变化较大，在本实施方式中，即使横向位置(与其他路端候选的路宽方向的距离)距离
±
600cm，也认为是路端候选的连结对象。相反,在其他路端候选中,横向位置变化较大的情况较少,因此将大致
±
200cm以内作为路端候选的连结对象。当然，在平滑地变宽的行驶道路那样的情况下直接连结。另外,在行驶道路区分立体物的情况下,由于原本大多是从路肩块、墙壁、侧沟等起将横向位置分离地排列,从而作为车辆无法进入的区分线来利用,因此将横向位置的分布在
±
300cm之内认为是路端候选的连结对象。
[0079]
＜路端候选连结例(1)-(3)＞图19～图21表示在进一步连接上述连接路端候选之间的路端候选连接部320中路端候选的连接例。利用该路端连结结果，在行驶道路区分判定部330中，确定最终路端位置和类别。在图19至图21中，用粗的黑色虚线表示路端候选的连结后的最终结果。
[0080]
图19是说明多种路端连结例(1)的图。如果考虑图19的上侧所示的车辆v0的左侧路端，则该路端如路端候选1701和1704之间那样，在侧沟1313的路端中断之处沿行进方向隔开500cm以上的位置再次出现侧沟1313，堵塞侧沟1313的盖1314持续500cm以上。因此,研究能否在横向位置不同的方向上连结,但在相对于行进方向的横向位置比200cm远的图中上侧所示的位置上有建筑物1315的路端候选1702。
[0081]
但是，由于偏离连结条件，所以不会成为本次的连结对象，这里为存在两个单体的侧沟1313的路端的最终结果。因此,路端候选的连结结果为黑色虚线1901和1902这两个。
[0082]
相反，在图19的下侧所示的车辆v1的左侧路端，最初存在墙壁1318，在墙壁1318之前存在路肩块1316。最初利用墙壁侧的立体物累积1331的路端,但在其前端存在作为路肩块的低阶差1333。因为在墙壁1318和路肩块1316之间的间隔距离小于200cm,所以这里将墙壁和路肩块连结。因此,路端候选的连结结果为一条黑色虚线1903。
[0083]
＜包括车辆的路端连结例＞图20是说明包含车辆的路端连结例的图。在图20中，表示包含作为移动体的车辆的路端候选的连结结果。由于图20的上侧所示的行驶道路1311的路端与图19相同，所以仅对图20的下侧所示的行驶道路1312的路端进行说明。示出了在图20的下侧所示的行驶道路1312a上行驶的后方车辆的路端连结结果。
[0084]
在图20所示的例子的情况下，在行驶道路1312的路宽方向外侧，大部分排列有路肩块1316的低阶差(路端特征量)1333，在成为内侧车道的行驶道路1312a上存在车辆v1，在成为外侧相邻车道的行驶道路1312b上存在作为先行的移动体的车辆v2。由于是移动体v2的速度或车形状，所以特征量是移动体是已知的。在该状态下，在车辆v1中，存在路肩块1316的特征量1333和移动体v2的特征量1332这两种特征量，以各自的特征量类别画出连结候选线1714和2001。
[0085]
将该移动体v2和路肩块1316的各自的连结候选线1714、2001进一步相互连结，与图18所示的连结条件进行比较来判断。在图20所示的例子的情况下，由于连结候选线1714和2001的横向位置(路宽方向的间隔距离)小于600cm，所以将连结了移动体v2的连结候选线1714和路肩块1316的连结候选线2001的黑色虚线检测为最终结果的路端2002。
[0086]
＜包含行驶道路区分的路端连结例＞图21是说明包含行驶道路区分的路端连结例的图。对连结图21的上侧所示的车辆v0的左侧路端的路端连结例进行说明。与上述不
同,为了使一般车辆不进入施工中的现场,多个路锥2101排列在行驶道路1311b上。因此,侧沟1313的一部分路端候选1701和连结了作为行驶道路区分的路锥2101的路端候选2102这两个存在于路宽方向内侧,所以将这两个路端候选1701和2102连结,检测为最终结果的路端2111。对于比行驶道路区分的连结成分靠内侧的路端候选,原本就不作为连结对象处理。
[0087]
接下来,关于在图21的下侧所示的行驶道路1312上行驶的车辆v1,在路肩块1316和墙壁1318上存在两个连结候选1711、1712。在这种情况下，由于与2个连结候选1711、1712的横向位置(路宽方向的间隔距离)隔开200cm以上，所以虽然在进深方向(车辆行进方向)上几乎没有间隔，仍作为连结对象外而检测为2个不同的路端。
[0088]
＜行驶道路区分判定＞在行驶路判定部300中，在单侧存在多个上述路端连结结果的情况下，优先采用更内侧的路端，并且按照进深来决定路端的类别。通过对左右实施该处理，来决定按进深的横向位置。进而,利用该结果,执行曲线拟合以获得空间上平滑的行驶道路区分。通过在活用时间序列的信息的基础上进行曲线拟合，计算出空间上平滑、时间上稳定的路端的位置。
[0089]
＜警报控制部＞图22是说明警报控制部的构成的图，图23是表示针对路端类别的警报和控制余量的信息的图。警报控制部400利用与类别对应的行驶道路判定的结果,判定是否实施警报控制,实施最终的对驾驶员的警报或车辆控制。警报控制部400具有本车行为预测部410、路端类别接触脱离判定部420、警报部430和控制部440。
[0090]
在本车行为预测部410中,根据车辆的转向角、车速来预测本车行进的方向、位置。路端类别接触脱离判定部420判定在由本车行为预测部410预测的车辆行为上是否存在与路端接触的可能性。警报部430和控制部440通过根据路端类别变更警报和控制的处理方法，来实施更适当的控制。例如，在路端类别为墙壁或障碍物的情况下，如果接触或碰撞，则对车辆或乘坐人员的影响较大。因此，对于可能带来这样的较大影响的路端类别，实施提前的警报和控制。
[0091]
例如，如图23所示，对于路端类别为墙壁、障碍物或负阶差(侧沟)等、当车辆接触、脱离时有较大影响的对象，在行驶道路判定部300所识别的路端与车辆的位置小于100cm的状态下，向驾驶员发出警报。而且,在车辆进一步接近对象的情况下,在其间隔距离小于50cm时,实施车辆控制,以使车辆不与路端接触或不脱离行驶道路。
[0092]
进而，关于接触时的影响比障碍物更大的移动体(车等)，在小于150cm的距离时，实施对驾驶员的警报，进而，在小于75cm时实施车辆控制。但是，这些变量可以是根据车速来减小幅度的动态方法，例如也可以进行调整以允许在低速时有意接近的驾驶。特别是，也可以在不足20km/h的低速时，逐渐减小数值的距离，在大致为0km的情况下，通过实施图23的表中所示的值的一半左右的控制，进行使驾驶员的意图更优先的设定。
[0093]
在障碍物为路肩块1316的情况下，如果是轻微接触，则仅与轮胎接触等，与和墙壁、负阶差、移动体的接触相比，大多对车辆、乘坐人员的影响较小。另外，考虑到从车体延伸的后视镜等是接触对象外的高度，警报设定为小于80cm，车辆控制设定为小于40cm。
[0094]
关于无阶差路端，如果由于路面的材质不同而在高速状态下偏离，则有可能发生失去车辆的控制的情况，但如果是低速则不会成为大问题的可能性高。因此,警报设定为小
于50cm,车辆控制设定为小于20cm。作为行驶道路区分立体物的路锥等因接触而造成的损害等也比较小。因此,警报设定为小于80cm,车辆控制设定为小于20cm。
[0095]
这样,通过根据路端类别来变更警报和车辆控制的余量,来实施对于驾驶员而言更自然、不妨碍驾驶员的驾驶意图而安全的警报以及车辆控制。根据对每个路端类别设定的横向位置的距离，实施警报和控制。另外，在单侧的路端由多种路端构成的情况下，通过利用余量更大的类别的值来实施警报或控制，从而实现更安全的警报和车辆控制。
[0096]
＜处理流程图＞图24是说明由图像处理装置执行的识别处理的内容的流程图。在本流程中，利用立体摄像机检测路端，进而进行实施警报控制的处理。
[0097]
首先，用立体摄像机拍摄左右图像(s01)。然后，在执行左右图像的平行化和灵敏度校正之后，执行立体匹配以生成视差图像(s02)。利用立体匹配的结果和摄像机几何或基线长度,获取车辆周边的构造物的三维坐标上的点的集合体即3d点群。然后，同时使用视差图像和3d点群并获取多种路端特征量(s03)。将舵角、横摆率、车速作为输入，实施利用了四轮模型的本车行为推定，推定本车行为(s04)。此时，也可以通过获取利用了从摄像机得到的特征点的摄像机的相对位置，来更高精度地推定本车行为。利用该推定的本车行为和获取的路端特征量，生成路端特征量的地图(s05)。
[0098]
接着，在上述路端特征地图上连结特征量。在自身车辆的行驶方向上进行特征量的连结。然后，对每个路端类别变更连结条件，实施路端候选的生成(s06)。接着，判定是否对连结而成为线状的路端候选再进一步连结，识别成为最终的行驶道路的路端(s07)。以上述路端的识别结果为基础，判定自身车辆是否有可能脱离行驶道路(s08)。根据上述判定结果，实施警报和控制(s09)。
[0099]
根据本实施方式的图像处理装置,根据路端特征量和本车行为生成路端特征量的地图,对每个路端的类别变更连结条件而生成路端候选,基于连结条件将路端候选彼此连结,检测为行驶道路的路端。
[0100]
以往的解析行驶道路的识别逻辑基本上不确定路端的类别地识别行驶道路的形状。因此，在多种路端混合存在的环境中，难以适当地检测路端形状，在路端分散存在的情况下，不能适当地判断是否应该连结。
[0101]
根据本发明,在以往困难的路肩块、墙壁、侧沟等多种对象混合存在的复杂的路端环境中,优先连结同一种路端特征量,根据类别适当判断是否为应连结的路端,由此能够稳定地检测更适当的路端。
[0102]
以上，对本发明的实施方式进行了详述，但本发明并不限定于上述实施方式，在不脱离权利要求书所记载的本发明的精神的范围内，能够进行各种设计变更。例如，上述实施方式是为了容易理解地说明本发明而详细说明的方式，不一定限定于具备所说明的全部构成的方式。另外，可以将某实施方式的构成的一部分置换为其他实施方式的构成，另外，也可以在某实施方式的构成中增加其他实施方式的构成。进而，对于各实施方式的构成的一部分，可以进行其他构成的追加、删除、置换。符号说明
[0103]
100传感器部110左右摄像机部
120立体匹配部130 3d点群生成部150摄像机部170摄像机部180激光雷达部200路端类别特征部210路端特征量提取部211立体物累积部(墙壁、障碍物)。212移动体部(车等)213低阶差部(路肩块)214负阶差部215无阶差路端部216行驶道路区分立体物部220本车行为推定部221行为推定运算部222相对位置姿势推定部223自身地图位置推定部224高精度地图位置推定部230路端特征地图生成部231路端识别用时间序列地图生成部232自身位置推定用地图生成部233高精度地图信息附加更新部240内侧特征优先部250内侧特征类别判定部300行驶道路判定部310连结路端候选生成部320路端候选连结部330行驶道路区分判定部400警报控制部410本车行为预测部420路端类别接触脱离判定部430警报部440控制部。