环境识别装置及环境识别方法

专利名称：环境识别装置及环境识别方法
技术领域：
本发明涉及基于检测区域的对象物的亮度而识别该对象物的环境识别装置及环境识别方法。
背景技术：
以往，检测位于本车辆前方的车辆或信号灯等所谓障碍物的对象物，并对本车辆进行控制以避免与所检测出的对象物发生碰撞或使本车辆与前行车辆的车距保持在安全距离的技术已被为人所知(例如，专利文献1、2)。
·
而且，在这种技术中，不仅将对象物一律特定为物体，而且为了进行更高精度的控制，还存在判断对象物是以与本车辆相同的速度行驶的前行车辆，还是不移动的被固定的物体等的技术。这里，当通过对检测区域的拍摄而检测出对象物时,在特定对象物为何物之前，应从所拍摄的图像中提取(剪切)对象物本身。例如，当所拍摄的图像为彩色图像时，可以采用将具有相同的亮度(颜色)的像素群组化并作为对象物提取的方法。现有技术文献专利文献专利文献I :日本专利第3349060号专利文献2 :日本特开平1 0-2 8 3 4 6 1号公报但是，关于设置在道路上的实际信号灯或道路标识等而言，例如对应于电灯泡形态的信号灯的照明部分的图像中会出现变色的情况等，同一个对象物未必以单色发光。而且，还会产生基于形成为方格花纹状的贝尔(Bayer)格式图像的假彩色，因此严格用一个亮度来特定一个对象物有时会存在困难。

发明内容
本发明是鉴于这种问题而提出的，其目的在于提供一种可以提高对象物的特定精度的环境识别装置和环境识别方法。为了解决上述问题，本发明的环境识别装置包含数据存储单元，将预先设定的预定数量的颜色识别标识符与亮度范围对应地存储，同时针对多个特定物的每一个对应一个或多个颜色识别标识符进行存储；亮度获取单元，用于获取检测区域内的对象部位的亮度；颜色识别标识符设定单元，基于存储在数据存储单元的颜色识别标识符与亮度范围的对应关系，根据对象部位的亮度而在对象部位设定颜色识别标识符；群组化单元，基于存储在数据存储单元的特定物与颜色识别标识符的对应关系，将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化。多个特定物中分别预先设定有所对应的一个或多个颜色识别标识符中作为代表颜色识别标识符的一个颜色识别标识符，当在经群组化的对象部位中包含代表颜色识别标识符时，群组化单元将该对象部位群组化。群组化单元将经群组化的对象部位的顔色识别标识符全部置換成代表顔色识别标识符。为了解决上述问题，本发明的环境识别方法，获取检测区域内的对象部位的亮度；基于存储在数据存储単元的颜色识别标识符与亮度范围的对应关系，根据所述对象部位的亮度而在对象部位设定颜色识别标识符；基于存储在数据存储単元的特定物与顔色识别标识符的对应关系，将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的ー个或多个颜色识别标识符的对象部位群组化。根据本发明，可以提高对象物的特定精度，因此可以避免错误识别。


图I为示出环境识别系统的连接关系的方框图。图2为用于说明亮度图像和距离图像的说明图。图3为示出环境识别装置的概略功能的功能方框图。图4为用于说明颜色表格的说明图。图5为用于说明特定物表格的说明图。图6为用于说明通过位置信息获取部变换为三维位置信息的说明图。图7为用于说明颜色识别标识符对应图的说明图。图8为用于说明群组化单元的处理的说明图。图9为表示环境识别方法的整个流程的流程图。图10为表示顔色识别标识符对应图生成处理的流程的流程图。图11为表示群组化处理的流程的流程图。图12为表示特定物确定处理的流程的流程图。符号说明I :车辆122 :检测区域124:亮度图像126:距离图像130 :环境识别装置152 :数据存储单元160 :亮度获取单元162 :位置信息获取单元164 :顔色识别标识符设定单元166 :群组化单元168 :特定物确定单元200 :特定物表格202:亮度范围204 :幅度范围210 :颜色识别标识符对应图
具体实施例方式以下，参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等是仅仅是为了使发明容易理解而例示的，除了特别指定的情况之夕卜，并不能用来限定本发明。在此，本说明书及附图中，对于具有实质上相同的功能、结构的要素，通过赋予相同的符号的方式省略重复性说明，而且对与本发明没有直接关系的要素省略了图示。(环境识别系统100)图I为示出环境识别系统100的连接关系的方框图。环境识别系统100包含设置在车辆I内的多个(本实施方式中为两个)摄像装置110、图像处理装置120、环境识别装置130、车辆控制装置140。摄像装置110包含电荷稱合器件(CO), Charge-Coupled Device)或互补金属氧化 半导体(CMOS, Complementary Metal-Oxide Semiconductor)等摄像器件，能够获取彩色图像，即，像素单位中可获取三个色相(红、绿、蓝)的亮度。在本实施方式中，把颜色和亮度同等看待，在同一篇文章里包含两个用语时，可相互交替读取为构成颜色的亮度或具有亮度的颜色。在此，由摄像装置110所拍摄的彩色图像称为亮度图像，区别于后述的距离图像。而且，摄像装置110为两个，两个摄像装置110在大致水平方向上分开布置，以在车辆I的行驶方向侧两个摄像装置110各自的光轴大致平行。摄像装置110每隔例如1/60秒(60fps)连续生成拍摄车辆I前方的检测区域中的对象物的图像数据。这里，对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物，还包括尾灯或转向指示灯、信号灯的各个照明部分等能够特定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机执行各种处理。图像处理装置120从两个摄像装置110分别获取图像数据，并基于两个图像数据导出包含图像中的任意区块(集合预定数量的像素的区块)的视差以及示出任意区块在画面中的位置的画面位置的视差信息。图像处理装置120采用从另一个像素数据搜索对应于从一个图像数据任意抽出的区块(例如，水平4像素X垂直4像素的阵列)的区块的所谓的图案匹配而导出视差。在此，水平是指所拍摄的图像的画面横向方向，相当于实际空间中的水平方向。而且，垂直是指所拍摄的图像的画面纵向方向，相当于实际空间中的竖直方向。所述图案匹配是指，在两个图像数据之间以示出任意图像位置的区块单位比较亮度值(Y色差信号)的方法。例如，包括求出亮度值的差值的绝对差值和(SAD，Sumof Absolute Difference)、将差值平方后使用的差值的平方和(SSD, Sum of Squaredintensity Difference)、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关(NCC, Normalized Cross Correlation)等方法。图像处理装置120对于被显示在检索区域(例如,600像素X200像素)的全部区块执行这种区块单位的视差导出处理。在此，将区块设定为4像素X4像素，但区块内的像素数量可以任意地设定。但是，在图像处理装置120中，虽然对作为检测分辨率的单位的每个区块能够导出视差，但无法识别该区块是哪种对象物的一部分。因此，视差信息不是对象物单位，而是作为检测区域的检测分辨率单位(例如区块单位)而被独立地导出。在此，将如此导出的视差信息(相当于后述的相对距离)映射到图像数据的图像称为距离图像。图2为用于说明亮度图像124和距离图像126的说明图。例如，假设通过两个摄像装置110针对检测区域122生成图2(a)所示的亮度图像(图像数据)124。但是，这里，为了便于理解，仅模式性地示出两个亮度图像124中的ー个。在本实施方式中，图像处理装置120从这种亮度图像124求出每个区块的视差，从而形成图2(b)所示的距离图像126。对于距离图像126中的各个区块来说，其区块的视差相互关联。在此，为了便于说明，将导出视差的区块以黑点表示。对于视差来说，容易在图像的边缘部分(相邻像素之间明暗的差值较大的部分)被特定，因此在距离图像126中，赋予黑点的、导出视差的区块在亮度图像124中也大多形成边缘。因此，图2(a)所示的亮度图像124和图2(b)所示的距离图像126在各个对象物的轮廓上相互近似。
环境识别装置130从图像处理装置120获得亮度图像124和距离图像126，井利用基于亮度图像124的亮度和基于距离图像126的与本车辆I的相对距离特定检测区域122中的对象物对应于哪种特定物。这时，环境识别装置130利用所谓的立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含相对距离的三维位置信息。这里，立体视觉法是通过使用三角測量法从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。对于环境识别装置130将在后面详述。车辆控制装置140执行避免本车辆与通过环境识别装置130特定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说，车辆控制装置140通过用于检测方向盘角度的舵角传感器142和用于检测车辆I的速度的车速传感器144等获得当前的车辆I的行驶状态，并通过控制致动器146将车辆I与前行车辆的车间距保持在安全距离。在此，致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且，当推断出将与对象物产生碰撞时，车辆控制装置140在设置在驾驶者前方的显示器148进行相应警告显示(报警)的同时，控制致动器146使车辆I自动地减速。车辆控制装置140也可以与环境识别装置130形成为一体。(环境识别装置130)图3为示出环境识别装置130的概略的功能的功能方框图。如图3所示，环境识别装置130包括I/F单元150、数据存储单元152、中央控制单元154。I/F单元150是用于与图像处理装置120和车辆控制装置140进行双向信息交换的接ロ。数据存储単元152由RAM、闪存、HDD等构成，以用于存储颜色表格(对应关系)和特定物表格(对应关系)或以下所示各个功能単元的处理中所必要的各种信息，而且暂时存储从图像处理装置120接收的亮度图像124、距离图像126。在此，颜色表格和特定物表格的使用方式如下。图4为用于说明颜色表格190的说明图。在颜色表格190中，表示预先设定的预定数量的顔色的亮度范围192对应于顔色识别标识符194。例如，顔色识别标识符“I”中对应有与红色相应的亮度范围。颜色识别标识符“2”中对应有与黄色相应的亮度范围。颜色识别标识符“3”中对应有与青绿色相应的亮度范围。顔色识别标识符“4”中对应有与品红色相应的亮度范围。顔色识别标识符“5”中对应有与橙色相应的亮度范围。颜色识别标识符“6”中对应有与朱红色相应的亮度范围。颜色识别标识符“7”中对应有与蓝色相应的亮度范围。颜色识别标识符“8”中对应有与绿色相应的亮度范围。但是，无容置疑，亮度范围并不局限于图4中记载的亮度范围，而且其数量也不局限于图4中记载的数量。图5为用于说明特定物表格200的说明图。在特定物表格200中，针对多个特定物对应有与特定物自身的亮度范围相应的代表颜色识别标识符202、还包括接近特定物的亮度的范围的ー个或多个颜色识别标识符194、表示特定物的大小范围的幅度范围204。这里，作为特定物，可假设“信号灯(红)”、“信号灯(黄)”、“信号灯(青緑)”、“尾灯(品红)”、“转向指示灯(橙)”、“道路标识(朱红)”、“道路标识(蓝)”、“道路标识(緑)”等在道路上行驶时需要看见的各种物体。当然，特定物并不局限于图5所示的物体。而且，特定物表格200中，特定物的特定具有优先顺序，该环境识别处理依照该优先顺序，对于从特定物表格200中的多个特定物中依次选择出的每ー个特定物执行。特定物中，例如，特定物“信号灯(红)”中对应着用于特定特定物“信号灯(红)”的颜色识别标识符“1”、“5”、“6”和幅度范围“O. 2 O. 4”。代表顔色识别标识符202为相关的一个或多个识别标识符194中的任意的识别标识符，使用与特定特定物时最适合的亮度相对应的顔色识别标识符194来确定。图5对应于图4,将图5形成为图4的颜色识别标识符194的排列与图5的代表颜色识别标识符202的排列相等。 在本实施方式中，基于特定物表格200，在亮度图像124内的任意对象部位中满足有关任意特定物的多个颜色识别标识符194(亮度范围192)条件的对象部位成为特定物的候补。例如，当对象部位的亮度被包含于基于特定物“信号灯(红)”的多个颜色识别标识符“1”、“5”、“6”的亮度范围192之内吋，将该对象部位作为“信号灯(红)”的候补。并且，将对象部位群组化的对象物被提取为类似特定物的形态时，例如，被群组化的对象物的大小被包含在“信号灯(红)”的幅度范围“O. 2 O. 4m”之内时，被判断为特定物。被判断为特定物的对象部位通过特定物固有的顔色识别标识符(识别编号)被标记。这里，对象部位假设为像素或集合像素的区块，但本实施方式中，为了便于说明，假设为像素。中央控制单元154由包括中央处理器(CPU)、存储程序等的ROM、作为工作区的RAM等的半导体集成电路构成，通过系统总线156控制I/F単元150和数据存储単元152。而且，在本实施方式中，中央控制单元154具有作为亮度获取单元160、位置信息获取单元162、颜色识别标识符设定单元164、群组化单元166、特定物确定单元168、图案匹配単元170的功倉^:。亮度获取単元160根据后述的顔色识别标识符设定单元164的控制指令，从接收的亮度图像124以对象部位(像素)単位获取亮度(在像素単位中获取三个色相(红、緑、蓝)的亮度)。这时，当检测区域处于例如雨天或阴天时，亮度获取单元160也可以调整白平衡之后获取亮度，以能够获取原始的亮度。位置信息获取单元162根据后述的群组化单元166的控制指令，使用立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含水平距离X、离道路表面的高度I以及从本车辆I的相对距离z的三维位置信息。在此，视差信息表示距离图像126中的各个对象部位的视差，而三维位置信息表示实际空间中的各个对象部位的相对距离的信息。因此，在使用的术语中，水平距离、高度、相对距离是指实际空间上的距离，检测距离是指距离图像126上的距离。而且，当视差信息并非以像素単位，而是以区块单位(即，以多个像素为单位)被导出时，该视差信息被视为属于区块的所有像素的视差信息，从而能够执行像素单位的计算。图6为用于说明通过位置信息获取单元162变换为三维位置信息的说明图。位置信息获取单元162将距离图像126识别为如图6所示的像素单位的坐标系。这里，在图6中，将左下角设定为原点(0，0)，横向方向设定为i坐标轴，纵向方向设定为j坐标轴。因此，具有视差dp的像素能够由像素位置i、j和视差dp表示为(i, j, dp)。将本实施方式中的实际空间上的三维坐标系假设为以车辆I为中心的相对坐标系。在此，将车辆I的行进方向右侧方设定为X轴的正方向，车辆I的上方设定为Y轴的正方向，车辆I的行进方向(前方)设定为Z轴的正方向，经过两个摄像装置110的中央的铅直线和道路表面的交点作为原点(0，0，0)。此时，假设道路为平面时，道路表面与X-Z平面(y = O) 一致。位置信息获取单元162通过以下的数学式I 数学式3将距离图像126上的区块坐标(i，j，dp)变换为实际空间上的三维的点坐标(X，y，z)。
X = CD/2+z · Pff · (i_IV)...数学式 Iy = CH+z · Pff · (j-JV)...数学式 2z = KS/d P …数学式 3在此，⑶为摄像装置110之间的间隔(基线长度)，PW为每一个像素的视角，CH为摄像装置110自道路表面的布置高度，IV、JV为车辆I的正面方向无限远端的图像上的坐标(像素)，KS为距离系数(KS =⑶/PW)。颜色识别标识符设定单元164基于存储在数据存储单元152的颜色表格190，根据对应部位的亮度给对象部位设定颜色识别标识符194。具体来说，颜色识别标识符设定单元164使亮度获取单元160获取亮度图像124上的任意对象部位的亮度。接着，颜色识别标识符设定单元164依次选择登记在颜色表格190中的颜色识别标识符194，判断获取的一个对象部位的亮度是否包含于依次选择出的颜色识别标识符194的亮度范围192。然后，若对象部位的亮度包含于成为对象的亮度范围192之内，则对该对象部位设定该颜色识别标识符194，制作颜色识别标识符对应图。颜色识别标识符设定单位164对于多个对象部位的每一个顺序进行这种各个对象部位的亮度与登记在颜色表格190上的多个颜色识别标识符194的亮度范围192之间的一系列比较。这里，颜色识别标识符194的选择顺序遵从如上所述的表示在颜色表格190上的优先顺序。即，在图4的颜色表格190的例子中，以“红”、“黄”、“青绿”、“品红”、“橙”、“朱红”、“蓝”、“绿”的顺序执行比较处理。而且，按照所述优先顺序进行比较的结果，当判断为对象部位的亮度包含于优先顺序高的颜色识别标识符194的亮度范围192时，就不会执行有关优先顺序低于颜色识别标识符194的比较处理。因此，对于一个对象部位最多赋予一个颜色识别标识符194。这是因为，由于多个特定物不会在空间上重叠，因此由颜色识别标识符设定单位164 —旦设定为任意的颜色识别标识符194的对象物就没有必要判断是否会是其他颜色识别标识符194。如此，通过排他地处理对象部位，能够避免对已经设定了颜色识别标识符194的对象部位进行重复的设定处理，从而能够减轻处理负荷。图7为用于说明颜色识别标识符对应图210的说明图。颜色识别标识符对应图210是在亮度图像124中叠加颜色识别标识符194的图。因此，在相当于特定物的对象部位的位置上集中地设定有顔色识别标识符194。例如，在顔色识别标识符对应图210中的局部对应图210a中，相当于前行车辆的尾灯的多个对象部位212的亮度以颜色识别标识符“I”、顔色识别标识符“2”、顔色识别标识符“3”、顔色识别标识符“4”的顺序与亮度范围192进行比较。其結果，因为对象部位212的亮度被包含在顔色识别标识符“4”的亮度范围192内，因此对应顔色识别标识符“4”。并且，在顔色识别标识符对应图210中的局部对应图210b中，因为相当于信号灯的右侧点亮部分的多个对象部位214的亮度被包含于颜色识别标识符“I”的亮度范围192内，因此对象部位214的亮度对应特定物“信号灯(红)”的顔色识别标识符“I”。进ー步，在顔色识别标识符对应图210中的局部对应图210c中，相当于前行车辆的后灯的多个对象部位216的亮度以顔色识别标识符“I”、顔色识别标识符“2”、顔色识别标识符“3”的顺序与亮度范围192进行比较，最終对应颜色识别标识符“4”和顔色识别标 识符“5”。图7中示出亮度图像124的多个对象部位上被赋予颜色识别标识符的图，但这种表示仅仅是为便于理解的概念性表示，实际上，在对象位置上用数据登记顔色识别标识符。群组化单元166以任意的对象部位为基点，将该对象部位和水平距离X的差值以及高度y的差值在预定范围(例如，I. Om等)内的、对应于同一个特定物的对象部位群组化，作为对象物。这里，预定范围用实际空间上的距离表示，且可以设定为任意的值。具体来讲，群组化单元166首先依次获得亮度图像124中的任意的对象部位的颜色识别标识符194。然后，群组化单元166以该对象部位为基点，将对象部位和水平距离X的差值和高度I的差值在预定范围内的、设定有与将对象部位的顔色识别标识符194作为代表顔色识别标识符202的特定物对应的ー个或多个颜色识别标识符194的对象部位群组化，作为对象物。并且，群组化单元166对于通过群组化而新增的对象部位也进行如下群组化，即，以该对象部位为新的基点，将水平距离X的差值和高度y的差值在预定范围内的、设定有与同一个特定物对应的ー个或多个颜色识别标识符194的对象部位群组化。结果，只要设定有与同一个特定物对应的ー个或多个颜色识别标识符194的对象部位之间的距离在预定范围之内，则这些全部被群组化。在此，群组化单元166使用实际空间上的水平距离X或高度y进行判断，但当利用亮度图像124或距离图像126上的检测距离判断时，用于群组化的预定范围的阈值会根据对象部位的相对距离z而变化。如图2等所示，亮度图像124或距离图像126中，由于远近的物体都被表示在平面上，因此原来位于远处的物体被表示得小(短)，位于附近的物体被表示得大(长)。因此，亮度图像124或距离图像126中的预定范围的阈值，例如对于位于远处的对象部位设定得较小，对于位于附近的对象部位设定得较大。由此，在远处和附近的检测距离不同时，也能够实现稳定的群组化。并且，用距离图像126上的检测距离进行判定时，可以用像素数来定义预定范围，例如将在水平方向和垂直方向上具有ー个像素间隔(相邻)的像素彼此群组化。并且，在此，分别独立判断水平距离X的差值和高度I的差值，仅在所有差值被包含在预定范围时才作为同一群组，但还可以依据其他的计算。例如，当水平距离X的差值和
高度y的差值的欧氏距离(Euclidean distance) ^((水平距离x的差值)2+(高度y的差值)2)被包含于预定范围之内时，也可以作为同一群组。通过所述计算，能够导出对象部位在实际空间上的正确的彼此距离，能够提高群组化精度。图8为用于说明群组化单元166的处理的说明图。这里，为了便于理解，省略示出颜色识别标识符194。群组化单元166在图8(a)中示出的颜色识别标识符对应图210中，对预定范围内的、例如设定有对应于特定物“信号灯(红)”的一个或多个颜色识别标识符194的所有对象部位进行群组化，如图8(b)所示，作为对象物218。具体来讲，例如图8(c)所示，假设有沿水平方向并排设置绿黄红的照明部分，且其竖直方向的下方并排设置表示允许行使的方向的箭头形状的照明部分的两层信号灯。这里，如图8(c)所示，假设在上层的信号灯中对象物218a的位置上有“红”色点亮，在下层的信号灯中对象物218b的位置上有“青绿”箭头点亮。如果参照特定物表格200，在上述情况下，特定物“信号灯(红)”的代表颜色识别标识符202为“ I ”，特定物“信号灯(青绿)”的代表颜色识别标识符202为“3”。因此，原来只要提取对应于上述的代表颜色识别标识符202的亮度范围192，就 应该可以特定对应于代表颜色识别标识符202的特定物，但照明部分可能变色，而且一个特定物未必以单色发光。并且，根据亮度图像124的数据结构，例如还可能产生基于贝尔(Bayer)格式图像的假彩色。因此，在本实施方式中，在一个特定物上不只对应赋予代表颜色识别标识符202，还对应赋予一个或多个颜色识别194，通过多个亮度来特定其特定物。例如，图8 (d)中示出的对象物218a，除了作为特定物“信号灯(红)”的原来的颜色的“红”之外，因为变色还存在呈现“橙”或“朱红”的亮度的对象部位。这里，群组化单元166对代表颜色识别标识符“I” (相当于“红”)、颜色识别标识符“5” (相当于“橙”)、颜色识别标识符“ 6 ”(相当于“朱红”)这三个亮度进行群组化。因此，还可以吸收上述的变色“橙”和“朱红”，可以在适当的范围内对特定物“信号灯(红)”进行特定。并且，图8(d)示出的对象物218b，除了作为特定物“信号灯(青绿)”的原来的颜色的“青绿”之外，还存在亮度呈现“绿”的对象部位。这里，与特定物“信号灯(红)”相同，群组化单元166对代表颜色识别标识符“3” (相当于“青绿”)、颜色识别标识符“8” (相当于“绿”)这两个亮度进行群组化。因此，还可以吸收上述的变色“绿”，可以在适当的范围内对特定物“信号灯(青绿)”进行特定。如此，即使对象部位包含特定物表格200中所对应的一个或多个颜色识别标识符194中的任何颜色识别标识符，只要对象部位彼此接近，群组化单元166就将其看作为特定物。但是，如果简单地看作是特定物，则会产生以下的问题。即，当对象物218的颜色识别标识符194由代表颜色识别标识符202之外的颜色识别标识符构成时，原本应该判定为对应于其颜色识别标识符194的其他特定物的情况下，可能被判定为对应于代表颜色识别标识符202的特定物。因此，在本实施方式中，只有在满足预定条件的情况下才看作目标特定物。具体来讲，群组化单元166提取设定有对应于特定物的一个或多个颜色识别标识符194的所有对象部位，然后在该对象部位中，只有在特定物的代表颜色识别标识符202占整体的预定比率以上时，对所提取的对象部位进行群组化。这里，预定比率可以被任意设定，例如可以设定为60%。由此，可以避免上述的错误识别特定物的情况，而且可以恰当地提取对象物作为特定物。
并且，群组化单元166只有在所提取的、设定有对应于特定物的一个或多个颜色识别标识符194的对象部位存在预定数量的情况下，才将该多个对象部位作为对象物进行群组化。由此，能够避免因为干扰性亮度相当于某些特定物而被识别为对象物的现象，能够进行恰当的群组化。进一歩，群组化单元166还可以将被群组化的对象部位的所有颜色识别标识符194置换为代表颜色识别标识符202。在本实施方式中,将因为变色等而偏离原来的亮度的对象部位作为对应于原来的亮度的特定物进行提取为目的。即，即使对象部位的亮度与特定物原来的亮度不同，也将其亮度看作为特定物的原来的亮度。因此，群组化单元166将这种特定部位置换为原来的亮度(置换为特定物的代表顔色识别标识符202)，仅用对应于特定物原来的亮度的代表顔色识别标识符202来表示顔色识别标识符对应图210，从而将颜色识别标识符对应图210简单化。并且，通过这种构成，可以减少被置换的对象部位成为其他特定物的判断对象的可能性，可以减轻处理负荷。由群组化单元166群组化的对象物只要满足预定的条件，则特定物确定单元168 时，特定物确定单元168基于特定物表格200，只要对象物的大小(对象物的水平距离X的幅度和高度I的幅度的全部)被包含于特定物的代表颜色识别标识符202的幅度范围204之中，则将该对象物确定为成为对象的特定物。并且，也可以对对象物的水平距离X的幅度和高度I的幅度分别设定幅度范围204。在此，将对象物视为特定物吋，确认是否具有适当的大小。因此，当未被包含于幅度范围204时，可以作为对于该环境识别处理无用的信息而剔除。例如，在使用图8的例子中，由于图8(d)的对象物218的大小被包含在特定物“信号灯(红)”的幅度范围“O. 2 O. 4m”中，因此恰当地被特定为特定物“信号灯(红)”。如此，在环境识别装置130中，能够从亮度图像124提取ー个或多个对象物作为特定物，井能够将该信息应用于各种控制。例如，通过提取特定物“信号灯(红)”，能够了解到该对象物是不移动的固定的物体的同时，若该对象物是与本车辆车道有关的信号灯，则能够了解本车辆I应停止或減速。而且，通过提取特定物“尾灯(红)”，能够了解该处有与本车辆I共同行使的前行车辆，且该前行车辆的背面位于特定物“尾灯(红)”的相对距离
Zo当特定物确定单元168所确定的特定物为例如为“标识”，且假设其中标记有限制速度吋，图案匹配単元170进ー步对所标记的数值执行图案匹配，特定该数值。由此，环境识别装置130能够识别本车辆车道的限制速度等。在本实施方式中，首先通过特定物确定单元168提取被限定为多个的特定物，并仅进行与该提取的特定物的图案匹配即可。因此，与以往的对亮度图像124的整个面进行图案匹配相比，能够显著地減少处理负荷。(环境识别方法)以下，基于图9至图12的流程图说明环境识别装置130的具体的处理。图9示出关于从图像处理装置120接收到距离图像(视差信息)126时的中断处理的整个流程，图10至图12示出其中的个别的子程序。而且，在此，例举像素作为对象部位，并将亮度图像124和距离图像126的左下角作为原点，且在图像的水平方向的I 600个像素、垂直方向的I 200个像素的范围执行依照该环境识别方法的处理。而且，在此假设作为对象的颜色识别标识符194和特定物的数量为8个。如图9所示，以距离图像126的接收信号为契机，发生依照该环境识别方法的中断时，参照由图像处理装置120获得的亮度图像124而在对象部位设定颜色识别标识符194，生成颜色识别标识符对应图210(S302)。接着，在颜色识别标识符对应图210中距离相近的对象部位被群组化(S304)，被群组化的对象物被确定为特定物(S306)。若有必要从被确定的特定物进一步获取信息，则通过图案匹配单元170执行特定物的图案匹配(S308)。以下，具体说明上述的处理。(颜色识别标识符对应图生成处理S302)参照图10，颜色识别标识符设定单元164对用于特定对象部位(像素)的垂直变量j进行初始化(代入“O”)(S350)。接着，颜色识别标识符设定单元164在垂直变量j上 加(累加)“1”，同时对水平变量i进行初始化(代入“O”)(S352)。接着，颜色识别标识符设定单元164在水平变量上加“1”，并对特定物变量m进行初始化(代入“0”)6354)。在此，设定水平变量i和垂直变量j是为了对整个600X200的像素执行该特定物对应图生成处理，设定特定物变量m是为了对每个像素顺序地比较8个特定物。颜色识别标识符设定单元164使亮度获取单元160从亮度图像124中获得作为对象部位的像素(i，j)的亮度(3356)，并在特定物变量111中加“1”(3358)，获得特定物(m)的代表颜色识别标识符的亮度范围202 (S360)，并判断像素(i，j)的亮度是否被包含在特定物(m)的代表颜色识别标识符的亮度范围202 (S362)。若像素(i，j)的亮度被包含于特定物(m)的代表颜色识别标识符的亮度范围202 (S362的“是”)，则颜色识别标识符设定单元164针对该像素对应地赋予表示特定物(m)的识别号P而变成像素(i，j，P) (S364)。由此，生成对亮度图像124中的各个像素赋予识别号的特定物对应图210。而且，若像素(i，j)的亮度未包含在特定物(m)的代表颜色识别标识符的亮度范围202 (S362的“否”)，则判断特定物变量m是否超过作为特定物的最大数量的8 (S366)。在此，若特定物变量m并未超过最大值(S366的“否”)，则从步骤S358的特定物变量m的累加处理开始重复执行。而且，若特定物变量m超过最大值(S366的“是”)，则认为对应于该像素(i，j)的特定物不存在，处理转到下一步骤S368。接着，颜色识别标识符设定单元164判断水平变量i是否超过作为水平像素的最大值的600(S368)，若水平变量i并没有超过最大值(S368的“否”)，则从步骤S354的水平变量i的累加处理开始重复执行。而且，若水平变量i超过最大值US368中的“是”)，则颜色识别标识符设定单元164判断垂直变量j是否超过作为垂直像素的最大值的200 (S370)。接着，若垂直变量j并未超过最大值(S370的“否”)，则从步骤S352的垂直变量j的累加处理开始重复执行。而且，若垂直变量j超过最大值(S370的“是”)，则终止该特定物对应图生成处理。(群组化处理S304)参照图11，群组化单元166参照用于群组化对象部位的预定范围(S400)，初始化(代入“O”)用于特定对象部位(像素)的垂直变量j (S402)。接着，群组化单元166在垂直变量j上加“ I ”，同时初始化(代入“ O，，)水平变量i (S404)。接着，群组化单元166在水平变量i上加“I” (S406)。
群组化单元166从亮度图像124获取包含作为对象部位的视差信息dp的像素(i，j,p, dp),将包含视差信息dp的像素(i, j,p, dp)坐标变换为实际空间上的点(x, y, z),作为像素(i，j，P，dp, x, y, z) (S408)。然后，判断该像素(i，j，p，dp, x, y，z)上是否存在有效(不是零)的顔色识别标识符P且是否还没有被赋予群组号g(S410)。在此，若存在有效的颜色识别标识符P且还没有被赋予群组号g(S410的“是”)，则群组化単元166判断其像素的实际空间上的坐标(X，1，z)的预定范围之内是否存在设定有对应于以该颜色识别标识符P为代表颜色识别标识符的特定物的ー个或多个颜色识别标识符194的其他的一个或多个像素且其像素是否还没有被赋予群组号g(S412)。若存在设定有ー个或多个颜色识别标识符194的其他的像素(i，j，p，dp，X，y，z)，且其像素上未被赋予群组号g(S412的“是”)，则群组化単元166判断在包括自身的预定范围内的、设定有对应于特定物的ー个或多个颜色识别标识符194且还未被赋予群组号g的所有像素中，特定物的代表顔色识别标识符P的比率是否占预定比率以上(S414)。然后，当特定物的代表顔色识别标识符P的比率占预定比率以上时(S414中的“是”)，将还没有用 作群组号的号中的最小值分配给包括自身的预定范围内的所有像素(S416)。这里，关于已作为其他的特定物而被群组化的像素，将其从群组化处理的对象中排除，不进行群组化。并且，将进行了群组化的所有像素的顔色识别标识符194置换为代表顔色识别标识符P。如此，当顔色识别标识符相同的对象部位在预定范围内存在有多个时，通过赋予一个群组号g而执行群组化。此时，采用还未用作群组号的号中的最小值的理由在于对群组标号时，尽可能避免出现空号。据此，防止群组号g的最大值无端地变大，从而能够减轻处理负荷。当顔色识别标识符P不是有效值(为零)或者虽是有效值但已经被赋予了群组号g时(S410中的“否”)、当不存在顔色识别标识符相同的其他像素或者虽存在但其所有像素已经被赋予了群组号g时(S412中的“否”)、或者代表顔色识别标识符202的比率没有占预定比率以上时(S414中的“否”)，处理转移到下一个步骤S418。接着，群组化单元166判断水平变量i是否超过作为水平像素的最大值的600(S418)，若水平变量i并未超过最大值(S418的“否”)，则从步骤S406的水平变量i的累加处理开始重复执行。而且，若水平变量i超过最大值(S418的“是”)，则群组化単元166判断垂直变量j是否超过作为垂直像素的最大值的200(S420)。然后，若垂直变量j没有超过最大值(S420中的“否”)，则从步骤S404的垂直变量j的累加处理开始重复。而且，若垂直变量j超过最大值(S420的“是”)，则终止该群组化处理。(特定物确定处理S306)參照图12，特定物确定单元168初始化(代入“O”)用于特定群组的群组变量k(S452)。接着，特定物确定单元168在群组变量k上加“I”(S454)。特定物确定单元168判断亮度图像124中是否存在群组号g为群组变量k的对象物(S456)，若存在(S456的“是”)，则计算被赋予该群组号g的对象物的大小(S458)。此时,对象物的大小由对象物的位于画面左端的像素和位于画面右端的像素之间的水平距离(差值)的水平方向成分和对象物的位于画面上端的像素和位于画面下端的像素之间的高度(差值)的垂直方向成分来特定。接着，判断所计算出的大小是否被包含在以对群组号g为群组变量k的对象物对应赋予的代表颜色识别标识符P表示的特定物的幅度范围204 (S460)。例如，当对象物的大小的水平方向成分在以代表颜色识别标识符P表示的特定物的幅度范围204之内，且对象物的大小的垂直方向成分在以代表颜色识别标识符P表示的特定物的幅度范围204之内，则对象物被判定为包含于以代表颜色识别标识符P表示的特定物的宽度范围204。若大小被包含于以代表颜色识别标识符P表示的特定物的幅度范围204(S460的“是”)，则特定物确定单元168将该对象物确定为特定物(S462)。若大小未包含于以代表颜色识别标识符P表示的特定物的幅度范围204(S460的“否”)，或不存在群组号g为群组变量k的对象物时(S456的“否”)，处理转到下一步骤S464。接着，特定物确定单元168判断群组变量k是否超过群组化处理中设定的群组号的最大值(S464)。然后，若群组变量k没有超过最大值(S464中的“否”)，则从步骤S454的群组变量k的累加处理开始重复执行。而且，若群组变量k超过了最大值(S464中的“是”)，则终止该特定物确定处理。据此，被群组化的对象物正式被确定为特定物。
如上所述，根据环境识别装置130，由于只要对象部位包含有在特定物表格200中对应赋予的一个或多个颜色识别标识符194中的一些颜色识别标识符，就将其看作一个特定物，因此可以避免错误识别特定物，而且能够恰当地提取对象物作为特定物。并且，在特定物表格200中对应赋予的一个或多个颜色识别标识符194中仅使用预先设定的颜色表格190的颜色识别标识符194，从而无需无端地判定多个亮度范围，而只要判定预定数量的亮度范围即可，因此可以大幅度地减轻处理负荷。而且，还提供使计算机执行环境识别装置130的功能的程序或记录该程序的计算机可读软盘、光磁盘、ROM、CD、DVD、BD等记录介质。在此，程序是利用任意的语言或记述方法记述的数据处理方法。以上的说明中，参照附图对本发明的优选实施方式进行了说明，但是本发明并不局限于已说明的实施方式。本发明所属领域的技术人员应知道在权利要求书所记载的范畴之内导出各种变更例或修改例是显而易见的，但显然这些都属于本发明的技术范围。例如，虽然在上述的实施方式的特定物表格200中对特定物仅对应赋予了预先在颜色表格190中确定的颜色识别标识符，但也可以对每个特定物对应赋予任意的多个亮度范围。而且，在上述实施方式中，基于利用多个摄像装置110的图像数据之间的视差导出对象物的三维位置，但并不局限于所说明的情况，例如，可以利用激光雷达测距装置等已知的各种距离测量装置。在此，激光雷达测距装置通过向检测区域122发射激光光束，并接收该激光光束到达物体之后反射的光，从而根据所需时间测量至物体的距离。并且，在上述的实施方式中，虽然以由摄像装置110获取彩色图像为前提进行了说明，但并不局限于这种情况，即使获取单色图像，也能执行本实施方式。此时，颜色表格190由单色的亮度定义。并且，在上述的实施方式中，举出位置信息获取单元162从图像处理装置120接收距离图像(视差信息)126而生成三维位置信息的例子。但是，并不局限于所说明的情况，也可以由图像处理装置120预先生成三维的位置信息，再由位置信息获取单元162获取所生成的三维位置信息。据此，实现功能的分散，能够减轻环境识别装置130的处理负荷。
并且，在上述的实施方式中，亮度获取単元160、位置信息获取单元162、顔色识别标识符设定单元164、群组化单元166、特定物确定单元168、图案匹配単元170由中央控制単元154通过软件运行。但是，上述的功能単元也可以由硬件构成。并且，特定物确定单元168基于例如对象物的大小被包含于特定物的幅度范围204的情况来确定特定物，但并不局限于此，也可以在满足其他各种条件时确定为特定物。例如，对象物中的水平方向和铅直方向的相对距离z的推移几乎相等(连续)时或相对于z坐标的相对移动速度相同时确定为特定物。此时，对象物中的水平方向及铅直方向的相对距离z的推移可根据借助霍夫变换或最小平方法的近似直线确定。在此，本说明书中的环境识别方法的各个步骤并不一定要按照流程图中记载的顺序按时间顺序进行处理，也可以包含并行处理或通过子程序的处理。产业上的可利用性
本发明可利用于基于检测区域中的对象物的亮度来识别该对象物的环境识别装置及环境识别方法。
权利要求
1.ー种环境识别装置，其特征在于，包括 数据存储単元，将预先设定的预定数量的顔色识别标识符与亮度范围对应地存储，同时针对多个特定物的每ー个对应ー个或多个颜色识别标识符进行存储； 亮度获取単元，用于获取检测区域内的对象部位的亮度； 顔色识别标识符设定单元，基于存储在所述数据存储单元的顔色识别标识符与亮度范围的对应关系，根据所述对象部位的亮度而在所述对象部位设定颜色识别标识符； 群组化单元，基于存储在所述数据存储单元的特定物与顔色识别标识符的对应关系，将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化。
2.根据权利要求I所述的环境识别装置，其特征在于，所述多个特定物中分别预先设定有所对应的ー个或多个颜色识别标识符中作为代表顔色识别标识符的一个颜色识别标识符， 当在经群组化的对象部位中包含所述代表顔色识别标识符时，所述群组化単元将该对象部位群组化。
3.根据权利要求2所述的环境识别装置，其特征在干，所述群组化单元将经群组化的对象部位的顔色识别标识符全部置換成代表顔色识别标识符。
4.ー种环境识别方法，其特征在干， 获取检测区域内的对象部位的亮度； 基于存储在数据存储単元的颜色识别标识符与亮度范围的对应关系，根据所述对象部位的亮度而在所述对象部位设定颜色识别标识符； 基于存储在所述数据存储单元的特定物与顔色识别标识符的对应关系，将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化。
全文摘要
本发明涉及环境识别装置及环境识别方法，本发明的环境识别装置(130)获取检测区域内的对象部位的亮度，基于存储在数据存储单元(152)的颜色识别标识符与亮度范围的对应关系，根据对象部位的亮度而在对象部位设定颜色识别标识符(S302)，基于存储在数据存储单元的颜色识别标识符与亮度范围的对应关系，将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化(S304)。根据本发明，可以提高对象物的特定精度。
文档编号G06K9/00GK102842029SQ20121013855
公开日2012年12月26日 申请日期2012年5月7日 优先权日2011年5月12日
发明者木户辰之辅 申请人:富士重工业株式会社