专利名称：环境识别装置及环境识别方法
技术领域：
本发明涉及一种基于检测区域的对象物的亮度识别该对象物的环境识别装置及环境识别方法。
背景技术：
以往，检测位于本车辆前方的车辆或信号灯等所谓障碍物的对象物，并对本车辆进行控制以避免与所检测出的对象物发生碰撞或使本车辆与前行车辆的车距保持在安全距离的技术已广泛被人所知(例如，专利文献1、2)。而且，在这种技术中，不是将对象物一律特定为物体，而且为了进行更高精度的控 制，还存在判断对象物是以与本车辆相同的速度行驶的前行车辆，还是不移动的被固定的物体等的技术。在此，当通过对检测区域的拍摄而检测出对象物时，在特定对象物为何物之前，应从所拍摄的图像中提取(剪切)对象物本身。作为这种提取对象物的方法，可以采用将图像中的具有相同的亮度的像素群组化为对象物的方法，但根据拍摄状况，或者受环境光的影响，或者因对象物本身的随着时间的变化(褪色)，存在无法取得对象物的原来的亮度的情况。因此，还采用以下方法，即，提取因像素之间的亮度差而产生的边缘，通过由该边缘形成的形状而特定对象物的方法。例如，从所拍摄的图像，基于相邻像素之间的微分值，提取具有边缘的像素(边缘像素)，并导出像素的水平方向以及垂直方向的边缘像素的柱状图(距离分布)，将相当于其顶点的区域估计为对象物的端部的技术也为人所知。而且，将基于柱状图而融合的图案与预先保存的图案辞典比较，从而判断对象物是否为车辆的技术也被公开(例如，专利文献3)。进一步还公开有如下的技术使用从包含边缘图像的图像中检测出圆或直线等的几何形状的所谓霍夫变换，从缺少部分几何形状的对象物中提取具备完整的几何形状的对象物。依据这种技术，例如，为了提取圆形的道路标识，推定为包含从检测区域中提取出来的边缘图像的多种大小的圆，并对其霍夫变换，且从多种大小的圆中提取最为恰当的一个大小的圆当作道路标识。现有技术文献专利文献专利文献I :日本专利第3349060号专利文献2 :日本特开平10-283461号公报专利文献3 :日本特开2003-99762号公报但是，上述的使用霍夫变换提取最为恰当的一个大小的圆的技术中，对于一个边缘图像，推断存在可能性的多种大小的圆，并对于该多种大小的圆(投票表格)中的每个圆实施霍夫变换，因此处理负荷较重，在存储器中占有很多的存储区域。并且，由于对于图像内的所有边缘都执行这种处理，因此具有处理负荷和存储器的存储区域变大的问题。
发明内容
本发明是鉴于这种问题而提出的，其目的在于提供一种减轻处理负荷的同时减少存储器的存储区域，从而能够实现对象物的特定效率的提高的环境识别装置以及环境识别方法。为了解决上述问题，本发明提供的环境识别装置，其特征在于，包括数据存储单元，存储作为与特定物的形状相关的信息的形状信息；边缘提取单元，获取分割检测区域而成的多个对象部位的亮度，并提取具有边缘的对象部位；位置信息获取单元，获取具有边缘的对象部位的相对距离；特定物确定单元，基于与相对距离对应的形状信息，对具有边缘的对象部位实施霍夫变换，确定以该形状信息表示的特定物。特定物的形状可以是圆。特定物确定单元可以将具有边缘的对象部位成为一部分的圆的中心所在的位置缩小为与该对象部位的边缘延伸的方向垂直的预定范围而进行确定。位置信息获取单元还可以获取具有边缘的对象部位自路面的高度，特定物确定单 元可基于相对距离以及自路面的高度，仅将包含于预定的部分检索区域的对象部位作为对象，确定以形状信息表示的特定物。为了解决上述问题，本发明提供的环境识别方法，其特征在于，包括如下步骤存储作为与特定物的形状相关的信息的形状信息；获取分割检测区域而成的多个对象部位的亮度，并提取具有边缘的对象部位；获取具有边缘的对象部位的相对距离；基于与相对距离对应的形状信息，对具有边缘的对象部位实施霍夫变换，确定以该形状信息表示的特定物。根据本发明，通过致力于霍夫变换的适用处理，能够减小处理负荷的同时减少存储器的存储区域，并谋求对象物的特定效率的提升。
图I为示出环境识别系统的连接关系的方框图。图2为用于说明亮度图像的说明图。图3为示出环境识别装置的概略的功能的功能方框图。图4为用于说明边缘提取单元的动作的说明图。图5为用于说明根据位置信息获取单元的变换为三维位置信息的变换过程的说明图。图6为用于说明霍夫变换的说明图。图7为用于说明根据特定物确定单元的对象区域的限制处理的说明图。图8为用于说明实施方式中的霍夫变换处理的说明图。图9为示出根据特定物确定单元的其他投票处理的说明图。图10为示出环境识别方法的整体流程的流程图。图11为示出投票处理的流程的流程图。图12为示出特定物确定处理的流程的流程图。主要符号说明I :车辆122 :检测区域
124 :亮度图像126:距离图像130 :环境识别装置160 :边缘提取单元162 :位置信息获取单元164 :特定物确定单元240 :投票图表242:半径存储图表
250:边缘延伸方向
具体实施例方式以下，参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等仅仅是为容易地理解发明而例示的，除了特别指定的情况，并不能限定本发明。在此，本说明书及附图中，对于具有实质上相同的功能、结构的要素通过赋予相同的符号的方式省略重复性说明，而且对与本发明没有直接关系的要素省略了图示。(环境识别系统100)图I为示出环境识别系统100的连接关系的方框图。环境识别系统100包括设置在车辆I内的摄像装置110、图像处理装置120、环境识别装置130、车辆控制装置140。摄像装置110包含电荷稱合器件(CO), Charge-Coupled Device)或互补金属氧化半导体(CMOS, Complementary Metal-Oxide Semiconductor)等摄像器件，并能够获取彩色图像，即，在像素单位中可获取三个色相(红、绿、蓝)的亮度。在此，由摄像装置110所拍摄的彩色图像称为亮度图像，以区别于后述的距离图像。而且，摄像装置110为两个，两个摄像装置110在大致水平方向分开布置，以在车辆I的行进方向侧使两个摄像装置110各自的光轴大致平行。摄像装置Iio每隔例如1/60秒(60fps)连续生成拍摄了存在于车辆I前方的检测区域的对象物的图像数据。在此，对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物体，还包括道路标识、尾灯或指示器、信号灯的各个照明部分等能够确定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机执行各种处理。图像处理装置120从两个摄像装置110分别获取图像数据，并基于两个图像数据导出包含图像中的任意区块(集合预定数量的像素的区块)的视差以及示出任意区块在画面中的位置的画面位置的视差信息。图像处理装置120采用从另一个图像数据搜索对应于从一个图像数据中任意抽出的区块(例如，水平4像素X垂直4像素的阵列)的区块的所谓的图案匹配而导出视差。在此，水平是指所拍摄的图像的画面横向方向，相当于实际空间中的水平方向。而且，垂直是指所拍摄的图像的画面纵向方向，相当于实际空间中的竖直方向。所述图案匹配是指，在两个图像数据之间，用示出任意图像位置的区块单位来比较亮度值(Y色差信号)的方法。例如，包括求出亮度值的差值的绝对差值和(SAD，Sumof Absolute Difference)、将差值平方后使用的差值的平方和(SSD, Sum of Squaredintensity Difference)、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关(NCC, Normalized Cross Correlation)等方法。图像处理装置120对于被显示在检索区域(例如,600像素X200像素)的全部区块执行这种区块单位的视差导出处理。在此，将区块设定为4像素X4像素，但区块内的像素数量可以任意地设定。但是，在图像处理装置120中，虽然可对作为检测分辨率的单位的每个区块导出视差，但无法识别该区块是哪种对象物的一部分。因此，视差信息不是以对象物单位，而是以检测区域的检测分辨率单位(例如区块单位)来独立地导出。在此，将如此导出的视差信息(相当于后述的相对距离)映射到图像数据的图像称为距离图像。图2为用于说明亮度图像124和距离图像126的说明图。例如，假设通过两个摄像装置110针对检测区域122生成图2(a)所示的亮度图像(图像数据)124。但是，在此，为了便于理解，仅模式性地示出两个亮度图像124中的一个。图像处理装置120从这种亮度图像124求出每个区块的视差，从而形成图2(b)所示的距离图像126。对于距离图像126中的各个区块来说，关联有其区块的视差。在此，为了便于说明，将导出视差的区块以黑点表不。
对于视差来说，容易以图像的边缘部分(相邻像素之间明暗的差值较大的部分)确定，因此在距离图像126中，赋予黑点的、导出视差的区块在亮度图像124中也大多形成边缘。因此，图2(a)所示的亮度图像124和图2(b)所示的距离图像126在各个对象物的轮廓上相互近似。环境识别装置130从图像处理装置120获得亮度图像124，并基于亮度图像124的亮度的边缘，确定检测区域122中的具有预定形状的特定物。而且，环境识别装置130从图像处理装置120获得距离图像126，利用所谓的立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含相对距离的三维位置信息。所述相对距离用于所述特定物的确定。在此，立体视觉法是通过使用三角测量法，从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。对于环境识别装置130将在后面详述。车辆控制装置140执行避免本车辆与通过环境识别装置130确定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说，车辆控制装置140通过用于检测方向盘角度的舵角传感器142和用于检测车辆I的速度的车速传感器144等获得当前的车辆I的行驶状态，并通过控制致动器146使车辆I与前行车辆的车间距保持在安全距离。在此，致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且，当推断出将与对象物产生碰撞时，车辆控制装置140在设置在驾驶者前方的显示器148进行相应警告显示(报警)的同时，控制致动器146使车辆I自动地减速。车辆控制装置140也可以与环境识别装置130形成为一体。(环境识别装置130)图3为示出环境识别装置130的概略的功能的功能方框图。如图3所示，环境识别装置130包括I/F单元150、数据存储单元152、中央控制单元154。I/F单元150是用于使与图像处理装置120和车辆控制装置140进行双向信息交换的接口。数据存储单元152由RAM、闪存、HDD等构成，以用于保存特定物表格或以下所示各个功能单元的处理中所必要的各种信息，而且暂时保存从图像处理装置120接收的亮度图像124。在此，特定物表格中，作为有关特定物形状的信息的形状信息与特定物相互关联。上述形状信息是能够确定特定物的形状的信息，例如特定物为圆形时，存储有实际空间中的特定物的半径(例如，30cm)等。中央控制单元154由包括中央处理器(CPU)、存储有程序等的ROM、作为工作区的RAM等的半导体集成电路构成，通过系统总线156控制I/F单元150和数据存储单元152。而且，在本实施方式中，中央控制单元154具有边缘提取单元160、位置信息获取单元162、特定物确定单元164的功能。边缘提取单元160从接收的亮度图像124以像素单位获得亮度(在像素单位中三个色相(红、绿、蓝)的亮度)，根据分割检测区域内的多个对象部位的像素之间的亮度差，判断有无边缘，并提取具有边缘的对象部位。而且，此时，一并导出在后述的特定物确定单元164中使用的边缘所延伸的方向(以下，简单地称为边缘延伸方向)。具体来说，边缘提取单元160基于将对象部位(在此为2X2像素的区块)沿水平方向二等分的、上下各区域的亮度的累加值的差值(以下，简单地称为水平方向分量)和将对象部位沿垂直方向二等分的、左右各区域的亮度的累加值的差值(以下，简单地称为垂直方向分量)，导出边缘方向。 图4为用于说明边缘提取单元160的动作的说明图。在此，假设亮度图像124的一部分中示出如图4(a)所示的道路标识210。而且，假设放大相当于道路标识210的图像中的任意对象部位220a时，形成如图4 (b)所示的亮度分布，且放大其他任意的对象部位220b时，形成图4(c)的亮度分布。而且，亮度的范围设定为O 255，图4(b)中，假设全白的亮度为“200”、全黑的亮度为“O”。在此，假设，对象部位220的左上侧像素的亮度为A、右上侧像素的亮度为B、左下侧像素的亮度为C、右下侧像素的亮度为D，边缘方向的水平方向分量定义为(A+B)-(C+D)、边缘方向的垂直方向分量定义为(A+C) - (B+D)。而且，当水平方向分量或垂直方向分量中的任意一个中，其计算结果的绝对值达到预定值(例如，100)以上时，边缘提取单元160将该对象部位220判断为边缘。图4 (b)所示的对象部位220a的边缘方向的水平分量为(A+B) - (C+D)=(200+0)-(200+0) = 0，边缘方向的垂直方向分量为(A+C)-(B+D) = (200+200)-(0+0)=+400。在此，由于垂直方向分量的绝对值为100以上，因此该对象部位220a被判断为边缘部位。而且，由于水平方向分量为“0”，垂直方向分量为“+400”，因此边缘延伸方向变成如图4(d)所示的垂直方向。但是，边缘延伸方向只要能够了解边缘的延长线相对于图像倾斜的程度有多少即可，不需要严谨的方向(例如，垂直向上或垂直向下)。同样，如图4 (C)所示的对象部位220b的边缘方向的水平方向分量为(A+B)-(C+D)=(0+0)-(200+200) =-400，边缘方向垂直方向分量为(A+C)-(B+D) = (0+200)-(0+200)=O。在此，水平方向分量的绝对值为100以上，因此该对象部位220b被判断为是边缘部位。而且，水平方向分量为“-400”，垂直方向分量为“0”，因此边缘延伸方向形成如图4(e)的水平方向。如此，通过以对象部位220内的一半的区域减去另一半区域，能够去除整个对象部位220内包含的亮度的偏移量或噪声，能够恰当地提取边缘。而且，仅通过加减的简单计算就能够导出边缘延伸方向，因此处理负荷较小。本实施方式中，在后述的特定物确定单元164中，基于如上导出的边缘延伸方向，可限制霍夫变换中的投票的范围。在此，若直接使用所导出的上述水平方向分量或垂直方向分量而单纯地作为边缘延伸方向时，该边缘延伸方向的变化将无限多。若此，对于该无限多的变化，应设定投票的范围。因此，在本实施方式中，通过水平方向分量以及垂直方向分量中的任意一个单位长度进行定义，以简化边缘延伸方向的变化。即，水平方向分量以及垂直方向分量中的任意一个视为-1、0、+1中的任意一个。如此，可将边缘延伸方向限定为如图4(f)所示的分别形成45度角的四个方向。据此，能够大幅度减小以下所示的特定物确定单元164的处理负荷。位置信息获取单元162使用立体视觉法将所示接收的距离图像126中的检测区域122内的每个对象部位220的视差信息变换为包含水平距离X、自道路表面的高度y以及相对距离z的三维位置信息。在此，视差信息表示距离图像126中的各个对象部位220的视差，而三维位置信息表示实际空间中的各个对象部位220的相对距离的信息。而且，当视差信息并非以像素单位，而是以区块单位(即，以多个像素为单位)被导出时，该视差信息被视为属于区块的所有像素的视差信息，从而能够执行像素单位的计算。图5为用于说明通过位置信息获取单元162变换为三维位置信息的说明图。位置 信息获取单元162首先将距离图像126识别为如图5所示的像素单位的坐标系。在此，图5中，将左下角设定为原点(0，0)，横向方向设定为i坐标轴，纵向方向设定为j坐标轴。因此，具有视差dp的像素能够由像素位置i、j和视差dp表示为(i, j, dp)。将本实施方式中的实际空间上的三维坐标系假设为以车辆I为中心的相对坐标系。在此，将车辆I的行进方向右侧方设定为X轴的正方向，车辆I的上方设定为Y轴的正方向，车辆I的行进方向(前方)设定为Z轴的正方向，经过两个摄像装置110的中央的铅直线和道路表面的交点作为原点(0，0，0)。此时，假设道路为平面时，道路表面与X-Z平面(y = O) 一致。位置信息获取单元162通过以下的数学式I 数学式3将距离图像126上的区块坐标(i，j，dp)变换为实际空间上的三维的点坐标(X，y, z)。X = CD/2+z · Pff · (i-IV)...数学式 Iy = CH+z · Pff · (j-JV)...数学式 2z = KS/dp...数学式 3在此，⑶为摄像装置110之间的间隔(基线长度)，PW为每一个像素的视角，CH为摄像装置110自道路表面的布置高度，IV、JV为车辆I的正面方向无限远端的图像上的坐标(像素)，KS为距离系数(KS =⑶/PW)。因此，位置信息获取单元162基于对象部位220的相对距离和、处于与对象部位220相同的相对距离的道路表面上的点和对象部位220在距离图像126上的检测距离导出自道路表面(路面)的高度。本实施方式中，基于边缘提取单元160所提取的具有边缘的对象部位220和由位置信息获取单元162所获取的相对距离z，进行霍夫变换。在此，首先对于作为前提的霍夫变换进行简单的说明。图6为用于说明霍夫变换的说明图。在此，假设从亮度图像124提取如图6(a)所示的具有边缘的三个对象部位220c、220d、220e。所述三个对象部位220c、220d、220e原本为道路标识等圆形的特定物222的一部分，在此假设从亮度图像124无法明确地了解是否为圆形。
霍夫变换为从多个点检测出圆或直线等几何形状的方法，其理论基础为，通过任意的对象部位220,且半径满足N的圆的中心存在于以该任意的对象部位220为中心的半径为N的圆上。例如，经过图6(a)的三个对象部位220c、220d、220e的圆的中心处在分别以三个对象部位220c、220d、220e为中心的圆上。但是，仅通过边缘信息，无法确定该半径N，因此准备互不相同的多种半径N，给以三个对象部位220c、220d、220e为中心的多种半径N的圆上的像素投票，当其投票数达到预先设定的预定值以上时，将半径N和中心确定为特定物。例如，如图6 (b)、图6 (C)、图6 (d)所示，以三个对象部位220c、220d、220e为中心，形成具有不同半径N = 4、5、6的圆，并向该圆的轨迹所包含的像素进行投票(与单位指标相关联)。由此，图6(b)中，在两个像素224中投票数为2 (有两个单位指标关联)。而且，图6(c)中，在三个像素224中投票数为2，在一个像素226中投票数为3。同样，图6(d)中，在六个像素224中投票数为2。此时，投票数达到3 (预定值以上)的仅为像素226，因此能够将该像素226当作经 过三个对象部位220c、220d、220e的圆的中心，并将导出该像素226时的半径N = 5确定为圆的半径。由此，如图6(e)所示，确定经过三个对象部位220c、220d、220e的圆228。本实施方式中，不仅利用如上所述的具有边缘的信息进行霍夫变换，还利用对象部位220的相对距离z进行霍夫变换。据此，能够事先确定特定物的半径N。以下，对于实现相应处理的特定物确定单元164进行说明。特定物确定单元164在对具有边缘的对象部位220实施霍夫变换之前，首先限定作为该霍夫变换的对象的对象部位220。图7为用于说明通过特定物确定单元164的对象区域的限定处理的说明图。当作为特定对象的特定物为仅存在于行驶车道外的道路标识等时，特定物确定单元164仅将包含于不存在道路标识的图7中以剖面线所示的区域之外的部分检索区域230的对象部位220作为霍夫变换对象。所述部分检索区域230基于由位置信息获取单元162获取的相对距离z以及自路面的高度y，例如，范围为相当于路边带的位置的相对距离z彡100m，I. Om彡自路面的高度I ( 5. 0m。因此，在亮度图像124上，部分检索区域230被表示为从无限远端232至本车辆I以辐射状扩散的形状。如此，排除不存在特定物的区域，避免对象部位220的无用的霍夫变换，从而能够实现减轻处理负荷的同时，还可以预先防止原本不存在特定物的区域中出现特定物的错误检测。接着，特定物确定单元164参照存储在数据存储单元152的特定物表格获得作为对象的特定物的形状信息，并将该形状信息应用于相对距离z。例如，当特定物为道路标识时，作为形状信息，表示有圆形和该圆的半径为30cm。当该道路标识位于相对距离z内时，特定物确定单元164通过上述数学式(I) (3)的逆函数导出在亮度图像124中以何种程度的半径(像素数)表示。如上述道路标识，根据特定物的种类也存在以法律或规则规定有大小的特定物。而且，如本实施方式所示地导出相对距离z时，能够预测特定物以何种大小出现在亮度图像124上。接着，特定物确定单元164使用具有所导出的半径的圆，对具有边缘的对象部位220实施霍夫变换。
图8为用于说明本实施方式中的霍夫变换处理的说明图。特别是，图8(a)示出亮度图像124，图8(b)示出用于根据霍夫变换进行投票的投票图表240，图8(c)示出向被投票的像素关联进行投票时的半径的半径存储图表242，图8(d)示出最终提取的特定物的形状。而且，各个图中的点划线对应于图7的行驶车道。例如，假设在图8(a)的亮度图像124中，提取具有边缘的对象部位220f、220g、220h、220i、220j、220k。在此，为了便于说明，围绕该六个对象部位220进行说明。特定物确定单元164分别获取图8(a)所示的各个对象部位220f、220g、220h、220i、220j、220k的相对距离z，并基于该相对距离z求出需实施霍夫变换的圆的半径。在此，假设对象部位220f、220g、220h的半径N为30像素，对象部位220i、220j、220k的半径N为23像素。在图8(b)的投票图表240中，特定物确定单元164以对象部位220f、220g、220h、220i、220 j、220k为中心，形成与各个对象部位200相关而求出的半径N的圆，并向具有该半径N的圆上的所有像素进行投票。因此，对应于图8(b)所示的圆的像素中，关联表示已进行投票的单位指标。此时，如图8(c)的数值表示，对应于投票的像素的半径存储图表242的各个像素中已被关联投票时的半径。但是，图8 (c)中的半径N仅是象征性的，不同于实 际的像素数量和半径N的关系。本实施方式中，由于能够确定在局部包含对象部位220的圆的半径，因此没有必要像以往似地对于多种圆的大小(半径)的每一个设置投票图表。因此，能够避免无用的霍夫变换处理，从而能够实现减轻处理负荷。但是，如上所述，将投票图表240整合为一个时，投票时的半径N的信息会被丢失。因此，通过补充设置对应于投票图表240的半径存储图表242，能够适当地确定特定物。接着，特定物确定单元164检测投票图表240的投票数，当检测到投票数在预定值(例如，20)以上的像素时，读取对应于该像素的半径存储图表242的像素相关联的半径N(在此为“30”和“23”)。接着，如图8(d)所示，以达到预定值以上的像素244为中心形成具有读取的半径N的圆246，并将其确定为特定物。在此，存在一个像素成为多个特定物的圆的中心候补的情况。即，存在半径存储图表242的任意像素与多个半径N相关联的情况。本实施方式中，在图像中能够识别的特定物只需一个即可。因此，在多个半径N中采用一个半径N即可。在此，采用图像中的位于靠前位置的特定物。通常，若是相同大小的道路标识，位于靠前位置的道路标识在图像中显示的更大。因此，投票数也会变得很多。在此，当半径存储图表242的任意的像素与多个半径N相关联时，特定物确定单元164通过采用所占数量比率大的半径N，能够提取位于靠前位置的特定物。而且，还存在中心不同，但表示特定物的圆的一部分重合的情况。此时，也采用在图像中位于靠前位置的特定物。通常，相同大小的道路标识中，位于靠前位置的道路标识在图像上显示得更大，同时该中心位于图像中的比较靠下的位置。因此，特定物确定单元164在检测投票数时，从图像下侧开始检测，先确定位于图像的下侧的特定物，从而忽略位于更加靠里面的特定物。本实施方式中，由于通过车辆控制装置140进行适当的控制，因此应优先提取位于靠前位置的特定物。因此，在如此的重复的特定物中，即使忽略更靠里面的特定物，控制几乎不受影响。在此，分析霍夫变换的进一步的效率化。如本实施方式，当特定物为圆形时，圆的切线与连接切点和圆的中心的线段形成垂直是周知的。而且，圆的切线相当于对象部位220的边缘延伸方向。因此，特定物确定单元164将一部分是具有边缘的对象部位220的圆的中心所在的位置，缩小到与对象部位220的边缘延伸方向垂直的预定范围。此时的预定范围是指以该对象部位220为中心并向垂直方向辐射扩散的角度范围。在此，该角度范围假设为45度。图9为示出通过特定物确定单元164的其他投票处理的说明图。例如，关于对象部位220进行霍夫变换时，如图9(a)所示，对以对象部位220为中心的用点划线表示的圆246进行投票。但是，在此，由于能够了解到对象部位220的边缘延伸方向250，因此特定物的圆的中心只会出现在与对象部位220的边缘延伸方向250垂直的方向。因此，特定物确定单元164缩小到与对象部位220的边缘延伸方向250垂直的方向确定特定物的圆的中心。但是，对象部位220相对于特定物小，因此边缘延伸方向不一定与特定物的圆的切线相等。因此，特定物确定单元164应允许预定角度的偏移，不仅是与对象部位220的边缘延伸方向250垂直的方向，还将预定范围的部分圆252确定为特定物的圆的中心候补。而且，如图4(f)所示，边缘延伸方向250被表示为分别形成45度角的四个方向。·因此，如图9(b) 图9(d)所示，对于边缘延伸方向250的四个方向，存在四个部分圆252的特定图案。在此，通过将投票的圆246缩小为部位圆252，能够减轻处理负荷，提高特定效率。而且，通过将特定该部分圆252的图案限定为例如四个，能够减小用于求出部分圆252的处理负荷，进而能够实现特定效率的提闻。并且，能够避免向不存在特定物的圆的中心的范围进行投票，因此能够避免向原本不存在特定物的圆的中心的像素进行非本意的投票，从而误检出特定物的圆的中心的情况。据此，特定物确定单元164确定以形状信息表示的特定物。(环境识别方法)以下，参照图10至图12的流程图说明环境识别装置130的具体的处理。图10示出关于从图像处理装置120接收到亮度图像124时的中断处理的整个流程，图11、图12示出其中的个别的子程序。而且，在此，将2 X 2像素的区块举例为对象部位220，以600 X 200像素的亮度图像124的左下角作为原点，在图像的水平方向的I 300区块、垂直方向的I 100区块的范围执行依照该环境识别方法的处理。如图10所示，以亮度图像124的接收信号为契机，产生依照该环境识别方法的中断时，参照由图像处理装置120获得的亮度图像124，对于具有边缘的对象部位220实施霍夫变换，向投票图表240以及半径存储图表242进行投票(S300)。而且，投票后，参照投票图表240确定特定物(S302)。以下，对于上述的处理进行详细的说明。(投票处理S300)参照图11时，边缘提取单元160基于相对距离z以及自路面的高度y读取预定的部分检索区域230(S350)。而且，边缘提取单元160初始化(代入“O”)用于特定对象部位220的垂直变量j (S352)。接着，边缘提取单元160使垂直变量j加“I” (增量)的同时初始化(代入“O”)水平变量i (S354)。然后，边缘提取单元160使水平变量i加“1，，(S356)。在此，设置水平变量i和垂直变量j是为了对于300 X 100的整个对象部位220执行该投票处理。边缘提取单元160从亮度图像124获取对象部位(i，j)内的2X2像素的亮度(S358)。然后，边缘提取单元160基于公式(A+B)-(C+D)导出水平方向分量(S360)，基于公式(A+C)-(B+D)导出垂直方向分量(S362)。接着，简化水平方向分量及垂直方向分量，以确定边缘延伸方向，将表示边缘延伸方向的边缘延伸方向识别符d(例如，图4(f)所示的标号)与对象部位220关联起来，变成对象部位(i，j，d) (S364)。接着，特定物确定单元164参照在步骤S350中读取的部分检索区域230，判断该对象部位220是否被包含于部分检索区域230 (S366)。若判断为没有包含于部分检索区域230 (S366的“否”)，则处理转移到步骤S376的水平变量判断处理。而且，若该对象部位220被包含于部分检索区域230 (S366的“是”)，则特定物确定单元164使位置信息获取单元162获取该对象部位的相对距离z (S368)。而且，从存储于数据存储单元152的特定物图表获取特定物形状信息，并对应于相对距离z加工形状信息(S370)。具体来说，基于相对距离z求出需要实施霍夫变换的圆的半径N。然后，特定物确定单元164使由投票图表240中的边缘延伸方向识别符d确定的预定范围(垂直于对象部位220的边缘延伸方向250的预定范围)的半径N的部分圆252 的坐标(m，n)的像素(m，n，t)的投票数t加(投票)“I”(S372)。此时，对应于投票的像素(m，n, t)的半径存储图表242的各个像素(m，η, N)上关联投票时的半径N(S374)。接着，判断水平变量i是否超过水平区块的最大值(此时为300) (S376)，若水平变量i没有超过最大值(S376的“否”)，则从步骤S356的水平变量i的增量处理开始重复执行。而且，若水平变量i超过了最大值(S376的“是”)，则特定物确定单元164判断垂直变量j是否超过垂直区块的最大值(此时为100) (S378)。然后，若垂直变量j并没有超过最大值(S378中的“否”)，则从步骤S354的垂直变量j的增量处理开始重复执行。而且，若垂直变量j超过了最大值(S378中的“是”)，则终止该投票处理。由此，结束通过与各个对象各部位220相关的霍夫变换的投票。(特定物确定处理S302)参照图12，特定物确定单元164初始化(代入“O”)用于确定像素的垂直变量n(S400)。接着，特定物确定单元164使垂直变量η加“I”的同时初始化(代入“O”)水平变量m(S402)。接着，特定物确定单元164使水平变量m加“ I” (S404)。接着，特定物确定单元164从投票图表240和半径存储图表242提取像素(m，η,t)和像素(m，n，N) (S406)，从一个或多个半径中提取所占数量比率最高的半径N(S408)。然后，特定物确定单元164判断提取的半径N的投票数t是否在预定值以上(S410)，若小于预定值(S410中的“否”)，则转移到步骤S414的水平变量判断处理。而且，若投票数t达到预定值以上(S410的“是”)，则将以该像素的坐标(m，η)作为中心的具有半径N的圆确定为特定物(S412)。接着，特定物确定单元164判断水平变量m是否超过水平像素的最大值(此时为600) (S414)，若水平变量m并没有超过最大值(S414的“否”)，则从步骤S404的水平变量m的增量处理开始重复执行。而且，若水平变量m超过最大值(S414中的“是”)，则特定物确定单元164判断垂直变量η是否超过垂直像素的最大值(此时为200) (S416)。接着，若垂直变量η并没有超过最大值(S416的“否”)，则从步骤S402的垂直变量η的累加处理开始重复执行。而且，若垂直变量η超过最大值(S416的“是”)，则结束该特定物确定处理。由此特定物被确定。
根据以上的说明的环境识别装置130，通过致力于霍夫变换的适用处理，在能够减轻处理负荷的同时减少存储器的存储区域，并实现对象物的特定效率的提高。具体来说，在霍夫变换中包含相对距离z的概念，唯一地估计在局部包含对象部位220的圆的半径N，能够避免因处理其他半径N的无用的霍夫变换处理。而且，此时，通过仅使用投票图表240以及半径存储图表242，能够实现所需存储容量的大幅度减少。而且，通过将作为霍夫变换的对象的对象部位220缩小至部分检索区域230，能够排除无用的霍夫变换处理，进一步，通过将投票对象缩小至部分圆252，也能够大幅度减小处理负荷。而且，还提供将计算机作为环境识别装置130而功能化的程序或记录该程序的计算机可读软盘、光磁盘、ROM、⑶、DVD、BD等记录介质。在此，程序是利用任意的语言或记述方法记述的数据处理方法。以上的说明中，参照附图对本发明的优选实施方式进行了说明，但是本发明并不 局限于已说明的实施方式。本发明所属领域的技术人员应知道在权利要求书所记载的范畴之内导出各种变更例或修改例是显而易见的，但显然这些都属于本发明的技术范围。例如，在上述实施方式中，基于利用多个摄像装置110的图像数据之间的视差导出对象物的三维位置，但并不局限于所说明的情况，例如，可以利用激光雷达测距装置等已知的各种距离测量装置。在此，激光雷达测距装置通过向检测区域122发射激光光束，并接收该激光光束到达物体之后反射的光，从而根据所需时间测量至物体的距离。而且，在上述的实施方式中，以摄像装置110获取彩色图像为前提，但并不局限于所说明的情况，通过取得单色图像也能够执行本实施方式。而且，在上述的实施方式中，举出位置信息获取单元162从图像处理装置120接收距离图像(视差信息)126而生成三维位置信息的例子。但是，并不局限于所说明的情况，也可以由图像处理装置120预先生成三维的位置信息，再由位置信息获取单元162获取所生成的三维位置信息。据此，实现功能的分散，能够减轻环境识别装置130的处理负荷。而且，在上述实施方式中，边缘提取单元160、位置信息获取单元162、特定物确定单元164由中央控制单元154通过软件进行操纵。但是，上述的功能单元也可以由硬件构成。在此，本说明书中的环境识别方法的各个步骤并不一定要按照流程图中记载的顺序按时间顺序进行处理，也可以包含并行处理或依据子程序的处理。产业上的可利用性本发明可利用于基于检测区域中的对象物的亮度识别该对象物的环境识别装置及环境识别方法。
权利要求
1.一种环境识别装置，其特征在于，包括 数据存储单元，存储作为与特定物的形状相关的信息的形状信息； 边缘提取单元，获取分割检测区域而成的多个对象部位的亮度，并提取具有边缘的对象部位； 位置信息获取单元，获取具有所述边缘的对象部位的相对距离； 特定物确定单元，基于与所述相对距离对应的所述形状信息，对具有所述边缘的对象部位实施霍夫变换，确定以该形状信息表示的特定物。
2.根据权利要求I所述的环境识别装置，其特征在于，所述特定物的形状为圆。
3.根据权利要求2所述的环境识别装置，其特征在于，所述特定物确定单元将具有所述边缘的对象部位成为一部分的圆的中心所在的位置缩小为与该对象部位的边缘延伸的方向垂直的预定范围而进行确定。
4.根据权利要求I至3中的任一项所述的环境识别装置，其特征在于， 所述位置信息获取单元还获取具有所述边缘的对象部位自路面的高度， 所述特定物确定单元基于所述相对距离以及自所述路面的高度，仅将包含于预定的部分检索区域的对象部位作为对象，确定以所述形状信息表示的特定物。
5.一种环境识别方法，其特征在于，包括如下步骤 存储作为与特定物的形状相关的信息的形状信息； 获取分割检测区域而成的多个对象部位的亮度，并提取具有边缘的对象部位； 获取具有所述边缘的对象部位的相对距离； 基于与所述相对距离对应的所述形状信息，对具有所述边缘的对象部位实施霍夫变换，确定以该形状信息表示的特定物。
全文摘要
通过在减轻处理负荷的同时减少存储器的存储区域，谋求对象物的特定效率的提升。环境识别装置(130)存储作为与特定物的形状相关的信息的形状信息，获取分割检测区域的多个对象部位的亮度，并提取具有边缘的对象部位，获取具有所述边缘的对象部位的相对距离，基于与所述相对距离对应的所述形状信息，对具有所述边缘的对象部位实施霍夫变换，确定以该形状信息表示的特定物。
文档编号G06K9/46GK102842038SQ20121015108
公开日2012年12月26日 申请日期2012年5月15日 优先权日2011年5月19日
发明者岸田太一 申请人:富士重工业株式会社