专利名称：车辆周围监测装置的制作方法
技术领域：
本发明涉及一种利用车载摄像装置拍到的图像来监测车辆周围情况的车辆周围 监测装置。
背景技术：
在现有技术中，有人提出如下一种技术方案，即，根据车载摄像头在不同的2 个时刻所拍到的图像测定行人等被监测对象的实际空间位置，再根据所测得的测定结果 判定车辆触碰被监测对象的可能性的大小(参照日本发明专利公开公报特开2007-213561 号)。由于车辆行驶时被监测对象与该车辆的相对位置会发生改变，所以能够利用拍到的 图像中被监测对象的大小变化来测定该被监测对象的实际空间位置。但是如果被监测对象移动时，由于其与该车辆的相对位置以外，被监测对象自 身的形状或姿态都会发生改变，这些改变会影响到被监测对象在拍到的图像中的大小， 所以有可能会降低距离检测精度。
发明内容
本发明的目的在于提供一种能够解决上述技术问题的车辆周围监测装置，即使 被监测对象移动时，也可精准地测得该被监测对象的位置。为了实现上述目的，本发明技术方案1所述的车辆周围监测装置，利用一个安 装在车辆上的摄像装置拍到的显示该车辆周围情况的图像来监测该车辆的周围情况。该 车辆周围监测装置包括第1处理机构，由其在上述图像中将被监测对象所在的区域设 定为监测对象区域，并将上述监测对象区域中上述被监测对象的动作较少的部分所在的 一部分区域设定为局部区域；第2处理机构，由其求出上述图像中的上述局部区域的大 小变化率，再根据上述局部区域的大小变化率，测定从上述车辆到上述被监测对象之间 的距离。采用本发明技术方案1所述的车辆周围监测装置时，以被监测对象的动作较少 的部分所在的图像区域，即，以因被监测对象的移动而产生的大小变动控制在最低限度 的局部区域为基础，可精准地测得从车辆到该被监测对象之间的距离或该被监测对象的 位置。另外，所谓“利用车载摄像装置拍到的图像”，除了拍摄到的图像以外，还包括 对拍摄到的图像进行图像处理的图像。在技术方案1的基础上，本发明技术方案2所述的车辆周围监测装置中，由上述 第1处理机构对上述被监测对象的种类进行判别，再根据该被监测对象的种类设定上述 局部区域。采用本发明技术方案2所述的车辆周围监测装置时，由于被监测对象种类的不 同而使动作较少的部分不同，再以因被监测对象的移动而产生的大小变动控制在最低限 度的局部区域的大小变化率为基础，可精准地测得从车辆到各种被监测对象之间的距离 或位置。
在技术方案2的基础上，本发明技术方案3所述的车辆周围监测装置中，由上述 第1处理机构判别上述被监测对象的种类是否是行人，以上述被监测对象的种类被判别 为行人为必要条件，将所述监测对象区域的上部设定为上述局部区域。采用本发明技术方案3所述的车辆周围监测装置时，由于作为被监测对象的行 人的上半身较下半身的动作少，以因行人的移动而产生的大小变动控制在最低限度的局 部区域的大小变化率为基础，可精准地测得从车辆到作为被监测对象的行人之间的距离 或位置。在技术方案1的基础上，本发明技术方案4所述的车辆周围监测装置中，由上述 第1处理机构对靠前时刻时上述局部区域被放大而获得的放大局部区域，和比上述靠前 时刻后的靠后时刻时的上述局部区域的相关度进行评定，而由上述第2处理机构求出上 述相关度最大时上述靠前时刻时的上述局部区域放大率，并将其作为上述局部区域的大
小变化率。采用本发明技术方案4所述的车辆周围监测装置时，可求出靠前时刻时局部区 域(下面有时称为靠前局部区域)被放大而获得的放大局部区域，和比靠前时刻后的靠后 时刻时局部区域(下面有时称为靠后局部区域)相关度最大时的放大率，并将其作为局部 区域的大小变化率。与靠后局部区域相关度最大的放大局部区域，相当于在靠后时刻时 的靠前局部区域的预测或推测结果。因此，如上所述，以被监测对象动作较少部分所在 的局部区域大小变化率为基础，即使被监测对象移动时，也可以精准地测得从车辆到该 被监测对象之间的距离或位置。
图1是说明本发明中车辆的结构图。图2是说明本发明中车辆周围监测装置的结构图。图3是表示本发明中车辆周围监测装置的功能的流程图。图4是表示有关监测对象区域设定方法的说明图。图5是表示有关局部区域的大小变化率计算方法的说明图。
具体实施例方式下面，参照
本发明车辆周围监测装置的实施方式。图1所示的车辆(四轮汽车)1上搭载有车辆周围监测装置10和单个红外线摄像 头(摄像装置)11。另外，也可用将灵敏度调至可见光等其他波长区域的摄像头当作摄 像装置，以代替红外线摄像头11。如图1所示，在车辆1上设定实际空间的坐标系，其 原点0位于车辆1的前侧，X轴、Y轴和Z轴分别朝向车辆1的左右方向、上下方向和 前后方向延伸。为了拍摄车辆1的前方，将红外线摄像头11安装在车辆1的前侧。另 外，如图2所示，在车辆1上搭载有偏航角速度传感器13、车速传感器14和制动传感器 15等多种传感器，这些传感器根据车辆1的偏航角速度、速度和制动状态分别输出相应 信号。还有，如图2所示，车辆1上还搭载有发声装置16和图像显示装置17。作为图 像显示装置17而言，除可以使用安装在车辆1前车窗上用来显示图像的HUD(平视显示 器)外，还可使用显示车辆1的行驶状况的显示仪表或用于导航装置的显示器装置等。
车辆周围监测装置10用来根据红外线摄像头11拍到的图像监测车辆1的周围情 况。其由电脑(由CPU、ROM、RAM以及I/O回路和A/D变换回路等电子电路构成) 构成。由红外线摄像头11、偏航角速度传感器13、速度传感器14和制动传感器15等输 出的模拟信号经A/D变换回路变为数字信号再输入车辆周围监测装置10。电脑根据该输 入数据并依从存储在存储器中的车辆周围监测程序进行如下处理识别有无行人或其他 车辆等被监测对象的处理；判定车辆1触碰被识别到的被监测对象可能性的高低的判定 处理；根据该判定结果由发声装置16发出相应的声音，或由图像显示装置17显示出相应 的图像。另外，程序可在任何需要的时候从服务器经网络或卫星而下载或传送到车载电 脑并存储在其RAM等存储装置中。车辆周围监测装置10可由检测位置用的ECU构成， 也可由构成分散控制系统的多个ECU构成。如图2所示，车辆周围监测装置10包括第1处理机构110和第2处理机构120。 其中，根据红外线摄像头11拍到的显示车辆1的周围情况的图像，由第1处理机构110 在该图像中将被监测对象所在的区域设定为监测对象区域，并将该监测对象区域中被监 测对象动作较少部分所在的区域设定为局部区域。由第2处理机构120求出该图像中的 局部区域的大小变化率，再根据局部区域的大小变化率，测定从车辆到被监测对象之间 的距离。下面说明具有上述结构的车辆1和车辆周围监测装置10的功能。首先，根据红外线摄像头11拍到的图像，由第1处理机构110在图像中设定监 测对象区域。具体地讲，对红外线摄像头11的输出信号，即红外线图像进行A/D变换 以形成灰色等级图像(图3中的步骤S002)。另外，灰色等级图像经二值图像处理后形 成二值图像(图3中的步骤S004)。所谓“二值图像处理”，指将构成灰色等级图像的 各像素根据其辉度是否在阈值以上而分为“1”(白)和“0”(黑)的处理。灰色等级 图像和二值图像分别存储在不同图像存储器中。还有，对于构成二值图像高辉度区域的 “1”的集中在一起的像素组进行划分，将各像素组划分成在图像的纵向方向(y轴方向)
上只有1个像素宽度而沿横向方向(x轴方向)延伸的线条组，各线条组中的各线条被转 换成由位置(图像中的二维位置)坐标和长度(像素数)构成的游程编码数据(图3中的 步骤S006)。接下来对由该游程编码数据表示的线条进行判别，对沿图像纵向方向具有重 叠部分的线条组分别标注标签(标识符)(图3中的步骤S008)，以该线条组作为被监测 对象而进行检测(图3中的步骤S010)。由此，如图4中(a)所示，二值图像中用斜线表 示的被监测对象(二值处理后的被监测对象)就被检测出来。被监测对象除包括人(行 人)等生物外，还包括车辆等人口物品。另外，同一物体的多个局部部分有时会分别作 为被监测对象被检测出来。另外，由第1处理机构110对被监测对象进行跟踪处理。S卩，对每个运算处理 周期监测到的被监测对象是否是同一被监测对象进行判定处理(图3中的步骤S012)。例 如，可以采用日本发明专利公开公报特开2001-6096号所述的方法，根据时刻k-1和时刻 k时的两个二值图像中监测到的被监测对象的形状或大小，或根据灰色等级图像中辉度分 布的相关性等进行判定处理。接下来，当判定为这些被监测对象是同一被监测对象时， 将时刻K时被监测对象标签变为与时刻K-1时被监测对象相同的标签。还有，根据二值图像中被监测对象的重心位置以及外接四边形的设置形式，由第1处理机构110将灰色等级图像中表示被监测对象的区域设定为监测对象区域(图3中 的步骤S014)。具体地讲，首先在显示当前时刻k时车辆1的周围情况的灰色等级图像 中，设定以被监测对象为基准而设置的多个采样框。比如在图4中(a)用斜线表示的被监 测对象的上下方向上并排设置多个矩形采样框a1+(i = 1，2)和a“j = l，2*0。 该多个采样框的设置方式为通过被监测对象的重心或中心，沿图像上下方向设定基准 线(单点划线)，多个采样框的中心位置设置在基准线(单点划线)上。另外，在显示过 去时刻k-1时车辆1的周围情况的灰色等级图像中，搜索与该多个采样框I和的相关 度大于阈值的采样框。因此，在图4中(b)所示的过去图像中，与当前图像中的多个采样 框a1+和V的相关度大于阈值的采样框a1+和就被搜索出来。接下来，对含有被监测对 象以及该多个采样框，与过去时刻k-1或当前时刻k时图像中的被监测对象(或基准线) 的位置关系相同或大致相同，且互相相连的采样框的区域，设定为各个时刻图像中的监 测对象区域。因此，如图4中(b)所示，含有被监测对象和在其下方连续设置的采样框 ￥ a4_的用双线方框围住的矩形区域就被设定为时刻k-1时的监测对象区域A(k-l)。另外，由第1处理机构110判别被监测对象的种类(图3中的步骤S016)。具 体地讲，可采用对监测对象区域A(k)中被监测对象的形状和存储在存储装置中的多个形 状图案进行匹配的方法来判别被监测对象的种类。因此，被监测对象例如为“行人”类 或其他类中的哪一个分类就得到判别。也可根据包含在监测对象区域A(k)的一部分区域 (不同于后述局部区域B(k))中被监测对象的形状判别该被监测对象的种类。因此，例 如以检测到在监测对象区域A(k)的下部区域中存在有左右一对沿着上下方向延伸的线型 被监测对象(高辉度区域)为必要条件，将该被监测对象的种类判别为是行人(准确地讲 是行人的双脚)。还有，由上述第1处理机构110根据被监测对象的种类设定局部区域B (k)(图3 中的步骤S018)。具体地讲，将监测对象区域A(k)中，被监测对象的动作较少的部分所 在的的一部分区域设定为局部区域B(k)。因此，如果被监测对象的种类是“行人”时， 如图5上部和下部所示，行人动作较少的上半身所在的监测对象区域A(k)的上部区域就 被设定为局部区域B(k)。再具体地讲，所设定的局部区域B(k)大致呈正方形，其上端 与监测对象区域A(k)的上端一致，其高度H大致与监测对象区域A(k)的宽度W相等。 另外，除“行人”外，也可设定各个种类固有的局部区域B(k)，例如鹿等“大型动物” 等局部区域B(k)。根据被监测对象的移动特点而将该被监测对象分为各种种类，其中并 存有下述2种情况，S卩，其形状或姿态的变化量较大的部分和该变化量较小的部分。另 外，也可不判别被监测对象的种类，而读取与存储装置所存储的监测对象区域A(k)对应 的局部区域B (k)的设定方法，并根据该设定方法设定局部区域B (k)。另外，由第2处理机构120求出局部区域B(k)的大小(用监测对象区域的高 度、宽度或面积表示)的变化率Rate(k)(图3中的步骤S020)。具体地讲，首先放大时刻 k-1 (靠前时刻或过去时刻)时监测对象区域(第1监测对象区域)B(k-l)而获得放大监测 对象区域EB，因此，例如表示在图5上部的靠前局部区域B (k-1)按多个比例.....
…、yn(i < < ... < y, < ... < Yn)进行放大，从而可以获得表示在图5中部的 放大监测对象区域EB(Yl)、…、EB(yI)、…、EB(yn)。另外，所设定的靠前局部区域 B(k-l)大致呈正方形，其上端与监测对象区域A(k-l)的上端一致，其高度H'大致与监测对象区域A(k-l)的宽度W'相等。另外，对多个放大局部区域EB和时刻k(靠后时 刻或者当前时刻)时的局部区域(靠后局部区域)B(k)的相关度进行评定，并求出与靠后 局部区域B(k)相关度最大的放大局部区域EB中的靠前局部区域B(k-l)的放大率，并将 其作为局部区域B(k)的大小变化率Rate(k)。因此，从表示在图5中部的各个放大局部 区域EB(Yl)、…、EB(Yl)、…、EB(Yn)中，求出了与表示在图5下部的局部区域B(k) 相关度最大的放大局部区域EB(y J的放大率Yl，并将其作为局部区域B(k)的大小变化 率Rate(k) ( > 1)。另外，也可以按多个比例缩小靠后局部区域B(k)而获得多个缩小局 部区域，求出从该多个缩小局部区域中与靠前局部区域B(k-l)相关度最大的缩小局部区 域的靠后局部区域的缩小率，并且将其倒数作为局部区域B(k)的大小变化率Rate (k)(> 1)。还有，可以分别根据偏航角速度传感器13和车速传感器14的输出信号测得车辆 1的速度和偏航角速度，再对偏航角速度测定值进行积分计算而求出车辆1的偏航角(方 位角)(图3中的步骤S022)。另外，包括变化率Rate(k)在内，根据车辆1的速度v(k) 和指定时间间隔AT，与车辆1的速度v(k)相比，将被监测对象的速度视作较小，甚至 可忽略不计。在该情况下按公式(1)测定车辆1到检测到的被监测对象之间的距离Z(k) (图3中的步骤S 024)公式1Z (k) = Rate (k) v (k) A t/ (1-Rate (k)) (1)另外，根据从车辆1到检测到的被监测对象之间的距离Z(k)，可以由车辆周围 监测装置10求出该被监测对象在实际空间中的位置P(k) = (X(k)、Y(k)、Z(k))(图3 中的步骤S026)。具体地讲，根据从车辆1到各被监测对象之间的修正后的距离Z(k)、红 外线摄像头11的焦距f、对应于拍到的图像中被监测对象区域的图像坐标x(k)和y(k)， 按公式⑵求出实际空间坐标系中的x坐标X(k)和Y坐标Y(k)。拍到的图像的中心、 向右方向和向下方向分别被定义为图像坐标系中的原点0、方向和+y方向。另外， 可根据由偏航角速度传感器15输出的信号而测得的偏航角对各被监测对象的实际空间位 置(X(k)、Y(k)、Z(k))的偏航角进行修正。公式2X(k) = x(k) Z(k)/fY(k) = y(k) Z(k)/f (2)另外，根据不同时刻各被监测对象所在的实际空间位置P(k)，采用例如日本发 明专利公开公报特开2001-6096号中所述的判定触碰可能性的方法，判定车辆1触碰各被 监测对象的可能性的高低或者有无触碰的可能性(图3中的步骤S028)。接下来，当判 定为车辆1触碰被监测对象的可能性较高时(图3中的步骤S028 YES)进行“第 1控制处理”(图3中的步骤S030)。具体地讲，与上述触碰可能性判定结果对应的声 音和图像(用来突出显示该被监测对象的框架等)，会分别通过发声装置16和图像显示 装置17产生。另外，也可以只输出该声音和图像中的某一个。还有，可以用执行器对 车辆1的转向装置、制动装置和加速装置的一部分或全部进行操作，在有对车辆1进行 行驶操作时，实现对车辆行驶状态的控制，用此方法来代替声音和图像的产生或与之并 用。具体地讲，为规避触碰被判定为与车辆1触碰可能性较高的被监测对象，或为使驾驶员很容易地规避触碰该被监测对象，可以由车辆控制单元(省略其图示)控制车辆1的 转向装置、制动装置和加速装置的一部分或全部的动作。例如可以采用如下控制方法， 与无需规避不可能触碰到的被监测对象的通常情况相比，加大操作加速装置时由驾驶员 踩踏加速踏板时所需的踩踏力，从而使得车辆1难以加速。或在操作转向装置而进行转 向时，为规避车辆1触碰被监测对象，将顺着转向方向转动转向装置中的方向盘所需的 操作力设置得比转向相反方向时所需的操作力小，从而使驾驶员易于朝向转向方向操作 方向盘。还有，与通常情况相比，可加大随着制动装置的制动踏板的踩踏量变化时的车 辆1的制动力的增加速度。通过上述控制操作，会使驾驶员易于对可规避触碰被监测对 象的车辆1进行驾驶操作。另外，还可以以下述必要条件来进行第1控制处理，一种是 根据制动传感器15的输出情况确认到驾驶员未进行车辆1的制动操作，另一种是根据速 度传感器14或加速度传感器(省略其图示)的输出情况确认到车辆1的负加速度小于其 阈值。还有，当判定为车辆1触碰被监测对象的可能性较低时(图3中的步骤 S028 NO)进行“第2控制处理”(图3中的步骤S032)。具体地讲，与上述触碰 可能性判定结果对应的声音和图像，会分别以不同于第1控制处理的方式通过发声装置 16和图像显示装置17产生。另外，可用比第1控制处理小的力对车辆进行操作控制。 当然，也可去掉第2控制处理。采用具有上述功能的车辆周围监测装置10时，可求出作为监测对象A(k)的一部 分区域的局部区域B(k)的大小变化率Rate (k)(参照图3中的步骤S020)。具体地讲， 求出靠前时刻k-1时的局部区域(靠前局部区域)B(k-l)被放大而获得的放大局部区域 EB(yI),和在靠前时刻k后的靠后时刻k-1时的局部区域(靠后局部区域)B(k)相关度 最大时的放大率，并将其作为局部区域B(k)的大小变化率Rate (k)(参照图5)。与靠后 局部区域B(k)相关度最大的放大局部区域EB(Yl)，相当于靠后时刻k时的靠前局部区域 B(k-1)的预测或推测结果。另外，局部区域B(k)是被监测对象动作较少的部分所在的图 像区域，即，以因被监测对象的移动而产生的大小变动控制在最低限度的图像区域。因 此，在图像中形状或者姿态是变化着的同一被监测对象都可精准地求出移动着的被监测 对象的大小变化率Rate(k)。另外，以上述变化率Rate(k)为基础，即使被监测对象移动 时，也可以精准地测得从车辆1到该被监测对象之间的距离Z(k)或位置P(k)(参照图3 中的步骤S024、S026和图5)。另外，由于被监测对象种类的不同而使动作较少的部分 不同，再以因被监测对象的移动而产生的大小变动控制在最低限度的局部区域B(k)大小 变化率为基础，可精准地测得从车辆1到各种被监测对象之间的距离或位置(参照图3中 的步骤S016、S018)。尤其由于作为被监测对象的行人的上半身较下半身的动作少，以 因行人的移动而产生的大小变动控制在最低限度的局部区域B(k)的大小变化率为基础， 可精准地测得从车辆1到作为被监测对象的行人之间的距离Z(k)或位置P(k)。
权利要求
1.一种车辆周围监测装置，利用一个安装在车辆上的摄像装置拍到的显示该车辆周 围情况的图像来监测该车辆的周围情况，其特征在于，所述车辆周围监测装置包括第1处理机构，其用来在所述图像中将被监测对象所在的区域设定为监测对象区 域，并将所述监测对象区域中，所述被监测对象的动作较少部分所在的一部分区域设定 为局部区域；第2处理机构，其用来求出所述图像中的所述局部区域的大小变化率，再根据所述 局部区域的大小变化率，测定从所述车辆到所述被监测对象之间的距离。
2.根据权利要求1所述的车辆周围监测装置，其特征在于，所述第1处理机构对所述被监测对象的种类进行判别，再根据该被监测对象的种类 设定所述局部区域。
3.根据权利要求2所述的车辆周围监测装置，其特征在于，所述第1处理机构对所述被监测对象的种类是否是行人进行判别，并且以所述被监 测对象的种类被判别为行人为必要条件，将所述监测对象区域的上部设定为所述局部区 域。
4.根据权利要求1所述的车辆周围监测装置，其特征在于，所述第1处理机构对靠前时刻时所述局部区域被放大而获得的放大局部区域，和比 所述靠前时刻后的靠后时刻时所述局部区域的相关度进行评定，所述第2处理机构对求 出所述相关度最大时所述靠前时刻时的所述局部区域放大率，并且将其作为所述局部区 域的大小变化率。
全文摘要
本发明提供一种车辆周围监测装置，即使被监测对象移动时，其也可精准地测得该被监测对象的位置。采用车辆周围监测装置(10)时，可以求出靠前时刻k-1时局部区域B(k-1)被放大而获得的放大局部区域EB(γi)，和在靠前时刻k后的靠后时刻k-1时局部区域相关度最大时的放大率，并将其作为局部区域B(k)的大小变化率Rate(k)。另外，以该大小变化率Rate(t)为基础，即使被监测对象移动时，也可精准地测得从车辆(1)到该被监测对象之间的距离Z(k)或位置P(k)。
文档编号G08G1/16GK102016954SQ20098011442
公开日2011年4月13日 申请日期2009年1月8日 优先权日2008年4月24日
发明者桥本英树, 相村诚, 长冈伸治 申请人:本田技研工业株式会社