专利名称：车辆行驶状态判定装置的制作方法
技术领域：
本发明涉及一种车辆行驶状态判定装置，其能判定例如在驾驶过程中驾驶员的清醒状态是否受到阻碍，以致驾驶员在驾驶盘上入睡。
背景技术：
近年来，随着路网的发展和休闲时间的增加，驾车的机会大量增加。这需要驾驶员在驾车过程中始终保持身体上和精神上的稳定。但是，驾驶员在意识到他或她的不好的身体条件下也可能驾驶车辆。在该情形中，在长时间连续驾车过程中，驾驶员的疲劳将累积并且他或她的注意力将下降。从而，驾驶员的清醒状态可能受到阻碍并且该驾驶员可能变得困倦。
为阻止这种情况发生，车辆配备有能拾取前方图像的相机，从而允许路面上的白线被识别，以确定车辆是否正以折线行驶。从而该系统可判定驾驶员是否在驾驶盘上睡着了。如果判定结果是肯定的，该系统给出一个警报(例如，日本专利JP3039327)。
在该文献中，该装置拾取行驶区域分割线的图像并根据该图像来判定车辆是否正以折线行驶。但是，存在另外一种识别道路相对侧边的白线的方法，以次判断车辆是否正以折线行驶。但是，如果整个路面被雪覆盖，或者即使没有雪，但在道路的相对侧边上没有白线存在时，该方法将不可能判断车辆是否正以折线行驶。
发明内容
本发明的一个目的是提供一种车辆行驶状态判定装置，即使是没有任何白线存在，其仍可判断车辆是否正以折线行驶。
根据本发明的一方面，提供了一种车辆行驶状态判定装置，其包括沿车辆行驶方向拾取路面图像的相机；和用于根据相机拾取的路面图像确定曲折量的曲折状态检测部，其中曲折状态检测部包括速度矢量计算部，其通过将相机拾取的最近路面图像与相机拾取的当前路面图像相比较而计算出路面图像的速度矢量；和判定部，其被设置以根据速度矢量检测部所计算的路面图像速度矢量来判断车辆是否正以折线行驶。
本发明的其它目的和优点将在下面进行阐述，其中部分从说明书看是显而易见的，或者可从本发明的实践中学到。本发明的目的和优点可通过随后特别指出的手段和组合来实现和获得。
结合在这里并构成说明书一部分的附图，示出了本发明的实施例，其与上面给出的总的说明以及下面给出的实施例的详细说明一起，用于解释本发明的原理。
图1是根据本发明一实施例的车辆行驶状态判定装置的方框图；图2示出了相机安装在根据该实施例的车辆行驶状态判定装置中的位置；图3是示出该实施例操作的部分流程图；图4是示出该实施例操作的部分流程图；图5示出了安装在车辆中的相机所拾取的车辆前方图像；图6是根据该实施例的边缘的灰度值；图7A-7C示出了根据该实施例提取光流图像的过程；图8A-8C示出了根据该实施例提取微分光流图像的方法；图9示出了如何计算根据该实施例的零位；图10示出了根据本发明的偏航角；
图11示出了根据本发明的偏航角；图12示出了根据该实施例的微分光流图像的水平分量；图13示出了根据该实施例的微分光流图像的垂直分量；图14示出了根据该实施例的微分光流图像的长度分布；图15示出了根据该实施例的用于车辆完全直线行驶的微分光流图像的长度分布。
具体实施例方式
本发明的一个实施例将通过参照附图被描述。图1的方框图示出了一种车辆行驶状态判定装置。在该图中，附图标记11指CCD相机。车辆前方的路面图像通过该相机拾取。随后，图像被输入到图像处理装置12。图像处理装置12具有一个图像处理部12a，其对相机11拾取的图像进行处理，和一个图像数据存储部12b，其存储由图像处理部12a所处理的图像数据。
图像处理装置12连接到控制部13。控制部13主要由微处理器组成并且包括曲折率判定装置14。
如图2所示，例如，相机11被安装在车辆驾驶室中心的顶部。相机11拾取车辆行驶方向前方的路面1。图5示出了一个图像。
参照图3所示的流程图，将给出按上述配置的本发明一实施例操作的描述。
(步骤S1)首先，通过相机11拾取的路面图像被输入到图像处理装置12。路面图像被处理并且随后存储到图像数据存储部12b。随后，处理流程转到步骤S2。特别地，在步骤S1中，图像数据处理部12b中的存储过程按下述被执行。如图5所示，假设在具有裂缝2的路面的相对侧不存在白线。首先，存放于相机11的路面图像被CCD所识别。根据该实施例，该CCD具有512×512的像素。CCD的水平方向被定义为x轴方向。CCD的垂直方向被定义为y方向。随后，以x轴方向(水平像素组)排列的每一像素组上的灰度值被计算。这种计算在以y轴方向排列的每一水平像素组上被执行。灰度值为“0”为白，而“255”为黑。对于中间颜色，灰度值根据它们的密度而被确定。例如，裂缝2比路面的其余部分更黑一些。因此，裂缝2的灰度值比路面的其余部分要高。
随后，x轴方向的边缘通过所获得的灰度值被计算。该边缘被定义为所计算的灰度值的微分值。边缘在色调改变的地方被检测。
随后，计算出边缘出现处的灰度值的绝对值(灰度值水平)。对于每一控制周期来说，所获得的绝对值被存储在预定的存储器中。以该方式，所拾取的图像受到边缘处理，而处理后的图像存储于图像数据存储部。
(步骤S2)如果第n个图像要被处理，第n个处理后的图像的边缘与第n-1个处理后的图像的边缘作比较。随后，使用光流方法以计算与每一边缘相关联的光流。随后流程转为步骤S3(见图7C中的c)。这里，图7A中的a指的是所拾取的第n个图像，图7B中的b指的是所拾取的第n-1个图像。
在该情形中，图像的光流通常可被描述如下。假设路面图像内一个物体上的点(x，y)的图像，在时刻t具有灰度值I(x，y，t)，并且该特定点的亮度值无论该物体是否运动都可不计。那么，可给出下述公式。
dI/dt＝0…(1)用泰勒展开式将公式(1)转化为公式(2)
∂I∂xdxdt+∂I∂y∂ydt∂I∂t=0---(2)]]>于是，光流与以(μ，ν)定义的速度矢量相一致，并且其具有x分量μ＝dx/dt和y分量ν＝dy/dt。因此，下列公式是适用的。
(步骤S3)步骤S2中获得的光流(图8A)与单独事先存储的用于完全直线行驶的直线性光流(图8B)作比较。于是，微分光流(图8C)被计算出来了。这里，直线性光流可表示为图8B中的e。预定长度的光流均匀分布在以零位h为圆心的同心圆周围(见图15)。
另外，该零位是一个由相机安装位置及其安装角(俯视角)所确定的值。零位似乎是当从倾斜的上部看时，平行线之间的交点(见图9中的d1)。直线性光流的零位h被事先存储。
(步骤S4)另一方面，零位g根据步骤S2中获得的光流方向而被估算。
(步骤S5)而且，直线性光流的零位h与在步骤S4中所估算的零位g作比较。于是，x轴方向的偏差(偏移量)被计算出来。随后，根据偏差位置，可估算出偏航角。特别地，当例如方向盘转向左边时，偏差位置相应于图11所示的x。因此，如果车辆直线行驶所沿的直线P和车辆向左行驶所沿的线Q之间的夹角被定义为θ，θ可通过三角函数根据距离x和到图像拾取点处的距离L来估算。因此，θ与所谓的偏航角相一致。
(步骤S6)随后，在步骤S3中的微分光流通过步骤S5所估算的偏航角被校正。
(步骤S7)校正后的微分光流被分解为x轴方向(水平分量)和y轴方向(垂直分量)(见图12和13)。
(步骤S8)随后，计算在步骤S7中所确定的水平分量的标量平均值。该平均值是普通的算术平均值。水平分量的长度被用作一个标量以代表正向或负向(例如，向右的方向代表正向)。
(步骤S9)随后，对于每一流程，即每当步骤S9被执行时，时间关系曲线图被用于合计微分光流水平分量的标量平均值。所得到的结果随后被作为曲折量。曲折量以像素作为单位。相应地，通过用曲折量除以每一像素的实际长度(图像分辨率)，根据该实际长度而测量曲折量的距离是可能的。
(步骤S10)随后，对在步骤S9中所计算的曲折量进行微分以确定车辆行驶方向。
(步骤S11)另一方面，确定分解步骤S7中获得的光流垂直分量的长度分布(见图14)。
(步骤S12)随后，车辆的转动方向通过在步骤S11中确定的长度分布被估算。这里，光流垂直分量的长度显示了物体的运动。较小的长度显示出较低的速度，而较长的长度显示出较高的速度。从而，这些分布使车辆的转动方向能被估算。图13示出了大量指向右的较长垂直分量分布的例子。这表明在该实施例中，车辆正向右转向。
(步骤S13)随后，该装置核对步骤S10所计算的曲折量的微分值是否与步骤S12所估算的转动方向相等。于是，转动方向可被确定。所确定的转动方向可用于，例如行驶偏移警报装置(车道保持系统)。这使得即使是在行驶道路上没有白线的情况下，判定车辆是否偏移了其行驶道路成为了可能。当确定车辆可能偏移时，执行控制，即向转向系施加与当前的转向相反的扭矩是可能的。
当步骤S13完成之后，该流程即结束。
判定装置可用于确定步骤S9所计算的曲折量是否为至少一个基准值。从而，如果判定结果是“是”，即判定装置确定曲折量为至少一个基准水平，该装置可判定车辆正以折线行驶。如果确定车辆正以折线行驶，警报装置(未显示)将给驾驶者一个警告。
基准水平是通过对从驾驶开始起的一段特定时间内的曲折量求平均而确定的。即在确定从驾驶开始起的特定时间内，基于驾驶员未倦怠的判断，对该特定时间内的曲折量求平均。可替代地，该基准水平可通过实验方法事先得出。
另外，将要被处理的图像可降低为相机11所拾取的图像的一半(例如，如果图像区域具有512×512的像素，其可为0到255像素)，也即靠近车辆的路面图像的侧边。这种配置能以高图像分辨率而精确确定曲折。这对于减小存储器的容量并提高图像处理速度来说也是有效的。
正如上文所述，根据本发明，速度矢量根据相机拾取的路面图像被计算。随后，该装置根据该速度矢量判定车辆是否正以折线行驶。因此，即使在路面上没有任何白线，速度矢量也可被计算。即使在路面上没有任何白线，本发明对于判定车辆是否正以折线行驶是有效的。
其它优点和改进对于本领域技术人员而言是容易想到的。因此，本发明在其广泛的方面不应被限定于所显示以及所描述的特定细节和代表性的实施例。因此，在不偏离由所附权利要求及其等效所限定的总的发明构思的精神或范围的前提下，可作出各种改进。
权利要求
1.一种车辆行驶状态判定装置，其特征在于包括相机(11)，其沿车辆行驶方向拾取路面图像；和曲折状态检测装置(14)，其根据相机拾取的路面图像确定曲折量，其中曲折状态检测装置包括速度矢量计算装置(S2)，其通过将相机拾取的最近路面图像与相机拾取的当前路面图像相比较而计算路面图像的速度矢量；和判定装置(S10)，其根据由速度矢量检测装置所计算的路面图像的速度矢量来判断车辆是否正以折线行驶。
2.根据权利要求1所述的车辆行驶状态判定装置，其特征在于曲折状态判定装置(14)根据相机拾取的路面前面的图像数据来确定曲折量。
3.根据权利要求1所述的车辆行驶状态判定装置，其特征在于判定装置包括计算装置(S3)，其通过将速度矢量检测装置所检测的速度矢量与完全直线行驶的速度矢量作比较而计算出微分速度矢量；水平分量值计算装置(S7)，其确定由计算装置所计算的微分速度矢量的水平分量值；以及曲折量计算装置(S9)，其根据由水平分量值计算装置所计算的微分速度矢量的水平分量值的平均值来计算车辆的曲折量，其中，判定装置根据曲折量计算装置所计算的曲折量来判断车辆是否正以折线行驶。
4.根据权利要求3所述的车辆行驶状态判定装置，其特征在于如果确定曲折量为至少一个基准水平，判定装置将确定车辆正以折线行驶。
5.根据权利要求4所述的车辆行驶状态判定装置，其特征在于基准水平通过对从驾驶开始起的一段特定时间内的曲折量求平均而确定。
6.根据权利要求1所述的车辆行驶状态判定装置，其特征在于曲折状态检测装置(14)包括用于检测所拾取的路面图像中的边缘的边缘检测装置，并且速度矢量根据该边缘的灰度值被计算。
全文摘要
本发明提供了一种车辆行驶状态判定装置，其包括沿车辆行驶方向拾取路面图像的相机(11)，和用于根据相机拾取的路面图像确定曲折量的曲折状态检测装置(14)，其中曲折状态检测装置包括速度矢量计算装置(S2)，其通过将相机拾取的最近路面图像与相机拾取的当前路面图像相比较而计算出路面图像的速度矢量，和判定装置(S10)，其根据速度矢量检测装置所计算的路面图像速度矢量来判断车辆是否正以折线行驶。
文档编号B60K28/06GK1667666SQ20051005474
公开日2005年9月14日 申请日期2005年3月11日 优先权日2004年3月12日
发明者伊原彻, 山本惠一 申请人:三菱扶桑卡客车公司