专利名称：车辆用行驶划分线识别装置的制作方法
技术领域：
本发明涉及一种车辆用行驶划分线识别装置。
背景技术：
在车辆行驶的路面(行驶道路)上，表示或者设置有作为行驶划分线的白线、黄线、反光道钉等各种道路标识，但历来为了识别白线等行驶划分线，如专利文献1所记载，通过对用CCD照相机及图像处理ECU等拍摄装置拍摄的图像进行微分及双值化处理等并检测边缘，对检测出的边缘点序列(白线候补点序列)进行哈夫(Hough)变换并寻求近似直线成分来识别。
另外，在路面上表示的白线本身在由于物理的原因发生模糊不清、或部分缺损的情况下、或者在夜间行驶时等拍摄图像的对比度下降而使拍摄图像中的白线变得不鲜明等情况下，不能正确识别白线，因此，如在专利文献2中所记载，提出了如下技术在拍摄图像中设定窗口，并由窗口内的白线候补点的密度等判定白线的模糊不清的程度，当判定为模糊不清时，将从一定时间前的拍摄图像提取的白线候补点序列与从当前的白线图像提取的白线候补点序列重合，求出近似重合的白线候补点序列的直线，从而识别白线。
专利文献1特公平6-42261号公报专利文献2特开2001-236506号公报但是，在专利文献2记载的现有技术中，因为以应与现时点的图像合成的过去时点的图像为一定时间T0前的图像，所以未必能够满足白线的识别精度。即，车辆的移动距离根据车速而不同，当然，由于照相机的拍摄区域也同样沿车辆的行进方向移动，因此，图像上的行驶划分线的位置也随车辆的前进而移动，换言之，车速越高，行驶划分线的位置移动越大。当然地，所谓根据识别图像识别行驶划分线是识别行驶道路(本车线)，行驶划分线白线部分的长度越长，识别行驶划分线的方向的精度越高，因此，优选不管所述白线部分的偏移、缺损的有无，白线部分外观上能够被延长而合成。
发明内容
因此，本发明提供一种车辆用行驶划分线识别装置，其目的在于，消除上述的不方便情况，通过选择对应车速而合成的图像从而能够高精度地、可靠地识别行驶划分线。
为解决上述问题，本发明第一方面提供一种车辆用行驶划分线识别装置，其具备对包括车辆行进方向路面的区域进行拍摄的拍摄装置；能够识别由所述拍摄装置拍摄的拍摄图像中的所述路面上至少虚线状的行驶划分线的划分线识别装置；将由所述拍摄装置在不同时刻拍摄的多个拍摄图像合成，延长所述拍摄图像中的所述行驶划分线长度的图像合成装置，其中，该车辆用行驶划分线识别装置具备检测所述车辆行驶速度的速度检测装置；图像选择装置，其以由所述图像合成装置合成的拍摄图像中任意的拍摄图像的拍摄时刻为基准，将相隔对所述任意的拍摄图像根据由所述速度检测装置检测的行驶速度而决定的时间间隔，将在过去拍摄的至少一个拍摄图像作为要与所述任意的拍摄图像合成的拍摄图像进行选择。
还有，本发明第二方面提供车辆用行驶划分线识别装置，其中，所述图像选择装置中，所述检测的行驶速度越低，越是选择相隔更长时间间隔在过去拍摄的至少一个拍摄图像。
还有，本发明第三方面提供车辆用行驶划分线识别装置，其中，所述虚线状行驶划分线是彩色部分和无色部分周期性重复的线，并且，所述图像选择装置选择相隔所述时间间隔在过去拍摄的至少一个拍摄图像，使所述彩色部分的长度相对于所述彩色部分和无色部分的合计长度为30％以上。
还有，本发明第四方面提供车辆用行驶划分线识别装置，其中，所述划分线识别装置可通过周期性识别处理识别所述行驶划分线，并且，所述任意的拍摄图像是在当前的行驶划分线识别处理周期中拍摄的图像。
还有，本发明第五方面提供车辆用行驶划分线识别装置，其中，所述拍摄装置在按规定时间周期性地对包括所述车辆行进方向的路面区域进行拍摄，并且，所述图像选择装置选择按相当于根据由所述速度检测装置检测的行驶速度而决定的所述时间间隔的周期拍摄的至少一个拍摄图像。
在第一方面的车辆用行驶划分线识别装置中，以合成的拍摄图像内的任一拍摄图像的拍摄时刻为基准，相隔以在对应相对于其拍摄图像检测到的行驶速度而决定的时间间隔在过去拍摄的至少一个拍摄图像作为要与任一拍摄图像合成的拍摄图像进行选择，因此，无论车速的高低，都能够设定行驶划分线的白线部分外观上的最合适的延长量或延长比例，从而能够提高行驶划分线的识别精度，因此，能够可靠地识别本车的行驶道路。
在第二方面的车辆用行驶划分线识别装置中，检测的行驶速度越低，越是选择在相隔更长时间间隔在过去拍摄的至少一个拍摄图像，因此，能够选择在更过去时点拍摄并被储存的图像，使得在车速低的情况下合成的图像中行驶划分线长度的延长量或延长比例不会不足，并且，能够最佳地设定行驶划分线的白线部分外观上的延长量或延长比例，从而能够提高行驶划分线的识别精度，因此，能够可靠地识别本车的行驶道路。
在第三方面的车辆用行驶划分线识别装置中，选择相隔所述时间间隔在过去拍摄的至少一个拍摄图像，使得彩色部分的长度相对于行驶划分线的彩色部分和无色部分的合计长度为30％以上，因此，即使在产生行驶划分线模糊不清、缺损的情况、及因施工等原因白线部分短的的情况下，也能够最佳地设定行驶划分线的白线部分外观上的延长量或延长比例，从而能够提高行驶划分线的识别精度，因此，能够可靠地识别本车的行驶道路。
在第四方面的车辆用行驶划分线识别装置中，任意的图像是在当前的行驶划分线识别处理周期拍摄的图像，因此，能够基于最新信息将图像合成，从而能够提高行驶划分线的识别精度，因此，能够可靠地识别本车的行驶道路。
在第五方面的车辆用行驶划分线识别装置中，选择以相当于对应由检测到的行驶速度而决定的所述时间间隔的周期拍摄的至少一个拍摄图像，因此，同样能够基于最新信息将图像合成，从而能够提高行驶划分线的识别精度，因此，能够可靠地识别本车的行驶道路。
另外，上述的“车辆的行进方向”是指，不只是前进行驶时的前方，也可以是设置前进行驶时拍摄包括后方的路面区域的拍摄装置，并由所述拍摄装置拍摄到的拍摄图像识别后方的行驶划分线。这样，“车辆的行进方向”是指表示车辆的前后方向的方向。
图1是表示本发明实施例的车辆用行驶划分线识别装置的全体构成的概略图；图2是从输入输出表示图1所示的控制ECU的动作的框图；图3是表示图1及图2所示装置的动作的流程图；图4是通过图3的边缘检测处理得到的边缘图像的说明图；图5是作为通过图3的哈夫(Hough)变换处理得到的相当于白线等行驶划分线的直线成分的标线的说明图；图6是通过图3的车线候补检测处理得到的车线候补(标线候补点序列)的说明图；图7是表示通过图3的车线位置推定处理得到的本车的行驶车线的推定位置的说明图；图8是表示图3的帧合成处理的子程序流程图；图9是表示在图8的过去帧选择处理中成为基准的现在时刻(这次处理周期)t输入的拍摄图像的说明图；图10是表示向用图8的过去帧选择处理与输入到现在时刻(这次处理周期)t的拍摄图像合成的时刻(前一次以前的处理周期)t-n输入的拍摄图像的说明图；图11是表示用图8的垂直线补正处理补正后的图像的说明图；图12是表示用图8的合成处理得到的合成图像的说明图；图13是表示要用图8的过去帧的亮度检测处理检测的拍摄区域的规定区域(路面)的说明图；图14是表示图8的过去帧的亮度检测处理的说明图；图15是图8的亮度补正处理的子程序流程图；图16是表示图15的处理中使用的、相对路面的亮度的快门速度及光圈的特性的说明曲线图；图17同样是表示被图15的处理使用的、相对路面的亮度的快门速度及光圈的增益放大(放大率)的特性的说明曲线图；图18是表示说明图8的水平象素补正的、由照相机从拍摄(曝光的)时刻t-2经过时刻t-1到时刻t0的车辆相对行驶划分线(车线)的位置、姿势(角度)的变化的说明图；图19是图8的水平象素补正处理的子程序流程图；图20是图8的垂直线补正处理的子程序流程图；图21是图19的处理的子程序流程图；图22是表示图21的处理的说明图；图23同样是表示图21的处理的说明图；图24是图19的处理的子程序流程图；图25是表示图24的处理的说明图；图26同样是表示图24的处理的说明图；图27是表示增加图8的位置补正处理的图像合成的图像镜象的说明图；图28是表示不增加图8的位置补正处理的情况下的图像合成的图像镜象的说明图；图29是表示在进行边缘检测处理前由图8的合成处理合成时的图像的说明图；图30是表示在进行边缘检测处理后，用现有技术合成时的图像的说明图；图31是说明代替边缘检测处理、哈夫(Hough)变换的图形匹配方法的说明图；图32是说明图31的图形匹配的图像例的说明图。
具体实施例方式
下面，就附图对用于实施本发明车辆用行驶划分线识别装置的最佳方式进行说明。
实施例1
图1是表示本发明实施例的车辆用行驶划分线识别装置的全体构成的概略图。
在同图中，符号10表示具备朝向车辆12的行进方向安装于车室12a内部的CCD或C-MOS等拍摄元件的照相机，照相机10拍摄(摄像)包括车辆12的行进方向的路面区域。照相机10的筐体10a中收纳有图像处理ECU(Electronic Control Unit，电子控制单元)。图像处理ECU具有硬件化的图像处理IC(Integrated Circuit)，其输入从照相机10输出的表示车辆前方的行驶车线(行车线)的信息的摄像(图像)信号并进行后述的图像处理。照相机10和图像处理ECU相当于所述的拍摄装置。
另外，在本实施例中，“行驶划分线”是指，划分车辆通行带(车线或行车线)的、用油漆在行驶路(道路)的路面上表示的实线状或虚线状的白线或黄线，还包括在路面间隔设置的反光道钉等道路标识。另外，将用该行驶划分线划分的车辆通行带叫做“车线”或“行车线”。
在车辆12的车室12a的驾驶席设置的方向盘16经由齿条齿轮传送型的转向装置而连接于齿条轴20，齿条轴20经由转向横拉杆22连结于驱动轮24。在齿条轴20上配置有包括电动机26的电动动力转向机构(EPSElectric Power Steering)30，通过电动机26的旋转使齿条轴20往复移动。
在驱动轮24和从动轮(未图示)的附近分别设有车轮速传感器32(只图示有两个)，其输出对应规定角度附近的旋转即车辆12的行驶速度(车速)的信号。在车辆12的中央部(后车轴附近)配置有偏行率(yaw rate)传感器34，其输出对应与在车辆12的重心位置的垂直轴(重力轴)旋转的偏行率(旋转角速度)的信号。另外，在方向盘16的附近设有转向角传感器36，其输出对应由驾驶员操纵的方向盘16的旋转量，即转向角的信号。
在车辆12的适宜位置，同样设有具备微计算机的控制ECU(ElectronicControl Unit)40。控制ECU40输入图像处理ECU及所述的各传感器的输出，且运算对沿行驶车线行驶的行车线保持辅助控制或防止不小心从行驶车线偏移的车线偏移防止控制等所需要的转向力，并换算成指令值而输出。控制ECU40连接于控制EPS30的动作的EPSECU42。EPSECU42也同样具有微计算机，进行与控制用ECU40数据的发送，并根据从控制用ECU40输出的指令值驱动电动机26。
图2是从输入输出表示图1所示的控制ECU40的动作的框图。
如图所示，控制ECU40输入由照相机10和所述的图像处理ECU(用符号44表示)构成的拍摄装置的输出及偏行率传感器34等的输出，且将行车线保持辅助控制等指令值通过通信输出到EPSECU42，从而驱动电动机26。在图1中省略，在车室12a的驾驶席附近配置有仪表及开关(SW)，控制ECU40的控制内容被显示于该仪表上。另外，由驾驶员控制的指示通过开关显示于该仪表上，并且输入到控制ECU40。
图3是表示图1及图2所示装置的动作的流程图。图示的程序在图像处理ECU44及控制ECU40中以规定的时间间隔，例如每33msec执行一次。
进行下面说明时，在步骤S10(下面，省略“步骤”)，从照相机10的拍摄元件输出拍摄信号。照相机10的拍摄元件具有纵n线×横m像素构成的拍摄区域。照相机10在工厂的生产线等包括行进方向的行驶道路的规定方向上调节其光轴。
其次，在S12中进行帧合成，即输入从拍摄元件输出的图像信号并合成。具体而言，将在本次的处理周期输入的拍摄信号与在过去的输入周期输入并储存于图像处理ECU44的存储器的拍摄信号，换言之，将当前的图像(帧)和过去的图像合成。另外，本实施例的特征点在于该帧合成，因此，在后面详细说明。S12～S16是图像处理ECU44内的被硬件化的图像处理IC执行的处理。
接着，在S14中进行包括众所周知的微分处理及与此连续的双值化处理的边缘检测处理，且由输入图像生成如图4所示的边缘图像，接着在S16中通过进行同样众所周知的哈夫(Hough)变换，而判别相当于白线等行驶划分线的直线成分(图5中用实线表示)。
接下来，在S18中，如图6所示，以沿所述直线成分的多个边缘点(边缘点序列。同图中用黑色圆点表示)作为车线候补(白线候补点序列)而检测。
接下来，在S20中在作为车线候补存在多个候补的情况下(例如，如图6所示存在三条点序列a、b、c的情况)，从本车(车辆12)和车线候补的位置关系，判别多个车线候补中任意一个候补是否表示在本车(车辆12)正在行驶的车线，从而，如图7所示，推定本车的行驶车线的位置。
接下来在S22中执行车辆控制。即，根据推定的车线位置，将如前所述的行车线保持辅助控制及车线偏移防止控制等车辆控制的指令值输出到EPSECU42，控制电动机26的驱动。并且，S12～S16的处理通过图像处理ECU44内的所述的被硬件化的图像处理IC执行，S18及S20的处理通过图像处理ECU44执行，S22以后的处理通过控制ECU40执行。
图8是表示图3的S12的帧合成(现时点的取得的图像(拍摄信号)和过去时点取得的且已储存的图像(拍摄信号)的帧合成)的处理的子程序流程图。
在本实施例中，特征的点在于图8所示的帧合成的各种处理，如果最初参照同图进行概述，即在S100中根据检测的车速选择应合成的过去帧。
即，从在每个上次以前的处理周期输入并储存于图像处理ECU44的存储器的多个拍摄图像中选择应与在现在时刻(本次处理周期)t输入的拍摄图像(图9所示)合成的图像。具体而言，对应于车速，选择在如图10所示的时刻t-n拍摄且已储存的拍摄图像。在此，n的意思为离散性的采样时刻，t-n的意思为n次前拍摄并输入的图像，即，在过去的不同时点拍摄并储存的图像。
接着对在S102中选择的过去帧的亮度进行补正。即，在现时点输入的拍摄图像和在S100中对应车速而选择的在过去时点的拍摄图像，由于拍摄时点不同，因此有拍摄对象(路面)的亮度受阴影的影响而不同的情况，如果在一方图像的路面部分的亮度比另一方图像的白线等行驶划分线更亮的状态进行合成后，在合成图像中白线可能被埋入路面，因此，为了防止该情况，则进行使过去时点的拍摄图像的亮度与现时点的拍摄图像的亮度合在一起的处理，以使现时点和过去时点的图像的亮度一致。另外，其详细情况将在后面叙述。
在S104中设定合成开始位置。即，有可能存在车辆12的姿势因装货等原因而与初始状态(照相机10的光轴调节时)不同的情况，换言之，即静态的俯仰方向的姿势可能变化的情况。为了根据该姿势变化而上下改变照相机10的拍摄区域，学习并补正(设定)在合成图像时应考虑该变动量的合成开始(基准)位置。该处理在识别行驶划分线时在路面上方的区域通常不需要，因此，可通过将现时点和过去时点的地平线位置重合而进行。
其次，在S106中进行水平像素补正。即，车辆12相对于车线的姿势及角度在现时点和过去时点有不同的情况，因此，由拍摄时点得到的图像可能产生其位置或角度量偏移的情况。在该情况下，当然，在该状态合成图像后，行驶划分线水平方向的位置或角度方向会偏移。为了防止该情况，仅以对应现在和过去时点的车辆姿势的变化的量，进行过去时点的图像上的行驶划分线水平方向的位置和角度方向的补正。另外，其详细情况也在后面叙述。
接着，在S108中进行垂直线补正。即，考虑在现时点和过去时点的车辆12的俯仰状态不同，因此，从由图像得到的地平线位置的变化求取两时点间的动态的倾角变动，并补正在图像的垂直(上下)方向的位置，从而得到如图11所示的补正后的图像。关于这一点也在后面叙述。另外，在S104补正的是俯仰的静态偏移，与此相对，在S108补正的则是其动态偏移。
接着前进到S110，将现时点和补正过的过去时点的拍摄图像合成，如图12所示，从图9和图11的对比显而易见，得到白线等行驶划分线比在两时点的各个图像上的长度在外观上被延长的图像。因此，终止图8所示的帧合成处理。
下面，对本实施例中的特征点依次进行说明时，初始的特征点为，如在图8的S100中所述，根据车速(行驶速度)选择应合成的过去帧。
下面对此进行说明时，在专利文献2记载的现有技术中，应与现时点的图像合成的过去时点的图像为一定时间前的图像。但是，由于车辆12的移动距离根据车速(行驶速度)而不同，当然照相机10(拍摄元件的)的拍摄区域也同样沿车辆12的行进方向移动，因此，图像上的行驶划分线的位置也随车辆12的前进而移动，换言之，车速越高，拍摄的行驶划分线的位置移动越大。因此，在合成图像中行驶划分线的延长的量及比例因相隔多长的时间间隔选择过去的图像并和现时点的图像合成而不同。
但是，作为行驶划分线，已知为白线部分(彩色部分)和其间的空白(柏油等无彩色部分)周期性地重复的虚线状。该行驶划分线的白线部分有因耐久性方面的原因模糊不清、部分缺损的情况，并且还有因施工等原因而临时、应急性描绘短的白线部分的情况。
另外，当然，所谓根据识别图像识别行驶划分线是识别行驶道路(本车线)，行驶划分线白线部分的长度越长，识别行驶划分线的方向的精度越高，根据这个道理，优选不管所述白线部分的偏移、缺损的有无，白线部分外观上能够被延长而合成。鉴于这一点，本实施例中，从以根据车速(行驶速度)决定的时间间隔在过去拍摄的图像(过去帧)中选择相应的图像。该情况不限于白线，用黄线也同样。
发明者们通过试验可得知，如果相对于行驶划分线的白线部分和空白的合计长度的白线部分的长度(所占比例)为30％左右以上，则就能够高精度地识别行驶划分线，能够可靠地识别本车的行驶道路。如前所述，由于被延长的白线部分的长度对应车速而变化，因此根据使用被识别的行驶划分线的数据的前面所述的行车线保持辅助控制及车行线偏移防止控制等车辆控制的控制车速的范围，以拍摄周期决定使用几帧前为好。
具体而言，拍摄周期为33.3msec，因此，例如车速(行驶速度)为60km/h以上时，为了确保必要的白线部分的延长量，最好使用3帧前的图像。白线部分的延长量稍微不足，但如果车速为90km/h以上也可以使用2帧前的图像，即使在60～90km/h的车速范围白线部分延长的量减少，但被延长的长度在1m以上，白线部分在合计长度中所占比例也增加到约30％，因此能够高精度地识别行驶划分线并可靠地识别本车的行驶道路。
因此，以在相当于根据检测的车速(行驶速度)决定的时间间隔的周期拍摄的至少一个图像的拍摄图像作为要与任意(现时点)的拍摄图像合成的拍摄图像而选择。另外，以车速在某一值、例如在105km/h、110km/h时维持滞后的方式，也可以切换在2帧前、3帧前合成使用的图像，或者如果车速为60km/h以上，且如果使用3帧前的图像，则白线部分的长度相对于行驶划分线的白线部分和空白的合计长度成为30％以上，因此也可以仅使用3帧前的图像。
这样，在本实施例中，以拍摄图像中的任意拍摄图像(具体地说，现时点的图像，更具体地说，在当前的行驶划分线识别处理周期拍摄的图像)的拍摄时刻作为基准，以在对应相对其任意的拍摄图像检测的车速(行驶速度)而决定的相隔时间间隔在过去拍摄的至少一个拍摄图像(更具体地说在相当于根据检测的车速(行驶速度)而决定的相隔时间间隔的周期拍摄的至少一个拍摄图像)作为要与其任意的拍摄图像合成的拍摄图像进行选择，因此，与车速的高低无关，可最适宜地设定行驶划分线的白线部分外观上的延长量或延长比例，并能够提高行驶划分线的识别精度，从而能够可靠地识别本车的行驶道路。
还有，检测的行驶速度越低，越是选择在相隔更长时间间隔在过去拍摄的至少一个拍摄图像。即，车速越低，车辆12的移动距离越短，因此，在车速低的情况下，选择在更过去时点拍摄(输入)并被储存的图像，以使在合成后的图像中行驶划分线的长度的延长量或延长比例不会不足。另一方面，因为车速越高，车辆12的移动距离越长，所以，选择在接近于现时点的过去时点拍摄(输入)并被储存的图像。
还有，为使彩色部分的长度相对于行驶划分线的白线部分(彩色部分)和空白(无色部分)的合计长度达到30％以上，而选择相隔时间间隔在过去拍摄的至少一个拍摄图像，因此，即使是行驶划分线产生偏移、缺损的情况及因施工等而长度短的情况，也可以最合适地设定行驶划分线的白线部分的表面上的延长量或延长比例，从而能够提高行驶划分线的识别精度，因此，能够可靠地识别本车的行驶道路。
另外，作为合成基准的图像是在当前的行驶划分线处理周期中拍摄的图像，因此，能够根据最新的信息合成图像。而且，选择在相当于根据检测的行驶速度而决定的所述时间间隔的周期拍摄的至少一个拍摄图像，因此，同样能够根据最新的信息合成图像。
在本实施例中第二特征点在于，如在图8的S102中所述，进行过去帧合成的亮度补正。
对此进行说明，通常，为了高精度地识别行驶划分线的白线部分，如图13所示，检测照相机10拍摄的区域的规定区域(路面，图13中的斜线部)的亮度，并可根据检测到的亮度调节快门速度及光圈，以清晰地检测白线部分，并且，还根据需要调节拍摄信号的输出增益放大(放大率)等各种拍摄条件。
另外，在该说明书中所谓“亮度”在全部包括根据明度、辉度、浓度及检测的图像上的亮度调节的快门速度、光圈或映像信号的输出增益等拍摄条件等的意思下使用。
在通常的行驶状态下，路面的亮度受建筑物等的阴影、路面的润湿、强的阳光照射各种各样的环境变化的影响而时时刻刻在变化。为了不受该亮度的差异的影响而清晰地检测白线部分，应该进行先前那样的拍摄条件的调节。
在此，考虑在拍摄时点的路面的亮度不同时，将现时点和过去时点的图像合成。在同一图像中，由于白线部分比其以外的路面(柏油、混凝土)亮，因此合成时，在图像上的同一点(同一位置)将亮的一方看做白线部分进行选择而合成。
如前边所述，根据检测的亮度调节快门速度等以使亮度在拍摄图像之间成为一定，但在实际路面产生明暗变化的情况下，因防止摆动等的原因快门速度、光圈、增益放大不能一口气改变，而是慢慢地改变，因此，在拍摄图像之间亮度达不到一定，而稍微不同，就产生与一个拍摄图像的路面(柏油部分)相比，别的拍摄图像的白线部分暗的情况。
图14是表示本实施例中图像的亮度补正处理的说明图。并且，在同图的右端带a、b、c表示的三种曲线图，是简略地表示同图左侧的图像中用虚线表示的白线部分和路面(柏油部分)的位置的亮度的图。同图a上部的注释为在脉冲状波形中突出部为白线部分，其两侧表示路面。因此，同图a表示在左侧的图像A、B中B的路面部分比A的白线部分亮。
图14的A是在过去时点拍摄并储存的图像，B是在现时点拍摄取得的图像。图像的亮度如右端的曲线图a所示，B图像的路面部分比A图像的白线部分(图中点画线部)亮。如后面的叙述，在本实施例中，如图14的A′所示，根据现时点和过去时点的车辆位置变化进行图像的位置补正。
在该时点图像的亮度在A和A′不变化，在该阶段如图14中注释并用虚线表示“无补正”，两个图像合成后，如右端的曲线图a所示，因为图像B的路面(柏油)部分比图像A的白线部分亮，所以图像B的路面部分被选择，如图14的C′的图像，产生了不正常的没有图像A(A′)的白线部分的图像。
鉴于此点，在本实施例中，从拍摄区域的路面的规定区域(图13的斜线部)的亮度等检测拍摄的拍摄图像的亮度，并且将以多个拍摄图像内的一个图像为基准，对多个拍摄图像进行补正使得亮度一致。此时，也可以检测实际亮度，或者也可以简易地检测。具体地说，从过去时点和现时点拍摄时的拍摄条件求出两图像亮度的比，并通过使用该比使两图像的亮度一致而消除所述的不正常情况。另外，也可以代替比而用亮度的差使合成的拍摄图像的亮度一致。
图15是图8的S102的亮度补正处理的子程序流程图。
下面进行说明时，首先在S200、S202中，储存由表示拍摄时的拍摄条件即照相机10的快门速度S0、S1、光圈值I0、I1、图像信号的放大率的增益放大G0、G1构成的拍摄条件。快门速度从路面的规定区域(图13的斜线部)像素的浓度等检测检测到的拍摄图像的亮度，具体地说，在拍摄装置的拍摄区域内、该部位的亮度，并按照如图16所示的特性进行设定(决定)，调节照相机10的拍摄元件(像素)的感光度。
还有，众所周知，如图16所示，通过调节光圈值，也可改变入光量，因此，能够调节图像的亮度。还有，用快门速度和光圈至少任意一个调节的图像浓度在周围环境较暗依然调节不足时，也可由增益放大进一步设为n倍而进行亮度调节。其意味着是在S200、S202中，不仅储存快门速度，还储存光圈值和增益放大。
接下来，在S204中，根据储存的各拍摄条件用如图的算式算出现时点和过去时点的图像的亮度比，通过将在S206中算出的亮度比与过去时点的图像亮度相乘，进行使过去时点的图像与现时点的图像亮度一致的补正。
更具体地说，根据快门速度和光圈值的至少任意一个检测多个拍摄图像的亮度比，并且，根据多个拍摄图像在各个拍摄时点的快门速度和光圈值内的至少任意一个的比及差的至少任意一个，详细地说根据该两者的比补正亮度。另外，还根据放大率检测多个拍摄图像的亮度的比。
还有，亮度，即图13的斜线部分所示的路面的规定区域的亮度从该部位的像素浓度而进行检测，并且，由此根据在设定的多个拍摄图像的各个拍摄时点的快门速度和光圈值内的至少比，补正检测的亮度。
其结果为，在图8的S110的处理中，亮度补正后的过去时点的图像和现时点的图像被合成。还有，在S110的处理中，通常，由于白线等行驶划分线比周围的柏油等路面亮，所以选择在合成过程中合成的多个图像内、构成多个位置的同一位置(任意位置)的像素内的亮度亮的一方，即按像素单位亮的一方进行合成。
通过该处理补正亮度后，如图14右端的曲线图b所示，过去时点的图像(图14的图像A″的点划线部)和现时点的图像(图14的图B的点划线部)的路面的亮度成为一致。作为其结果，两图像合成后，如图14C所示，不会出现白线部分被路面埋住的情况，从而能够得到白线部分被适当延长的图像。
如以上所述，本实施例中，检测由拍摄装置拍摄的拍摄图像的亮度，以多个拍摄图像内的一个图像作为基准在多个拍摄图像中将亮度补正到一致，并且，在亮度补正后，将多个图像合成，因此，使两图像的亮度一致的结果为，没有过去时点和现时点的一方图像的白线部分被在另一方图像的路面埋没的情况，从而能够良好地延长白线部分。因此，能够提高行驶划分线的识别精度，且能够可靠地识别本车的行驶道路。
还有，作为合成基准的图像是当前的行驶划分线识别处理周期的图像，因此，能够根据最新信息使亮度一致并合成图像，从而能够提高行驶划分线的识别精度，因此，能够可靠地识别本车的行驶道路。另外，通过检测路面的规定区域的亮度，能够以共同的尺度进行亮度的检测，从而能够提高行驶划分线的识别精度。
还有，基于多个拍摄图像的各个拍摄时点的快门速度和光圈值之中的至少一个比及差的至少任意一个、进而基于增益放大(放大率)将亮度进行检测或补正，因此，亮度的检测及补正较容易。将在多个图像的同一位置的亮度补正为一致，因此能够进一步高精度地补正亮度。
另外，通过选择构成多个图像的同一位置的像素内亮度亮的一方，将多个拍摄图像合成，因此，能够从合成的图像进一步高精度地识别行驶划分线，因此，能够进一步可靠地识别本车的行驶道路。
本实施例中第三特征点在于，如图8的S106及S108中所述那样进行水平像素补正和垂直线补正。
对此进行说明时，有车辆12相对于行驶划分线的姿势(角度)及与行驶划分线的水平方向的距离在现时点和过去时点不同的情况，因此，拍摄的图像在两时点车辆12相对于水平方向及行驶划分线的角度方向也会偏移，理所当然地，在该状态下合成图像后，行驶划分线的水平方向的位置及角度就成为偏移的状态。
为了防止这种情况，有必要将在过去时点的图像上的行驶划分线的水平方向的位置及角度方向根据对应现在和过去时点的车辆姿势的变化的量进行补正，另外，因还考虑到在现时点和过去时点的车辆12的俯仰状态不同，所以，还有必要从由图像得到的地平线位置的变化等求取两时点间的倾角变动，并补正图像中垂直方向的位置。
这一点在专利文献2记载的现有技术中，检测车辆的偏行率变化量，即车辆的旋转(转弯)运动的有无，如果有旋转运动，则只是在图像的基础上进行对应该量的补正，而不进行水平方向的位置的补正，因此，存在在合成图像中行驶划分线不适当地延长的不良情况。另外，在专利文献2记载的技术中，还有未考虑到俯仰变化的不良情况。
图18是表示相对由照相机10拍摄的，即相对于从曝光的时刻t-2经过时刻t-1到时刻t0的车辆12的行驶划分线(车线)的位置、姿势(角度)的变化的说明图。在此曝光时刻t0为现时点，时刻t-1为过去时点，时刻t-2为拍摄以在时刻t0和t-1拍摄的图像为合成时的基准而使用的图像的时刻，即比时刻t-1还在过去的时点的时刻。
在本实施例中，识别位于图18的车辆12左右的行驶划分线(车线)，以其中央作为基准点，且以这些点连续的点序列和将其之间连接的线量(图18的短虚线)在例如车行线保持控制的情况下作为车辆应该行驶的线检测并使用。再有，由于图18的行驶划分线是在过去时点的时刻t-2拍摄而得到的划分线，因此，点序列也是在时刻t-2的点序列。以在曝光时刻t0、t-1的车辆位置的所述点序列和车辆位置的距离(行驶划分线和车辆12之间的距离)为L0、L1，以连接点序列的线量和车辆12的方向形成的角度(车辆12相对行驶划分线的前后方向角度)为θ0、θ1。
将在过去时点的曝光时刻t-1拍摄且储存的图像与在现时点即曝光时刻t0拍摄的图像合成，因此，以在曝光时刻t-2取得的行驶划分线(车线)、点序列及线量为基准求取所述的距离L0、L1、角度θ0、θ1并分别求取L0和L1、θ0和θ1的差，在补正伴随车辆12相对时刻t0和t-1之间的行驶划分线的相对位置及角度的变化的拍摄图像的变化后，将两时刻的图像合成。
图19是图8的S106的水平象素补正处理的子程序流程图。
同图为求取曝光时刻t0和t-1的横方向的位置偏差(相对现在时刻t0的过去(时刻t-1)的横方向车辆移动量)ΔL及相对行驶划分线或其中间的基准线的角度(相对现在时刻t0的过去(时刻t-1)的角度变化量)Δθ，然后求取在图像上的水平方向的像素位置的补正量的处理流程。
详细情况将在后面叙述，在S300中求ΔL、Δθ，在S302中根据该ΔL、Δθ求在图像平面上的合成时的像素位置的补正量，并进行作为合成前的硬件处理而进行的照相机坐标系(U，V)和实际平面坐标系(X，Y)的相互对应。关于该S302的处理的详细情况将在后面叙述。
图20是图8的S108垂直线补正处理的子程序流程图。
首先在S400中求曝光时刻t0和t-1的俯仰方向的变化量Δθpit，在S402中根据该值求取在图像上的垂直合成线位置的补正量，并进行作为合成前的硬件处理而进行的照相机坐标系(U，V)和实际平面坐标系(X，Y)的相互对应。
图21是图19的S300处理的子程序流程图，图22及图23是其说明图。
参照图21～图23进行说明。在图22中，轨迹推定的坐标轴是以在过去某一时刻的车辆行进方向中心轴(车辆中心轴)为X轴而设定的坐标轴。由于在该坐标系中以在曝光时刻t-2的车辆位置为基准求取在曝光时刻t-1的车辆位置的横方向变化量，因此考虑以在时刻t-2的车辆(中心)位置为原点(x，y)＝(0，0)，以车辆中心轴方向为X轴的检测结果坐标系x，y。
使用根据车轮速传感器32、偏行率传感器34的输出所求出的曝光时刻t0和t-1之间的车辆的推定轨迹将曝光时刻t-1的车辆12位置、方向变换到以时刻t-2为基准的x，y坐标系上。此时，在检测结果坐标系x，y上的曝光时刻t-1的车辆12的位置坐标为(x，y)。在图21的S500的(1)中，求取曝光时刻t-1的车辆的位置坐标(x，y)。
另外，在S500的(2)中，如图22所示，用yp-y求出在坐标(x，y)的正横、坐标x上即在曝光时刻t-2求出的点序列1，Pk，Pk+1内的连接设置车辆的点序列Pk，Pk+1的直线上的点(x，yp)、与先前的坐标(x，y)之间的距离L-1。
同样地在S500(3)中，以曝光时刻t-2为基准求出在曝光时刻t0的车辆位置和连接点序列间的直线之间的距离L0。另外，在图22中为了简化而省略了曝光时刻t0的车辆位置、点序列Pk+2等。
然后，在S500(4)中，用L0-L-1求出曝光时刻t0和t-1的横方向位置的偏差ΔL。理所当然，根据在两曝光时刻的车辆位置在ΔL产生正负。
接着，求出车辆相对于曝光时刻t0和t-1之间的基准线，即点序列及连接点序列的直线的角度的变化量Δθ。
首先，在图21的S502的(1)中，如图23所示，从曝光时刻t-1、t0的轨迹推定值的差能够求出图22所示的轨迹推定坐标系的角度差。即以轨迹推定坐标系的曝光时刻t0的轨迹推定值为θ0、曝光时刻t-1的轨迹推定值为θ-1时，用θ0-θ-1则求出角度差。
还有，在曝光时刻t-2求出的且连接车辆位于曝光时刻t0和t-1的点序列Pi、Pi+1、Pi+2间的直线不同，该直线如果不成一条直线，则如图23所示就有必要求这些直线形成的角度θR。当然，直线是否是一条直线，在两时刻的车辆位置假如是在同一直线的范围内则角度差θR＝0。
在图21的S502的(2)中，用在曝光时刻t-2拍摄并检测的点序列求出在曝光时刻t-1、t0车辆所在的直线的角度差θR。而且在S502的(3)中用Δθ＝θ0-θ-1-θR求出角度的变化量Δθ。
图24是表示图19的S302的处理的子程序流程图，图25及图26是其说明图。
首先，图25是根据相对在图21及图22求出的基准线的位置的变化量ΔL、角度的变化量Δθ，简化表示时刻t-1和t0的车辆的关系的图。在实际平面坐标系中的车辆的行进方向的距离，即X和某一X的横方向的距离Y的关系按照△L、Δθ而成为下式。
y＝x·tanΔθ+ΔL
用该式求出在图24的S600中距离X＝5m、X＝30m的实际平面上的水平方向合成时需要的补正距离Y5m、Y30m。在此，5m、30m是一例，根据照相机的拍摄区域的宽度等能够适当设定。
其次在S602中求出与实际平面上的距离X＝5m、X＝30m对应的图像面上的线位置V5m、V30m。图像面的坐标系表示于图26。对应在实际平面的距离方向的X轴的是V轴，以垂直方向上方为原点，且对应横或水平方向的Y轴的为U轴。该线位置V5m、V30m是在考虑学习了在图8的S104中说明的俯仰方向的变动的补正值之后求出的。
接下来，在S604中求出与S600中求出的补正距离Y5m、Y30m相对应的图像面上的横方向的像素位置U5m、U30m。
接着，在S606中求出通过求出的图像面上的坐标(U5m，V5m)和(U30m，V30m)两点的直线。而且，在该实施例中，进行合成不同时刻的图像时的合成位置设定，以使图像面上V轴上的六点x0，x1，…x6在该直线上。即，为补正相对在时刻t-1和t0的实际平面上的基准线的位置、角度的变化，而使表示实际平面上的时刻t-1的车辆位置及角度的直线(与作为基准的X轴一致)与表示图25所示的时刻t0的车辆位置及角度的直线成为一致。另外，该合成位置设定是在所述的硬件化后的图像处理IC内进行处理，因此能够进行高速处理。
图27及图28是表示增加本实施例的位置补正处理的图像合成的图像镜象和不增加位置补正处理的情况下的图像合成的图像镜象的图。
如图27，增加车辆相对行驶划分线的横方向位置、角度的补正时，如同图的图像C所示，行驶划分线成为被延长的形式，与此相对，在不增加补正的情况下，如图28所示，在过去及当前的时点拍摄的行驶划分线被以偏移的形式合成，且行驶划分线未被延长。
本实施例为，求出车辆12相对于多个拍摄图像的行驶划分线的前后方向角度θ及行驶划分线与车辆12之间的距离L，并检测多个拍摄图像之间的角度及距离的各个差(Δθ，ΔL)，根据检测到的角度与距离的差，补正为以同一车辆相对于行驶划分线的角度及距离拍摄的图像后，将多个图像合成，因此在合成图像中，外观上能够可靠地延长行驶划分线。
还有，检测多个拍摄图像的拍摄时点t-1和t0的车辆12的倾角，检测拍摄图像之间的倾角的差(Δθpit)，并基于检测到的倾角的差补正为以同一倾角拍摄的图像后，将多个图像合成，因此，外观上能够进一步可靠地延长行驶划分线。
另外，替代上述，也可以根据检测到的角度和距离的差调节并合成所述多个图像之间的合成位置，使其构成在同一车辆相对于行驶划分线的角度及距离拍摄的状态。即，如上所述，也可以将合成位置(重合位置)调节并合成而替代使图像自身移动。
参照图27说明时，如果将过去取得图像A和现在取得图像B的任意一方的图像自身偏移所述的两时刻间横方向的位置和角度的变化量，与另一图像重叠合成，则可得到与所述的补正同样的结果。即，考虑关于横方向的位置补正，只要将从p点沿横方向以横方向位置的补正量偏移的图像B的q点重合于图27的图像A的p点即可。图27中两时刻之间的角度几乎没有变化，但在有角度变化的情况下，只要根据角度变化量将图像旋转后合成即可。此外，即使在有倾角的差的情况下，只要将一图像在图27中上下方向偏移对应差的量并合成即可。通过这样的合成，能够得到与补正所述图像的方法同样的效果。
本实施例的第四特征点为，在图8的S110的合成处理中，在边缘检测处理前的原图像阶段合成现时点和过去时点的图像。
对此进行说明时，图29表示在进行边缘检测处理前，换言之在原图像阶段将现时点和过去时点的图像合成时的图像，图30表示专利文献2记载的现有技术进行边缘检测处理后的、所谓边缘图像的状态下进行的现时点和过去时点的合成的图像。
在图30的现有技术的处理中，如该图像A、B所示，图像上从本车向远方的行驶划分线的长度短，即，图像上的大小小，因此在将现时点和过去时点的图像分别进行边缘检测处理的情况下，边缘不能被识别，结果是，如图30的图像a、b，成为在边缘图像上的远方用虚线围住的那样的什么也没有的状态。
接着进行基于车辆姿势变化的位置补正处理，得到如图30的图像a′所示的位置补正图像，接着将现时点和过去时点的边缘图像合成，即使这样的话，如图30的图像D的用虚线围住的区域，也没有与在原图像中可看到的远方的行驶划分线对应的边缘。
对此，如图29所示，将过去时点的图像(图29的图像A)进行根据车辆姿势变化的位置补正(图29的图像A′)及图像的亮度补正(图29的图像A″)，并在进行边缘检测处理前的原图像阶段将现时点和过去时点的图像合成后，各个原图像上短的远方的行驶划分线被延长为如图29的图像C那样，之后即使进行边缘检测处理，如图29的图像D中用实线围住那样，边缘也可被检测到。
这样，在本实施例中，在行驶划分线的识别处理的拍摄图像中至少行驶划分线的形状不改变的处理阶段，更具体地说，在边缘检测处理前合成所述拍摄图像而构成，即，在边缘检测处理前的原图像的阶段将现时点和过去时点的图像合成，因此也能够可靠地检测远方的行驶划分线，因此，能够使行驶划分线在外观上延长，从而能够提高识别精度。
还有，虽然设定为边缘检测处理前，但只要为保留拍摄的原图像上的行驶划分线的形状、外形的状态即可，如前面所述，通常，由于边缘检测处理由微分处理、双值化处理、边缘处理构成，所以，即使在边缘检测处理前、即没有微分处理前，若在双值化处理前合成，则也可以得到本发明的效果。
还有，本发明以利用边缘检测处理、哈夫(Hough)变换进行的行驶划分线识别为例进行了说明，但本发明不限于此，对于其它方法，例如，图31所示或特开平8-297728号公报所记载的使用图形匹配的方法，也可以通过延长行驶划分线部分，来更高精度进行图形匹配，这是有效的。图32中表示了该图形例。
即，公知有将行驶划分线由车载的照相机拍摄的图像中形状的图形作为如图32所示的多个样板预先设定，将其如图31的中央的图那样依次放到拍摄图像中，求出图形和样板的一致度，如图31的下图，以根据一致度的分布成为一致度最高点的列作为行驶划分线等方法，在这样的图形匹配中也可以利用本发明将行驶划分线延长，更加提高行驶划分线的识别精度。
还有，该实施例中，在S100的处理中，应合成的图像数为二个，但根据需要也可以为其以上的多个。还有，该实施例中根据车速从周期性拍摄的图像内选择，但也可以将拍摄装置设置两个以上等，根据车速从不在共同的同一周期拍摄的图像内选择。
还有，在S108的补正中，也可以替代由图像得到的地平线的变化，在车辆12的适宜位置配置倾角传感器从该输出求出的动态偏移并进行补正。
另外，照相机10为拍摄包括前方路面的区域的构成，但也可以设置拍摄包括车辆12前进行驶时的车辆后方路面的区域的拍摄装置(照相机)而构成，不用说也可以根据该拍摄装置拍摄的拍摄图像识别车辆后方的行驶划分线。因此，该说明书中所谓“车辆的进行方向”以表示车辆前后方向的意思而使用。
该实施例如上所述，车辆用行驶划分线识别装置中具备拍摄包括车辆12的行进方向的路面的区域拍摄装置(照相机10、图像处理ECU44)；能够识别由所述拍摄装置拍摄的拍摄图像中所述路面上的至少虚线状的行驶划分线的划分线识别装置(图像处理ECU44，S12～S16)；合成由所述拍摄装置在不同时刻拍摄的多个拍摄图像延长所述拍摄图像中的所述行驶划分线的长度的图像合成装置(图像处理ECU44，S12、S100～S110)，其中，该车辆用行驶划分线识别装置具备检测所述车辆行驶速度的速度检测装置；图像选择装置(图像处理ECU44，S12、S100)，其以由所述图像合成装置合成的拍摄图像中任意的拍摄图像的拍摄时刻为基准，相隔与对所述任意的拍摄图像由所述速度检测装置检测的行驶速度对应而决定的时间间隔，将在过去拍摄的至少一个拍摄图像作为要与所述任意的拍摄图像合成的拍摄图像进行选择。
另外，所述图像选择装置中，所述检测的行驶速度越低，越是选择在相隔更长时间间隔在过去拍摄的至少一个拍摄图像(S100)。
另外，所述虚线状行驶划分线为彩色部分(白线部分)和无色部分(空白)周期性重复的线，并且，所述图像选择装置选择相隔所述时间间隔在过去拍摄的至少一个拍摄图像，使得所述彩色部分的长度相对于所述彩色部分和无色部分的合计长度为30％以上(S100)。
另外，所述划分线识别装置是通过周期性识别处理可识别所述行驶划分线的装置，并且，所述任意的拍摄图像是在当前的行驶划分线识别处理周期拍摄的图像(S100)。
还有，所述拍摄装置每隔规定时间周期性地拍摄包括车辆行进方向的路面区域，并且，所述图像选择装置选择以相当于对应由所述速度检测装置检测出的行驶速度而决定的所述时间间隔周期拍摄的至少一个拍摄图像(S100)。
工业上的可利用性根据本发明，能够提供一种车辆用行驶划分线识别装置，其以合成的拍摄图像中任意的拍摄图像的拍摄时刻作为基准，以在对应相对于其拍摄图像检测的行驶速度而决定的相隔时间间隔在过去拍摄的至少一个拍摄图像作为要与其任意的拍摄图像合成的拍摄图像进行选择，因此，无论车速的高低，都能够设定行驶划分线的白线部分外观上的最合适的延长量或延长比例，从而能够提高行驶划分线的识别精度，因此，能够可靠地识别本车的行驶道路。
权利要求
1.一种车辆用行驶划分线识别装置，其具备对包括车辆行进方向路面的区域进行拍摄的拍摄装置；能够识别由所述拍摄装置拍摄的拍摄图像中的所述路面上至少虚线状的行驶划分线的划分线识别装置；将由所述拍摄装置在不同时刻拍摄的多个拍摄图像合成，延长所述拍摄图像中的所述行驶划分线长度的图像合成装置，该车辆用行驶划分线识别装置的特征在于，具备检测所述车辆行驶速度的速度检测装置；图像选择装置，其以由所述图像合成装置合成的拍摄图像中任意的拍摄图像的拍摄时刻为基准，将相隔对所述任意的拍摄图像根据由所述速度检测装置检测的行驶速度而决定的时间间隔，在过去拍摄的至少一个拍摄图像作为要与所述任意的拍摄图像合成的拍摄图像进行选择。
2.如权利要求1所述的车辆用行驶划分线识别装置，其特征在于，所述图像选择装置中，所述检测的行驶速度越低，越是选择相隔更长时间间隔在过去拍摄的至少一个拍摄图像。
3.如权利要求1或2所述的车辆用行驶划分线识别装置，其特征在于，所述虚线状行驶划分线是彩色部分和无色部分周期性重复的线，并且，所述图像选择装置选择相隔所述时间间隔在过去拍摄的至少一个拍摄图像，使所述彩色部分的长度相对于所述彩色部分和无色部分的合计长度为30％以上。
4.如权利要求1～3中任一项所述的车辆用行驶划分线识别装置，其特征在于，所述划分线识别装置可通过周期性识别处理识别所述行驶划分线，并且，所述任意的拍摄图像是在当前的行驶划分线识别处理周期中拍摄的图像。
5.如权利要求1～4中任一项所述的车辆用行驶划分线识别装置，其特征在于，所述拍摄装置在按规定时间周期性地对包括所述车辆行进方向的路面区域进行拍摄，并且，所述图像选择装置选择按相当于根据由所述速度检测装置检测的行驶速度而决定的所述时间间隔的周期拍摄的至少一个拍摄图像。
全文摘要
一种车辆用行驶划分线识别装置，其具备将用照相机在不同时刻拍摄的多个拍摄图像合成并延长拍摄图像中的白线等行驶划分线的长度的图像合成装置(S100～S110)，其中，检测出车辆的行驶速度，以合成的拍摄图像中任意的拍摄图像的拍摄时刻作为基准，将相隔与对任意的拍摄图像检测的行驶速度对应而决定的时间间隔在过去拍摄的至少一个拍摄图像作为要与所述任意的拍摄图像合成的拍摄图像进行选择，由此，通过对应车速选择合成的图像，能够高精度地、可靠地识别行驶划分线。
文档编号G06T7/60GK1954350SQ20058001576
公开日2007年4月25日 申请日期2005年5月17日 优先权日2004年5月19日
发明者池田哲夫, 荒晴哉 申请人:本田技研工业株式会社