驾驶员成像装置以及驾驶员成像方法

专利名称：驾驶员成像装置以及驾驶员成像方法
技术领域：
本发明涉及用于从前方拍摄车辆中的驾驶员的图像的驾驶员成像装置以及驾驶 员成像方法。
背景技术：
拍摄正驾驶车辆的驾驶员的图像并利用拍摄到的图像来监控驾驶员的状态的系 统正在开发中。例如，在车辆的转向盘附近布置用于从前方拍摄驾驶员的图像的摄像机，并 利用由摄像机拍摄到的图像来分析驾驶员的状态。例如，公开号为2004-192345的日本专利申请描述了 一种驾驶员状态检测装置， 该装置利用驾驶员的图像来判定驾驶员的眼睛睁开的程度(下文中也称作“眼开度”)和驾 驶员正凝视的方向(即，下文中也称作“凝视方向”)。在所述公开中所描述的驾驶员状态 检测装置从图像中检测驾驶员的眼睛的坐标值。之后，驾驶员状态检测装置判定驾驶员凝 视的方向或驾驶员的眼睛睁开的程度以判定驾驶员是否是漫不经心的或正在打盹。然而，当从前方拍摄车辆中的驾驶员的图像时，来自车辆外部的光可能在驾驶员 的眼睛周围产生阴影，使得该区域在图像中看起来暗因此缺乏对比度，即，导致了暗(艮口， 曝光不足)的图像。在这种情况下，不能够检测驾驶员的眼睛睁开的程度和眼睛的位置，因 此难以判定驾驶员的眼睛睁开的程度或驾驶员凝视的方向。为了防止这种情况，可增加拍摄驾驶员的图像时的曝光的量(在本说明书中简称 作“曝光量”)(例如，增加电子快门时间)以便增加阴影部分上的光的量，以防止所述部分 曝光不足。然而，当利用位于阴影中的驾驶员的眼睛附近的区域作为基准来确定曝光量时， 能够获得眼睛附近的区域亮的图像，但是诸如驾驶员的脸部的轮廓的其它亮部的对比度损 失(即，曝光过度)。因此，不能利用所述亮部来执行图像处理。

发明内容
因此，本发明提供了驾驶员成像装置以及驾驶员成像方法，其能够拍摄适于判定 驾驶员的状态的图像，并判定驾驶员的状态。本发明的第一方案涉及一种驾驶员成像装置，其包括成像器件，其用于拍摄车辆 的驾驶员的脸部的图像；第一图像处理器件，其利用由所述成像器件拍摄到的第一图像，对 所述第一图像中的所述驾驶员的脸部的广域部分执行图像处理；以及第二图像处理器件， 其利用由所述成像器件以比由所述成像器件拍摄到的所述第一图像的曝光量高的曝光量 拍摄到的第二图像，对所述第二图像中的所述驾驶员的脸部的一部分执行图像处理。根据该方案，利用以不同曝光量拍摄到的多个图像中的每一图像中能够获得适当 的对比度的部分，能够进行图像处理，因此能够精确地判定驾驶员的状态。例如，通过利用 第一图像(即，以相对低的曝光量拍摄到的图像)对看起来亮的驾驶员的脸部的广域部分 执行图像处理，并利用第二图像(即，以相对高的曝光量拍摄到的图像)对看起来暗的驾驶 员的脸部的一部分执行图像处理，能够精确地判定驾驶员的状态。
在上述方案中，通过对所述第二图像中的所述驾驶员的眼睛周围的部分执行图像 处理，所述第二图像处理器件可以检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员 正凝视的方向中的至少一个。根据该结构，通过利用第二图像对看起来暗的驾驶员的脸部的一部分(诸如眼睛 周围的区域)执行图像处理来检测眼开度和凝视方向。在上述结构中，通过对所述第二图像中的所述驾驶员的口部、眉部和皱纹执行图 像处理，所述第二图像处理器件可以检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶 员正凝视的方向中的至少一个。在上述结构中，通过对所述第一图像中的所述驾驶员的脸部的广域部分执行图像 处理，所述第一图像处理器件可以检测i)以所述车辆的正面作为基准的所述驾驶员的脸 部朝向的方向和ii)所述驾驶员的眼睛的位置中的至少一个。根据该结构，通过利用第一图像对看起来亮的驾驶员的脸部的广域部分(诸如轮 廓、鼻孔等)执行图像处理，来判定驾驶员的脸部朝向的方向和驾驶员的眼睛的位置。因 此，利用以相对低的曝光量对看起来亮的部分所拍摄的图像，能够基于驾驶员的脸部的广 域部分的状态来作出判定(诸如基于驾驶员的脸部朝向的方向作出驾驶员是否正漫不经 心的判定)。因此，能够基于所述部分的状态来精确地判定驾驶员的状态。在上述结构中，通过对所述第一图像中的所述驾驶员的脸部的所述广域部分执行 图像处理，所述第一图像处理器件可以检测所述驾驶员的眼睛在所述第一图像中的区域， 而且，通过在由所述第一图像处理器件检测到的所述区域中对所述第二图像执行图像处 理，所述第二图像处理器件可以检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员正 凝视的方向中的至少一个。根据该结构，利用能够获得驾驶员的脸部的广域部分(轮廓、鼻孔等)的对比度的 第一图像，能够检测眼睛在图像中的区域。因此，能够精确地确定所述区域。而且，利用能 够获得驾驶员的脸部的一部分(诸如眼睛周围的区域)的对比度的第二图像，通过执行搜 索所述区域的图像处理，能够检测驾驶员的眼睛睁开的程度和驾驶员正凝视的方向。因此， 能够减小图像处理中的搜索范围并能够精确地判定驾驶员的眼睛的状态。上述驾驶员成像装置还可以包括用于控制快门时间的快门控制器件，所述快门时 间为所述成像器件在拍摄图像时接收光的时间段。所述快门控制器件可以通过使拍摄所述 第二图像时的快门时间比拍摄所述第一图像时的快门时间相对长来控制所述成像器件拍 摄图像时的曝光量。根据该结构，通过调节成像器件的快门时间(例如，诸如CCD的电子快门时间)，能 够容易地获得以不同的曝光量拍摄到的第一图像和第二图像。在上述结构中，所述快门控制器件可以包括快门时间校正器件，所述快门时间校 正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的快 门时间，并且根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时的快门 时间。根据该结构，通过根据驾驶员的脸部的广域部分的亮度来校正拍摄第一图像的快 门时间，并根据驾驶员的脸部的一部分的亮度来校正获得第二图像的快门时间，能够对于 将进行图像处理的部分适当地调节拍摄到的对象物的亮度。因此，利用可适当获得将进行图像处理的该部分的对比度的图像来进行处理总是可行的。上述驾驶员成像装置还可以包括光圈控制器件，所述光圈控制器件用于控制允许 光进入所述成像器件的光圈的开口度。所述光圈控制器件可以通过使拍摄所述第二图像时 的所述光圈的开口度比拍摄所述第一图像时的所述光圈的开口度相对大来控制所述成像 器件拍摄图像时的曝光量。在上述结构中，光圈控制器件可以包括光圈开口度校正器件，所述光圈开口度校 正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的所 述光圈的开口度，并根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时 的所述光圈的开口度。上述驾驶员成像装置还可以包括感光度控制器件，所述感光度控制器件用于控制 所述成像器件的感光度。所述感光度控制器件可以通过使拍摄所述第二图像时的感光度高 于拍摄所述第一图像时的感光度来控制所述成像器件拍摄图像时的曝光量。在上述结构中，所述感光度控制器件可以包括感光度校正器件，所述感光度校正 器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄所述第一图像时的感光 度，并且根据所述第二图像中的所述一部分的亮度来校正拍摄所述第二图像时的感光度。上述驾驶员成像装置还可以包括曝光量控制器件，所述曝光量控制器件用于控制 所述成像器件拍摄所述图像时的曝光量。所述曝光量控制器件可以使所述成像器件以拍摄 所述第一图像时的曝光量拍摄图像的正时与所述成像器件以拍摄所述第二图像时的曝光 量拍摄图像的正时周期性地交替。根据该结构，通过周期性地交替拍摄第一图像和第二图像，能够获得在相近的正 时拍摄到的第一图像和第二图像，因此能够判定出已经拍摄到的处于大体相同的位置和状 态的驾驶员的状态。在上述结构中，所述第一图像处理器件的第一图像处理可以在与所述第二图像处 理器件的第二图像处理不同的正时执行。上述驾驶员成像装置还可以包括存储器件，所述存储器件用于存储所述第一图像 和所述第二图像。所述第一图像处理器件和所述第二图像处理器件各自利用连续拍摄到并 存储在所述存储器件中的所述第一图像和所述第二图像的组合来执行图像处理。在上述结构中，所述驾驶员的眼睛的位置可以通过检测所述驾驶员的鼻部的位置 来确定。本发明的第二方案涉及一种驾驶员成像装置，其包括成像器件，其用于拍摄车辆 的驾驶员的脸部的图像；脸部方向判定器件，其利用由所述成像器件拍摄到的第一图像，以 所述车辆的正面作为基准，判定在所述第一图像中所述驾驶员的脸部朝向的方向；以及眼 睛信息检测器件，其i)利用由所述成像器件以比由所述成像器件拍摄到的所述第一图像 的曝光量高的曝光量拍摄到的第二图像，判定在所述第二图像中所述驾驶员的眼睛睁开的 程度，或者ii)利用由所述成像器件以比由所述成像器件拍摄到的所述第一图像的曝光量 高的曝光量拍摄到的所述第二图像，判定在所述第二图像中所述驾驶员正凝视的方向。根据该方案，能够利用在以不同的曝光量拍摄到的多个图像中的每一个中能够获 得适当的对比度的部分来进行图像处理，因此能够精确地判定驾驶员的脸部朝向的方向和 驾驶员的眼睛睁开的程度。
本发明的第三方案涉及一种驾驶员成像方法，其包括利用拍摄到驾驶员的脸部 的第一图像，对所述第一图像中的车辆的所述驾驶员的脸部的广域部分执行图像处理；以 及利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的第二图像，对所 述第二图像中的所述驾驶员的脸部的一部分执行图像处理。本发明的第四方案涉及一种驾驶员成像方法，其包括利用拍摄到驾驶员的脸部 的第一图像，以车辆的正面作为基准，判定在所述第一图像中所述车辆的所述驾驶员的脸 部朝向的方向；以及利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部 的第二图像，判定在所述第二图像中所述驾驶员的眼睛睁开的程度；或者利用以比所述第 一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的所述第二图像，判定在所述第二图 像中所述驾驶员正凝视的方向。而且，本发明的驾驶员成像方法也能够产生与通过上述驾驶员成像装置所产生的 效果相同的效果。


本发明上述的和进一步的目的、特征和优点通过下面结合附图对示范性实施例的 描述将变得清晰，其中相同的附图标记用于表示相同的元件，其中图1为包括根据本发明的示范性实施例的驾驶员成像装置的驾驶员支持系统的 功能结构的示例的方框图；图2为示意地示出了当从驾驶席侧观察时安装在车辆中的驾驶员监视摄像机的 示例的侧视图；图3为示意地示出了当从转向盘侧观察时安装在车辆中的驾驶员监视摄像机的 示例的前视图；图4为由驾驶员监视摄像机以相对低的曝光量拍摄到的驾驶员的第一图像的示 例的视图；图5为由驾驶员监视摄像机以相对高的曝光量拍摄到的驾驶员的第二图像的示 例的视图；图6为存储在驾驶员监视E⑶的存储器中的主要数据的示例；以及图7为图示了由驾驶员监视E⑶执行的程序的示例的流程图。
具体实施例方式现在将结合图1描述根据本发明的示范性实施例的一种驾驶员成像装置。顺便提 及，在该示范性实施例中，在车辆中设置了包括驾驶员成像装置的驾驶员支持系统。作为示 例，驾驶员支持系统拍摄驾驶车辆的驾驶员的脸部的图像，基于该图像来判定驾驶员的状 态(例如，驾驶员正面对的方向、眼开度以及凝视方向等)，并根据判定结果来控制车辆。而 且，驾驶员支持系统还识别车辆周围的其它车辆和障碍物，判定碰撞的危险性，并根据判定 结果来控制车辆。顺便提及，图1为包括驾驶员成像装置的驾驶员支持系统的功能结构的 示例的方框图。结合图1，驾驶员支持系统包括驾驶员监视摄像机1、驾驶员监视E⑶(电子控制单 元)2、驾驶员支持系统ECU 3、毫米波雷达4、仪表5、制动控制ECU 6、警告蜂鸣器61和制动执行器62。驾驶员监视E⑶2、驾驶员支持系统E⑶3和毫米波雷达4经由CAN(控制局 域网)10等全都连接在一起。而且，驾驶员支持系统E⑶3、仪表5和制动控制E⑶6经由 CAN 20等全都连接在一起。驾驶员监视摄像机1包括CXD (电荷耦合器件)11和LED (发光二极管)12，CXD 11 和LED 12中的每一个利用来自驾驶员监视E⑶2的电力而运行。例如，LED 12从驾驶员前 方朝驾驶员发射近红外光。在这种情况下，CCD 11为在近红外区域中高感光的成像设备， 并典型地为近红外CXD摄像机。这样，通过利用在近红外区域中高感光的(XD11，即使当在 夜间或隧道等中行驶的情况下车内暗时，也能够以良好的感光度拍摄到由LED 12照亮的 驾驶员的图像。顺便提及，CCD 11安装在其能够从前方拍摄驾驶员的脸部的图像的位置上。 CCD 11以预定的周期拍摄驾驶员的脸部及其周围区域的图像并将拍摄到的图像输出到驾 驶员监视E⑶2。更具体地，CXD 11根据来自于驾驶员监视E⑶2的指示以预定的周期以 不同的曝光量交替地拍摄两个图像(即，第一图像Pl和第二图像P2)，并将拍摄到的两个图 像输出到驾驶员监视ECU 2。顺便提及，稍后将详细描述驾驶员监视摄像机1安装的位置。驾驶员监视E⑶2为一处理单元，其包括其内部的诸如为微型计算机的多个信息 处理设备、存储用于处理的各种类型的信息的存储器、用于向驾驶员监视摄像机1供电的 供电电路以及接口电路等。例如，驾驶员监视ECU 2利用由驾驶员监视摄像机1拍摄到的 图像来检测驾驶员正面对的方向、驾驶员的眼睛睁开的程度以及凝视方向。驾驶员监视ECU 2将检测结果输出到驾驶员支持系统ECU 3。而且，驾驶员监视ECU 2利用以预定的周期交 替地拍摄到的两个图像来调节由CCD 11拍摄到的图像的曝光量。毫米波雷达4向车辆前方、车辆后方或者车辆斜前方等发射毫米波并接收从对象 物反射的电波。之后，毫米波雷达4测量车辆周围的障碍物或其它车辆的位置以及车辆与 其它车辆或障碍物之间的相对速度，并将结果输出到驾驶员支持系统ECU 3。驾驶员支持系统ECU 3基于与驾驶员正面对的方向、驾驶员的眼睛睁开的程度和 驾驶员正凝视的方向等相关的信息以及从毫米波雷达4输出的关于车辆周围的车辆或障 碍物的识别结果，适当地调节车辆中的乘员保护装置的特性，运行碰撞避免/缓解系统并 向驾驶员发布适当的警告。图1中的仪表5和制动控制ECU 6为由驾驶员支持系统ECU 3 控制的设备的示例。仪表5设置在车辆中的驾驶席附近并位于正驾驶车辆的驾驶员可以看得见的位 置上。例如，仪表5设置在驾驶员前方的仪表板上并根据来自驾驶员支持系统ECU 3的命 令向驾驶员显示警告。例如，如果判定出驾驶员没有向前看、正闭着他/她的眼睛或者是 漫不经心的从而存在车辆与其它对象物碰撞的危险性，则驾驶员支持系统ECU 3即刻照亮 仪表5上的显示器以促使驾驶员采取行动以避免碰撞(即，发布早期警告)。典型地，仪表 5由组合显示器等形成，在组合显示器中，几个主要指示仪表、指示灯、警告灯以及显示各种 信息的多个信息显示器等组合在一个面板中。顺便提及，仪表5还可以由诸如仰视显示器 的其它显示设备形成，在仰视显示器中，半反镜(反射玻璃)设置在驾驶席前方的前窗玻璃 一部分上并且信息等的虚像以荧光显示在半反镜上。制动控制ECU 6控制设置在车辆中的警告蜂鸣器61和制动执行器62的操作。例 如，如果驾驶员支持系统ECU 3判定驾驶员没有向前看、正闭着他或她的眼睛或者是漫不 经心的从而存在车辆与其它对象物碰撞的危险性，则制动控制ECU 6即刻启动警告蜂鸣器61从而促使驾驶员采取行动以避免碰撞(即，发布早期警告)。因此，驾驶员能够即刻采取 行动以例如通过注意而避免碰撞。而且，制动控制ECU 6根据驾驶员踏下制动踏板的力来 控制制动执行器62的操作，以帮助增加制动压力(即，执行警告制动)。结果，制动执行器 62的液压响应提高，因此能够减小车辆的速度。接下来，将结合图2和图3描述驾驶员监视摄像机3。顺便提及，图2为示意地示 出了当从驾驶席侧观察时安装在车辆中的驾驶员监视摄像机1的示例的侧视图。图3为示 意地示出了当从转向盘91侧观察时安装在车辆中的驾驶员监视摄像机1的示例的前视图。在图2和图3中，驾驶员监视摄像机1安装在转向管柱92上。驾驶员监视摄像 机1的CXD 11调节成像方向，从而能够通过转向盘91中的开口(诸如在轮缘911的内侧 上不存在轮辐912等的开口)从驾驶员前方拍摄正操作转向盘91的驾驶员的脸部的图像。 顺便提及，在图2中，虚线示出了表示CCD 11的视野的监视区的一部分(摄像机的视角的 一部分)。调节CXD 11的成像方向，使得驾驶员的头部位于监视区内。在这种情况下，LED 12设置在如上所述的驾驶员监视摄像机1中。LED 12在与成像方向相同的方向上从驾驶 员前方朝驾驶员发射近红外光。顺便提及，LED 12至少在比驾驶员监视摄像机1的视角宽 的区域上发射该近红外光。如上所述，驾驶员监视摄像机1安装在转向管柱92上，因此其 能够从驾驶员前方的近距离拍摄驾驶员的图像，从而能够精确地拍摄车辆中的驾驶员的脸 部的图像。接下来，将结合图4和图5描述由驾驶员监视摄像机1拍摄到的第一图像Pl和第 二图像P2。顺便提及，图4为由驾驶员监视摄像机1以相对低的曝光量(S卩，以相对小的曝 光量)拍摄到的驾驶员的第一图像的实例的视图，并且图5为由驾驶员监视摄像机1以相 对高的曝光量(即，以相对大的曝光量)拍摄到的驾驶员的第二图像的示例的视图。在图4中，当驾驶员监视摄像机1拍摄驾驶员的图像时，通常以与驾驶员的整个脸 部的亮度相对应的曝光量来拍摄图像(此时获得的图像视为第一图像Pi)。因此，在第一图 像Pl中，来自车辆外部的光例如可能在驾驶员的眼睛周围产生阴影，使得由图4中的阴影 区域所示的图像中的该区域看起来暗因此缺乏对比度(由于曝光不足)。特别是，当在脸部 上存在多条直线和曲线时，这些直线和曲线在图像中产生通常表现为暗部的阴影。但是，在 第一图像Pl中，能够获得驾驶员的整个脸部的亮部的对比度，因此该第一图像Pl适于检测 诸如驾驶员脸部的轮廓和鼻孔的位置等的广域部分。在图5中，当驾驶员监视摄像机1以相对高的曝光量拍摄驾驶员的图像时(诸如 当电子快门时间长时)，上述暗部变亮(此时获得的图像视为第一图像P2)。因此，在第二 图像P2中，能够获得在典型的曝光量的情况下会看起来暗的部分的对比度，因此该第二图 像P2适于对于诸如驾驶员的眼睛的脸部的一部分进行图像处理。然而，第二图像P2可能 缺乏驾驶员的整个脸部的亮部的对比度(由于过度曝光)(如图5中的虚线所示)。根据该示范性实施例的驾驶员成像装置利用具有相对低的曝光量的图像即第一 图像Pl对驾驶员的脸部的广域部分(诸如脸部的轮廓和鼻孔的位置)执行图像处理。驾 驶员成像装置还利用具有相对高的曝光量的图像即第二图像P2对驾驶员的脸部的一部分 (诸如眼睛)执行图像处理。接下来，将结合图6和图7描述驾驶员图像处理中使用的主要数据和驾驶员监视 ECU 2的操作的示例。顺便提及，图6为存储在驾驶员监视ECU 2的存储器中的主要数据的示例，且图7为图示了由驾驶员监视ECU 2执行的程序的示例的流程图。而且，图7所示 的流程图中的步骤通过执行预定程序的驾驶员监视E⑶2而执行。例如，用于执行这些步 骤的程序被预先存储在设置在驾驶员监视E⑶2中的存储区域(诸如存储器、硬盘和光盘 等)中，并且当驾驶员监视ECU 2的电源接通时由驾驶员监视E⑶2来执行。在图6中，第一图像数据Da、第二图像数据Db、第一电子快门数据Dc、第二电子快 门数据Dd、脸部方向检测数据De、眼睛位置数据Df以及眼开度/凝视检测数据Dg等被存 储在驾驶员监视E⑶2的存储器中。第一图像数据Da为指示由驾驶员监视摄像机1以相对低的曝光量拍摄到的图像 即第一图像Pl的存储数据，并被以预定的处理周期更新。第二图像数据Db为指示由驾驶 员监视摄像机1以相对高的曝光量拍摄到的图像即第二图像P2的存储数据，并被以预定的 处理周期更新。顺便提及，如稍后将描述的，拍摄将被存储为第一图像数据Da的第一图像 Pl的正时和拍摄将被存储为第二图像数据Db的第二图像P2的正时之间的时差为极其短的 时间间隔(即，驾驶员监视摄像机1的成像周期之间的间隔，诸如1/30秒或1/60秒)。第一电子快门数据Dc为指示当驾驶员监视摄像机1拍摄第一图像Pl时的电子快 门时间(即，聚光时间)的存储数据。第二电子快门数据Dd为指示当驾驶员监视摄像机1 拍摄第二图像P2时的电子快门时间的存储数据。脸部方向检测数据De为指示脸部角度α的存储数据，该脸部角度α指示驾驶员 的脸部相对于前方向左或向右转动的角度。眼睛位置数据Df为指示对于第一图像Pl设定 的左眼搜索范围和右眼搜索范围的位置和大小的存储数据。眼开度/凝视检测数据Dg为 指示驾驶员的眼睛睁开的程度以及驾驶员正凝视的方向的存储数据。接下来，将结合图7描述由驾驶员监视E⑶2执行的预定程序。首先，驾驶员监视 ECU 2在步骤S51中执行初始化，之后进行到下一个步骤。更具体地，在步骤S51中，驾驶 员监视E⑶2初始化存储在存储器中的参数和图像数据等。例如，驾驶员监视E⑶2将拍 摄第一图像Pl时的电子快门时间和拍摄第二图像P2时的电子快门时间设定为预定默认时 间，并利用这些时间来存储第一图像Pl作为第一电子快门数据Dc并存储第二图像P2作为 第二电子快门数据Dd。接下来，在步骤S52中，驾驶员监视E⑶2从驾驶员监视摄像机1获得第一图像Pl 并更新第一图像数据Da，在这之后进行到下一个步骤。例如，驾驶员监视E⑶2参考第一 电子快门数据Dc而获得用于第一图像Pl的电子快门时间，并控制驾驶员监视摄像机1的 操作以利用所述电子快门时间来拍摄图像。之后，驾驶员监视ECU 2从驾驶员监视摄像机 1获得指示以用于第一图像Pi的电子快门时间拍摄到的第一图像Pi的数据并更新第一图 像数据Da。接下来，在步骤S53中，驾驶员监视E⑶2从驾驶员监视摄像机1获得第二图像P2 并更新第二图像数据Da，在这之后进行到下一个步骤。例如，驾驶员监视E⑶2参考第二 电子快门数据Dd而获得用于第二图像P2的电子快门时间，并控制驾驶员监视摄像机1的 操作以利用所述电子快门时间来拍摄图像。之后，驾驶员监视ECU 2从驾驶员监视摄像机 1获得指示以用于第二图像P2的电子快门时间拍摄到的第二图像P2的数据并更新第二图 像数据Db。此处，优选地，步骤S52和步骤S53之间的处理间隔尽可能地短。例如，当驾驶员监视摄像机1的成像周期为每秒30帧或60帧时，步骤S52和步骤S53之间的处理间隔可 以为1/30秒或1/60秒，以与成像周期相匹配。因此，能够使得拍摄将被存储为第一图像数 据Da的第一图像Pl的正时和拍摄将被存储为第二图像数据的Dd的第二图像P2的正时之
差极其短。接下来，在步骤S54中，驾驶员监视E⑶2利用第一图像Pl来执行脸部方向检测 处理，以检测驾驶员的脸部相对于前方向左或向右转动到什么程度，在这之后进行到下一 个步骤。下文中，将描述在步骤S54中执行的该脸部方向检测处理的示例。例如，驾驶员监视E⑶2基于在上述步骤S52中获得的第一图像Pl来计算指示驾 驶员的脸部相对于车辆前方向左或向右转动到什么程度的脸部角度α。在这种情况下，当 驾驶员相对于摄像机1正面向前方(即，面朝车辆前方)时，脸部角度α的值为0。脸部 角度α的值随着脸部相对于驾驶员监视摄像机1从前方进一步向右转动而增加，并随着脸 部相对于驾驶员监视摄像机1从前方进一步向左转动而减小。也就是说，脸部角度α的值 在脸部相对于驾驶员监视摄像机1向右转动时为正值，而在脸部相对于驾驶员监视摄像机 1向左转动时为负值。根据利用苏贝尔(Sobel)算子等的边缘提取处理，驾驶员监视E⑶2通过在第一 图像Pi中搜索脸部的轮廓和位于脸部左-右方向的中心的垂直中心线，来检测图像Pi中 的驾驶员的脸部的轮廓左边缘和轮廓右边缘以及脸部的垂直中心线。例如，驾驶员监视ECU 2产生第一图像Pl的亮图像并对所述亮图像施加边缘提取处理，以提取脸部的轮廓左边缘 和轮廓右边缘的位置以及脸部的一部分(例如，眉部、眼睛、鼻部和口部)的位置。接下来， 驾驶员监视ECU 2基于提取出的脸部的轮廓左边缘和轮廓右边缘的位置以及脸部的一部 分的位置来计算第一图像Pl中的脸部宽度和垂直中心线。之后，驾驶员监视E⑶2计算从 轮廓左边缘到垂直中心线的左半边脸部的宽度(在本说明书中也称作“左脸宽度”)，以及 从轮廓右边缘到垂直中心线的右半边脸部的宽度(在本说明书中也称作“右脸宽度”)。接下来，驾驶员监视E⑶2基于左脸宽度的值和右脸宽度的值之比来计算脸部角 度α。例如，当驾驶员的脸部相对于驾驶员监视摄像机1正面向前方时，右脸宽度和左脸宽 度相等。然而，当驾驶员的脸部向右转动时，左脸宽度大于右脸宽度。也就是说，右脸宽度 和左脸宽度之比根据脸部角度α而变化。因此，驾驶员监视E⑶2基于右脸宽度和左脸宽 度之比来计算脸部角度α。而且，驾驶员监视ECU 2利用指示计算出的脸部角度α的数据 来更新脸部方向检测数据De。这样，在步骤S54中执行的脸部方向检测处理是利用第一图像Pl来执行的。在这 种情况下，在上述第一图像Pl中，能够获得驾驶员的整个脸部的亮部的对比度，因此该第 一图像Pl适于检测驾驶员的鼻孔的位置以及脸部的轮廓的位置等。在上述脸部方向检测 处理中，通过边缘提取处理来找出图像中的脸部的周缘部分和脸部的垂直中心线，因此能 够利用第一图像Pl来获得精确的脸部角度α。在步骤S54中执行了脸部方向检测处理之后，在步骤S55中，驾驶员监视E⑶2利 用第一图像Pl来执行眼睛位置估计处理，以估计驾驶员的眼睛所处的区域，并且之后进行 到下一个步骤。下文中，将描述在步骤S55中执行的该眼睛位置估计处理的示例。首先，驾驶员监视ECU 2利用在步骤S54中计算出的与驾驶员的脸部宽度有关的 信息等来设定驾驶员的鼻部的图像估计在第一图像Pl中将所处的区域。之后，驾驶员监视ECU 2在所述区域内搜索具有驾驶员的鼻部的部分，并在第一图像Pl中检测鼻部的位置。 更具体地，驾驶员监视E⑶2在所述区域内检测两个鼻孔的位置。之后，驾驶员监视E⑶2 设定两鼻孔间的中间位置作为第一图像Pl中的鼻部的位置。顺便提及，与眼睛的形状等相 比，鼻孔的形状的差别一般较小，因此，与眼睛的位置等相比，鼻孔的位置能够被更精确地 检测到。接下来，对于第一图像P1，驾驶员监视E⑶2利用鼻部的位置作为基准来设定最 佳左眼搜索范围和最佳右眼搜索范围。例如，驾驶员监视E⑶2将左眼搜索范围和右眼搜 索范围设定为第一图像Pl中在预定方向上远离鼻部的位置预定距离的位置。在这种情况 下，可以基于预定的参考信息来设定出基于鼻部的位置设定的左眼搜索范围和右眼搜索范 围的方向和距离。顺便提及，还可以改变所设定的左眼搜索范围和右眼搜索范围的方向和 距离以及左眼搜索范围和右眼搜索范围的大小。因此，即使第一图像Pl中的驾驶员的脸部 的尺寸变化(即，典型地，即使驾驶员的脸部和驾驶员监视摄像机1之间的距离变化)，也 可以适当地设定左眼搜索范围和右眼搜索范围的位置和大小以跟踪脸部的尺寸的变化。之 后，驾驶员监视ECU 2利用指示设定出的左眼搜索范围和右眼搜索范围的位置和大小的数 据来更新眼睛位置数据Df。这样，在步骤S55中执行的眼睛位置估计处理是利用第一图像Pl来执行的。在这 种情况下，正如上所述，在第一图像Pl中，能够获得驾驶员的整个脸部的亮部的对比度，因 此该第一图像Pi适于检测驾驶员的鼻孔的位置等。在眼睛位置估计处理中，利用图像中的 脸部的鼻孔位置作为基准来设定左眼搜索范围和右眼搜索范围的位置，因此能够利用第一 图像Pl来设定精确的搜索范围。在步骤S55中执行了眼睛位置估计处理之后，在步骤S56中，驾驶员监视E⑶2利 用第二图像P2来执行眼开度/凝视检测，以检测驾驶员的眼睛睁开的程度和凝视方向，在 这之后进行到下一个步骤。下文中，将描述在步骤S56中执行的该眼开度/凝视检测的示 例。首先，驾驶员监视E⑶2检测第二图像P2中的左眼和右眼的位置。在这种情况 下，如上所述，第一图像Pl和第二图像P2为由相同的驾驶员监视摄像机1以极其短的时间 间隔拍摄到的图像。也就是说，可以假定，在第一图像Pl和第二图像P2中拍摄到的对象物 (即，驾驶员的脸部)是以大体相同的状态和位置拍摄到的。而且，将指示在第一图像Pl所 设定的左眼搜索范围和右眼搜索范围的位置和大小的数据存储为眼睛位置数据Df。因此， 驾驶员监视ECU 2将在第一图像Pl中设定出的左眼搜索范围和右眼搜索范围的位置和大 小照其原状应用于第二图像P2，并对于第二图像P2设定左眼搜索范围和右眼搜索范围。之后，参考第二图像数据Db，驾驶员监视E⑶2在第二图像P2中设定的左眼搜索 范围内搜索并检测驾驶员的左眼。驾驶员监视E⑶2还在第二图像P2中设定的右眼搜索 范围内搜索并检测驾驶员的右眼。例如，能够利用使用预先设定的眼睛的模板图像的各种 模式匹配方法中的任意一种在搜索范围内检测眼睛。接下来，驾驶员监视E⑶2计算驾驶员的两只眼睛睁开的程度(即，眼开度)。例 如，对于第二图像P2中的驾驶员的左眼和右眼二者，驾驶员监视E⑶2提取上眼睑的轮廓 和下眼睑的轮廓。例如，能够利用使用预先设定的上眼睑和下眼睑的模板的各种模式匹配 方法中的任意一种来检测左右眼的上眼睑和和下眼睑。之后，驾驶员监视E⑶2计算每只眼睛的上眼睑和下眼睑之间的距离作为每只眼睛的眼开度。而且，驾驶员监视ECU 2计算驾驶员正凝视的方向(即，凝视方向)。例如，驾驶员 监视E⑶2在第二图像P2中提取驾驶员的左眼和右眼的虹膜的位置。例如，能够利用椭圆 滤波器来检测左眼和右眼的虹膜。典型地，虹膜的形状经常被眼睑或正转动的脸部部分地 遮挡，因此在图像中看起来呈椭圆形而非圆形。因此，将不同尺寸的多个椭圆滤波器应用于 第二图像P2中的驾驶员的左眼和右眼二者，以获得椭圆滤波器的内部区域以及外部区域 的亮度。如果此时外部区域的亮度和内部区域的亮度之间存在差别，则判定出椭圆滤波器 的内部区域为虹膜，并且通过所使用的椭圆滤波器的位置来获得虹膜的位置。顺便提及，对 左眼和右眼的虹膜位置的检测不局限于该方法。还可以使用其它的检测方法，诸如利用预 先设定的虹膜的模板图像的各种模式匹配方法中的任意一种，或者通过二值化左眼和右眼 的内部来提取黑色区域的位置的方法。之后，驾驶员监视E⑶2基于驾驶员的左眼和右眼二者中的虹膜的位置以及存储 为脸部方向检测数据De的脸部方向α来计算驾驶员的凝视方向。例如，驾驶员监视ECU 2 计算驾驶员相对于车辆前方的凝视角度作为凝视方向。之后，驾驶员监视ECU 2利用指示 计算出的眼开度的数据和指示凝视方向的数据来更新眼开度/凝视检测数据Dg。这样，在上述步骤S56中执行的眼开度/凝视检测处理是利用第二图像P2来执行 的。在这种情况下，能够获得对于在典型的曝光量的情况下会看起来暗的部分的对比度，因 此该第二图像P2适于对于诸如驾驶员的眼睛的脸部的一部分进行图像处理。在该眼开度/ 凝视检测处理中，搜索图像中的眼睑和虹膜并提取眼睑之间的距离以及虹膜的位置等。因 此，能够利用第二图像P2来提取精确的参数。在步骤S56中执行了眼开度/凝视检测处理之后，在步骤S57中，驾驶员监视E⑶ 2将处理结果输出到驾驶员支持系统ECU 3，并且之后进行到下一个步骤。更具体地，驾驶 员监视ECU 2将指示存储为脸部方向检测数据De的脸部角度α的数据和指示存储为眼开 度/凝视检测数据Dg的眼开度和凝视方向的数据输出到驾驶员支持系统ECU 3。驾驶员支 持系统E⑶3基于从驾驶员监视E⑶2接收到的数据和从毫米波雷达4输出的关于车辆周 围的车辆或障碍物的识别结果，适当地调节设置在车辆中的乘员保护装置的特性，运行碰 撞避免/缓解系统并向驾驶员发布适当的警告。接下来，在步骤S58中，驾驶员监视E⑶2基于第一图像Pl和第二图像P2来校正 CCD 11的电子快门时间，并且之后进行到下一个步骤。更具体地，驾驶员监视ECU 2参考 存储为第一图像数据Da的第一图像Pl来校正用于第一图像Pl的电子快门时间，以使得在 第一图像Pl中拍摄到的整个对象物的亮度(典型地，图像中的驾驶员的整个脸部的亮度) 是适当的。之后，驾驶员监视ECU 2利用经校正的电子快门时间来更新第一电子快门数据 Dc。而且，驾驶员监视E⑶2参考存储为第二图像数据Db的第二图像P2来校正用于第二 图像P2的电子快门时间，以使得在第二图像P2中拍摄到的整个对象物的亮度(典型地，图 像中的驾驶员的眼睛周围的部分，例如，左眼搜索范围和右眼搜索范围)是适当的。之后， 驾驶员监视ECU 2利用经校正的电子快门时间来更新第二电子快门数据Dd。接下来，驾驶员监视E⑶2在步骤S59中判定程序是否将要结束。例如，当车辆的 驾驶员执行结束程序的操作(诸如断开点火开关)时，驾驶员监视ECU 2判定出程序将要 结束。如果程序将要继续，则驾驶员监视ECU 2返回到步骤S52并重复程序。另一方面，如果程序将要结束，则程序根据流程图结束。这样，使用根据该示范性实施例的驾驶员成像装置，利用在成像期间在具有不同 的曝光量的两个图像中获得适当对比度的部分来执行图像处理，因此能够精确地判定驾驶 员的状态。更具体地，利用第一图像Pi(即，具有相对低的曝光量的图像)对通常看起来亮 的驾驶员的脸部的广域部分(轮廓、鼻孔等)执行图像处理，而利用第二图像P2(即，具有 相对高的曝光量的图像)对通常看起来暗的驾驶员的脸部的一部分(诸如眼睛周围)执行 图像处理。也就是说，上述驾驶员成像装置利用具有相对低的曝光量的第一图像Pl基于驾 驶员的脸部朝向的方向作出判定(关于漫不经心)，并利用具有相对高的曝光量的第二图 像P2基于眼睛的状态作出判定(关于眼睛睁开的程度和凝视方向)。因此，能够精确地判 定驾驶员的状态。顺便提及，在上述示范性实施例中，描述了这样一个示例其中为了获得具有不同 的曝光量的第一图像Pl和第二图像P2，CXDll以不同的电子快门时间拍摄图像。然而，还 可以通过调节CXD 11的其它成像参数来获得具有不同的曝光量的图像。例如，还可以通过 对于每个图像调节CCD 11的增益(即，感光度)来拍摄具有不同的曝光量的图像。可选择 地，还可以通过对于每个图像调节驾驶员监视摄像机1中的机械光圈来拍摄具有不同的曝 光量的图像。而且，在以上的描述中，利用具有相对低的曝光量的第一图像Pl来检测驾驶员正 面对的方向和眼睛搜素范围二者。然而，仅需要检测这些中的一个。此外，在前文的描述中， 利用具有相对大的曝光量的第二图像P2来判定驾驶员的眼开度和凝视方向二者。然而，仅 需要检测这些中的一个。而且，在以上的描述中，利用具有相对高的曝光量的第二图像P2来判定驾驶员的 眼睛的状态。然而，可选择地，可以利用第二图像P2来改为判定驾驶员的脸部的其它部分 的状态。例如，可以利用第二图像P2来改为判定口部、眉部和皱纹等的状态。在本发明中， 除了利用确保整个脸部亮的图像来进行图像处理之外，还能够通过利用确保脸部的一部分 亮的图像来执行图像处理而对脸部的一部分进行精确的图像处理。因此，还可以利用集中 于眼睛以外的驾驶员的脸部的一部分的亮度的图像。而且，关于上述处理的顺序，通过连续地执行获得第一图像Pl的步骤(S卩，步骤 S52)和获得第二图像P2的步骤(S卩，步骤S53)，之后等到这些图像中的每一个的图像处理 都完成，再次连续地执行获得第一图像Pl和第二图像P2的步骤，来获得以其间极其短的时 间间隔拍摄到的两个图像的组合。因此，能够进行假定两个图像中拍摄到的对象物的位置 和状态大体相同的图像处理。然而，当不需要这种效果时，也可以以另外的处理周期来拍摄 第一图像Pl和第二图像P2。例如，可以利用以独立于上述图像处理周期的驾驶员监视摄像 机1的成像周期交替地拍摄到的第一图像Pl和第二图像P2，按照需要来更新第一图像数据 Da和第二图像数据Db。在这种情况下，拍摄步骤S54和步骤S55中所利用的第一图像Pl 的正时和拍摄步骤S56中所利用的第二图像P2的正时之间的时间间隔可以很长，但仍具有 能够利用最新的图像来执行每个图像的图像处理的优点。而且，在上述示范性实施例中，驾驶员监视摄像机1布置在转向管柱92上，但是其 也可以改为布置在其它位置上。也就是说，驾驶员监视摄像机1可以布置在任意的位置上， 只要该位置使得驾驶员监视摄像机1能够拍摄车辆中的驾驶员的脸部的图像即可。例如，驾驶员监视摄像机1可以布置在驾驶员前方的仪表板中、仪表板上、转向盘中、车厢内的上
BP寸。在上述示范性实施例中，第一图像Pl和第二图像P2用于图像处理中，但是图像的 数量不局限于两个。当通过多个图像来执行图像处理时，也能够获得该示范性实施例的效^ ο根据本发明的驾驶员成像装置以及驾驶员成像方法能够通过拍摄适于判定驾驶 员的状态的图像来判定驾驶员的状态，从而例如在判定就座于车辆中的驾驶员的状态的系 统中是有用的。尽管结合其示范实施例描述了本发明，但是应当理解的是，本发明不局限于所描 述的实施例或构造。相反，本发明旨在覆盖各种改进和等效的配置。此外，尽管所公开的本 发明的各种元件以多种示范性组合和结构来显示，但是其它包括更多、更少或仅有单个元 件的组合和结构也在随附的权利要求的范围内。
权利要求
一种驾驶员成像装置，其特征在于包括成像器件，其用于拍摄车辆的驾驶员的脸部的图像；第一图像处理器件，其利用由所述成像器件拍摄到的第一图像，对所述第一图像中的所述驾驶员的脸部的广域部分执行图像处理；以及第二图像处理器件，其利用由所述成像器件以比由所述成像器件拍摄到的所述第一图像的曝光量高的曝光量拍摄到的第二图像，对所述第二图像中的所述驾驶员的脸部的一部分执行图像处理。
2.根据权利要求1所述的驾驶员成像装置，其中通过对所述第二图像中的所述驾驶员 的眼睛周围的部分执行图像处理，所述第二图像处理器件检测i)所述驾驶员的眼睛睁开 的程度和ii)所述驾驶员正凝视的方向中的至少一个。
3.根据权利要求1所述的驾驶员成像装置，其中通过对所述第二图像中的所述驾驶员 的口部、眉部和皱纹执行图像处理，所述第二图像处理器件检测i)所述驾驶员的眼睛睁开 的程度和ii)所述驾驶员正凝视的方向中的至少一个。
4.根据权利要求1或2所述的驾驶员成像装置，其中通过对所述第一图像中的所述驾 驶员的脸部的广域部分执行图像处理，所述第一图像处理器件检测i)以所述车辆的正面 作为基准的所述驾驶员的脸部朝向的方向和ii)所述驾驶员的眼睛的位置中的至少一个。
5.根据权利要求2所述的驾驶员成像装置，其中通过对所述第一图像中的所述驾驶员的脸部的广域部分执行图像处理，所述第一图像 处理器件检测所述驾驶员的眼睛在所述第一图像中的区域；以及通过在由所述第一图像处理器件检测到的所述区域中对所述第二图像执行图像处理， 所述第二图像处理器件检测i)所述驾驶员的眼睛睁开的程度和ii)所述驾驶员正凝视的 方向中的至少一个。
6.根据权利要求1至5中任一项所述的驾驶员成像装置，进一步包括用于控制快门时 间的快门控制器件，所述快门时间为所述成像器件在拍摄图像时接收光的时间段，其中所述快门控制器件通过使拍摄所述第二图像时的快门时间比拍摄所述第一图像 时的快门时间相对长来控制所述成像器件拍摄图像时的曝光量。
7.根据权利要求6所述的驾驶员成像装置，其中所述快门控制器件包括快门时间校正 器件，所述快门时间校正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄 所述第一图像时的快门时间，并且根据所述第二图像中的所述一部分的亮度来校正拍摄所 述第二图像时的快门时间。
8.根据权利要求1至5中任一项所述的驾驶员成像装置，进一步包括光圈控制器件，其 用于控制允许光进入所述成像器件的光圈的开口度，其中所述光圈控制器件通过使拍摄所述第二图像时的所述光圈的开口度比拍摄所述 第一图像时的所述光圈的开口度相对大来控制所述成像器件拍摄图像时的曝光量。
9.根据权利要求8所述的驾驶员成像装置，其中所述光圈控制器件包括光圈开口度校 正器件，所述光圈开口度校正器件用于根据所述第一图像中的所述广域部分的亮度来校正 拍摄所述第一图像时的所述光圈的开口度，并根据所述第二图像中的所述一部分的亮度来 校正拍摄所述第二图像时的所述光圈的开口度。
10.根据权利要求1至5中任一项所述的驾驶员成像装置，进一步包括感光度控制器件，其用于控制所述成像器件的感光度，其中所述感光度控制器件通过使拍摄所述第二图像时的感光度高于拍摄所述第一图 像时的感光度来控制所述成像器件拍摄图像时的曝光量。
11.根据权利要求10所述的驾驶员成像装置，其中所述感光度控制器件包括感光度校 正器件，所述感光度校正器件用于根据所述第一图像中的所述广域部分的亮度来校正拍摄 所述第一图像时的感光度，并且根据所述第二图像中的所述一部分的亮度来校正拍摄所述 第二图像时的感光度。
12.根据权利要求1至11中任一项所述的驾驶员成像装置，进一步包括曝光量控制器 件，其用于控制所述成像器件拍摄所述图像时的曝光量，其中所述曝光量控制器件使所述成像器件以拍摄所述第一图像时的曝光量拍摄图像 的正时与所述成像器件以拍摄所述第二图像时的曝光量拍摄图像的正时周期性地交替。
13.根据权利要求12所述的驾驶员成像装置，其中，所述第一图像处理器件的第一图 像处理在与所述第二图像处理器件的第二图像处理不同的正时执行。
14.根据权利要求1或2所述的驾驶员成像装置，进一步包括存储器件，其用于存储所 述第一图像和所述第二图像，其中所述第一图像处理器件和所述第二图像处理器件各自利用连续拍摄到并存储在 所述存储器件中的所述第一图像和所述第二图像的组合来执行图像处理。
15.根据权利要求2和4至14中任一项所述的驾驶员成像装置，其中所述驾驶员的眼 睛的位置通过检测所述驾驶员的鼻部的位置来确定。
16.一种驾驶员成像装置，其特征在于包括成像器件，其用于拍摄车辆的驾驶员的脸部的图像；脸部方向判定器件，其利用由所述成像器件拍摄到的第一图像，以所述车辆的正面作 为基准，判定在所述第一图像中所述驾驶员的脸部朝向的方向；以及眼睛信息检测器件，其i)利用由所述成像器件以比由所述成像器件拍摄到的所述第 一图像的曝光量高的曝光量拍摄到的第二图像，判定在所述第二图像中所述驾驶员的眼睛 睁开的程度，或者ii)利用由所述成像器件以比由所述成像器件拍摄到的所述第一图像的 曝光量高的曝光量拍摄到的所述第二图像，判定在所述第二图像中所述驾驶员正凝视的方 向。
17.一种驾驶员成像方法，其特征在于包括利用拍摄到驾驶员的脸部的第一图像，对所述第一图像中的车辆的所述驾驶员的脸部 的广域部分执行图像处理；以及利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的第二图像，对 所述第二图像中的所述驾驶员的脸部的一部分执行图像处理。
18.一种驾驶员成像方法，其特征在于包括利用拍摄到驾驶员的脸部的第一图像，以车辆的正面作为基准，判定在所述第一图像 中所述车辆的所述驾驶员的脸部朝向的方向；以及利用以比所述第一图像的曝光量高的曝光量拍摄到所述驾驶员的脸部的第二图像，判 定在所述第二图像中所述驾驶员的眼睛睁开的程度；或者利用以比所述第一图像的曝光量 高的曝光量拍摄到所述驾驶员的脸部的所述第二图像，判定在所述第二图像中所述驾驶员正凝视的方向。
全文摘要
成像器件(1)拍摄车辆的驾驶员的脸部的图像。第一图像处理器件利用由成像器件(1)拍摄到的第一图像，对第一图像中的驾驶员的脸部的广域部分执行图像处理。第二图像处理器件利用由成像器件(1)以比第一图像的曝光量高的曝光量拍摄到的第二图像，对第二图像中的驾驶员的脸部的一部分执行图像处理。
文档编号A61B3/10GK101951828SQ200980100524
公开日2011年1月19日 申请日期2009年3月11日 优先权日2008年5月12日
发明者川久保淳史 申请人:丰田自动车株式会社