车辆控制装置和车辆控制方法与流程

本技术涉及车辆控制装置和车辆控制方法，尤其涉及使得能够从自动驾驶向手动驾驶更安全地接管的车辆控制装置和车辆控制方法。

<相关申请的交叉引用>

本申请要求于2017年7月21日提交的日本在先专利申请jp2017-141552的优先权，其全部内容通过引用合并于此。

背景技术：

在现有技术中，已经提出一种判定驾驶员的姿势的偏差是否是由驾驶员的习惯引起的，并且在判定姿势的偏差是由习惯引起的情况下和在判定姿势的偏差是由于其他原因引起的情况下以不同的方式提供与姿势的偏差有关的通知的技术(例如，参见专利文献1)。

另外，在现有技术中已经提出在开始车辆的自动驾驶行驶之前判定驾驶员是否具有能够从自动驾驶返回到手动驾驶的驾驶能力并且在判定驾驶员不具有这种驾驶能力的情况下禁止自动驾驶行驶开始的技术(例如，参见专利文献2)。

引文列表

专利文献

ptl1jp2016-38793a

ptl2jp2016-115356a

技术实现要素：

技术问题

顺便提及，必须平稳地执行从自动驾驶到手动驾驶的切换。例如，ptl2为此提供了一种示例，该技术用于在自动驾驶完成后未成功地接管手动驾驶的情况下紧急停止车辆。

但是，除非设置用于使未能进行接管的车辆临时停车的疏散区域并将车辆引导到该区域，否则这可能会在诸如交通繁忙的位置处造成交通拥堵。

考虑到这种情况而做出了本技术，并且本技术使得能够从自动驾驶向手动驾驶更安全地接管。

问题的解决方案

根据本技术的实施例，提供了一种车辆控制装置，该车辆控制装置包括：对驾驶员进行成像的成像器；以及被配置为基于由该成像器捕获的图像来检测指示驾驶员觉醒的手势动作，并响应于检测到的手势动作切换驾驶模式的电路。

在检测到手势动作的情况下，电路可以将驾驶模式从自动驾驶模式切换到手动驾驶模式。

该电路可以将在观察车辆行驶方向的同时在车辆行驶方向上执行的指向和检查动作检测为手势动作。

指向和检查动作可以是驾驶员的指尖位于实际上被设置为包括驾驶员的视线的垂直平面附近并且还位于驾驶员的视线下方的动作。

该电路可以通过跟踪驾驶员的指尖、手和拳头中的至少任何一个的动作来检测指向和检查动作。

该电路可以基于驾驶员特定的特性来检测手势动作。

该电路还可以被配置为基于检测到的手势动作来学习驾驶员特定的特性。

该电路可以检测驾驶员坐在驾驶员座位上后执行的手势动作。

该电路可以在向驾驶员提供了切换驾驶模式的通知之后检测驾驶员的就座动作。

该电路可以将再次检查车辆行驶方向的动作以及随后的检查向驾驶员的通知或警告的动作检测为手势动作。

该电路还可以被配置为在检测到手势动作之后检测驾驶员握持方向盘的动作，并且该电路可以在检测到握持方向盘的动作的情况下，将驾驶模式从自动驾驶模式切换为手动驾驶模式。

该电路可以基于驾驶员对给驾驶员的呈现的响应和操纵校正的准确性中的至少一项来检测驾驶员的觉醒状态。

根据本技术的实施例，提供了一种车辆控制方法，包括：对驾驶员进行成像；基于捕获的图像来检测指示驾驶员觉醒的手势动作；以及响应于检测到的手势动作来切换驾驶模式。

在本技术的实施例中，对驾驶员进行成像，基于捕获的图像来检测指示驾驶员觉醒的手势动作，并且响应于检测到的手势动作来切换驾驶模式。

发明的有益效果

根据本技术的实施例，可以更安全地执行从自动驾驶到手动驾驶的接管。

注意，这里描述的效果不必被限制，并且可以实现本公开中描述的任何效果。

附图说明

[图.1]图1是示出应用本技术的实施例的自动驾驶系统的配置示例的框图。

[图.2]图2是示出驾驶员监视单元和车辆控制单元的配置示例的框图。

[图.3]图3是示出切换判定单元的配置示例的图。

[图.4]图4是用于说明姿势识别切换判定的图。

[图.5]图5是用于说明姿势识别切换判定的图。

[图.6]图6是用于说明姿势识别切换判定的图。

[图.7]图7是用于说明姿势识别切换判定的图。

[图.8]图8是用于说明自动化级别的图。

[图.9]图9是示出驾驶模式之间的切换的转变图。

[图.10]图10是用于说明自动驾驶控制处理的流程图。

[图.11]图11是图10之后的用于说明自动驾驶控制处理的流程图。

[图.12]图12是图11之后的用于说明自动驾驶控制处理的流程图。

[图.13]图13是用于说明ldm数据的更新的图。

[图.14]图14是用于说明ldm数据的更新的图。

[图.15]图15是用于说明ldm数据的更新的图。

[图.16]图16是示出总结了是否可以执行辅助任务的表格的图。

[图.17]图17是用于说明驾驶模式切换判定处理的流程图。

[图.18]图18是用于说明自动驾驶控制处理的流程图。

[图.19]图19是图18之后的用于说明自动驾驶控制处理的流程图。

[图.20]图20是图19之后的用于说明自动驾驶控制处理的流程图。

[图.21]图21是图20之后的用于说明自动驾驶控制处理的流程图。

[图.22]图22是用于说明估计驾驶员的唤醒恢复时间的处理的流程图。

[图.23]图23是示出计算机的配置示例的图。

具体实施方式

在下文中，将参考附图详细描述用于实现本技术的实施例(在下文中，被称为“实施例”)。

<自动驾驶系统的配置示例>

图1示出了应用本技术的实施例的自动驾驶系统10的配置示例。

自动驾驶系统10包括车辆控制系统11和移动终端12。

车辆控制系统11包括周围环境成像单元21、周围环境信息获取单元22、位置测量单元23、输入单元24、车辆信息获取单元25、驾驶员监视单元26、通信单元27、车辆控制单元28、显示单元29、声音输出单元30、发光单元31、行驶控制单元33、车载装置控制单元34和存储单元35。

例如，可以将周围环境成像单元21设置为各种成像装置，诸如单镜头相机、立体相机、飞行时间(tof)相机、偏振相机、时间门控相机、多光谱相机和非可见光相机，诸如红外相机。周围环境成像单元21对包括车辆前进方向上的周围环境在内的车辆的周围环境进行成像，并将通过成像而获得的图像作为周围环境图像提供给车辆控制单元28。

周围环境信息获取单元22可以被设置为各种传感器，诸如声纳、雷达、激光雷达、温度传感器、湿度传感器、雨水传感器、雪传感器和背光传感器。周围环境信息获取单元22获取车辆的周围环境的信息。此外，周围环境信息获取单元22可以通过以无线方式从路侧、在车辆自身附近行驶的行驶车辆、行人、自行车等来获取仅由车辆自身的测量难以获得的盲角的信息。

例如，周围环境信息获取单元22可以获取与车辆的周围环境的环境有关的信息(诸如温度，湿度，天气或路面状态)，以及与车辆的周围环境中的物体有关的信息(诸如车辆的周围环境中的物体的类型和位置)作为周围环境信息。周围环境信息获取单元22将获取的环境信息提供给车辆控制单元28。

位置测量单元23通过利用例如定位系统来测量车辆的当前位置，该定位系统可以组合通过利用人造卫星来测量当前位置的卫星导航系统(如全球导航卫星系统(gnss))和代表性示例包括使用高度计、加速度传感器、陀螺仪镜和图像识别装置的同时定位和地图绘制(slam)系统的自主定位系统。位置测量单元23将测量结果提供给车辆控制单元28。

输入单元24可以被设置为输入装置，诸如麦克风、按钮、开关、触摸面板、方向指示器和手势识别装置。输入单元24从包括车辆的驾驶员的乘客接收指令、数据等的输入。输入单元24将输入的指令、数据等提供给车辆控制单元28。

车辆信息获取单元25获取包括与车辆有关的各种信息的车辆信息。例如，车辆信息获取单元25可以获取与车辆的运动有关的信息(诸如速度、加速度、角速度和车辆的前进方向)作为车辆信息。

另外，例如，车辆信息获取单元25获取与驾驶操作有关的信息，诸如油门踏板、制动踏板、方向盘、停车制动器、变速杆、方向指示杆、电源(点火)开关、灯开关、刮水器开关等的操作定时和操作量。

此外，车辆信息获取单元25获取与车辆是状态有关的信息，诸如车辆中各个部件的状态以及故障的存在。车辆信息获取单元25将获取的车辆信息提供给车辆控制单元28。

驾驶员监视单元26监视驾驶员(这将在后面参考图2进行描述)，并将监视结果提供给车辆控制单元28。

通信单元27可以被设置为与各种通信方案兼容的通信装置。

例如，通信单元27可以被设置为通过专用短程通信(dsrc)执行无线通信的通信装置。在这种情况下，通信单元27与沿道路安装的智能运输系统(its)地点进行通信，并获取本地动态地图(ldm)。

ldm包括例如包括路面信息、行车道信息、三维结构信息等的固定信息，包括随时间变化的交通规则信息、关于道路工程的提前信息和当接近当前正在进行的工作的提前更新信息、广域天气信息等的准固定信息，包括最新更新信息、事故信息、交通拥堵信息、有限区域天气信息等的准动态信息以及包括与周围环境中的车辆和行人相关的信息、信号信息等的动态信息。

通过短期内通过短距离通信将优先级放在更多信息的宽带通信上，能够更有效地利用资源进行无线通信。这种宽带通信是一种有效的方式，特别是对于获取车辆行驶所必需的与就在车辆前方的状况有关的本地信息，以及对于将由车辆自身获取的道路环境信息上载到基础设施侧是有效的方式。

另外，例如，通信单元27可以被设置为根据移动电话根据其执行通信的、能够进行更长距离的通信的通信标准(3g/4g/长期演进(lte)等)执行通信的通信装置。在这种情况下，通信单元27经由专用或共享的通用网络(诸如因特网)从服务器等获取或交换各种信息，诸如更广区域的地图数据和远离车辆正在行驶的地点处的天气信息。

通信单元27可以被设置为信标装置。在这种情况下，通信单元27与安装在道路侧的道路侧装备进行通信以辅助安全驾驶或路线规划，并且获取各种交通信息。

关于车辆计划将行驶经过的环境的信息不限于这些特定方式。除了与用于下一代移动电话通信标准的基站通信之外，还可以执行车辆之间的中继通信或在没有基站干预的情况下与行驶路段附近的云服务器的邻近通信。另外，可以提供相互冗余以获得针对特定通信系统的故障而言稳健的配置。

由于车辆打算行驶的路线上的更新环境数据的流通性根据能够进行通信的频段而变化，因此，使用全自动驾驶行驶通过更新数据的流通性极差的路段所需的信息(诸如ldm)的流通性在车辆进入这种区域的情况下会变差。结果，有必要假设可能会在最初被定义为车辆能够在无需驾驶员干预的情况下行驶的路段的路段中要求驾驶员进行干预。

通信单元27可以被设置为也可以在车辆中使用的近场无线通信装置，诸如使用蓝牙(注册商标)的装置。在这种情况下，通信单元27与移动终端12等进行通信，并且发送和接收各种信息，所述移动终端12的代表示例包括智能电话和平板终端。

通信单元27将所获取的信息提供给车辆控制单元28。此外，通信单元27从车辆控制单元28获取要发送到其他通信装置等的信息。

车辆控制单元28包括电子控制单元(ecu)等，并且控制稍后将参考图2描述的车辆控制系统11中的各个部件。

显示单元29可以被设置为各种显示装置，并且在车辆控制单元28的控制下显示各种图像和信息。例如，显示单元29可以被设置为在挡风玻璃的一部分上设置的平视显示器或透射型显示器，并在驾驶员的视野中以叠加的方式显示图像或信息。另外，显示单元29可以包括例如仪表板、汽车导航系统显示器等。

例如，声音输出单元30包括扬声器、警报器、蜂鸣器等。声音输出单元30在车辆控制单元28的控制下输出声音信息、通知声音、警告声音等。

例如，发光单元31包括诸如发光二极管(led)或灯的发光装置。发光单元31在车辆控制单元28的控制下将灯开启或闪烁，以用于向驾驶员提供各种信息的通知或引起驾驶员的注意的目的。发光单元的点光源不一定限于led等，并且发光单元31也可以在仪表板的整个面或一部分上通过使用经由矩阵阵列显示单元的字母组合显示等来向驾驶员呈现详细的消息信息。

行驶控制单元33在车辆控制单元28的控制下控制安装在车辆上的各种装置中的车辆的行驶所涉及的装置。例如，行驶控制单元33包括控制引擎的致动的引擎控制装置、控制马达的致动的马达控制装置、控制制动器的致动的制动器控制装置、控制方向盘的致动的方向盘控制装置等。

车载装置控制单元34控制安装在车辆上的各种装置中除车辆行驶所涉及的装置以外的装置。例如，车载装置控制单元334控制控制座椅的倾斜的致动器、使座椅振动的致动器、使转向器振动的致动器等。

存储单元35存储车辆控制系统11执行处理所需的程序和数据。例如，存储单元35存储与车辆的行驶等有关的日志、用于认证驾驶员的面部图像以及识别、标识和提取信息、学习驾驶员的各种特征的结果、车辆检查信息、车辆事故诊断信息等。注意，不必将所有这些信息都存储在存储单元35中，并且可以经由通信单元27将一些信息发送到远程服务器等，并且可以使远程服务器等存储该信息。

<驾驶员监视单元26和车辆控制单元28的配置示例>

图2示出了车辆控制系统11中的驾驶员监视单元26和车辆控制单元28的配置示例。

驾驶员监视单元26包括驾驶员成像单元101、生物信息获取单元102、视线检测单元103和认证单元104。

驾驶员成像单元101包括诸如tof传感器、立体相机、3d相机和3d闪光雷达传感器的成像装置，并对驾驶员进行成像。驾驶员成像单元101的成像范围包括在驾驶员座位处驾驶的驾驶员的腰部上方的至少一部分，并且可以包括比该范围更大的范围。还要注意，其功能的一部分可以用通过设置给座椅的用以检测体压的座椅应变仪的姿势检测所代替。

驾驶员成像单元101可以进一步包括能够执行驾驶员的瞳孔分析或详细分析的高速成像机构，并且该高速成像机构可以设置有能够分析大脑中的感知响应(诸如扫视、视觉注视和伴随视觉注视的轻微移动或眼球漂移)的功能。高速成像机构是指能够以比用于普通电视信号的每秒60帧(fps)的帧更新速率更快的速率捕获运动图像，并且优选地以250fps或更高的帧更新速率捕获运动图像的成像机构。

驾驶员成像单元101将通过成像而获得的图像作为驾驶员图像提供给车辆控制单元28。注意，例如，驾驶员可以被来自专用光源(诸如发射不妨碍驾驶员的视野的结构光的光源或具有不包含可见光成分的特定波长的红外光的光源)的光照射，以便在对驾驶员成像时获取更准确和特定的信息。

生物信息获取单元102包括检测驾驶员的各种生物信息的传感器等。由生物信息获取单元102获取的生物信息可以包括例如脉搏、脉搏波、血压、血流系统、座椅上的体压、坐姿、脑波、大脑中的血流、眼肌电位、心电描记图、体温、体臭、皮肤温度、出汗、方向盘握持反应、呼吸状态、酒精含量等。生物信息获取单元102将获取的驾驶员的生物信息提供给车辆控制单元28。尽管很难从主要是被动的生物信息中直接识别出驾驶员的明确的清醒状态，但是生物信息仍然具有与驾驶员的疲劳状况、嗜睡感等的相关性。能够通过与视线的动态分析相结合进行判定来更准确地判定驾驶员的清醒状态，这将在后面进行描述。此外，该信息在驾驶员处于坐姿以外的姿势并且难以检测视线的状态下观察驾驶员的活动量方面起到补充作用。

视线检测单元103对驾驶员的面部的取向、视线的取向、眨眼、眼球的运动(例如，视觉注视的轻微运动、扫视、微扫视、漂移、震颤等)执行检测(视线检测)。注意，视线检测单元103可以设置有面部检测单元和头部检测单元，其中所述面部检测单元基于驾驶员的图像来执行针对面部表情、眼睛睁开或闭合状态等的面部检测，所述头部检测单元基于驾驶员的图像来检测头部的运动。

视线检测单元103通过对视线的动态分析来评估驾驶员对外部环境的关注程度和觉醒程度。觉醒程度是表示驾驶员的意识状态的程度。例如，大于预定阈值的觉醒程度表示驾驶员具有正常意识。视线检测单元103将视线的检测结果和关注度的分析结果等提供给车辆控制单元28。驾驶员的视线的分析是指基于学习驾驶员特定的特征的判定，这将在后面描述，并且使得能够根据驾驶员更准确地判定内部意识状态。

由于视线行为包括驾驶员特定的大量动态特性，因此稍后将描述的认证单元104通常在进行任何其他检测之前执行其检测。

关于单个驾驶员的眼球动作，视线被移动到使驾驶员对于关于外部环境的信息感兴趣的信息中。因此，包括根据理解和判定的状态在视觉上将被顺序识别的视线的动作特性取决于认知和判定的进度的转变，通过该转变，驾驶员根据经验特性以及身体特性在驾驶员转弯时获得理解。

通过对视线进行动态分析来判定驾驶员的觉醒度不是基于驾驶员是否已经沿眼球的物理精确方向凝视或固定地观看外部环境中的目标。例如，理所当然的是，在当驾驶员安全地停车时固定地注视特定目标、注视视野中的人的面部来判定该人是谁或者阅读广告牌等的内容以对该内容进行认知判定的情况下，驾驶员可以将视线的视觉凝视的焦点放在特定目标上。

然而，在驾驶员在识别外部环境的情况的同时在典型的行驶车辆中行驶的情况下，由于需要对冲出或其他意外事件做出适当的判定，因此驾驶员很少将视线固定在特定目标上。

此外，由于在许多情况下驾驶员通常在视线的中央视野之外的周边视野中感知到关注的目标现象，并且在这种情况下，尤其是关注的目标在周边的视野中的低分辨率的区域中，因此驾驶员为了识别其细节，而通过将中心视野转向相应的方向来开始移动视线以感知目标。因此观察到眼球的所谓扫视动作。

通常，一旦醒着的驾驶员通过眼球的第一次移动完成对目标现象的确认，驾驶员便会在不进行详细的视觉凝视和观察的情况下重复视线的移动和对下一个目标的视线的移动，以便感知视野中的其他风险因素，而不是将视线固定在目标现象上并推进观察(视觉凝视)。目标现象的确认的完成意味着大脑中的识别的完成，并且并非总是必须感知中心视野中的目标以及暂时停止眼球的移动以进行视觉凝视。

也就是说，换句话说，可以说，驾驶员的视线的扫视动作和视觉凝视的动态特性以反映驾驶员的大脑的感知的判定活动的一部分的形式出现。当一个人完成针对自己目的的信息的判定时，固定判定的认知判定将由在作为视觉信息捕获的信息引起的刺激与从存储的相关信息中提取的信息之间获得的达到或超过特定级别的一致性触发，从而实现判定。然而，在因此未实现判定的情况下，该人进一步进入用于确认判定的观察阶段，并等待触发该判定所需的信息。

关于大脑中的识别活动，当驾驶员开始移动扫视的视线时，大脑中的感知判定立即并已经开始。因此，完成感知判定并不一定需要一定时间，直到眼睛的视线进一步聚焦在驾驶员转向到大致方向并进一步感知中心视野上的目标的点上为止。

视线移动的开始是将中央视野转向相应方向以补偿信息并实现详细判定的过程的开始，因为只有来自在周边视野中捕获的动态视敏度的刺激信息不足以区分其内容，并且在驾驶员在移动视线的过程中获得判定的情况下，驾驶员不一定必须完成观看目标。也就是说，可能没有观察到与观察阶段相对应的视觉凝视。

例如，在行进方向上同时存在的绿色状态的交通信号灯和红色的广告柱在无法区分交通信号灯和广告柱的状态下进入驾驶员的周边视野的情况下，驾驶员开始转向交通信号灯并进行判定，因为当驾驶员通过相应的十字路口时有必要判定交通信号灯的颜色。

驾驶员不一定总是通过严格的视觉凝视来观看红色的广告柱，并且如果一眼就完成了该判定，则可以优先检查行人、自行车等是否会在车辆仍在行驶时冲出。此外，一个驾驶员的诸如动态观察程序等动作仍然受到视敏度和由于环境中包括亮度、眩光等的复杂因素导致的改变的影响。

视线检测单元103可以通过如上所述学习驾驶员特定的视线的动态特性，根据驾驶员的状况通过对视线进行动态分析来估计清醒状态，并将判定视线的动态分析的结果以及分析关注度等的结果提供给车辆控制单元28。此外，每个人的视线行为的这些特征通过驾驶员特定的特征动作来学习并由学习单元126学习(稍后将对其进行描述)作为已认证的驾驶员的重复动作的特征。

例如，认证单元104基于驾驶员的图像和视线的分析图像来认证驾驶员。此时，可以执行虹膜认证处理。认证单元104将认证结果提供给车辆控制单元28。该驾驶员认证处理是在如上所述的任何其他处理之前执行的处理。此后，可以执行与驾驶员特定的前述特征的关联。

车辆控制单元28包括周围环境监视单元121、驾驶员监视单元122、自动驾驶控制单元123、通知控制单元124、日志生成单元125和学习单元126。

周围环境监视单元121基于来自周围环境成像单元21的周围环境信息、来自周围环境信息获取单元22的周围环境信息以及来自通信单元27的各种信息来监视车辆的周围环境。

驾驶员监视单元122基于来自车辆信息获取单元25的车辆信息、来自驾驶员成像单元101的驾驶员的图像、来自生物信息获取单元102的驾驶员的生物信息、视线检测单元103执行的检测结果、以及认证单元104执行的认证的结果、学习单元126执行的学习的结果等来监视驾驶员。驾驶员监视单元122包括驾驶行为分析单元141和驾驶状态检测单元142。

驾驶行为分析单元141基于来自驾驶员成像单元101的驾驶员的图像和车辆信息、车辆信息、学习单元126执行的学习结果等来分析驾驶员的驾驶行为(驾驶员特定的特征和特性，诸如驾驶操作和行为)。

驾驶状态检测单元142基于来自驾驶员成像单元101的驾驶员的图像、驾驶员的生物信息、视线检测单元103执行的检测结果、认证单元104执行的认证结果、学习单元126执行的学习结果等来检测驾驶状态。驾驶状态包括已认证的驾驶员的状态和驾驶员的清醒状态。与如现有技术中通常执行的基于预先一维确定的阈值进行判定的情况相比，驾驶状态的检测使得能够通过基于已认证的驾驶员的状态进行多级的检测来高准确性地判定驾驶员的清醒状态，并且能够通过执行特定学习来根据驾驶员更特定的特性来进行判定。

自动驾驶控制单元123控制自动驾驶。自动驾驶控制单元123包括路线设置单元151、自动化级别设置单元152、驾驶辅助控制单元153、驾驶模式切换控制单元154和切换判定单元155。

路线设置单元151基于来自车辆信息获取单元25的车辆信息中包括的车辆的加速度和角速度来校正由位置测量单元23测量的车辆的当前位置。另外，路线设置单元151基于来自周围环境信息获取单元22的周围信息、经由通信单元27获取的ldm、地图数据和地图更新信息以及存储在存储单元35中的地图数据等设置到经由输入单元24输入的目的地的行驶路线。

自动化级别设置单元152基于来自周围环境信息获取单元22的周围环境信息、经由通信单元获取的ldm、交通信息、天气信息、路面信息等，针对行驶路线上的每个行驶路段来设置自动化级别的分配。另外，自动化级别设置单元152基于每个路线路段的自动化级别的分配、经由输入单元24输入的用户设置等来设置自动化级别。

在此，自动化级别代表自动驾驶的级别，或者换句话说，代表驾驶的自动化级别。稍后将参考图8描述自动化级别的细节。

驾驶辅助控制单元153根据设置的自动化级别控制行驶控制单元33，并辅助驾驶员进行的驾驶。通过驾驶辅助控制单元153提供的辅助来实现部分或完全自动驾驶。例如，驾驶辅助控制单元153在自动化级别2中执行具有部分受限功能的驾驶辅助，诸如自适应巡航控制(acc)、车道保持辅助系统(lkas)、交通堵塞辅助(tja)和先进的紧急制动系统(aebs)。注意，稍后将描述自动化级别的详细信息。

在自动化级别3中，复合多级控制包括对一般道路状况的进一步复杂判定，诸如识别道路上的交通信号灯、接合到干线、从干线分支、通过主干道的交叉、优先控制人行横道、以及针对行人区和行人的优先车辆控制以及路线规划。

尽管在自动化级别4中不要求驾驶员干预的完全自动驾驶控制也包括在驾驶辅助控制单元153中的假设下描述了本说明书，但是当车辆根据控制的严格划分在驾驶辅助控制单元153的级别4中行驶时，执行排他的完全自动驾驶控制而不是辅助。

另外，驾驶辅助控制单元153可以通过上述驾驶辅助在自动化级别3或更高级别的行驶路段中执行进一步的高级和复杂的控制(例如，包括车道改变等的通过)，或者可以通过伴随着对状况的高级无人值守判定的自主行驶等执行驾驶辅助，通过对状况的高级无人值守判定，即使在包括行人和自行车的环境中(诸如在市区中)，车辆也可以行驶。

此外，尽管是一种特殊的利用形式，但从确保在没有公共交通运输的区域中的交通运输的观点出发，也可以假定在使用自动驾驶车辆的领域中社会引入只可以以受限的低速使用的安全爬行自动驾驶车辆。那时，从便利性的观点出发，还假设仅当驾驶员能够正常地进行手动驾驶时，才通过使用相应的车辆来将车辆的利用范围扩大到高速行驶。那时，本技术的实施例提供对于判定驾驶员的能力有效的功能。注意，这种以受限的低速爬行驾驶的特殊利用形式是与现有技术中也执行普通高速行驶的利用形式的标准车辆的紧急疏散模式不同的利用形式。

尽管能够通过自动驾驶安全地在全速范围内行驶的车辆需要昂贵的装备，但是如果功能仅限于低速爬行驾驶，则可以以较低的成本实现装备。例如，本技术可以被应用于特殊的利用形式，该利用形式使得在农村人口稀少地区等交通不便的人能够使用轻型车辆。

在车辆控制系统11中，其中可以执行无人值守的普通行驶的对应于所谓的自动化级别4或更高级别的自动驾驶模式、其中驾驶员可以根据需要返回并进行干预驾驶的对应于自动化级别3的自动驾驶模式、其中驾驶员主要进行引导控制并做出判断的对应于自动化级别2或更低级别的手动驾驶模式、紧急疏散模式等被设置为行驶模式。

自动驾驶模式是通过由驾驶辅助控制单元153执行的驾驶辅助来实现的模式。手动驾驶模式是驾驶员主观进行驾驶的模式。紧急疏散模式是在紧急情况下使车辆疏散到预定位置的模式。

例如，紧急疏散模式用于驾驶员在手动驾驶期间(手动驾驶模式中)由于疾病等而导致难以驾驶的情况或当将自动驾驶(自动驾驶模式)切换为手动驾驶时无法确认驾驶员处于清醒的情况。

尽管在本说明书中，紧急疏散模式被定义为在移动速度上优先级较低的移动方式，但是当在使用自动驾驶期间驾驶员难以执行对手动驾驶的接管时，驾驶员可以将疏散区域中的紧急疏散模式设置为紧急情况的对策。在本说明书的内容中，当车辆疏散到疏散区域时的紧急疏散模式没有与作为确保居住在农村地区、没有公共交通运输并且被称为在紧急情况下去医院等交通运输不便的人们的安全的方式的移动优先级(即使为了安全而以非常低的速度也可以移动)方式进行区分。

驾驶模式切换控制单元154基于经由通信单元27获取的ldm、其最新更新信息、天气、路面状况、交通信息等来改变检查ldm、交通信息等的频率。

另外，驾驶模式切换控制单元154监视从自动驾驶模式切换到手动驾驶模式的必要性，并且在存在必要性的情况下，驾驶模式切换控制单元154在自动驾驶模式下行驶期间向驾驶员提供返回手动驾驶的请求通知或警告通知。此时，驾驶模式切换控制单元154根据检测到的驾驶员状态判定是否有必要从自动驾驶模式切换到手动驾驶模式，并执行从自动驾驶模式切换到手动驾驶模式的处理。

注意，在不需要紧急接管的情况下，驾驶模式切换控制单元154不一定可靠地区分驾驶员是否已经注意到该通知。例如，在驾驶员在通过自动驾驶连续行驶约一小时之后需要返回的情况下，驾驶模式切换控制单元154可以在已经检测到情况改变的情况下简单地仅向驾驶员提供通知，并且可能不一定要确认驾驶员已经注意到该通知，以确认驾驶员是否已经正确识别了通知的内容。但是，在应在几分钟之内完成紧急接管的情况下，错过该通知可能会导致致命的伤害。因此，必须确认用户已经注意到该通知，以允许驾驶员可靠地识别该情况。

然而，有利的是，驾驶员已经在通过图中未示出的最佳通知定时估计器预测的定时注意到了通知。因此，在例如估计到达接管地点之前的10分钟作为最佳通知定时的情况下，提供通知，并且确认用户已经注意到该通知。在未检测到驾驶员已经注意到该通知的情况下，可以进一步提供作为警报的警告通知。

切换判定单元155在驾驶模式切换控制单元142的控制下，基于通过驾驶状态监测单元142检测驾驶员的反应性和觉醒程度的结果中的至少一项，进行从自动驾驶模式切换到手动驾驶模式的判定。稍后将参考图3描述由切换判定单元155执行的关于切换的判定。

通知控制单元124控制显示单元29、声音输出单元30和发光单元31，并向驾驶员提供各种信息的通知或警告，或者提醒驾驶员注意。另外，例如，通知控制单元124可以通过使用由车载装置控制单元34控制的致动器等，向驾驶员提供各种信息的通知或警告，或者提醒驾驶员注意。

给驾驶员的通知可能是引起驾驶员各种不愉快因素的来源，诸如记录检测到的驾驶员返回的动作、通过使用致动器模仿隆隆带(rumblestrip)路面行驶的座椅振动和操纵振动、面板信息显示、难闻的气味、抬起靠背和移动坐姿。

日志生成单元125记录检测到的驾驶员返回的动作，记录在车辆内部和周围发生的各种事件，在执行接管时响应于车辆的周围环境的通知，并生成和更新用于与附近车辆和基础设施的车对车和路对车通信。日志生成单元125使存储单元35存储所生成的日志并适当地更新日志。

学习单元126学习已经由驾驶行为分析单元141分析的驾驶员的驾驶行为(驾驶员特定的特征和特性，诸如驾驶操作、返回顺序和返回行为)，并存储学习的结果。

在驾驶员行为分析中，考虑到针对诸如给驾驶员引起不适感的夜间或积雪期间的路面等的相应情况的响应的个体返回特性可以考虑到对行驶环境等的依赖而被学习和记录。由于驾驶员通常确定自己的返回特性，因此可以进一步设置用于驾驶员进行提前通知的偏移设置的机制，以便选择比基于系统学习推荐的值更安全的条件。

然后，还假设有一些使用者，他们是谨慎的驾驶员，与车辆控制系统11作为基于学习而推荐的值给出的定时相比侧重于安全方面，并且更喜欢比车辆控制系统11给出的定时更早的通知。为了解决该问题，可以提供一种机制，通过该机制，用户可以根据他们的偏好将通知定时提前，用于所谓的提前通知的偏移设置。

然而，允许驾驶员以较晚的通知定时设置通知而不是以较早的定时设置通知是不利的，并且发生驾驶员难以及时返回的情况。如果发生驾驶员难以及时返回并因此而落后的几种情况，则在假设交通运输顺畅的情况下，存在车辆紧急停车的频率增加并且在交通运输基础设施中引起交通堵塞的问题。因此，这是不利的利用形式。因此，应该仅允许用户改变设置以根据需要提前通知定时。

同时，可以设置如下机制，通过该机制，在驾驶员在早期阶段意识到返回并且车辆控制系统11学习到用户的觉醒并且可以在通知定时之前为返回做好准备的情况下，驾驶员可以在车辆控制系统11发出烦人的通知或警告之前提前取消提前通知。

取消通知就像在时钟响起之前停止闹钟一样。但是，由于发生像过早停止时钟、注意力不集中以及重新入睡等情况是危险的，因此，提前通知的取消的利用可能被限于仅在有取消后返回检测到驾驶员向返回的转变的方式，并且还有一种用于当返回到手动驾驶的程序有延迟时鼓励驾驶员返回的机制时。

<切换判定单元的配置示例>

图3是示出切换判定单元的配置示例的图。

切换判定单元155包括手势识别切换判定单元201、扫视信息切换判定单元202、声音识别切换判定单元203和方向盘操作切换判定单元204。

通过逐步地进行判定，可以进行更可靠的判定。尽管实施例的描述将限于以上认识，但是可以持续监视驾驶员的状态，而不管是否有接管的必要，可以基于来自监视的信息来发出通知或警告，可以执行动态姿势的动作分析，并且然后可以添加本说明书中描述的程序。

在具有这种配置的切换判定单元155中，基于各种信息的判定被分多个阶段执行，并且最终基于各个判定的结果判定是否可以将驾驶模式从自动驾驶模式切换到手动驾驶模式。

-基于手势动作的识别来检测觉醒程度

手势识别切换判定单元201使驾驶状态检测单元142识别手势动作并检测驾驶员的觉醒程度。

手势识别切换判定单元201基于在驾驶状态检测单元142提供的接管通知之后检测检查用户已经注意到通知的预定动作的结果来判定驾驶员返回后的内部状态。基于驾驶员返回之后的内部状态的判定结果，判定是否可以从自动驾驶模式切换到手动驾驶模式。

尽管在实施例中简单指向被例示为指示驾驶员已经注意到通知的预定动作，但是也可以采用增强驾驶员已经注意到通知的概率的动作作为比重复动作等要求驾驶员更加智能地判定的动作。

在此，返回后的内部状态是驾驶员的意识状态。返回之后的内部状态的判定对应于驾驶员的意识是否清醒的判定。

特别地，除非基于通过驾驶员在观察前方的同时执行的指向动作中观看前侧所获得的视觉信息，脑中的将手和指尖转入视线范围内的判定的反馈起作用，否则难以执行准确的指向动作。另外，由于驾驶员的内部意识状态反映了动作的不稳定性和精确度，因此还可以观察到大脑中的清醒状态的积极反应(将在后面进行描述)。

在自动驾驶期间，驾驶员可以进行工作或驾驶以外的动作(包括小睡)作为辅助任务。然而，在需要从自动驾驶模式切换到手动驾驶模式的情况下，驾驶员应在返回到可以将驾驶任务作为首要任务执行的状态后停止辅助任务并改变其内部状态。

注意，尽管在本说明书中将不提供详细描述，但是连续地进行被动方案驾驶员状态观察，以观察驾驶员是否已经完全远离驾驶意识状态，诸如尤其在小睡期间，并且提供唤醒通知(例如警报)以使驾驶员在必要的定时返回。本技术的实施例是由车辆控制系统11执行的处理，以用于确认驾驶员已经注意到通知并且判定在驾驶员被提供通知之后的状态下实现驾驶员的明显返回时的觉醒程度。

例如，通过检测作为当驾驶员一旦醒来并从小睡坐起时、在观看驾驶员的车辆前侧的同时执行指向和检查的动作的指向和检查标志，来执行判断驾驶员返回之后的内部状态是否处于驾驶员可以执行驾驶任务的状态。

在可以没有不稳定的情况下正常地检测指向和检查标志的情况下，判定驾驶员返回之后的内部状态处于驾驶员可以执行驾驶任务的状态。在无法检测到正常指向和检查标志的情况下，判定驾驶员返回之后的内部状态不处于驾驶员可以执行驾驶任务的状态。注意，在姿势不稳定并且难以执行精确检测的情况下，可以通过再次执行检测来执行重试处理等。车辆控制系统11可以提供关于重试的通知。

指向和检查标志是将手臂指向作为要检查并指向用举起的手臂的手指检查的事件的方向的目标的方向的动作，该动作类似于火车或公共汽车的售票员执行的动作。如上所述，与现有技术中的被动生物信号观察相比，可以将驾驶员的指向手势检测为直接与感知相关的驾驶员的主动动作的动作，因此，车辆控制系统11可以显着准确地检测出驾驶员是否可以进行手动驾驶。另外，还具有检测结果具有较少模糊性的优点。

在一个实施例中，作为在接收到接管通知后的定义检查程序，在假定驾驶员检查车辆的前侧作为在车辆前进的情况下将立即发生的事件的情况下，驾驶员以如下方式发送相应的指向标志：驾驶员首先将一只手臂抬起到基本水平的位置并检查前进方向的前侧。

在下文中，根据需要，将在观看车辆前侧的同时指向和检查的标志称为前侧指向和检查标志。

驾驶状态检测单元142将驾驶员执行的前侧指向和检查标志检测为预定手势动作。在检测到手势动作的情况下，驾驶状态检测单元142判定在驾驶员的视线、驾驶员的主眼或两只眼睛的位置和指向的位置中是否存在预定关系。例如，基于由形成驾驶员成像单元101的三维传感器和二维传感器检测到的信息的组合来执行该判定。

在驾驶员的指尖位于包括驾驶员的视线的垂直平面附近并且也位于驾驶员的视线的下方的情况下，判定存在预定关系。以这种方式，驾驶状态检测单元142准确地识别出驾驶员已经指向前侧并且检测了驾驶员的觉醒程度。

注意，在很多情况下，作为驾驶员特定的特性的习惯、年轻等的影响被添加到手势动作中。驾驶状态检测单元142进一步考虑驾驶行为分析单元141对驾驶员的驾驶行为进行分析的结果、由学习单元126利用分析结果进行学习的结果等来检测前侧指向和检查标志。

如上所述，驾驶状态检测单元142通过基于驾驶员的图像、驾驶员的生物信息、检测视线的结果、分析驾驶员的驾驶行为的结果、认证驾驶员的结果、学习单元126执行的学习的结果等检测手势动作来检测驾驶员的状态。

另外，可以使驾驶状态检测单元142执行驾驶姿势返回序列的跟踪(用于确认驾驶员状况的动作的跟踪)。驾驶姿势返回序列的跟踪是通过跟踪来检测在执行辅助任务时驾驶员是否已经就座并且进一步检测序列直到驾驶员的姿势返回到驾驶员可以驾驶的状态的处理。

除了跟踪之外，还可以进行眼球行为分析，以检测驾驶员的反应性和觉醒程度，并判定驾驶员的手动驾驶能力是否已恢复。注意，要通过跟踪来跟踪的驾驶员的动作至少包括检查车辆的前侧的动作和随后的检查通知或警告的动作。

可以通过以复合方式使用视线、主眼或两只眼睛的位置、指尖、手或拳头的位置、车辆前侧的道路上的位置、通过诸如三维tof传感器的姿势跟踪装置获得的检测结果等来判定驾驶员的前侧指向和检查标志。可以在判定指尖的位置之后进一步执行动作的精确度的判定。

以这种方式，前侧指向和检查标志是大脑中实际观察车辆前侧并以该状态指向车辆前侧的判定动作。以这种方式请求预定动作手势使得能够检查和学习特定于驾驶员的特性，包括身体能力，诸如驾驶员能够忠实地表达前侧指向和检查标志的程度。特别地，由于可以通过结合其他方式分多个阶段执行驾驶员状态的转变观察来判定是否已经正常地执行了向手动驾驶的接管，并且可以采用通过使用教师数据判定正常接管期间的指向手势的转变被认为是正常的机制，无需手动选择和区分正常过渡数据并准备就绪，如下所述。

-基于扫视信息检测觉醒程度

扫视信息切换判定单元202使驾驶状态检测单元142执行驾驶员的眼球扫视行为的分析、微扫视行为分析以及反映并与大脑中的一系列感知活动相关联的动作(诸如视觉凝视和漂移的轻微运动)的分析，并检测驾驶员的觉醒程度。

在此，检测驾驶员的大脑中的特定判定动作，并且反射响应特性的行为由于个体驾驶员的会随时间变化的视敏度和大脑中的反射性主动反应(诸如存在危险)而发生改变。因此，可以通过对驾驶员进行认证并且根据基于特定特性学习而学习到的行为特性进行判定来更准确地进行判定。

扫视信息切换判定单元202通过根据驾驶状态检测单元142执行的检测结果判定驾驶员返回后的内部状态来判定是否可以将驾驶模式从自动驾驶模式切换到手动驾驶模式或判定驾驶员处于觉醒状态的条件。

-基于声音识别的反应性和觉醒程度的检测

声音识别切换判定单元203使驾驶状态检测单元142允许驾驶员基于来自驾驶员的声音响应来进行判定和识别，并且检测驾驶员的反应性和觉醒程度。

例如，通过声音来提出驾驶员难以在不经考虑的情况下进行响应的问题，并且由驾驶状态检测单元142检测出对该问题的响应。驾驶状态检测单元142基于驾驶员是否可以回答该问题来检测驾驶员的反应性和觉醒程度。例如，在驾驶员可以准确地回答该问题的情况下，检测到驾驶员的反应性和觉醒程度令人满意。

在驾驶员未能准确回答问题的情况下，判定驾驶员正在恢复觉醒的状态，并且如果在接管地点之前有足够的时间，也可以重试该问题。但是，如果根本没有响应，那么由于接管导致的风险就会增加。因此，可以基于ldm信息等来进行判定，并且特别地，如果车辆行驶通过恶劣的道路环境中的路段，则车辆可以在早期阶段迅速地转换到紧急疏散模式，如稍后将描述。

声音识别切换判定单元203通过基于由驾驶状态检测单元142执行的检测结果判定驾驶员返回之后的内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换到手动驾驶模式。

-基于方向盘操作检测反应性和觉醒程度

方向盘操作切换判定单元204使行驶控制单元33通过将扭矩作为噪声施加到方向盘上来产生操纵偏差，并有意引起偏离正常行驶的行驶(在下文中，称为噪音行驶)。例如，噪声行驶包括在相对于沿着行车道的行进方向将车辆保持在行车道中的基本行进方向的同时，将车辆移动到偏离的方向的行驶，以及应用沿变化方向的横向移动以横穿行车道或快速加速的行驶。在车辆暴露于侧风的情况下，车辆在不改变其方向的情况下沿横向偏离少量的方向移动。

方向盘操作切换判定单元204使驾驶状态检测单元142通过有意地添加用于校正操纵的扭矩或踩踏加速器或制动踏板等来检测驾驶员可以准确地响应行驶噪声。

方向盘操作切换判定单元204通过基于由驾驶状态检测单元142执行的检测结果判定驾驶员返回之后的内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换到手动驾驶模式。

切换判定单元155通过使用如上所述的多个信息项来判定在驾驶员返回之后的内部状态(驾驶员是否醒着或其程度)。

另外，切换判定单元155在切换判定的最后阶段或准最终阶段中执行方向盘操作切换判定作为判定。

在这些多阶段中判定驾驶员的清醒状态使得驾驶模式能够更可靠和更安全地从自动驾驶模式切换到手动驾驶模式。另外，由一名驾驶员反复并连续地执行接管动作来以自对准方式收集正常接管时获得的教师数据和故障时的教师数据，并根据利用频率提高检测准确性。

<手势识别切换判定的细节>

接下来，将参照图4至图7描述手势识别切换判定的细节。

假设驾驶员正在以自动驾驶模式行驶的车辆中从事辅助任务。在响应于ldm的更新或来自交通信息的紧急通知等判定需要返回到手动驾驶的情况下，驾驶模式切换控制单元154通过发出通知或警告来向驾驶员通知事实。

如果紧急程度很高，驾驶员应立即确定情况并开始手动驾驶。作为鼓励驾驶员返回到手动驾驶之后的驾驶员的程序，可以说，从人类工程学(伦理学)的观点来看，视觉检查前侧的状况并继续进行下一步采取的动作是最合理的程序。

也就是说，在正在从事辅助任务的驾驶员接收到返回到手动驾驶的通知或警告的情况下，可以说，首先视觉检查车辆的前侧，立即通过用眼睛直接感知状况来确定紧急性，并且在这些阶段之后检查呈现的消息、确定状况或继续进行下一步动作是很好的程序。

因此，重要的是在中断辅助任务之后立即准确地检测出驾驶员已经视觉检查了车辆前侧的状况。

因此，允许驾驶员通过在观看车辆的前侧的同时用食指指向车辆的前侧来发送前侧指向和检查标志，作为用于准确识别驾驶员已经准确地确定前侧的状况的方法之一。通过检测这样的动作，可以判定驾驶员已经中断了辅助任务并视觉检查了车辆的前侧。

在日本，经营火车、公共汽车等的许多企业主向驾驶员、售票员等建议指向和检查作为安全检查的程序，或者通常引入指向和检查。指向和检查进一步充当在早期阶段捕捉视线的辅助引导，并且已经用于安全检查的许多目的。

驾驶员感知视线上的目标，移动他们的手，最后指向目标，使得指尖和目标在从视线延伸的线上基本上彼此重叠。

在驾驶员进行这种指向时没有观看前侧的情况下，或者在驾驶员难以进行指向的情况下，驾驶员很可能没有充分地确定车辆前侧的道路的状况。

相反，在驾驶员在观看车辆的前侧的同时执行指向车辆的前侧的动作的情况下，由于该动作是故意定位指尖的动作，因此驾驶员很有可能已经适当地判定了车辆的前侧的道路的状况。

因此，确定车辆的前侧并发送前侧指向和检查标志的程序被定义为在自动驾驶模式下行驶期间鼓励驾驶员返回手动驾驶的情况下的程序。通过允许驾驶员根据该程序执行动作并由驾驶状态检测单元142进行检测，可以判定驾驶员的清醒状态。

图4是示出由驾驶状态检测单元142检测到的前侧指向和检查标志的示例的图。

如图4中的虚线所示，例如，垂直平面253被设置成包括驾驶员250的视线252关于驾驶员250的右眼251的位置的方向。垂直平面253是基本垂直于路面并且基本平行于行进方向的虚拟平面。然而，由于车辆行驶的道路不限于直线道路，因此该方向不必限于统一的方向，并且可以根据ldm信息来应用该方向。

另外，平行平面255被设置为包括驾驶员250的视线252关于驾驶员250的右眼251的位置的方向，如图4中的虚线所示。平行平面255是设置在眼睛的高度处并且基本平行于路面的虚拟平面。

指向和检查似乎可以被认为是麻烦的。但是，如果驾驶员准确地感知到前进方向，并且在意识完全从诸如小睡的辅助任务指向驾驶的状态下发送前侧指向和检查标志，则穿过驾驶员250的眼睛(主眼或两只眼睛)和指尖254并且指向车辆前进方向的直线与驾驶员250的视线252基本重合。

此时，指尖254位于相对于垂直面253设置为中心的附近的宽度w的范围内，并且位于驾驶员250的视线252的下方距离h，以便不妨碍驾驶员250的视线252。例如，距离h表示从几毫米到几厘米的距离。

图5的a是当从上侧观察时主眼是右眼的情况下正在观看车辆前进方向的驾驶员250a的平面图。注意，在图5的a中，在主眼是左眼的情况下，驾驶员250b也由虚线表示。图5的b是从侧面观察时驾驶员250a的状态的图。

图5的a示出了关于右眼251的位置而设置的垂直平面253。垂直平面253包括驾驶员250a的视线252的方向。驾驶状态检测单元142在驾驶员250a的图像中检测到驾驶员250a正在将指尖254停止在如图5的a所示其间插入了垂直平面253的特定范围w内，作为前侧指向和检查标志的动作。

指尖254的位置通过用tof传感器等跟踪该位置来检测。注意，跟踪的目标不限于指尖，并且可以是手指、手、拳头等。

注意，由于取决于驾驶员，存在个体差异，因此通过学习单元126执行的学习而获得的个体特性被用于检测前侧指向和检查标志。

图5的b示出了从侧面观察时右眼251、视线252和指尖254的位置关系。由于主要是为了检查车辆前进方向而进行指向，因此进行指向时的指尖254的位置是指尖254不妨碍驾驶员观察前进方向的视线252的位置。

驾驶状态检测单元142检测指尖254位于视线252下方距离h的位置处的手势动作(如图5的b所示)，作为前侧指向和检查标志的动作。

通过如上所述检测前侧指向和检查标志，可以确定驾驶员250已经意识到手动驾驶并且处于清醒状况。

注意，检测前侧指向和检查标志的方法不限于上述方法。可以在车辆控制系统11中设置具有将诸如视线的运动、头部的运动、用手指或手指向前进方向的动作的各种动作的组合动作识别为预定手势的功能的标志检测器。

图6是示出用于前侧指向和检查标志的程序的示例的图。

图6的a示出了在车辆的自动驾驶期间通过使用移动终端12来从事辅助任务的驾驶员261。移动终端12是智能电话、平板终端等。在图6的a中，假定驾驶员261正在执行所配送物品的单据的处理、检查下一配送目的地等作为辅助任务。

然后，驾驶员261从辅助任务中释放至少一只手，并发送前侧指向和检查标志，如图6的b所示。

该前侧指向和检查标志包括意思是驾驶员表示驾驶员已经中断了工作，已经注意到前侧并且已经意识到接管手动驾驶。

由于假定在驾驶员座位以外的位置执行辅助任务，因此可以检测驾驶员261在驾驶员座位上的就座动作，并且在检测之后，可以检测驾驶员261的指向动作。

注意，可以基于驾驶员就坐的座椅上的负载评估来检测就座动作。

另外，可以通过返回到手动驾驶的通知、警告、警报等来触发就座动作的检测。

例如，假设在图6的a的状态下，由于在预期能够进行自动驾驶的路段行驶期间发生意外事件而导致已经接近返回手动驾驶。

此时，在车辆控制系统1中提供了用于切换到手动驾驶模式(接管到手动驾驶)的通知或警告。驾驶员261接收到该通知或警告，然后发送前侧指向和检查标志，如图6的b所示。这使驾驶员能够快速接管驾驶。

注意，在驾驶员261发送前侧指向和检查标志之后，可以在移动终端12或仪表板的整个或部分表面上的诸如矩阵阵列显示单元的监视器上显示关于接管到手动驾驶的点的信息。可以通过检测已经接收到提供的这种信息的驾驶员261的响应操作来检测驾驶员的觉醒程度。

在车辆控制系统11难以精确地确定驾驶员的意识是否清醒的情况下，为了确保行驶中的车辆的安全性，有必要使车辆减速或停止。

然而，如果在交通繁忙的基础设施中执行与切换至手动驾驶模式有关的使车辆减速或紧急停止的程序，则对随后的车辆产生很大的影响，立即限制交通量造成交通拥堵并造成经济损失，这是不利的。

除了用于前侧指向和检查标志的程序之外，可以使用另一程序以便精确地确认驾驶员的意识是否清醒。

例如，前侧指向和检查标志可以被视为作为用于接管到手动驾驶的整个程序的一部分的初始程序，并且可以添加扫视分析等程序。

另外，还可以添加用于在检测到前侧指向和检查标志之后检测驾驶员是否已经执行了握持方向盘的动作的程序。

此外，可以通过在检测到前侧指向和检查标志之后检测视线来检测驾驶员是否已经开始确定状况的动作。作为确认状况的动作，例示了重新检查车辆的前侧的动作、检查后视镜、监视器等以检查后侧的动作、检查从车辆控制系统11侧呈现的消息或通知的动作等。可以将用于确定状况的这些动作检测为预定手势，并且可以判定已经实现返回之后的内部状态。

图7是示出前侧指向和检查标志的程序的示例的图。

如上所述，如果驾驶员271朝着车辆的前侧转动指尖、手、拳头和身体的一部分并且可以确认驾驶员271本身、其前侧指向和检查标志、以及包括驾驶员271的视线272和相对于驾驶员271的视线272前方的道路在车辆前侧的道路的垂直平面，则可以认为驾驶员271已经实现返回之后的可以执行驾驶任务作为主要任务的内部状态，如图7所示。

注意，为了判定是否已经实现了返回之后的内部状态，不仅可以使用前侧指向和检查标志，而且还可以使用检测是否至少依次执行了检查车辆前进方向的动作和随后检查由车辆控制系统11呈现的消息、通知等的动作的结果。

在人希望快速了解远程事件的情况下，该人首先采取理解在车辆前进方向上可见的状况，而不是查看警告等的通知画面并理解状况的动作，然后采取查看需要一点时间来解释的通知画面的动作。因此，此动作顺序很重要。

<自动化级别的示例>

图8示出了自动化级别的示例。在此，将描述由汽车工程师协会(sae)定义的自动化级别的示例。注意，尽管在本说明书中为了方便起见将sae定义的自动驾驶的级别用作参考，但是在广泛使用自动驾驶的情况下其问题和合理性在本领域中还没有被完全研究，并且该级别将不一定按定义来解释和使用。另外，利用形式不一定是保证说明书中描述的内容的利用形式。

自动化级别被分为级别0到级别4的5个阶段。

自动化级别0将被称为“无驾驶自动化”。在自动化级别0，驾驶员执行所有驾驶任务。

自动化级别1将称为“驾驶员辅助”。在自动化级别1，执行自动驾驶的系统(在下文中，简称为系统)例如执行驾驶任务中限制于沿前后方向或左右方向的车辆控制的子任务。

自动化级别2将被称为“部分驾驶自动化”。在自动化级别2，系统执行驾驶任务中沿前后方向和左右方向与车辆控制有关的子任务。

自动化级别3将被称为“有条件的驾驶自动化”。在自动化级别3，系统在有限的区域内执行所有驾驶任务。尚不清楚在此自动化级别上可以实际执行哪些辅助任务。例如，尽管考虑到驾驶员可以执行驾驶以外的工作或动作(诸如移动终端12的操作、电话会议、观看视频、玩游戏、思考以及与其他乘客的对话)作为在车辆行驶期间的辅助任务，但是在安全性方面存在大量问题。

也就是说，期望驾驶员在自动化级别3的定义范围内在针对系统故障或者行驶环境劣化的初步对策时(应急计划时)响应于来自系统的请求等而适当地采取诸如执行驾驶操作的对策。换句话说，在此时段期间，驾驶员有必要在准待机状态下等待返回。

自动化级别4将被称为“高级驾驶自动化”。在自动化级别4，系统在有限的区域内执行所有驾驶任务。另外，不期望驾驶员在初步对策时(应急计划时)采取诸如执行驾驶操作的对策。因此，驾驶员可以在车辆行驶期间以真实的感觉执行辅助任务，并且可以根据情况小睡。

因此，在自动化级别0至2，驾驶员执行全部或部分驾驶任务，并且驾驶员主观地进行监视并采取与安全驾驶有关的对策。在这三个自动化级别，要求驾驶员不断具有根据需要返回驾驶的能力。因此，不允许驾驶员执行除驾驶以外的可能会降低行驶期间的注意力或损害对前侧的注意力的辅助任务。

同时，在自动化级别3和4，系统执行所有驾驶任务，并且系统主观地执行监视并采取与安全驾驶有关的对策。然而，在自动化级别3下，存在驾驶员有必要执行驾驶操作的情况。此外，存在如下情况，即在行驶路线的一部分上存在自动化级别3和4不能应用的路段，并且对于这样的路段，自动化级别被设置为2以下，并且驾驶员必须介入驾驶。

注意，由于在自动驾驶期间允许驾驶员执行辅助任务的情况下难以确定驾驶员的觉醒程度，因此仍然在法律上禁止执行辅助任务，并且讨论的进展已经被暂停。然而，由于根据本技术的实施例，可以通过前侧指向和检查(手势识别)标志来有效地检查驾驶员返回驾驶的能力，因此允许执行辅助任务可以有足够的期望。

由于汽车制造商可以构造一种用于即使驾驶员在自动驾驶期间执行辅助任务(这也是自动驾驶的最大优点)也在必要的定时通过通知执行检查来确保安全的机制，因此汽车制造商可以寄予厚望。

<驾驶模式之间的切换>

注意，在以下描述中，将要求驾驶员以某种形式干预并直接影响车辆驾驶的驾驶称为“手动驾驶”。因此，以自动化级别0至2执行手动驱动。如图8中所示，将自动化级别0至2下的驾驶模式称为手动驾驶模式。

同时，在以下描述中将完全不要求驾驶员干预的驾驶称为自主自动驾驶(自动驾驶)。因此，基本上以自动化级别3和4执行自动驾驶。然而，存在这样的情况，即在自动化级别3有必要响应于来自系统的请求来执行手动驾驶。也就是说，由于有必要在自动化级别3限制驾驶员从驾驶操作脱离(dropoff)，因此，需留心地执行自动驾驶。因此，自动化级别4的驾驶模式将被称为自动驾驶模式，而自动化级别3的驾驶模式将被称为需留心的自动驾驶模式。

注意，本技术的框架基于这样的思想，即，从人类工程学的观点，被定义为需留心的自动驾驶的级别3的自动驾驶的使用不适合作为长时间连续使用的驾驶模式。因此，可以说，由于驾驶员必须继续不管驾驶员难以直接干预驾驶操纵的事实如何，驾驶员都难以完全专注于辅助任务的模糊状态，因此取决于利用形式，级别3的自动驾驶是对驾驶员造成严重麻烦的行驶路段。

当然，从实际使用的观点出发，尽管辅助任务被限制为驾驶员可以在短时间内返回驾驶的任务，但是即使也可以对级别3的使用施加法律限制，但由于人的生物学特性而导致驾驶员在单调状态持续的情况可能不知不觉地昏昏欲睡或专注于辅助任务，而没有注意到事。。

也就是说，车辆通过留心地自动驾驶行驶的级别3的自动驾驶模式不是假设连续长期使用的模式。级别3的自动驾驶模式是一种限制用于在通过路段存在困难或危险的情况下允许驾驶员在短时间内返回并待机备用，同时当驾驶模式从级别4的自动驾驶模式切换时保持自主自动驾驶和利用作为缓冲路段的自动驾驶模式。但是，级别3的自动驾驶模式可以一直使用，只要自动驾驶模式被限制为与驾驶员通过操作移动终端装置通过观看平板电脑屏幕等来持续保持意识连接以唤醒和返回驾驶的方式结合使用即可。

缓冲路段中的利用基于这样的思想：由于快速返回伴随着可能无法充分检查觉醒和返回的可能性的危险，因此准备自动驾驶模式以通过从级别4的自动驾驶模式切换到手动驾驶模式的缓冲路段。

提供适当地包括并执行该缓冲路段模式的系统的技术的目的是避免发生许多未能执行接管的车辆，避免在道路基础设施环境中由于这种未能执行接管的车辆而导致交通拥堵的发生，并确保健康的道路基础设施环境。

在此，根据本技术的实施例，根据通过使用手势识别、扫视信息、方向盘操作或声音识别检测出的驾驶员的反应性和觉醒程度来判定是否可以从自动驾驶模式切换到手动驾驶模式，并且根据需要执行切换。

图9是示出驾驶模式之间的切换的转变图。从自动驾驶模式到手动驾驶模式的切换还包括从自动化级别4的自动驾驶模式切换到自动化级别3的需留心的自动驾驶模式，以包括驾驶员可以稍微干预驾驶的驾驶操作的含义，如图9中的空心白色箭头#1所示。

从自动驾驶模式到手动驾驶模式的切换还包括从自动化级别3的需留心的自动驾驶模式切换到自动化级别0、1和2的手动驾驶模式，如图9中的空心白色箭头#2所示。

从自动驾驶模式到手动驾驶模式的切换还包括从自动化级别4的自动驾驶模式切换到自动化级别0、1和2的手动驾驶模式，如图9中的空心白色箭头#3所示。

由于在此期间发生的模式转变基本上限于确保驾驶员返回到自动化级别4的手动驾驶的能力的情况，因此直到紧接在切换之前才观察到(判定)驾驶员的主动操纵能力。因此，允许切换的情况限于道路是直的并且没有危险、确保了道路的安全性、并且可以利用剩余的adas功能(诸如lkas或acc)来解决驾驶员无法执行接管，以防驾驶员的操纵能力不足的情况。可替代地，直到响应于来自用户的请求判定驾驶员的手动驾驶能力才完成接管，并且还假设如果在操纵的检测不可靠的阶段将干预驾驶的控制转换到驾驶员，则由半睡着的驾驶员执行的操作会引发事故。

因此，管理车辆的控制的车辆控制单元28在车辆在行驶期间进入需要从自动驾驶切换为手动驾驶的路段之前设置自动化级别3的路段，在该时间预先判定驾驶员返回驾驶的能力，并为进入车辆最大可以以自动化级别2或更低行驶的路段做准备。

在由空心白色箭头#1、#2和#3表示的切换时无法检测驾驶员的反应性和觉醒程度的情况下，将驾驶模式切换为如粗线箭头#11、#12和#13所示的紧急疏散模式。请注意，即使在紧急情况下(诸如身体状况发生改变)，自动化级别0、1和2的手动驾驶模式也会转换到此紧急疏散模式。

注意，尽管在说明书中将不详细描述紧急疏散模式，但是紧急疏散模式实际上具有两个功能。第一功能是在由于进行普通行驶的车辆的驾驶员的觉醒程度、身体状况的快速改变等导致而难以继续假定的普通行驶或进行接管的情况下使车辆执行紧急疏散行驶至安全疏散场所的功能。

第二功能是一种用于即使在驾驶员没有操纵能力的状态下也确保交通运输的功能，作为从本来驾驶能力低的交通运输较差的区域紧急移动到医院等的方式。特别地，第二功能是移动速度本身优先级低的功能，并且是自动驾驶的行驶模式之一，其目的是通过组合远程辅助、前车行驶辅助等来确保移动。

如图9中的实线箭头#21和#22所示，根据此后设置行驶的车辆要前进通过的道路的ldm、天气、事件发生信息、当要求驾驶员返回时的返回可能性信息等响应于来自驾驶员的请求，判定是否可以执行从自动化级别0、1和2的手动驾驶模式到自动化级别3的需留心的自动驾驶模式的切换，或从自动化级别3的需留心的自动驾驶模式到自动化级别4的自动驾驶模式的切换。

特别地，如果在实线箭头#21的情况下使手动驾驶的车辆返回自动驾驶而没有让驾驶员注意这一事实，则可能在驾驶员使用车辆时发生驾驶员可能无意识地误解自动驾驶的使用。这种情况是不利的，因为如果驾驶员可能认为实际上处于手动驾驶模式的车辆正在通过自动驾驶行驶，暂时执行辅助任务并专注于辅助任务，则存在危险情况的风险，即使这可能以极低的概率发生。

注意，例如，如图9中的虚线箭头#31和#32所示的从紧急疏散模式切换到自动化级别3或自动化级别4仅针对在紧急情况下运送患者的特殊情况。

作为被认为是利用形式的使用情况，可以考虑难以等待应急车辆到达的乘客在能够进行级别4的自动驾驶的路段中通过利用自动驾驶级别4移动，以便移动到中间位置的高速公路服务区域等的情况。在普通用户由于接管失败而进入紧急疏散模式的情况下，采用仅在预定程序(诸如图中未示出的关于返回失败的记录)之后进行返回的程序。

通过使驾驶员能够在必要的路段安全且顺畅地返回到手动驾驶，可以将包括能够进行自动驾驶的路段和要求进行手动驾驶的路段的路线延伸为车辆可以沿其连续行驶而不停止的连续路线。另外，通过防止驾驶员完全脱离对驾驶操作的干预，并且使驾驶员能够安全且顺畅地返回手动驾驶，可以在行驶路线的主要路段中实现自动驾驶及其接管，而不会引起社会基础设施的问题。

另外，为了从手动驾驶返回到自动驾驶，通过引入用于通知驾驶员返回自动驾驶的程序，可以在手动驾驶模式期间防止手动驾驶的驾驶员不小心误解了“车辆正在通过自动驾驶行驶”从而开始执行辅助任务，并且减少了由于误解而引起的疏忽事故的风险。然后，即使在通知之后，也可以一起使用模式显示或指示从操纵干预脱离的警告，以进一步防止这种误解。

<自动驾驶控制处理>

接下来，将参照图10至图12中的流程图描述由车辆控制系统11执行的自动驾驶控制处理。注意，例如，当车辆的电源(点火)开关接通时，开始该处理。

在步骤s1中，驾驶员监视单元26对驾驶员进行认证。具体地，驾驶员监视单元26的驾驶员成像单元101对驾驶员进行成像。认证单元104在通过成像获得的驾驶员的图像中识别驾驶员的面部。

另外，例如，认证单元104通过从存储在存储单元35中的面部图像中搜索与驾驶员的面部一致的面部图像来指定驾驶员。例如，通过存储单元35将使用车辆的各个用户的面部图像和关于各个用户的信息(例如识别信息)链接并一起管理。

在可以指定驾驶员的情况下，认证单元104判定认证已经成功执行。在不能指定驾驶员的情况下，认证单元104判定认证失败。认证单元104将对驾驶员进行认证的结果提供给车辆控制单元28。注意，可以替代地使用诸如指纹认证、静脉认证或虹膜认证的另一种方式作为用于认证驾驶员的技术。

注意，在驾驶员的认证失败的情况下，可以禁止车辆的行驶。在这种情况下，可以通过在确保安全性的环境中执行预定操作以重新执行用户登记来允许驾驶员通过该车辆行驶。

然而，认证用户的主要目的是提取认证的驾驶员的驾驶操作的特征与驾驶员的状态之间的相关性并且根据该相关性来控制车辆。因此，认证结果不一定用于控制许可或禁止车辆行驶。例如，以这种方式，可以允许在紧急情况下以未经认证的状态行驶。注意，可以通过使用显示灯、车辆与车辆之间的通信等向周围环境通知车辆正在以未经认证的状态行驶的事实。

在步骤s2中，日志生成单元125开始日志的记录。

在步骤s3中，车辆控制单元28获取目的地。具体地，车辆的乘客(不一定是驾驶员)经由输入单元24输入目的地。输入单元24将所获取的指示目的地的信息提供给车辆控制单元28。

注意，由于将来可以期待使用人工智能的声音识别的发展，因此可以进行对话型目的地设置或行驶偏好设置。

在步骤s4中，车辆控制系统11开始根据所有对应路段中的影响到目的地的假定路线的前进以及天气、事件等获取接近路段中的周围信息，并行驶经过这些路段。

例如，周围环境成像单元21开始对车辆前进方向和周围环境成像，并将通过成像获得的周围环境图像提供给车辆控制单元28。

周围环境信息获取单元22开始从毫米波雷达、激光雷达、tof传感器、声纳、雨滴传感器、外部光传感器、路面状态传感器等获取与车辆的周围环境中的环境、物体等有关的周围环境信息，并将该周围环境信息提供给车辆控制单元28。

车辆信息获取单元25开始获取车辆信息，并将车辆信息提供给车辆控制单元28。

位置测量单元23开始测量车辆的当前位置，并将测量结果提供给车辆控制单元28。

通信单元27开始从its地点(未示出)接收本地动态地图(ldm)，并将该ldm提供给车辆控制单元28。此外，通信单元27开始从服务器(未示出)接收地图数据等，并将该地图数据等提供给车辆控制单元28。注意，地图数据可以预先存储在存储单元35中，并且车辆控制单元28可以从存储单元35获取地图数据。

此外，通信单元27开始从路侧机器(未示出)接收各种交通信息，并将该交通信息提供给车辆控制单元28。特别地，通过通信单元27获取最新的更新信息使得能够根据预先获取的地图信息更新随时间变化的风险变化点。

注意，在以下描述中，诸如ldm和地图数据的与地图有关的信息将被统称为地图信息。

周围环境监视单元121基于来自周围环境成像单元21的周围环境图像、来自周围环境信息获取单元22的周围环境信息以及来自通信单元27的各种信息，开始监视车辆的周围环境。

路线设置单元151基于从周围环境监视单元121获取的信息以及包括在从车辆信息获取单元25提供的车辆信息中的车辆的加速度、角速度等，根据需要校正车辆的当前位置。以这种方式，例如，由于尚未反映出地图信息的时间变化的信息导致的车辆的当前估计位置的误差，以及通过位置测量单元23执行的检测、判定等的误差被校正。

在步骤s5中，路线设置单元151开始设置行驶路径。具体地，路线设置单元151基于地图信息，考虑驾驶员的驾驶能力等来设置从当前位置或指定位置到目的地的行驶路线。另外，路线设置单元151基于诸如时区、到达目的地之前的天气、交通拥堵和交通管制等信息，根据需要改变行驶路线或呈现路线选项。

在步骤s6中，自动化级别设置单元152开始更新自动化级别。

具体地，自动化级别设置单元152基于地图信息、周围环境信息等来设置行驶路线上可允许的自动化级别(以下称为可允许的自动化级别)的分配。

在此，每个可允许的自动化级别表示可以为目标路段设置的自动化级别的最大值。例如，车辆可以行驶通过设置为级别3的可允许的自动化级别的路段，同时将自动化级别设置为3或更低。

例如，自动化级别设置单元152将行驶路线上的可允许的自动化级别的分配设置为地图信息等上指示的默认值。另外，自动化级别设置单元152基于从地图信息和周围环境信息获得的与行驶路线和周围环境有关的信息(诸如天气、道路状态、事故、建筑物、以及交通管制等)，根据需要更新行驶路线上可允许的自动化级别的分配。

另外，可允许的自动化级别可以从原始级别3降低到级别2，或者在由于积雪、洪水等导致难以识别道路上的分隔线(诸如路面上的路钉、油漆和路牙)以及道路标志(诸如符号和字符)的区域中禁止使用lkas。

行驶开始后的各路段的状况在各种条件(诸如伴随着雨水的白线的隐藏以及路面的背光反射)下随时发生变化。特别地，有必要让驾驶员知道在期望通过连续自动驾驶通过的路段的一部分中致使驾驶员被要求返回驾驶的改变，并且预先限制辅助任务的执行。

此外，在由于火灾产生的烟雾、浓雾等而导致不能令人满意的视野的路段中，可允许的自动化级别可以从原始级别3降低到级别2，或者最大速度可能受到限制。

在发生事故或检测到坠落物体的区域中，可允许的自动化级别降低为级别1或0。

例如，在道路表面被冻结的路段中或在强侧风吹动的桥梁上，限制速度降低，或者可允许的自动化级别降低至1或0级。

自动化级别设置单元152基于这种限制根据需要更新行驶路线上的可允许自动化级别的分配。

在步骤s7中，车辆控制系统11开始监视驾驶员。

具体地，驾驶员监视单元26的驾驶员成像单元101开始对驾驶员成像，并将通过成像获得的驾驶员的图像提供给车辆控制单元28。

生物信息获取单元102开始获取驾驶员的生物信息，并将该生物信息提供给车辆控制单元28。

视线检测单元103可以是专用于眼球分析的块，并且开始检测驾驶员的面部的取向、视线的取向、眨眼和眼球的运动(例如，视觉凝视、扫视等)，并将包括这样的各个信息项的检测结果提供给车辆控制单元28。

驾驶行为分析单元141开始基于驾驶员的图像、车辆信息以及学习单元126执行的学习结果来分析驾驶员的驾驶行为。

驾驶状态检测单元142基于驾驶员的图像、驾驶员的生物信息、视线检测单元103执行的结果检测、认证单元104执行的认证结果、学习单元126执行的学习结果等开始检测驾驶员的状态。

例如，驾驶状态检测单元142开始检测驾驶员的姿势、动作等。

另外，例如，驾驶状态检测单元142检测驾驶员的反应性和觉醒程度。将驾驶员的反应性和觉醒程度的检测结果从驾驶状态检测单元142提供给切换判定单元155。

当需要从自动驾驶模式切换到手动驾驶模式时，切换判定单元155基于这些检测结果中的至少一个来判定从自动驾驶模式切换到手动驾驶模式。在将关于驾驶模式的切换通知给驾驶员之后，进行从自动驾驶模式到手动驾驶模式的切换的判定。

在此，驾驶员的反应性基于来自外部的请求、指示和刺激、驾驶员对车辆前进方向上的障碍物的反应的存在、反应速度、反应的适当程度等来定义。除了驾驶员的觉醒程度已经降低的情况以外，驾驶员的反应性在驾驶员不注意驾驶的情况、驾驶员故意不反应的情况等下劣化。

检测驾驶员的反应性和觉醒程度的方法的示例包括被动监视和主动监视。

在被动监视中，通过被动地检测驾驶员的状态来检测驾驶员的反应性和觉醒程度。

例如，基于驾驶员的运动(诸如面部的取向的转变、视线的取向的转变、眨眼的频率以及眼球运动的转变)来检测驾驶员的反应性和觉醒程度。例如，与由周围环境成像单元21、周围环境信息获取单元22等获得的真实空间中的视野信息相关的视线相对于目标的移动、视觉凝视等被观察到，并基于该结果，参照学习到的驾驶员特定的眼球行为来检测驾驶员的反应性和觉醒程度。

例如，基于诸如驾驶员的心率和体味的生物信息来检测驾驶员的觉醒程度。

例如，通过观察驾驶随着时间的驾驶操作的转变(诸如方向盘的操纵稳定性和操作速度以及油门踏板和制动器踏板的操作稳定性、操作速度等)来检测反应性和觉醒程度的变化。注意，由于驾驶员的这些反应具有特定于每个驾驶员的特性，因此可以学习根据驾驶员的状况的特性，并且可以基于学习结果来检测驾驶员的反应性和觉醒程度。

例如，在驾驶员正在睡觉或正在执行辅助任务，并且处于不必急于驾驶员返回驾驶的状况的情况下，可以通过被动监视来执行检测，以便不打扰驾驶员。另外，可以执行从发射的红外线或其他电磁波的反射信号准被动监视。然而，在这些完全被动方案或准被动方案中，不能直接观察到驾驶员的响应反应，并且检测结果的可靠性差。

在投射由tof相机使用或用于识别视线的红外光的情况下，上述准被动方案最初对应于主动方案。但是，在说明书中将其描述为准被动监视，以便将其与观察到以下将描述的驾驶员的响应反应的主动方案区分开。

在主动监视中，通过向驾驶员给出视觉、听觉或触觉刺激、指令等并观察驾驶员响应于给定刺激、指令等的反应(响应)来检测驾驶员的反应性和觉醒程度。

例如，在难以通过被动监视来检测驾驶员的反应性和觉醒程度的情况下或者在检测频率增加的情况下，使用主动监视。

例如，存在如果自动化级别变为3或更高，则驾驶员在行驶操作装置中的干预被完全中断的情况，并且在这种情况下，即使监视行驶操作装置的操作状态，也无法再根据操纵装置的操作条件检测驾驶员的反应。主动监视是即使在这种状态下也能够可靠地确定驾驶员的状态的有效方式。也就是说，主动监视具有补偿被动监视的功能。此外，例如，主动监控还用于通过给予刺激来唤醒驾驶员。

注意，驾驶员的反应性和觉醒程度的检测可以在向驾驶员通知关于切换到手动驾驶模式之后执行，或者可以当存在通过使用行驶操作装置的校正操作时执行。

驾驶状态检测单元142可以通过控制显示单元29以使显示单元29在驾驶员的视野中显示短词或数字并鼓励驾驶员大声朗读词或数字，或显示简单的等式并鼓励驾驶员说出计算结果来检测驾驶员的觉醒程度。

另外，驾驶状态检测单元142通过控制显示单元29以使得显示单元29显示成为驾驶员的视野中的视线目的地的准目标并跟踪驾驶员的视线运动，来检测驾驶员的反应性和觉醒程度。注意，可以通过分析驾驶员的眼球行为来从对行为和动作(诸如扫视的发生、视觉凝视的轻微移动以及驾驶员相对于行驶期间进入视野的视场的漂移)的观察来详细分析驾驶员的内部清醒状态。

驾驶状态检测单元142通过控制声音输出单元30以使得声音输出单元30向驾驶员输出简单的指令(例如，用于横向摇动他们的头部)并观察驾驶员响应于指令的反应来检测驾驶员的反应性和觉醒程度。

驾驶辅助控制单元153根据来自驾驶状态检测单元142的指示，控制行驶控制单元33，以使车辆在能够确保安全性的范围内不自然地行驶。然后，驾驶状态检测单元142基于驾驶员的响应于不自然行驶或操作反应修正行驶的操纵来检测驾驶员的反应性和觉醒程度。

注意，基于驾驶员对车辆的不自然行驶的反应来检测驾驶员的反应性和觉醒程度的处理与上述参照图3所示的由行驶控制单元33、驾驶状态检测单元142和驾驶辅助控制单元153进行的上述处理相似，下面将描述修改示例。

-修改示例1

作为不自然的行驶，例示了施加偏移，诸如相对于行车道沿左右方向摇晃路线。然而，不自然的行驶不限于施加这种在左右方向上晃动车辆路线的偏移类型，并且可以提供用于比期望延长与前车的车辆到车辆的距离(减速操纵)的指令。驾驶状态检测单元142评估驾驶员是否响应于该指令采取了踩踏加速踏板以进行校正的动作。另外，可以通过检测眨眼的频率、检测驾驶员闭眼的状态、检测头部在前后方向上的摇晃等来评估驾驶员的状态。

只要使车辆在可以确保安全性的范围内不自然地行驶，就可以施加有偏差或仅有感觉的任何类型的行驶，并且可以施加另一种类型的主动反应。

-修改示例2

在不执行方向盘操作的情况下，例如，行驶控制单元33通过在不转动方向盘的情况下改变车轮的方向或增加对于车轮在水平方向上不平衡的制动负载来使车辆曲折前行预定时间段。在这种情况下，驾驶状态检测单元142基于驾驶员是否操作方向盘以校正曲折前行、反应速度等来检测驾驶员的反应性和觉醒程度。

注意，使车辆在驾驶员可以无意识地校正曲折前行的范围内曲折前行的量是有利的。

-修改示例3

车载装置控制单元34在车辆正常行驶的情况下将与车辆曲折前行的情况相对应的准转向负荷施加到方向盘。在这种情况下，驾驶状态检测单元142基于驾驶员是否操作方向盘以停止转向、反应速度等来检测驾驶员的反应性和觉醒程度。

-修改示例4

在驾驶员没有反应并且因此继续曲折前行驾驶的情况下，可以基于驾驶员的反应性、觉醒程度等的降低，经由通信单元27等向诸如跟随汽车的外部通知已经发生异常的事实。

-修改示例5

行驶控制单元33将车辆前进方向改变为在预定时间段内使车辆略微偏离行车道的方向。在驾驶员正常注意前侧的情况下，在这种情况下，期望驾驶员执行操纵以校正车辆的方向。然而，如果车辆前进方向无条件变化，则根据与周围车辆的位置关系可能会发生危险状态。另外，有可能跟随车辆正在进行跟车(follow-up)行驶。

因此，有利的是，通过共同判定诸如周围车辆的状态和对驾驶员的心理影响的条件，在不对周围车辆造成不利影响的范围内进行反应性和觉醒程度的检测。

-修改示例6

在acc有效的情况下，驾驶辅助控制单元153将到前行汽车的车辆到车辆的距离设置为比在平时设置的距离更长。在这种情况下，驾驶状态检测单元142基于驾驶员是否操作油门踏板以使车辆到车辆的距离恢复到平时的长度和反应速度来检测驾驶员的反应性和觉醒程度。

-修改示例7

行驶控制单元33相对于方向盘的操纵量将车辆前进方向上的改变量设置为大于或小于平常的量。在这种情况下，驾驶状态检测单元142基于驾驶员是否操作方向盘以在期望的方向上调节前进方向和反应速度来检测驾驶员的反应性和觉醒程度。

注意，有利的是，平时的改变量与这种情况下的车辆前行方向的改变量之差为在驾驶员可以无意识地校正前景方向的范围内的量。

另外，尽管还有控制车辆在左右方向上移动然后观察驾驶员的反应的示例，但是在修改示例中，例如可以通过对方向盘施加准转向扭矩或使用vr而不是直接对车辆的控制施加将噪声来执行基于视觉幻觉的引导，以便检查主动响应反应。此外，可以通过允许驾驶员使用声音等响应于特定的扭矩响应请求执行定义的动作(诸如转向方向盘或在前后方向上推动或拉动方向盘的操纵)来检查响应。

-修改示例8

行驶控制单元33相对于踩踏油门踏板的量，将车辆的加速度设置为比平常的加速度大或小。在这种情况下，驾驶状态检测单元142基于驾驶员是否操作油门踏板以将车辆的速度调节至期望速度和反应速度来检测驾驶员的反应性和觉醒程度。

注意，有利的是，平时的加速度与这种情况下的车辆的加速度之差在驾驶员可以无意识地校正该加速度的范围内。

-修改示例9

行驶控制单元33相对于踩踏制动踏板的量将车辆的减速度设置为大于或小于平常的减速度。在这种情况下，驾驶状态检测单元142基于驾驶员是否操作制动踏板以将车辆的速度调节至期望速度和反作用速度来检测驾驶员的反应性和觉醒程度。

注意，有利的是，平时的减速度与这种情况下的车辆的减速度之差在驾驶员可以无意识地校正该减速度的范围内。

-修改示例10

在由于执行自动驾驶而无需驾驶员介入驾驶的情况下，驾驶员可以操作移动终端12(信息处理设备)作为辅助任务。

当驾驶员操作移动终端12时，驾驶状态检测单元142经由通信单元27使移动终端12在其屏幕上显示子窗口，该子窗口用于向驾驶员呈现指令。然后，驾驶状态检测单元142基于驾驶员是否按照指令所要求的正常反应、反应速度等来检测驾驶员的反应性和觉醒程度。例如，驾驶员响应的指示的示例包括在显示面板上的两次触摸操作或其他操作，诸如输入复选标记作为发送到预定点以指示驾驶员响应于路线标记而知道事件并显示以用于在车辆前进期间检查预定位置处的事件的标志的动作。

-效果

例如，在驾驶员虽然从观看前侧但由于驾驶员想其他事情等而减少对驾驶的注意力的情况下，在某些情况下，仅通过被动监视难以检测驾驶员的反应性和觉醒程度。使用主动监视使得能够以驾驶员响应于通知的感知响应反应的形式进行观察，并且能够提高检测反应性和觉醒程度的准确性。如果驾驶员作为用户通常广泛专注于辅助任务，并且随着自动驾驶的分配，需要返回手动驾驶的频率降低，则完全自愿返回驾驶的感性必要性降低。然而，由于驾驶员通过由本技术的实施例实现的直观动作(其中通过在必要的时间进行指向和检查来检测前侧、进一步检查眼球行为以及随后主动检查在实际装置上执行的操纵动作的可靠性)来无缝地和主观地执行接管，驾驶员可以在确保安全和减少麻烦的情况下执行从自动驾驶到手动驾驶的接管。

注意，可以检测其他类型的状态(诸如意识状态、精神状态、紧张状态和药物影响程度)，以及上述驾驶员的状态。

回到图10的描述，学习单元126在步骤s8中开始学习处理。

例如，学习单元126可以基于由驾驶行为分析单元141执行的分析的结果开始学习驾驶员的驾驶能力与可以检测和观察到的驾驶员的各种状态或行为之间的相关性。

例如，当驾驶员正常地执行手动驾驶时，学习单元126开始学习生物信息、驾驶员的运动以及驾驶员的驾驶操作的趋势。例如，当车辆稳定地在行车道的中心行驶时，当车辆稳定地在停车信号灯等处停止时以及当驾驶员适当地在弯道处减速时，检测到驾驶员正在正常地进行手动驾驶。

以当驾驶员正常进行手动驾驶时驾驶员特定的特性(诸如驾驶员的视线的行为、头部的姿势、身体的姿势、脉搏波形、呼吸状态和瞳孔对外界光线的反应)与正常驾驶特性之间的相关性被经常性学习的方式执行学习。另外，可以通过使学习单元126学习当可以基于当驾驶员能够正常地进行对手动驾驶的接管时获取的可观察信息来执行正常接管时的驾驶员的特性作为可观察信息的教师数据，并通过使用学习结果来提高被动监视的准确性。

学习单元126响应于主动监视而开始学习驾驶员的反应特性，使得可以将正常时间与异常时间区分开。通过使用该学习结果，可以提高主动监视的准确性。

注意，诸如简单的相关学习、使用卷积神经网络(cnn)的复杂的人工智能学习、支持向量机、增压(boosting)和神经网络的任意学习方法可以用于上述学习。

以这种方式，可以通过根据各个状态学习驾驶员特定的特性来通过根据各个状态的学习基于驾驶员的状态(例如，驾驶员的健康状态和疲劳程度、响应于因过去的事故或不安全的事故经历而导致的特定事件的过度关注或敏感的响应反应等)来更准确地检测驾驶员的驾驶能力。

然后，学习单元126使存储单元35存储学习的结果。注意，学习的结果不仅可以存储在用于再利用的车辆中，而且可以存储在与车辆分开的电子钥匙、远程服务器等中，使得结果可以在诸如租用的汽车的另一车辆中使用。另外，可以在驾驶员重复使用的车辆中获取在先前使用时获得的学习结果，可以判定其过时性，并且添加有安全裕度的直到先前使用为止而获得的学习词典可以用作判定的初始数据。注意，如果驾驶员在特定时间段内未驾驶车辆，则可以根据使用历史以及从响应特性改变起的使用历史中的更新和空闲时段添加安全系数来判定学习特性。

在步骤s9中，驾驶辅助控制单元153开始驾驶辅助。也就是说，驾驶辅助控制单元153例如通过根据当前的自动化级别控制行驶控制单元33来开始作为行驶控制单元33的一部分的辅助驾驶的处理，诸如acc、lkas、tja和aebs。

在步骤s10(图11)中，驾驶辅助控制单元153通过根据当前的自动化级别控制行驶控制单元33来执行连续行驶。

在步骤s11中，驾驶模式切换控制单元154控制通信单元27，以使得通信单元27在行驶路线上的当前行驶路线上更新车辆随后行驶的下一接近路段中的ldm。

在步骤s12中，驾驶模式切换控制单元154检查ldm和驾驶员的状态。在此检查的驾驶员的状态包括驾驶员的辅助任务的执行条件，驾驶员的反应性和觉醒程度中的至少一项。注意，基于由驾驶状态检测单元142执行的检测结果来检查驾驶员的反应性和觉醒程度。

注意，从获取道路信息的频率并通过设置先前读取的距离来获得对驾驶员状态的监视频率。先前读取的距离的设置是设置车辆经过之前用于先前读取道路信息的距离。

在此，如果驾驶员的觉醒程度降低，则搜索车辆在作为足够的时间的几分钟内将要到达的位置处的最近的疏散点。同时，如果驾驶员的觉醒程度没有降低，则可以期望驾驶员在短时间段内解决紧急事件。因此，有必要获取与先前读取的距离相对应的最新更新信息，在先前读取的距离期间，车辆可以在至少约30秒的短时间段接管所需的最短时间内行驶。如果用于先前读取的点位于非常靠前的位置，直到车辆到达(先前读取的)点(没有任何中间信息插值)的间隔过长，并且(直到该点)缺少中间信息，则在此期间可能发生的危险事件可能会丢失。因此，有利的是，根据诸如驾驶员执行辅助任务的条件和清醒状态以可变的方式内插和获取中间点并根据需要执行先前的读取。

如果由于大雨、积雪等导致丢失道路标记的丢失风险，则有必要对时间变化进行更详细的监控。

主动地更新检查驾驶员的觉醒程度的频率、检查点、意识警告、先前信息等。

以这种方式，如果在由于交通拥堵等导致车辆几乎不前进的情况下参考地点给出通知，则在未根据道路交通状况和驾驶员的状况进行主动调整的情况下，通过期望车辆以较高的常规巡航速度在几分钟后行驶来在对应于通知前几公里的地点处提供用于开始返回手动驾驶的通知，并且，例如，通过地点设置来定义驾驶员返回清醒状态的地点，结果是在通过该地点之前过早的阶段提供了通知。但是，通过如上所述不断监视和判定驾驶员的状态以及道路的环境信息，可以根据来自与驾驶员返回驾驶所需的估计时间以及当前时间估计的道路上的平均流量速度有关的信息的经过该地点的时间的预测以及预测的驾驶员返回驾驶所需要的时间来计算开始返回的最佳点。另外，由于不断地重复进行驾驶员的状态的经常性监视，因此即使在接管点之前发生意外事件而与位置无关的情况下，车辆控制系统11也能够维持准备状态并且能够恒定地预测返回所需的时间。例如，由于可以持续观察驾驶员的状态，包括要求驾驶员从辅助任务(例如小睡)返回的预定唤醒时间，因此即使在紧急时间也可以发出最佳的唤醒警告。

在此，如果经过时间，则车辆可以行驶的最高自动化级别可能由于行驶路线和驾驶员的状况的变化而变化。驾驶模式切换控制单元154需要在行驶期间获取新信息，并且不断地继续监视行驶路线的最新更新ldm和驾驶员的状态。

图13是示出更新ldm数据的示例的图。

在图13的示例中，示出了在起点(行进路线选择)处的理想ldm数据。在图13中，按从上侧开始的顺序示出了各路段、为各路段设置的可允许的自动化级别以及为每个路段常规设置的辅助任务的执行可用性，并且在该图的下方示出了在短时间内临时设置(也称为短时段限制)的辅助任务的执行可用性。

注意，短时段限制是在从通知控制单元124发出通知的情况下将辅助任务限制为驾驶员可以快速开始返回驾驶的状态，并且其范围被限制为不会以辅助任务的任何利用形式引起注意的丧失的范围。

将辅助任务的执行可用性评估为：具有觉醒的姿势内的ok状态、具有觉醒的姿势内的ng状态、具有觉醒的姿势外的ok状态、具有觉醒的姿势外的ok状态、具有觉醒的姿势外的ng状态、具有觉醒的姿势内和外的ng状态(不取决于觉醒程度)以及姿势内外的ng状态。

设置为具有觉醒的姿势内的ok(姿势内的“ok”)的路段是驾驶员的就座姿势是在被定义为驾驶员可以立即返回至手动驾驶的就座姿势的范围内的姿势的路段，并且是如果驾驶员醒着，车辆可以在自动驾驶模式下行驶的路段。

也就是说，该设置为具有觉醒的姿势内的ok的路段是除非特别发生意外事件，否则可以毫无问题地通过自动驾驶通过的路段。因此，可以在级别3或以上的路段中进行常规使用，并且即使在级别2的路段中，也可以可操作性地允许短时间内使用自动驾驶的短时段受限的辅助任务执行。实际应用取决于车辆的特性和目标安全性。短时段受限的辅助任务执行的可能目标可以是导航屏幕的时间检查、操作等，这可能导致无法注意前侧。

设置为具有觉醒的姿势内的ng(姿势内的ng)的路段是即使驾驶员的就座姿势为在被定义为在驾驶员可从其返回到手动驾驶的坐姿的范围内的姿势也不能在自动驾驶期间执行辅助任务的路段。

在仅允许利用自动驾驶达到级别1的路段中，限制了自动驾驶级别。另外，由于在驾驶员在行驶期间操作导航或在行驶期间未能以某种形式注意前侧的情况下存在引起危险的风险，因此这对应于不建议执行伴随自动驾驶的任何辅助任务的路段。

被设置为具有觉醒的姿势外的ok(姿势外的ok)的路段是指即使驾驶员的就座姿势为定义为驾驶员可从其返回到手动驾驶的坐姿的范围以外的姿势，也能够通过级别3或以上的自动驾驶行驶的路段，并且是驾驶员在自动驾驶模式下通过级别3允许行驶路段期间可以在短时间内临时执行辅助任务的路段。

被设置为具有觉醒的姿势外的ng(姿势外的ng)的路段是即使驾驶员在驾驶员的坐姿是在定义为驾驶员可以立即返回到手动驾驶的姿势的范围之外的姿势的情况下保持驾驶员返回驾驶所必须的足够的觉醒程度，则如果驾驶员处于这种脱离姿势，也不允许自动驾驶。

也就是说，这是允许级别3的路段中禁止在离开座椅的同时执行辅助任务的常规操作的路段。

设置为姿势内外的ok的路段是由于通常不需要制动即可获取ldm等的更新、不要求返回手动驾驶、并且安全性得到确认，因此无论驾驶员的状态如何，都可以在与级别4相对应的自动驾驶期间执行辅助任务的路段。

设置为姿势的内和外的ng的路段是其中必须以级别0或1通过的、通过自动驾驶经过会伴随风险的道路段，并且是由于没有临时更新ldm等或者由于某种原因没有临时确认安全性，因此即使在通常可以以级别4通过的道路上，不管驾驶员的状态如何，都不允许进行自动驾驶的路段。

注意，就手动驾驶的执行的可靠性而言，当车辆从可以利用普通自动驾驶的路段转变为要求手动驾驶的路段时突然执行手动驾驶是不利的。因此，在进入可允许的自动驾驶级别降低变低的路段之前，一定要进行控制，以在保持时段内依次降低自动驾驶的可允许级别，直到完成手动驾驶的确认，并且将行驶路段确保为转换级别。

也就是说，在转换到级别3之后，级别基本上不从级别4转换到级别2，并且转换到级别2或1。

在图13中，根据作为起点的地点p1处的ldm数据，将地点p1至地点p2的路段s1中的可允许自动化级别设置为级别0或1。另外，将路段s1中的辅助任务的执行可用性设置为姿势中的ng。

从地点p2到地点p3的路段s2中的可允许自动化级别被设置为级别3。另外，路段s2中的辅助任务的执行可用性被设置为具有觉醒的姿势内的ok或者短时段受限的辅助任务的执行可用性被设置为具有觉醒的姿势外的ok。

从地点p3到地点p4的路段s3中的可允许自动化级别被设置为级别4。另外，路段s3中的辅助任务的执行可用性被设置为姿势内和外的ok。

从点p4到点p5的路段s4中的可允许自动化级别被设置为级别2。另外，将路段s4中的辅助任务的执行可用性设置为具有觉醒的姿势内和外的ng或将短时段受限的辅助任务的执行可用性设置为具有觉醒的姿势内的ok。

但是，驾驶员必须在作为级别4的路段的终点的点q1处醒来并返回，作为进入接下来自动驾驶级别上限为级别2的自动驾驶路段之前的预先准备的保持时段。因此，车辆控制系统11插入不可避免的自动驾驶级别3的路段(虚线)，并且在此期间使驾驶员完全返回手动驾驶提前。

尽管在本说明书中没有详细描述，但是基于驾驶员的常规清醒状态和姿势状态、预定路线的安全状况等来判定没有返回延迟的风险的定时，并且以及定义了接管延迟q1。在本技术的实施例中，在以与级别3相对应的级别行驶期间执行对驾驶员的接管的主动确认。

在图13的示例中，从点p4到点p5的路段s4被设置为级别2。虽然在图中未图示，但是在路段4中的所有级别变为3且在行驶期间之后的路段s5(级别3的路段)中的级别随着时间变为4的情况下，留下一个问题。即，在级别4层的路段停止，接下来是级别3的路段，接着是以级别4层行驶的路段所沿着的路线路段中，只要驾驶员注意，在最初就不需要驾驶员的返回和干预的同时，驾驶员对装置的操纵的干预在这种情况下根本不执行。

结果，难以判定驾驶员是否可以在必要的时间返回驾驶。因此，在判定驾驶员的返回能力的同时，通过在级别4的过程中判定上述暂时返回级别3的条件，可以有意地检查用于暂时驾驶的主动操纵反应，以便甚至在级别3的路段中通过车辆控制系统11确定并检测驾驶员的反应。

从地点p5到地点p6的路段s5中的可允许自动化级别被设置为级别3。此外，将路段s5中的辅助任务的执行可用性设置为具有觉醒的姿势内的ok(可以在可能不断返回驾驶并且具有返回驾驶所需的觉醒的情况下执行辅助任务)，或者可以将短时段受限的辅助任务的执行可用性设置为具有觉醒的姿势之外的ok(只要将执行限制在短时间段内，即使在姿势外也可以保持觉醒地执行辅助任务)。

从地点p6到地点p7的路段s6中的可允许自动化级别被设置为级别0或1。此外，将路段s6中的辅助任务的执行可用性设置为姿势内和外的ng(注意前侧的情况下脱离驾驶具有风险，并且即使在驾驶员可以立即返回驾驶并且足够清醒的状态下也不被允许的路段)。注意，地点p7也是到达地点。

在此，在作为路段s3的终点的地点p4处，可允许的自动化级别从级别4转换到级别2，并且辅助任务的执行可用性从姿势内外的ok转换到姿势内外的ng。另外，在作为路段s5的终点的地点p6处，可允许的自动化级别从级别3转换到级别1(级别0)，并且辅助任务的执行可用性从姿势内外的ok转换到姿势内外的ng。

可允许路段之前的转换控制对应于在进入车辆接下来进入的路段之前，驾驶员完成转换到车辆接下来进入的路段中被要求的状态所需的转换保持时段。本技术的实施例是用于行驶路线的过程中驾驶员在自动驾驶车辆进入可能需要手动干预的下一个行驶路段之前可靠地开始返回和接管的初始驾驶员返回程序的一部分，并且是一种如下机制，用于在接管之前鼓励驾驶员执行主动的前侧指向和检查动作，进一步监视与检查手势相对应的动作序列以及由系统观察手势的准确性和速度以更准确地获得驾驶员醒着并已返回到驾驶的状态。

驾驶模式切换控制单元154将这种通过预定距离转换可允许的自动化级别和辅助任务的执行可用性的地点之前的地点设置为预定的接管开始点。例如，车辆经过预定的接管开始点的定时对应于向驾驶员提供关于从自动驾驶模式切换到手动驾驶模式的通知的定时。

也就是说，驾驶模式切换控制单元154将作为路段s3的终点的地点p4之前表示的点q1和作为路段s5的终点的地点p6之前表示的点q5设置为预定的接管开始点。车辆经过点q1和q5的定时对应于向驾驶员提供关于从自动驾驶模式切换到手动驾驶模式的通知的定时。

图14是示出伴随条件变化的ldm数据的更新的示例的图。

注意，实际上，在出发后，如图14中的语音气球所示的条件存在变化。因此，可能存在需要重新考虑在出发(行驶路线选择)时设置的预定接管开始点的情况。

在图14中，从地点p11到地点p12的路段s11对应于图13中从地点p1到地点p2的路段s1。路段s11中的可允许自动化级别为级别0或1，并且辅助任务的执行可用性被设置为姿势以外的ng。

在此，假定从地点p12到地点p13的路段s12中道路标记由于积雪等已变得不清晰，并且已经发生了导致不适合自动驾驶的条件的改变为改变1。在这种情况下，将路段s12中的可允许自动化级别更改为级别2(虚线)，辅助任务的执行可用性变为姿势内外的ng，或者将条件更改为在姿势内和觉醒情况下仅允许进行短时段受限的辅助任务的条件。图14中的路段s12对应于图13中的路段s2，即出发前的路段，其中可允许的自动化级别为级别3。

注意，在条件发生改变的情况下，根据需要，路段的设置也发生变化。

在图14的示例中在因改变1而导致的条件1结束后的从点p13到点p14的路段s13中，以类似于图13中的路段s3中的方式，将可允许的自动化级别设置为级别4，并且将辅助任务的执行可用性设置为姿势内和外的ok。

另外，假定发生了由于建筑物等而导致需要手动行驶的状态的改变为图14中从地点p14到地点p15的路段s14中的改变2。在这种情况下，将路段s14中的可允许自动化级别改变为级别1(虚线)，并且将辅助任务的执行可用性改变为姿势内外的ng。图14中的路段s14是包括图13中的路段s3的可允许的自动化级别是级别4的后半部分的一部分并且包括图13中的路段s4的可允许的自动化级别为级别2的前半部分的一部分的路段。

但是，在作为级别4的路段的终点的点q11处，驾驶员必须，醒着并返回到驾驶，作为进入接下来的上限自动驾驶级别为1的自动驾驶路段之前的先前的准备保持时段。因此，车辆控制系统11插入不可避免的自动驾驶级别3的路段(虚线)，并且在此期间使驾驶员完全转向手动驾驶提前。因此，为了通过使用车辆控制系统11来确定驾驶员的清醒状态，向驾驶员提供通知，执行作为驾驶员返回序列的一部分而执行的前侧指向动作的手势观察，并且确定驾驶员的返回准备状态。

在图14的示例中，将由于改变2导致的状况结束之后的从地点p15到地点p16的路段s15设置为将可允许自动化级别设置为级别2，将辅助任务的执行可用性设置为姿势内外的ng，以及将是否可以执行短时间受限的辅助任务设为具有觉醒的姿势内的ok的路段。

假定道路标志由于积雪等而变得不清楚，并且已经发生了导致不适合自动驾驶的条件的改变作为从地点p16到地点p17的路段s16中的改变3。在这种情况下，将路段s16中的可允许自动化级别更改为级别2(虚线)，将辅助任务的执行可用性更改为姿势内外且无觉醒的ng，并且不允许常规地或在具有觉醒的姿势内执行辅助任务，并且仅将短时段受限的辅助任务的允许条件更改为具有觉醒的姿势内的ok。

在图14的示例中，由改变3引起的状态结束的从点p17到点p18的路段s17被设置为以与图13中的路段s6类似的方式将可允许的自动化级别设置为级别0或1并且将辅助任务的执行可用性设置为姿势内外的ng的路段。

通过这种条件的改变来改变可允许的自动化级别的设置和辅助任务的执行可用性。驾驶模式切换控制单元154根据改变之后的设置来改变预定的接管开始点，并且改变(重置)向驾驶员提供关于从自动驾驶模式到手动驾驶模式的切换的通知的定时。

也就是说，驾驶模式切换控制单元154将路段s14中的地点p14之前表示的点q11设置为预定的接管开始点。车辆经过点q11的定时是向驾驶员提供关于从自动驾驶模式切换到手动驾驶模式的通知的定时。类似地，给驾驶员提供通知，执行作为驾驶员的返回序列的一部分而执行的前侧指向动作的手势观察，并且在此确认驾驶员的返回准备状态，以便通过使用车辆控制系统11来确定驾驶员的清醒状态。

以这种方式，行驶路线和驾驶员的状况从行驶开始的每时每刻都在变化。

图15是示出伴随条件变化的ldm数据的更新的另一示例的图。

在图15的示例中，示出了在行驶开始之后经过特定时间之后的地点n处的最新ldm数据。如图15中的各个语音气球所示，即使在开始行驶之后，条件也改变。

在图15的示例中，假设车辆当前正在从地点p23到地点p24的路段s23中的地点p23行驶。

从地点p21到地点p22的路段s21是将可允许自动化级别设置为级别0或1的路段，并且车辆已经以可允许的自动化级别1通过该路段。路段s21对应于图11中的路段s11。注意，将路段s21中的辅助任务的执行可用性设置为姿势内外的ng，并且车辆已经通过该路段。

接着路段s21的从地点p22到地点p23的路段s22是将可允许的自动化级别设置为级别2的路段，并且车辆已经基于这种设置行驶通过路段s22。路段s22对应于图14中的路段s12。路段s22是将辅助任务的执行能力设置为姿势内和外的ng，并且将短时段受限的辅助任务的执行能力设置为具有觉醒的姿势内的ok的路段。

车辆行驶的包括地点n的从地点p23到地点p24的路段s23是可允许自动化级别被设置为级别4，并且车辆基于该设置而行驶的路段。

由于车辆在自动驾驶模式下行驶，因此例如在驾驶模式切换控制单元154获取由空心白色箭头r1表示的路段的最新ldm的更新数据的同时，车辆行驶。由空心白色箭头r1表示的路段是参考地点n车辆在直到该时间点为止假定驾驶员可以可靠地从辅助任务中返回的特定时段之后计划行驶通过的路段。

在这个最短的ldm信息预先获取路段中，有必要至少定义并连续更新驾驶员可以以特定的裕度从辅助任务返回的最短时间，以供如下利用，其中假定驾驶员远离座位长时间段睡觉、移动到后备箱等。在下文中，例如，假设在那时的路段的更新中已经获取了先前信息中的改变信息。

通过在车辆到达地点n时的最新的ldm更新数据添加关于改变21的信息，并且在改变时间表的情况下，可以通过在驾驶员的监视中不断地监视要求返回的预测时间计算要求从确认的驾驶员的状态返回的时间。与改变21相关联地要求驾驶员的干预和返回的级别被更新，并且不存在于原始行驶的初始阶段或在少于n的地点处的信息中的从点p24到点p25的路段s24变为可允许的自动化级别被改变为级别1的路段，并且该路段中的辅助任务的执行可用性为姿势内外的ng。

在这种情况下，驾驶模式切换控制单元154如上所述计算返回所需的预测定时，并将地点p24之前的点q21改变为预定的接管开始点。

此时，驾驶员必须在作为级别4的路段的终点的点q21处醒来并返回，作为在进入接下来的自动驾驶级别的上限为1的自动驾驶路段之前的先前准备的保持时段。因此，车辆控制系统11插入不可避免的自动驾驶级别3的路段(虚线)，并且在此期间使驾驶员完全返回手动驾驶提前。

注意，对于预测定时的计算，考虑到基于对驾驶员的返回特性、车辆的负载和制动的动力学特性、道路的安全特性等的学习的特性来进行计算。车辆经过点q21的定时是将关于从自动驾驶模式切换为手动驾驶模式的通知提供给驾驶员的定时。

另外，驾驶模式切换控制单元154将从地点p24到地点p25的路段设置为其中可允许的自动化级别为级别1并且辅助任务的执行可用性为姿势内外的ng的路段。例如，计算与条件相对应的定时，使得在早期阶段向沉睡的驾驶员给予警告，并且向在注意前侧的同时就坐并操作智能手机的驾驶员给予短时段屏幕通知。

注意，尽管将不给出详细描述，但是在一次转换到级别0至3的驾驶员的驾驶干预模式的情况下，不执行无缝转换以再次返回到自动驾驶的上级别模式而不通知驾驶员的机制。另外，为了返回到级别3或4的自动驾驶，必须有一种有意地反映请求驾驶员返回的输入的方式。

在此，向驾驶员提出请求的方式是防止驾驶员无缝地且不自觉地返回到自动驾驶模式，并且防止驾驶员认为车辆正在通过驾驶员的自动驾驶行驶而不管车辆控制系统11实际上没有返回到自动驾驶模式的事实以及由于错误的考虑而感到困惑的功能。这是因为，如果执行了不具有通知驾驶员返回到通过驾驶员的较高的自动驾驶级别的功能的控制序列，则存在驾驶员认为在相应路段中的行驶期间连续使用自动驾驶的担心，并且这由于解决手动驾驶失败而导致事故。

例如，存在驾驶员误解在直线道路继续的路段中继续自动行驶，并且即使之后在弯道等之前驾驶员注意到没有进行任何控制，驾驶员也会感到不安并导致事故的风险。

接下来，在图15中的从地点p25到地点p26的路段s25中，可允许的自动化级别是级别4，并且以类似于图14中的从地点p13到地点p14的路段s14中的方式，将将辅助任务的执行可用性设置为姿势内外的ok。

在此，如果对应于图14中的改变2的施工进度表还没有被更新，并且时间表也没有被改变，则图15中的点q11将成为计划的接管开始点。但是，在图15的示例中，施工路段信息由于改变22的发生已被更新，并且在从地点p26到地点p27的路段s26中进行了缩小路段的改变。路段s26是其中可允许的自动化级别是级别1，并且辅助任务的执行可用性是在姿势内外的ng的路段。

在这种情况下，驾驶模式切换控制单元154将计划的接管开始点从点q11改变为在路段s26中的地点p26之前表示的点q22。车辆经过点q22的定时是通知驾驶员从自动驾驶模式到手动驾驶模式的切换的定时。

此时，驾驶员必须在作为级别4的路段的终点的点q22处醒来并返回，作为进入接下来的自动驾驶级别的上限为1的自动驾驶路段之前的先前准备的保持时段。因此，车辆控制系统11插入不可避免的自动驾驶级别3的路段(虚线)，并且在此期间使驾驶员完全返回手动驾驶提前。

接下来，在图15中的从点p27到点p28的路段s27中，可允许的自动化级别是级别2，并且以与图14中从地点p15到地点p16的路段s15中相同的方式将辅助任务的执行可用性设置为姿势内外的ng，或者在利用被限制为短时间的情况下，将其设置为具有觉醒的姿势内的ok。

如图15所示，假定在从地点p28到地点p29的路段s28中发生了天气变好、道路标记变得清晰、道路环境得到改善的改变23。由于改变23，路段s28中的可允许自动化级别被从级别2改变为图14中的级别3，辅助任务的执行可用性被设置为姿势以外的ng，并且短时段受限的辅助任务的执行可用性被从具有觉醒的姿势内的ok改变为具有觉醒的姿势内的ok或具有觉醒的姿势之外的短时段受限的ok。

在图15的示例中，改变23结束的从地点p29到地点p30的路段s29中，可允许的自动化级别是级别0或1，并且以与图15中的路段s29和图14中的路段s17中相似的方式将辅助任务的执行可用性设置为姿势内外的ng。

如上所述，要求驾驶员以相同的可允许自动化级别返回的推荐时间(驾驶员的通知定时和警告定时)根据该点(或假定进入该路段的时钟时间)的行驶环境、驾驶员的状态、车辆的负载、制动特性等不断地改变。也就是说，要求驾驶员主动返回的定时根据ldm地图信息和环境信息、事故、冲出、由于诸如雷电和侧风的天气因素引起的时间变化风险、以及进一步的驾驶员的状态而改变。

注意，将驾驶员的意识恢复到驾驶员可以正常行驶的状态的速度表示为通过使用驾驶员的特性学习而获得的特征函数。这种特征函数被表示为与眼球扫视和微扫视行为、视觉凝视的轻微运动、瞳孔对外部光的变化的反射响应的特征、眨眼的特性等相关联的函数。

可替代地，该函数可以与诸如上述脉搏、呼吸和脑波的各种生物信号的可观察信息相关联地表达。每当发生从自动驾驶到手动驾驶的接管事件时，便观察到这些可观察到的评估值，并且获得与之后的稳定接管以及接管的失败和延迟的直接相关。之后，正常进行接管的情况下获得的值作为驾驶员正常接管手动驾驶时的教师数据相关联，并且学习所需的观察数据增加。也就是说，每当发生重复发生的接管事件时，车辆控制系统11对判定装置的学习根据利用而进行，因此，当根据可观察值预测驾驶员的要求唤醒恢复时间时的判定装置的性能根据利用而得到改善。

图16是示出总结辅助任务的执行可用性的表的图。

如上所述，表格中的驾驶员可以从其返回到驾驶员座位以进行操纵和驾驶的坐姿中的“姿势内”表示驾驶员可以从其返回到驾驶员座位以进行操纵和驾驶的坐姿。“姿势外”表示驾驶员未处于这种驾驶员可以从其立即返回驾驶员座位以进行操纵和驾驶的坐姿。

在表格中驾驶员可以识别周围的环境并采取避碰动作的清醒状态下，“具有觉醒度”表示驾驶员处于可以识别周围的环境并采取避碰动作的清醒状态，并且“不具有觉醒度”表示驾驶员未处于可以识别周围的环境并采取避碰动作的觉醒状态。

代表性的不具有觉醒度的状态是睡眠状态，并且作为其其他示例，驾驶员正在观看视频、被游戏迷住、在移动的车辆中举行远程电话会议以及专注于邮件或浏览的状况符合不具有觉醒度的状况。注意，尽管为了避免复杂性有意不对各个分类进行描述，但在实际中还需要注意身体的操纵功能，并且例如，由于辅助任务而产生的所谓机车能力(诸如手脚麻木)也是决定通知定时和决定自动驾驶的允许使用范围的因素。

将按从上到下的顺序描述该图。无论驾驶员处于姿势内还是姿势外以及是否醒着，都可以以级别4执行常规的辅助任务。

如果该级别为3或更低，则无论驾驶员处于姿势内还是姿势外，具有还是不具有觉醒度，都无法执行常规的辅助任务。基本上无法获得连续的长时段利用率，同时又从操纵中脱离。这是因为驾驶员难以在长时间段不直接干预驾驶的操纵的情况下连续地保持监视和关注自动行驶状态，并且可以被在任何时候请求返回。在级别3的利用持续特定时间或更长时间的情况下，有利地采用间歇地请求驾驶员返回并给出改变的使用形式。

无论驾驶员是否处于姿势之内或之外，是否觉醒，都可以以级别4执行各种辅助任务。

可以执行短时段受限的辅助任务，驾驶员可以在这种状态下在姿势内并具有觉醒度的以级别3或更高的级别提前返回。如上所述，将驾驶员长时间不连续干预的自动驾驶的利用假定为级别3的利用，并且在这种情况下，可以在假设即使驾驶员的意识从驾驶脱离，也要周期性地、重复地和连续地监视和检查条件的情况下，通过在因驾驶员睡觉或沉迷于观看视频或玩游戏而发生延迟的情况下而将延迟返回设置为惩罚目标来抑制从意识的心理脱离的发生。

可以在具有觉醒的姿势之外以级别2(或更高级别)(在驾驶员从限制姿势放松姿势的范围内，驾驶员可以在短时间内返回的放松姿势)执行短时段受限辅助任务。在能够确保特定的安全驾驶而车辆无法通过全自动驾驶行驶的路段中，能够以稍稍放松的姿势在辅助任务的范围内进行在现有技术中所有操作被禁止的技术操作，诸如导航操作。

在姿势外，任何辅助任务都不能执行，也就是说，即使短时段受限的辅助任务也不能以级别3或以下执行，无论驾驶员是否醒着。

返回图11，驾驶模式切换控制单元154基于在步骤s13中由驾驶状态检测单元142检测到的ldm(的更新信息)和驾驶员的状态判定在如上参照图13至图15所述的条件是否已经发生改变。

在步骤s13中判定条件发生了变化的情况下，处理进入步骤s14。

驾驶模式切换控制单元154在步骤s14中重置(改变)通知定时。还可以根据需要重置检查ldm和驾驶员的频率。

同时，在步骤s13中判定条件没有发生变化的情况下，跳过步骤s14中的处理。

在步骤s15中，驾驶模式切换控制单元154判定当前时钟时间是否是与所设置的通知定时之前的特定时间相对应的时钟时间。

此处定义的特定时钟时间表示驾驶员要求返回到手动驾驶的返回时间，并且是通过特定学习从例行观察中估算得出的，并且是驾驶员可以以特定成功率正常执行手动驾驶的预测时间。在说明书中将不详细描述学习方法。

驾驶员在接收到接管所需的通知之后通常正常完成实际接管所花费的时间因各个驾驶员而异，并且取决于姿势状态、驾驶员到此为止所执行的动作等。

因此，如果在通知期间内不能判定驾驶员的返回特性，则通过基于驾驶员群体的静态返回特性分配，根据定义的目标成功率，如果可以在实现100％的目标接管成功率或者如果不可以则在目标接管成功率所需的特定时间提供通知来确保上述成功率，以便驾驶员正常接管驾驶。特定时钟时间是指保持要给予驾驶员的通知以确保特定成功率的极限定时。

在步骤s15中判定尚未到达通知定时之前的特定时间的情况下，处理返回到步骤s10，并且重复以下处理。

在此，在常规地以低频观察通知定时并且已经观察到状况变化的情况下，检测转换到高频检测。定期且连续地执行lcm更新和驾驶员状态观察的原因是，如果驾驶员长时间执行不要求驾驶注意的辅助任务，则驾驶员会随着时间的流逝而感到困倦，并且可能会转换到无法在车辆控制系统11上检测到的从对操纵的深刻认识脱离。也就是说，提高了驾驶员觉醒程度的检测准确性，并且通过以特定比例执行观察和监视以在一定程度上随着时间的流逝判定驾驶员的状态并在可能进行接管的时间增加观察和监视的采样频率，抑制延迟发生风险。

即使在这种情况下，即使立即事先提供了通知，在通常期望有足够的保持时间的情况下，驾驶员的睡眠深度仍在进一步，并且状态已变为比要求早通知的状态。原定的安排可能会发生。为了避免这种情况与时间变化相关联，为了提高接管时间的准确性并通过在高频率下进行高频采样来防止延迟，定期以较长的时间间隔对采样进行定期监视并以增加的采样频率进行采样频率变化。

尽管已经在定义采样频率的假设下描述了实施例，但是可以采用这样的配置，在该配置中，通过观察恒定的姿势，将高灵敏度的变化敏感型检测方式与变化检测相结合来观察驾驶员的变化，对驾驶员和常规生物信号进行检测，并进行事件驱动型通知时间的重新计算以检测变化。另外，可以根据辅助任务的内容来周期性地执行一些条件的通知及其识别。

同时，在步骤s15中判定与到达通知定时之前的特定时间相对应的时钟时间的情况下，处理进入步骤s16。

在步骤s16中，驾驶模式切换控制单元154将检查ldm和驾驶员的频率重置为高于之前的频率。

在步骤s17中，驾驶模式切换控制单元154判定当前时钟时间是否是通知定时。例如，当车辆经过预定的接管开始点时，判定已经到达通知定时。

在步骤s17中判定尚未达到通知定时的情况下，处理进入步骤s18。

在步骤s18中，路线设置单元151判定车辆是否已经到达设置的目的地。

在步骤s18中判定车辆尚未到达目的地的情况下，处理返回到步骤s10，并且重复以下处理。

同时，在步骤s18中判定车辆已经到达目的地的情况下，开始用于自动驾驶处理的结束过程。

在步骤s17中判定通知时间已经到来的情况下，处理进入步骤s19(图12)。

在步骤s19中，驾驶模式切换控制单元154判定驾驶员是否处于其觉醒度已经降低的状态。基于驾驶状态检测单元142检测到的驾驶员的反应性和觉醒程度来执行这里描述的判定。

例如，在驾驶员的反应性和觉醒度低于预先设置为阈值的值的情况下，判定为驾驶员的觉醒性降低的状态，并进行判定。在驾驶员的反应性和觉醒程度大于预先设置为阈值的值的情况下，驾驶员未处于其觉醒降低的状态。

作为在此描述的阈值，可以使用为驾驶员群体唯一定义的固定值。在那种情况下，由于某些驾驶员可能会急于立即返回，而另一些驾驶员则需要花费一些时间，这取决于个人的特征，因此可以周期性地并且事先学习并定义根据驾驶员状态的可观察值而特定于驾驶员的学习特征。为了进一步提高准确性，具体取决于驱动程序的返回特性。

在难以指定驾驶员等的情况下，可以使用要求返回的典型驾驶员群体的静态值。但是，要求提前通知以允许所有驾驶员安全地执行接管。同时，如果在比通知定时早几分钟或几十分钟的阶段常规地重复早期通知，则与响应于向驾驶员的通知而必须返回有关的危险感降低，并且这会引起返回者疏忽的风险。因此，可以指出，持续不断地向驾驶员提前通知是决定通知时间的一种不太理想的方法。

在步骤s19中判定驾驶员不处于其觉醒度已经降低的状态的情况下，处理进入步骤s20。

在步骤s20中，驾驶模式切换控制单元154使得提供关于切换到手动驾驶模式的通知。关于切换到手动驾驶模式的通知是用于通知驾驶员从自动驾驶模式到手动驾驶模式的切换，并且例如在通知控制单元124的控制下执行。

例如，显示单元29在通知控制单元124的控制下显示用于在驾驶员的视野内引起注意的通知屏幕等。在驾驶员正在操作移动终端12的情况下，通知屏幕可以显示在移动终端12的屏幕的整个表面上以中断辅助任务的继续，或者可以显示用于吸引注意力的pinp小屏幕等。

此时，通过执行这样的控制不会延迟接管开始的机制，在该控制中，强制保存移动终端12的操作状态，并且使移动终端12转变为待机状态，从而能够以从相同的开始重新开始操作，或者其中相对于所利用的应用程序(app)经常保存紧接在利用应用程序之前的多个输入的历史，以便防止接管开始的情况由于担心在使用移动终端12的过程中会丢失中途操作信息而导致延迟，并且操作历史被保持在一种功能中，通过该功能可以从紧接在前的任意操作回放操作重新开始或强制关闭移动终端12的屏幕。以这种方式，可以防止驾驶员烦躁并继续操作，以响应于通知屏幕的显示而暂时立即停止移动终端12。

关于转换到手动驾驶模式的通知可以通过除了在屏幕上显示之外的方法来提供。

例如，声音输出单元30可以在通知控制单元124的控制下输出声音消息、警报、蜂鸣器、蜂鸣声、仅在车辆内听到的跟随汽车的准汽车喇叭(喇叭)等。

另外，发光单元31可以在通知控制单元124的控制下打开或闪烁灯等。

车载装置控制单元34可以在通知控制单元124的控制下执行诸如振动驾驶员或方向盘的座椅或拉动安全带之类的触觉反馈。注意，可以使座椅振动，以使使得当车辆横穿隆隆声条或路钉时，会感觉到类似振动。

行驶控制单元33可以控制方向盘，使得与车辆越过隆隆带或路钉时的振动相似的振动被传递给驾驶员。

在步骤s21中，驾驶模式切换控制单元154控制切换判定单元155，使得切换判定单元155执行驾驶模式切换判定处理。在驾驶模式切换判定处理中，通过各个判定单元(即手势识别切换判定单元201、扫视信息切换判定单元202、声音识别切换判定单元203和方向盘操作切换判定单元204)判定是否可以执行切换。稍后将参考图17中的流程图描述步骤s21中的驾驶模式切换判定处理。

在步骤s22中，切换判定单元155基于构成切换判定单元155的各个判定单元的判定结果，判定是否可以从自动驾驶模式切换到手动驾驶模式。

在步骤s22中判定可以执行从自动驾驶模式到手动驾驶模式的切换的情况下，处理进入步骤s23。

在步骤s23中，驾驶模式切换控制单元154执行从自动驾驶模式到手动驾驶模式的切换，转换到作为驾驶员主观进行驾驶的状态的驾驶员主观控制状态，然后结束自动驾驶控制处理。

同时，在步骤s19中判定驾驶员处于其觉醒度已经降低的状态的情况下，处理进入步骤s24。

在步骤s24中，驾驶模式切换控制单元154控制通知控制单元124，并使通知控制单元124发出觉醒警报。例如，输出足够大以唤醒人的声音、振动等作为警告。

步骤s24中的警告输出与步骤s20中的通知输出不同并且更强。例如，输出音量大于通知时的音量的声音消息、警告、蜂鸣器、蜂鸣声、准汽车喇叭等。另外，输出引起比通知时更不愉快的感觉的不和谐音。可以以比通知时更高的光强度来执行从灯等发出的光，或者可以以比通知时更高的强度来提供触觉反馈。

在步骤s25中，驾驶模式切换控制单元154判定是否已经确认了驾驶员的清醒和返回姿势。例如，在基于驾驶状态检测单元142的觉醒程度的检测结果可以指定驾驶员试图与正常时间具有相同姿势的情况下，判定能够确认清醒和返回姿势。在允许驾驶员在离开座椅的同时进行姿势移动和操作的系统中，可以提供跟踪和判定驾驶员在汽车中的姿势和身体姿势的移动的装置来进行判定。注意，即使不是通过姿势追踪直接进行驾驶员向驾驶和操纵片的全部返回，也希望将来在自动驾驶的分配中采用转动座椅、滑动座椅等，并且可以基于旋转座椅的返回、就座时的分压检测等来观察返回驾驶姿势的情况。

在步骤s25中判定尚未确认驾驶员的苏醒和返回姿势的情况下，处理进入步骤s26。

在步骤s26中，驾驶模式切换控制单元154参考内置定时器，并且例如判定在通知定时之后是否经过了预定的接管完成保持时间。

在步骤s26中判定未经过预定时间的情况下，处理返回到步骤s24，并且重复以下处理。预定的经过时间是指例如被允许唤醒睡眠的驾驶员并且在实现清醒之前所花费的时间，并且是经过学习的时间并且被设置为个人每次使用该系统时作为个人信息所特定的值。过去，使得对于不善于醒来的经过认证的驾驶员，预定的经过时间被设置为较长，而对于可以在短时间段内醒来的驾驶员，将预定的经过时间设置为较短。

同时，在步骤s26中判定已经过了预定时间的情况下，放弃驾驶员的清醒和返回操作，并且处理进入步骤s27。即使在步骤s22中判定不可能从自动驾驶模式切换到手动驾驶模式的情况下，处理也类似地进行到步骤s27。

在步骤s27中，日志生成单元125将切换到手动驾驶模式记录为ng。例如，生成并记录指示切换到手动驾驶模式失败的日志。

在步骤s28中，驾驶模式切换控制单元154激活并执行紧急疏散模式。进行控制使得驾驶员的车辆考虑到行驶道路周围的条件而减速到道路侧区域，以使速度降低提前，并且例如通过执行紧急疏散模式使得车辆紧急撤离到道路侧。但是，即使在紧急情况下，在路边停车也是一种不利的利用形式。有利的是，将车辆移动到并停在可以是车辆可以撤离的最近地点的位置，在该地点车辆不会干扰交通运输。原因是，如果自动驾驶的分配提前并且与过去发生的交通拥堵的发生相关联的车辆流动被中断，则整个行驶区域被自动驾驶车辆充满，车辆阻止紧急车辆通过，并且因此，确保路边区域对于交通运输基础设施的正常运行变得非常重要。

以这种方式，在紧急疏散模式下执行强制使车辆停止的处理。在紧急情况下，路线设置单元151基于地图信息搜索行驶路线上最接近的强制停止位置，并且进行使车辆停止在搜索到的强制停止位置的处理。作为强制停止位置，例如搜索允许车辆停止的紧急停车区，安全区，商店的停车位等。在此，考虑在道路行驶中的周围条件的原因是，如果车辆在没有裕度的单个行车道中的运输量大的时间带在唯一行车道中减速并且紧急停止，例如，这可能会成为道路上交通拥堵的原因。

在非紧急情况下，可以根据地图信息搜索最近的停车区或服务区。在预定范围内存在停车区或服务区并且车辆无需经过要求手动驾驶的路线即可到达的情况下，路线设置单元151将停车区或服务区设置为强制停止位置。在既没有停车区域又不在预定范围内的服务区域的情况下，或者在车辆不经过要求手动驾驶的路线的情况下不能到达停车区域或服务区域的情况下，可以按照与紧急情况类似的方式搜索和设置强制停车位置。

驾驶辅助控制单元153控制行驶控制单元33等，以使车辆在设置的强制停止位置处停止。此时，根据需要进行减速或缓慢行驶。在由于驾驶员难以返回而导致疾病状况等的快速变化的情况下，可以在检测时或汽车停止后，与事件通知一起进行sos发送。

注意，还假设驾驶员在强制停止位置处自动停止之前强制执行向手动驾驶的切换，并且驾驶员强迫返回驾驶。在这种情况下，由于存在驾驶员尚未充分醒来的可能性，因此可以允许驾驶员逐步地切换至手动驾驶。

接下来，将参考图17中的流程图描述图12的步骤s21中的驾驶模式切换判定处理。

在步骤s101中，手势识别切换判定单元201使驾驶状态检测单元142通过使用姿势识别来检测唤醒程度。

手势识别切换判定单元201通过基于通过驾驶状态检测单元142执行的检测结果判定驾驶员返回之后的内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换到手动驾驶模式。

在步骤s102中，扫视信息切换判定单元202使驾驶状态检测单元142通过执行眼球行为分析(例如，驾驶员的扫视分析)来检测驾驶员的觉醒程度。

扫视信息切换判定单元202通过基于通过驾驶状态检测单元142执行的检测结果判定驾驶员返回之后的内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换到手动驾驶模式。

在步骤s103中，使驾驶状态检测单元142识别来自驾驶员的声音响应，并检测驾驶员的反应性和觉醒程度。

声音识别切换判定单元203通过基于通过驾驶状态检测单元142执行的检测结果判定驾驶员返回之后的内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换到手动驾驶模式。

在步骤s104中，方向盘操作切换判定单元204使驾驶状态检测单元142有意地引起噪声行进，并基于驾驶员对引起的噪声行进的响应来检测驾驶员的反应性和觉醒程度。

方向盘操作切换判定单元204通过基于通过驾驶状态检测单元142执行的检测结果(即，作为驾驶员对作用于驾驶的动作的识别响应而出现的反应的结果)判定驾驶员返回之后的内部状态，来判定是否可以将驾驶模式从自动驾驶模式切换到手动驾驶模式。

注意，判定从自动驾驶模式到手动驾驶模式的切换的处理不限于执行以执行这四个阶段中的判定处理的一种。例如，可以执行单独的判定处理来代替图17所示的四个判定处理，或者可以添加判定处理。尽管实施例的描述限于这四种特定方式，但是在判定觉醒程度方面的可能性较低的上述各种生物信号(诸如脉搏波，出汗和体臭)可以组合使用，并且对于学习可观察信息与驾驶员特定的觉醒程度之间的相关性，可以通过使用每次执行接管观察到的可观察信息和实际接管期间返回的成功和觉醒正常转变作为学习的教师数据来更精确地估计向驾驶员特定返回的转变，

另外，图17中所示的四个判定处理的顺序可以任意改变。在此，关于对驾驶员的作用的效果，在仅根据依赖于驾驶员的被动方式的认知判断的观察进行检测的情况下，在驾驶员的被动观察中，在不存在独特特征的路段中，道路很简单，不需要特别注意，很难判定清醒和返回的状态。同时，从车辆控制系统11主动地作用于驾驶员具有如下优点：可以更加明显地区分判定唤醒和返回所需的可观察状态观察值。

图12所示的处理在图12的步骤s22中判定是否可以执行切换可以基于图17所示的四个判定处理的所有判定结果来执行，或者可以基于判定处理的判定结果中的至少一个来执行。

<自动驾驶控制处理>

接下来，将参照图18至21中的流程图描述由车辆控制系统11执行的自动驾驶控制处理的另一示例。

图18中的步骤s201至s209中的处理类似于图10中的步骤s1至s9中的处理。将适当省略重复的描述。

在步骤s201中，执行驱动程序的认证，并且在步骤s202中开始日志的记录。在步骤s203中获取目的地，并且在步骤s204中开始获取周围环境信息。

在步骤s205中开始行进路线的设置，并且在步骤s206中开始自动化级别的更新。在步骤s207中开始驾驶员的监视，并且在步骤s208中开始学习处理。另外，在步骤s209中开始驾驶辅助。

在图19的步骤s210中，驾驶辅助控制单元153在切换各个路段所允许的驾驶模式的同时连续行驶。

此时，驾驶模式切换控制单元154基于经由通信单元27获取的ldm、交通信息等，监视返回到手动驾驶的必要性。

注意，从自动驾驶模式切换到手动驾驶模式具有与返回到手动驾驶相同的含义。在下文中，根据需要从自动驾驶模式切换到手动驾驶模式(切换)将被称为返回手动驾驶。

例如，在监视返回到手动驾驶的必要性期间，以上参考图13至图15描述的条件中已经发生改变的情况下，驾驶模式切换控制单元154重置计划的接管开始点等。

在步骤s211中，驾驶模式切换控制单元154判定是否已经执行了向自动驾驶模式的切换。

在步骤s211中判定尚未执行到自动驾驶模式的切换的情况下，处理返回到步骤s210，并且重复以下处理。

在步骤s211中判定已经执行了向自动驾驶模式的切换的情况下，处理进入s212。

在步骤s212中，驾驶状态检测单元142判定驾驶员是否已经在自动驾驶模式下从操纵脱离。

在步骤s212中判定驾驶员没有在自动驾驶模式下离开驾驶的情况下，处理返回到步骤s210，并且重复以下处理。

在步骤s212中判定驾驶员已经在自动驾驶模式下离开转向的情况下，处理进入步骤s213。

在步骤s213中，驾驶状态检测单元142估计自动驾驶模式下的驾驶员的辅助任务执行状态和唤醒状态。辅助任务执行状态表示辅助任务是否已执行。

在步骤s214中，驾驶状态检测单元142判定驾驶员的觉醒性是否已降低或驾驶员在自动驾驶模式下是否已从转向中脱离。

在步骤s214中，在自动驾驶模式中判定为驾驶员的觉醒性未降低或驾驶员未从操纵脱离的情况下，处理返回至步骤s210，并重复以下的处理。通过利用不完全脱离的自动驾驶来执行辅助任务的示例表示当驾驶员正在执行处理单据、写邮件等的操作时在通过通信连续地连接到车辆控制系统11的移动终端12等的同一屏幕中连续提供伴随前进的行驶信息作为多任务屏幕，并且驾驶员继续周期性地执行识别在多任务屏幕上更新其通知的、与不断发生的事件有关的更新信息的操作的状态。也就是说，在驾驶员在获取返回到驾驶所必需的信息的同时执行辅助任务的情况下，并且如果在这段时间内在驾驶员的行驶更新信息中未观察到脱离，则处理返回到步骤s210，并继续监视。例如，识别操作包括双击接近地图上的接管点的操作，该接管点显示为画中画(pinp)。

在步骤s214中判定在自动驾驶模式中驾驶员的觉醒性已经降低或驾驶员从转向中掉下的情况下，处理进入图20中的步骤s215。在转换到自动驾驶后，转向完全脱离的典型示例是以下操作：不定期并在视觉上检查行驶的前侧，着重观看视频，被智能手机或智能手机迷住游戏之类的。

注意，驾驶员还没有离开驾驶，并且在步骤s210至s214中也没有发生辅助任务。

在步骤s215(图20)中，驾驶模式切换控制单元154估计在自动驾驶模式下正在执行辅助任务的驾驶员返回清醒的时间。稍后将参考图22中的流程图描述针对驾驶员的唤醒恢复时间的估计。通过步骤s215中的处理来估计驾驶员的唤醒恢复时间。

在步骤s216中，驾驶模式切换控制单元154基于更新的ldm，计算行驶道路上的驾驶员返回请求级别，该驾驶员返回请求级别是要求驾驶员返回的自动驾驶级别。

在步骤s217中，驾驶模式切换控制单元154考虑到驾驶员在辅助任务执行期间清醒和返回所花费的时间来重新计算驾驶员返回地点。考虑到驾驶员醒着和返回所花费的时间，驾驶员返回地点根据辅助任务被重新计算。

在步骤s218中，驾驶模式切换控制单元154更新轮询信息。在通过轮询来更新信息的情况下，可以根据行驶道路的安全级别来判定频率。

在通常由探测车或监控摄像机进行高频管理的道路上，发生不规则事件的风险较低，该道路专用于自动驾驶，并且是直路。对于在接合、碎石、路面冻结或发生事故率高的路段发生事故的路段，必须增加观察和检查的频率。

另外，可能存在这样的情况，即在起点处假定的条件由于伴随驾驶的时间变化而在车辆实际到达目的地的时钟时间改变，并且要求驾驶员在较早的阶段进行驾驶接管。在到达接管地点之前的几分钟到几十分钟的范围内，可以在计划的到达时钟时间更新信息，并且可以重复多次重新计算。

在步骤s219中，驾驶模式切换控制单元154在通知之前判定是否存在与对驾驶员的返回状态，ldm更新信息，环境条件等的影响有关的变化。

在步骤s219中判定已经存在与对返回的影响有关的改变的情况下，处理返回到步骤s215，并且重复以下处理。

在步骤s219中判定没有与返回影响有关的变化的情况下，处理进入步骤s220。

在步骤s220中，驾驶模式切换控制单元14判定当前时钟时间是否在通知时钟时间之前。在步骤s20中判定当前时钟时间在通知时钟时间之前的情况下，处理返回到步骤s218，并且重复以下处理。

在步骤s220中判定当前时钟时间不在通知时钟时间之前，即，通知开始时间已经到达的情况下，处理进入图21中的步骤s221。

在步骤s221中，驾驶模式切换控制单元154使通知控制单元124在通知定时提供关于切换到手动驾驶模式的通知。这里提供的通知是与图12的步骤s20中的通知类似的关于切换到手动驾驶模式的通知。

在步骤s222中，切换判定单元155执行驾驶模式切换判定处理。在驾驶模式切换判定处理中，通过各个判定单元(即手势识别切换判定单元201、扫视信息切换判定单元202、声音识别切换判定单元203和方向盘操作切换判定单元204)判定是否可以执行切换。由于与上述图17中的流程图中的处理相同的处理被作为步骤s222中的驾驶模式切换判定处理执行，因此省略说明。

在步骤s223中，切换判定单元155基于由形成切换判定单元155的各个判定单元获得的判定结果，判定返回到手动驾驶是否没有问题。

在步骤s223中判定返回到手动驾驶没有问题的情况下，处理进入步骤s224。

在步骤s224中，驾驶模式切换控制单元154执行从自动驾驶模式到手动驾驶模式的切换，转换到作为驾驶员主观进行驾驶的状态的驾驶员主观控制状态，然后结束自动驾驶控制处理。理所当然的是，尽管自动驾驶本身的功能结束了，但是可以节省诸如紧急情况下的紧急自动制动系统的功能的部分，诸如aebs。然而，由于adas功能作为自动驾驶结束后保存的功能主要是为了通常在紧急时防止损坏的目的，因此不能完全防止事故发生，并且存在导致受伤等的担忧，从而应避免对功能的依赖利用。因此，在车辆控制系统11检测到依赖利用的情况下，可以记录功能的异常使用的惩罚。

在步骤s223中判定返回手动驾驶引起问题的情况下，处理进入步骤s225。

在步骤s225中，驾驶模式切换控制单元154执行驾驶员唤醒处理。作为驾驶员的唤醒处理，至少执行用于唤醒驾驶员的警报，执行紧急疏散模式激活等，例如，执行图12的步骤s24至s28中的处理。执行12。

接下来，将参考图22中的流程图描述图21的步骤s222中的估计驾驶员的唤醒恢复时间的处理。在响应于行驶开始之前的行驶开始之前的信息而在实际行驶开始之后接收到伴随事件的发生或非预期事件发生通知的警告模式变化的情况下，有必要提供通知、警告或必要的对策，以鼓励驾驶员尽早返回计划外的驾驶。因此，执行估计驾驶员的唤醒恢复时间的处理。

在步骤s240中，驾驶模式切换控制单元154在开始行驶之后，更新车辆被计划行驶通过的前侧的ldm。此时，旅行信息也会根据需要进行更新。

通过往回跟踪驾驶员需要从自动驾驶切换为手动驾驶的地点，在比预定时间段更早的定时开始关于返回的通知，并且在行驶开始时获取的ldm地图信息中的预设地点开始唤醒处理。

但是，监视和管理驾驶员是否由于意外事件(诸如施工或由于行驶环境的时间变化而引起的石头掉落)而导致必须在驾驶员已经返回的清醒状态下进行手动驾驶，而无论道路是否是自动驾驶专用道路。

在步骤s241中，驾驶模式切换控制单元154重新计算由于驾驶员从操纵脱离而导致的返回延迟风险的发生。

在步骤s242中，驾驶模式切换控制单元154通过重新计算风险的发生来判定风险与重新计算之前相比是否增加。

与步骤s242中的重新计算之前相比，在判定风险增加的情况下，处理进入步骤s243。

在步骤s243中，驾驶模式切换控制单元154估计驾驶员的唤醒恢复时间。

与步骤s244中的重新计算之前相比，在判定风险没有增加的情况下，跳过步骤s243中的处理。

如上所述，作为对驾驶员返回后的内部状态进行判定的过程的初始处理，使用在进行行进方向确认时发送的前侧指向确认标志的检测，来进行觉醒程度和驾驶感的检测结果。类似于本技术的实施例。

由于基于对前侧指向和检查标志的这种检测来执行从自动驾驶模式到手动驾驶模式的切换，所以可以更安全地执行从自动驾驶到手动驾驶的接管。

特别地，从人类工程学的角度来看，驾驶员的前侧指向和检查标志是防止丢失的一种极好的检查方法，并且已经广泛地分配在火车和公共汽车的操作领域中，并且其有效性已经得到高度认可。

可以精确地判定驾驶员的返回能力，结果，可以通过判定之后的内部状态，允许驾驶员更可靠地执行从自动驾驶模式到手动驾驶模式的接管。通过依次执行视线行为、声音识别信息、方向盘操作信息等的跟踪来使驾驶员返回。

如上所述，可以更安全地从自动驾驶切换到手动驾驶。

注意，车辆控制系统11可以执行其自身位置的自主检查并提高其准确性以相对于环境校正相对位置，并且还可以通过使用诸如同时定位和地图绘制(slam)的技术创建所获取的地图数据的校正数据。

已经按顺序从不允许使用自动驾驶的级别0、要求驾驶员进行干预的自动驾驶可能级别、以及进一步高级的自动驾驶级别4和5，基于车辆可以根据道路环境行驶的自动驾驶级别的分类描述了本技术。

同时，在车辆控制系统11尽管当前的道路交通法尚未允许以低速行驶为前提来考虑自动驾驶的情况下，需要进行诸如行驶环境条件识别之类的认知判定。到目前为止已被广泛讨论的普通高速安全旅行所必需的，以及以多路复用方式涵盖主要风险的短周期路线规划，并不一定是必不可少的。另外，在假设由于宽松的管制而导致引入的低速驾驶车辆和现有轻型车辆之间的中间位置处假定限于低速行驶的自主式全自动驾驶车辆的情况。在现有技术中，作为模型代码认证的目标，以低速自动驾驶这种车辆的可用性是非常有利的。

也就是说，在假定利用了低速车辆的情况下，自动驾驶系统不能在短时间内进行判定的情况下，系统判定必要条件所需的时间。通过利用时间轴有意地延迟到达临界点的时钟时间，可以在汽车停止或减速时采取车辆行驶的方法。如果速度进一步降低，则结果是花费时间来判定行驶路径，并且这可以通过使车辆的前进减速来补偿。也就是说，即使与“非观察跟踪”所对应的地图信息(即相关技术中进行高速自动行驶所必需的并且持续更新的ldm)很差，也可以通过将车辆限制为低速行驶来使车辆安全行驶。

注意，临界点表示最终的接管点，在该点上，例如，通过先前获取的ldm信息在地图上完成相应的接管。关键点是关注在车辆经过该地点时无法通过手动驾驶解决状况的情况下或在根据来自车辆控制系统11的请求要求驾驶员返回手动驾驶的情况下无法解决手动驾驶条件的情况下可能诱发雾霾的地点。

取决于车辆控制系统11要求手动驾驶的因素，在驾驶员未返回手动驾驶的情况下，该地点不一定直接伴随有危险。这对应于一个地点，由于发生了某些危险或某些事件，车辆控制系统11无法判定其状况，因此要求驾驶员完成返回到手动驾驶的地点。

相应的临界点是车辆控制系统11不能判定的决定点，因为车辆控制系统11无法做出判定，或者车辆控制系统11不判定以普通巡航速度进行自动行驶。因此，经常会发生这样的情况：当车辆经过临界点时，驾驶员不会感到自己的车辆需要返回手动驾驶。

因此，在车辆控制系统11不能真正判定的危险事件与偶然发生的情况一起发生的情况下，因为在临界点处驾驶员的疏忽导致了重大的接管疏忽。当场，因此有引发大事故的风险。因此，为了在无法在关键点确认驾驶员的接管时防止驾驶员降级接管，可以将临界点用作判定要向驾驶员施加罚款的基准点。当驾驶员延迟接管或接管开始时。

同时，由于存在多种阻碍基础设施功能的因素，例如在高速行驶环境中混合利用中道路基础设施中出现交通拥堵，因此只能以低速使用的自动驾驶系统不适合直接使用。在高速公路环境中的利用率。

也就是说，尽管专用于低速行驶的自动驾驶车辆即使在具有进一步有限的周围识别功能的情况下也可以实现安全的行驶和行驶，但是如果将自动驾驶直接应用于高速驾驶，则自动驾驶车辆要求诸如最佳避障路径路径选择的高速处理。但是，由于无法进行安全自动驾驶所需的远程识别和高速处理判定，因此难以通过要求高速行驶的路径。

因此，无论驾驶员手动驾驶能力如何，都允许在低速下利用限于低速行驶的自动驾驶。此外，如果仅在希望以特定速度以上的速度通过路段的驾驶员返回时，通过提高行驶速度来以自动驾驶级别3或2通过高速行驶的路段，则成为可能。在手动驾驶的干预下，可以以相同的移动方式进行更实际的利用，并且还确保了安全性，此外，具有可以防止由于低速车进入道路基础设施而引起的交通拥堵的优点。

也就是说，尽管本技术着重于当驾驶员根据行驶路段随时改变的每个道路路段根据需要从自动驾驶模式切换到手动驾驶模式时对手动驾驶返回能力的判定，但是在允许以低速自动驾驶的形式的车辆以高速移动的情况下，可以以扩展的方式利用本技术来判定驾驶员的手动驾驶返回能力。

注意，以上描述是针对根据实施例的配置示例的，其中，确认了驾驶员对控制的积极反应。尽管将通知、手势识别的实施方式，以及直接将特定行驶噪声应用于车辆自身行驶的控制描述为接管程序，但是可以应用其他实施方式。例如，可以使用诸如虚拟现实效果之类的视觉效果，可以分离方向盘和车辆的控制，并且可以人为地产生方向盘的旋转和扭矩，或者在旋转时方向盘本身不旋转。可以通过取决于打击乐的触觉方法来施加旋转的物理感觉。此外，检查过程可以不限于正面检查，并且可以扩展并应用于从虚拟显示器进行的手势识别。

本技术可以应用于能够使驾驶的至少一部分自动化的各种车辆，而与车辆的动力源或能量供应源无关。例如，本技术可以应用于汽油动力汽车，混合动力汽车，插电式混合动力汽车，电动汽车，燃料电池汽车等。另外，本技术除了通用汽车之外还可以应用于公共汽车，卡车，摩托车等。特别地，在将本技术应用于能够在自动驾驶和手动驾驶之间切换的各种车辆的情况下，可以实现高效果。

<配置示例>

前述一系列处理可以由硬件执行或可以由软件执行。在通过软件执行一系列处理的情况下，形成该软件的程序被安装在计算机上。在此，计算机包括结合在专用硬件中的计算机，例如，通用个人计算机，其能够通过安装各种程序来执行各种功能。

图23是示出使用程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在计算机中，中央处理单元(cpu)401、只读存储器(rom)402和随机存取存储器(ram)403通过总线404相互连接。

输入/输出接口405进一步连接到总线404。输入单元406，、输出单元407、记录单元408、通信单元409和装置410连接到输入/输出接口405。

输入单元406包括输入开关、按钮、麦克风、成像元件等。输出单元407包括显示器、扬声器等。记录单元408包括硬盘、非易失性存储器等。通信单元409包括网络接口等。驱动器410驱动可移动记录介质411，诸如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，cpu401经由输入/输出接口405和总线404将例如存储在记录单元408中的程序加载到ram403上，并执行该程序。因此，执行上述一系列处理。

例如，可以提供要由计算机(cpu401)执行的程序，该程序被记录在作为包装介质等的可移动记录介质411中。而且，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，通过将可移动记录介质411插入驱动器410中，可以经由输入/输出接口405将程序安装在记录单元408中。此外，可以由通信单元409经由有线或无线传输介质接收程序并安装在记录单元408中。此外，程序可以预先安装在rom402或记录单元408中。

应当注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序，或者是并行处理或在诸如调用时的必要定时处理的程序。

注意，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的范围的情况下进行各种改变和修改。

例如，本技术可以采用云计算的配置，其中一个功能由多个设备通过网络共同共享和处理。

此外，由上述流程图描述的每个步骤可以由一个设备执行，或者由多个设备共享并执行。

另外，在一个步骤中包括多个处理的情况下，该一个步骤中包括的多个处理可以由一个设备执行或由多个设备共享并执行。

<组合示例>

可以如下配置本技术。

(1)

一种车辆控制装置，包括：

成像器，所述成像器对驾驶员进行成像；以及

电路，配置为：

基于由所述成像器捕获的图像来检测指示驾驶员觉醒的手势动作；以及

响应于检测到的手势动作来切换驾驶模式。

(2)

根据(1)所述的车辆控制装置，

其中，在检测到手势动作的情况下，所述电路将驾驶模式从自动驾驶模式切换为手动驾驶模式。

(3)

根据(1)或(2)所述的车辆控制装置，

其中，所述电路将在观察车辆行驶方向的同时在车辆行驶方向上执行的指向和检查动作检测为所示手势动作。

(4)

根据(1)至(3)中任一项所述的车辆控制装置，

其中，所述指向和检查动作是驾驶员的指尖位于实际上被设置为包括驾驶员的视线的垂直平面附近并且还位于驾驶员的视线下方的动作。

(5)

根据(1)至(4)中任一项所述的车辆控制装置，

其中，所述电路通过跟踪驾驶员的指尖、手和拳头中的至少任何一个的动作来检测所述指向和检查动作。

(6)

根据(1)至(5)中任一项所述的车辆控制装置，

其中，所述电路基于驾驶员特定的特性来检测手势动作。

(7)

根据(1)至(6)中任一项所述的车辆控制装置，

其中，所述电路还被配置为基于检测到的手势动作来学习驾驶员特定的特性。

(8)

根据(1)至(7)中任一项所述的车辆控制装置，

其中，所述电路检测驾驶员坐在驾驶员座位上后执行的手势动作。

(9)

根据(1)至(8)中任一项所述的车辆控制装置，

其中，所述电路还被配置为在向驾驶员提供了切换驾驶模式的通知之后检测驾驶员的就座动作。

(10)

根据(1)至(9)中任一项所述的车辆控制装置，

其中，所述电路将再次检查车辆行驶方向的动作以及随后的检查向驾驶员的通知或警告的动作检测为手势动作。

(11)

根据(1)至(10)中任一项所述的车辆控制装置，

其中，所述电路还被配置为在检测到预定手势动作之后检测驾驶员握持方向盘的动作，以及

其中，在检测到握持方向盘的动作的情况下，所述电路将驾驶模式从自动驾驶模式切换为手动驾驶模式。

(12)

根据(1)至(11)中任一项所述的车辆控制装置，

其中，所述电路基于驾驶员对给驾驶员的呈现的响应和操纵校正的准确性中的至少一项来检测驾驶员的觉醒状态。

(13)一种车辆控制方法，包括：

对驾驶员进行成像；

基于捕获的图像来检测指示驾驶员觉醒的手势动作；以及

响应于检测到的手势动作来切换驾驶模式。

(14)

一种车辆控制装置，包括：

成像单元，其对驾驶员进行成像；

清醒状态检测单元，其基于由成像单元捕获的图像，检测指示驾驶员处于清醒状态的预定手势动作；以及

驾驶模式切换单元，其响应于检测到预定手势动作的事件而切换驾驶模式。

(15)

根据(14)所述的车辆控制装置，

其中，在检测到预定手势动作的情况下，驾驶模式切换单元将驾驶模式从自动驾驶模式切换到手动驾驶模式。

(16)

根据(14)或(15)所述的车辆控制装置，

其中，清醒状态检测单元将在观察车辆前进方向的同时在车辆前进方向上执行的指向和检查动作检测为预定手势动作。

(17)

根据(16)所述的车辆控制装置，

其中，指向和检查动作是驾驶员的指尖位于实际上被设置为包括驾驶员的视线的垂直平面附近，并且还位于驾驶员的视线的下方的动作。

(18)

根据(16)或(17)所述的车辆控制装置，

其中，清醒状态检测单元通过跟踪驾驶员的指尖、手和拳头中的至少任一个的动作来检测指向和检查动作。

(19)

根据(14)至(18)中任一项所述的车辆控制装置，

其中，清醒状态检测单元基于驾驶员特定的特性来检测预定手势动作。

(20)

根据(14)所述的车辆控制装置，还包括：

学习单元，其基于由清醒状态检测单元检测到的预定手势动作来学习驾驶员特定的特性。

(21)

根据(14)至(20)中任一项所述的车辆控制装置，

其中，清醒状态检测单元检测在驾驶员坐在驾驶员座位上之后执行的预定手势动作。

(22)

根据(21)所述的车辆控制装置，

其中，在向驾驶员提供了切换驾驶模式的通知之后，清醒状态检测单元检测驾驶员的就座动作。

(23)

根据(14)至(22)中任一项所述的车辆控制装置，

其中，清醒状态检测单元将再次检查前进方向的动作和随后的检查对驾驶员的通知或警报的动作检测为预定手势动作。

(24)

根据(14)至(23)中任一项所述的车辆控制装置，

其中，清醒状态检测单元在检测到预定手势动作之后检测驾驶员握持方向盘的动作，以及

驾驶模式切换单元在检测到握持方向盘的动作的情况下将驾驶模式从自动驾驶模式切换到手动驾驶模式。

(25)

根据(14)至(24)中任一项所述的车辆控制装置，

其中，清醒状态检测单元基于驾驶员对给驾驶员的呈现的响应和操纵校正的准确性中的至少一项来检测驾驶员的清醒状态。

(26)

一种车辆控制方法，包括：

对驾驶员进行成像；

基于捕获的图像检测指示驾驶员醒着的预定手势动作；以及响应于检测到预定手势动作的事件而切换驾驶模式。

附图标记列表

10自动驾驶系统

11车辆控制系统

12移动终端

21周围环境成像单元

22周围环境信息获取单元

23位置测量单元

24输入单元

25车辆信息获取单元

26驾驶员监控单元

27通信单元

28车辆控制单元

29显示单元

30声音输出单元

31发光单元

33行驶控制单元

34车载装置控制单元

35存储单元

101驾驶员成像单元

102生物信息获取单元

103视线检测装置

104认证单元

121周围环境监控单元

122驾驶员监控单元

123自动驾驶控制单元

124通知控制单元

125日志生成单元

126学习单元

141驾驶行为分析单元

142行驶状态检测单元

151路线设置单元

152自动化级别设置单元

153驾驶辅助控制单元

154驾驶模式切换控制单元

155切换判定单元

201手势识别切换判定单元

202扫视信息切换判定单元

203声音识别切换判定单元

204方向盘操作切换判定单元