信息处理装置和信息处理方法与流程

文档序号:21007936发布日期:2020-06-05 23:17阅读:176来源:国知局
信息处理装置和信息处理方法与流程

本技术涉及信息处理装置和信息处理方法,并且尤其涉及用于显示与行驶路线有关的信息的信息处理装置等。



背景技术:

近年来,正在进行如下系统的开发,该系统独立于驾驶员的操作自动地执行车辆的行驶的控制和支持,以实现车辆行驶的安全性的提高、驾驶员的负担的减轻等。将来,期望在自动驾驶期间在车辆中执行次要任务(secondarytask)的能力。然而,作为当前道路基础设施,假设作为行驶路线的环境基础设施的引入取得进展,在该行驶路线中,以斑纹(speckle)的方式将驾驶员干预要求区间(其为要求所谓的手动驾驶的区间)和自动驾驶可用区间混合。所以,为了允许驾驶员良好地执行次要任务,需要适当地提供诸如行驶路线上的手动驾驶区间或自动驾驶区间之类的区间信息,并且在行驶期间的每个进度区间的最新信息需要为每时每刻改变的状况的变化做好准备。此外,用于这样的自动驾驶的区间结束地点不一定是固定的。

例如,专利文献1公开了如下技术,该技术针对本车辆要行驶的道路上的多个风险中的每个风险显示风险程度。同时,例如,专利文献2公开了如下技术,该技术在自动驾驶期间要敦促驾驶员开始手动驾驶的情况下,在便携式终端的画面上显示车辆处于必须开始手动驾驶的状况,以向意识集中在便携式终端上的驾驶员进行通知。

引用列表

专利文献

专利文献1:日本专利特许公开第2016-139204号

专利文献2:日本专利特许公开第2016-090274号



技术实现要素:

技术问题

尽管现在用于执行自动驾驶的车辆环境识别技术的成熟、道路行驶环境的地图信息的发展等正在提高在现实世界空间中利用车辆的自动驾驶的势头,但是实际上难以实现配备有封闭轨道的环境空间,在该配备有封闭轨道的环境空间中,自动驾驶在车辆可以行驶的任何连续区间内部分地像地铁一样可用。实际上,连续区间实际上是将允许任何自动驾驶的驾驶级别的道路和不允许任何自动驾驶的道路随机连接的行驶区间。所以,所预见的是,道路环境由其中自动驾驶可用的区间到处于驾驶员监督下或本质上要求手动驾驶干预等的区间构成。此外,在这样的混合道路区间上行驶的情况下,如果没有精确地执行在跨越区间时向驾驶员请求的手动驾驶的返回,则车辆不能继续行驶,因此需要使车辆紧急地停止。因此,存在如下重要课题:作为道路的社会基础设施的利用受到干扰。此外,自动驾驶的普及面临着这样的矛盾:其无法被满足,除非实现如下环境,在该环境中,可以在整个社会中的所有区间中连续地实现自动驾驶,并且始终在不妨碍行驶的情况下完成环境维护。

因此,提供了仅将封闭环境用于全自动驾驶的构思、或者在不能执行从自动驾驶到手动驾驶的适当交接的情况下使车辆紧急停止的提议。然而,实际上,如果紧急停止的车辆在道路基础设施中挤满了(overflow),则这在道路环境中引起交通拥堵,或者这样紧急停止的车辆的增加引起过去不曾发生的事故。因此,作为新问题,出现了阻碍正常的社交活动的问题,并且终究,还没有找到用于广泛地普及自动驾驶的方法。

例如,即使当前广泛讨论的自动驾驶的第3级别的驾驶只是在普通道路或专用道路区间中被简单地引入到社会中,例如,为了满足驾驶而不会造成诸如拥堵之类的负面社会影响,需要在该区间中100%保持车辆始终可以在道路上以第3级别行驶的环境,并且驾驶员在结束地点处确定地返回。另外,在该时间段期间,要求驾驶员始终承担监控的责任而不直接参与驾驶,并且在具有注意力的紧张状态下保持状态。简而言之,如果考虑到人的人机工程学和心理方面,则存在根据可应用概念的长期利用是不现实的课题,并且这是在广泛的范围内向社会引入自动驾驶的课题,并且需要该课题的解决方案。

为了解决上述课题,本技术的目的通常是通过响应于驾驶员的状态、车辆的行驶特性、关于道路环境的信息等主动地调整控制,在车辆接近各种道路环境中的返回要求区间之前向驾驶员提供行驶路线的区间信息,以提前向驾驶员提供适当的需要干预信息,从而以高概率无缝地实现区间通过而不使车辆停止。对于自动驾驶的引入,由于尚未成功解决不能实现在跨越这些区间时的精确的驾驶员返回技术的课题,因此可以社会引入的区间(诸如特定高速公路区间或既定区间)是非常受限制的。

问题的解决方案

本技术的构思在于一种信息处理装置,包括:信息获取单元,所述信息获取单元被配置为获取行驶路线信息和与所述行驶路线有关的交通信息;以及显示控制单元,所述显示控制单元被配置为基于所述行驶路线信息和所述交通信息,在从本车辆当前正在行驶的地点起的到达预测时间轴上更新并且显示驾驶员干预要求区间、本车辆的行驶路线上的行驶特性、以及行驶路线的自动驾驶可用区间,以便能够始终在显示设备上直观地识别。

在本技术中,信息获取单元获取行驶路线信息和与行驶路线有关的交通信息。另外,根据考虑到本车辆在该时间、天气等下的行驶特性的特定车辆中的特定驾驶员的返回延迟特性的主动决定状态,显示控制部基于行驶路线信息和交通信息,在显示设备上在从当前地点起的到达预测时间轴上显示行驶路线的驾驶员干预要求区间和自动驾驶可用区间。例如,显示设备可以是设置在便携式终端中的显示设备,并且信息处理装置可以进一步包括被配置为与便携式终端进行通信的通信单元。

尽管已知如专利文献1或专利文献2那样的用于执行特定通知的技术,但是由于该技术没有响应于由自动驾驶的普及所假定的每时每刻改变的行驶路线的环境条件变化、本车辆的负载重量和制动能力、驾驶员的返回特性、以及驾驶员的状态而考虑返回延迟特性来执行从自动驾驶返回到手动驾驶的优化通知,每次执行的通知是在与由实际驾驶所需的定时不同的定时处执行的,所以响应于该通知的实际返回的需要性逐渐变得模糊。与过去假定要提供给这样的驾驶员的用于每个预定通过点的在通过规定点时的通知不同,在适当的定时并且以准确的时间感觉向驾驶员更准确地提供由驾驶干预返回给驾驶员所需的信息。因此,通知的优化被实现为不是太早也不是太晚。结果,即使每时每刻发生环境改变等,沿着道路行驶的主车辆也可以适当地执行从自动驾驶到手动驾驶的交接,并且这减轻了由交接失败而导致的对道路基础设施的负担。因此,即使引入自动驾驶车辆,也不会导致社会道路基础设施的操作故障。这里描述的基础设施的操作故障是指,在经常出现没有正常执行从自动驾驶到手动驾驶的交接的车辆的情况下,在道路基础设施的车辆通行带宽狭窄的道路区间中,如果出现许多紧急减速车辆或停止车辆,则可应用道路区间中的车辆流量会减慢或受到干扰,从而导致维持正常的交通量失败。

例如,在执行路线设定并且执行行驶的情况下,在要向驾驶员呈现的地图上,驾驶员干预要求区间可以包括手动驾驶区间、从自动驾驶到手动驾驶的交接区间、以及从自动驾驶起的谨慎行驶区间。在这种情况下,例如,显示控制单元可以以第一颜色显示自动驾驶可用区间,以第二颜色显示手动驾驶区间,并且以第三颜色显示交接区间和谨慎行驶区间。这使得驾驶员可以视觉地观测行驶路线上的手动驾驶区间、从自动驾驶到手动驾驶的交接区间、从自动驾驶起的谨慎行驶区间和自动驾驶可用区间。但是,在驾驶员正常利用可应用路线区间而没有每个区间中的平均通过速度的感觉的情况下,如果仅在地图上进行区间显示,则直到到达要求驾驶干预的点为止的时间感觉是由经验法则决定的,并且难以直观地知道关于在交接点之前可以做什么的时间裕度。

所以,驾驶员需要在次要任务的作业期间优先地将返回点的事情通常置于意识上,这是过去自动驾驶的最大益处,并且这阻碍了次要任务的执行。同时,当由于在不需要的时间段内强迫持续的注意力的事实而要求在返回时增加注意力时,如果在该时间段期间的次要任务活动中长时间持续处于具有注意力的紧张状态,则知觉认知感觉麻痹,并且用于返回的注意力变得模糊。然而,在从每个当前地点到每个交接点的到达预测时间总是被更新并且被直观地显示为时间轴的情况下,通过利用以安全感执行次要任务和及时通知两者,始终事先合适地知道返回点,并且可以容易且及时地执行交接点的识别。

此外,例如,显示控制单元可以在第一时间轴上显示从当前地点到第一地点的第一区间;在从第一时间轴到第二时间轴顺序地改变的时间轴上显示从第一地点到第二地点的第二区间,第二时间轴相对于第一时间轴以预定比率缩小;以及在第二时间轴上显示从第二地点到第三地点的第三区间。这使得驾驶员可以在有限的显示空间中详细地知道时间上最近的区间信息,并且知道时间上更远的区间信息。

在这种情况下,例如,显示控制单元可以以第一宽度显示第一区间,以从第一宽度到小于第一宽度的第二宽度顺序地改变的宽度显示第二区间,以及以第二宽度显示第三区间。这使得驾驶员可以在视觉上并且直观地识别相对于第一区间的第二区间和第三区间中的时间轴的缩小程度。

此外,在这种情况下,在第三区间中,即使驾驶车辆干预要求区间实际上等于或小于一定时间长度,也可以以一定时间长度显示驾驶车辆干预要求区间。这使得可以在时间轴大量缩小的第三区间中显示短时间段的驾驶车辆干预要求区间,以便驾驶员能够容易地识别。

此外,例如,显示控制单元还可以显示与在每个所显示的区间中指定的地点有关的信息。这使得驾驶员可以在每个区间中指定任意地点并且获取与该地点有关的信息。

此外,例如,显示控制单元可以以能从现有的驾驶车辆干预要求区间中识别的方式显示新出现的驾驶车辆干预要求区间。在这种情况下,例如,新出现的驾驶车辆干预要求区间闪烁显示或以不同的颜色显示。这使得驾驶员可以容易地识别新出现的驾驶车辆干预要求区间,并且在附加事件出现之前明确地掌握要针对已经规划的行驶规划进行应对或改变的规划。

此外,例如,当驾驶员干预要求区间从当前地点起进入一定时间段的范围中时,显示控制单元可以将驾驶员干预要求区间置于强调显示的状态。在这种情况下,例如,使用闪烁显示、以不同颜色显示、移动速度看起来高于实际速度的错觉显示、或者例如波形显示。这使得驾驶员可以容易地识别驾驶员干预要求区间从当前地点起进入一定时间段的范围中。动态显示的闪烁显示起到刺激人类动态视敏度的作用,并且是使用有效手段以引起注意的方法。

此外,例如,显示控制单元可以将各区间的显示图像与作业窗口并列地显示。这使得正在使用作业窗口执行作业的驾驶员可以容易地在从当前地点起的到达预测时间轴上识别行驶路线的驾驶员干预要求区间和自动驾驶可用区间。在使用相同设备执行次要任务的情况下,期望该设备是可以执行多任务的显示装置,并且在平板计算机终端或智能电话终端的情况下,该设备可以被显示为子窗口,或者该设备可以是视频播放器、游戏终端、视频会议系统等。

以此方式,在本技术中,基于行驶路线信息和交通信息,在显示设备上在从当前地点起的到达预测时间轴上显示行驶路线的驾驶员干预要求区间和自动驾驶可用区间。因此,可以适当地向驾驶员提供行驶路线的当前正在行驶的区间信息。它们的显示更新方法需要由准确地掌握区间接近信息并且具有意识的驾驶员来执行。然而,另一方面,如果信息总是在驾驶员的视野中更新并且显示,那么在驾驶员的认知功能中,过滤有时会起作用,使得尽管信息像光一样进入眼睛,显示信息的内容被有意识地排除在外。尽管驾驶员对正常显示的信息的过滤效果成为忽略信息的因素之一,但是可以通过引入与驾驶员的交互式确认响应过程来减少或避免该因素。

发明的有益效果

根据本技术,可以适当地向驾驶员提供要求在规划的行驶路线中的一定时间段内进行驾驶干预的区间的详细和及时的信息。此外,作为尽管是间接的显著效果,对于在自动驾驶可用的区间中、在要求手动驾驶的另一区间中或在谨慎的自动驾驶通过区间中以自动驾驶模式行驶的车辆,准确地以高概率实现驾驶员的驾驶干预返回。结果,还可以预期的效果是,在基础设施环境中可以引入自动驾驶车辆而不会干扰道路基础设施的正常利用,在基础设施环境中以混合方式引入了可以进行自动驾驶的环境。注意,本说明书中描述的有益效果仅是说明性的而不是限制性的,并且可以应用其他有益效果。

附图说明

图1是示出车辆控制系统的配置的示例的框图。

图2是示出用于检测本车辆的外部信息的各种传感器的安装示例的图。

图3是示意性地示出由自动驾驶控制单元进行的自动驾驶的手动交接序列的示例的图。

图4是示出自动驾驶的手动交接序列的更详细示例的图。

图5是示出包括车辆控制系统的自动驾驶目标车辆的操作的概况的流程图。

图6是示出行驶路线的示例的图,在该行驶路线中以混合状态设定或出现通过由驾驶员设定目的地而确定的自动驾驶可用区间。

图7示出沿着行驶路线各自图示用于行驶区间显示图像的信息处理的图。

图8示出各自图示最终显示的行驶区间显示图像的示例的图。

图9示出各自图示随着时间流逝的行驶区间显示图像的改变的示例(滚动示例)的图。

图10示出沿着在平板计算机终端装置(在下文中被简称为“平板计算机”)的画面上显示的行驶路线各自图示行驶区间显示图像的示例的图。

图11是示出驾驶员实际上正在使用平板计算机执行次要任务的状态的示例的图。

图12是示出在第二区间中新出现谨慎行驶区间sd并且以闪烁显示向驾驶员发出对此的警告的示例的图。

图13是示出在平板计算机的画面上弹出显示小窗口的状态的图。

图14示出各自图示在小窗口中显示的信息的示例的图。

图15是示出在平板计算机的画面上显示行驶区间显示图像的状态下当驾驶员干预要求区间从当前地点起进入一定时间段的范围中时的强调显示(波形显示)的图。

图16是示出执行波形显示的显示示例的图。

图17是示出执行波形显示的另一显示示例的图。

图18是示出在平板计算机的画面上显示行驶区间显示图像的状态下进一步显示里程碑地点等的示例的图。

图19示出在平板计算机的画面上显示行驶区间显示图像的状态下,可以响应于驾驶员(用户)的选择操作而进一步可切换地显示次要任务的作业画面和地图画面的示例的图。

图20示出各自图示在终端上显示的交接通知或重新开始返回点指定滑块菜单的示例的图。

图21示出各自图示在没有次要任务的执行者的确认响应的情况下在终端上显示的重新开始返回点指定滑块菜单或次要任务执行窗口中的次要任务执行窗口的缩小显示等的示例的图。

图22是示出指定在终端上显示的作业重新开始点的滑块菜单的显示示例的图。

图23是示出在接收到交接通知决定的情况下系统的处理过程的示例的流程图(1/2)。

图24是示出在接收到交接通知决定的情况下系统的处理过程的示例的流程图(1/2)。

具体实施方式

在下文中,描述了用于实施本发明的模式(在下文中被称为“实施例”)。注意,按以下顺序给出描述。

1、实施例

2、变型

<1、实施例>

[自动驾驶控制系统的配置]

图1示出作为实施例的车辆控制系统100的配置的示例。注意,在将设置有车辆控制系统100的车辆与任何其他车辆区分开的情况下,设置有车辆控制系统100的车辆被称为本汽车或本车辆。

车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车载装置104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。

输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身控制单元109、存储单元111和自动驾驶控制单元112通过通信网络121彼此连接。例如,通信网络121包括符合诸如can(控制器区域网)、lin(本地互连网络)、lan(局域网)或flexray(注册商标)之类的任意标准的车载通信网络、总线等。注意,车辆控制系统100的组件有时在没有通信网络121介入的情况下直接彼此连接。

注意,在下文给出的描述中,在车辆控制系统100的组件通过通信网络121彼此通信的情况下,省略对通信网络121的描述。例如,在输入单元101和自动驾驶控制单元112通过通信网络121彼此通信的情况下,这被简单地描述如下:输入单元101和自动驾驶控制单元112彼此通信。

输入单元101包括用来由乘客输入各种数据、指令等的设备。例如,输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备、以及能够通过经由声音、手势等的除手动操作以外的方法进行输入的操作设备。此外,例如,输入单元101可以是利用红外线或其他电磁波的遥控装置,或者是准备好用于车辆控制系统100的操作的外部连接装置(例如移动装置、可穿戴装置等)。输入单元101基于由乘客输入的数据、指令等来生成输入信号,并且将输入信号供应给车辆控制系统100的组件。

数据获取单元102包括用于获取要用于车辆控制系统100的处理的数据的各种传感器,并且将所获取的数据供应给车辆控制系统100的组件。

例如,数据获取单元102包括用于检测本车辆的状态等的各种传感器。特别地,例如,数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量设备(imu)、用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、电机速度、车轮转速等的传感器、以及其他需要的传感器。

此外,数据获取单元102包括例如用于检测本车辆外部的信息的各种传感器。特别地,例如,数据获取单元102包括诸如tof(飞行时间)相机、立体相机、单目相机、红外相机和其他相机之类的成像装置。此外,数据获取单元102包括例如用于检测天气、气象现象等的环境传感器以及用于检测本车辆周围的对象的周围信息检测传感器。环境传感器例如包括雨滴传感器、雾传感器、日照传感器和雪传感器等。周围信息检测传感器包括例如超声波传感器、雷达、lidar(光检测和测距、激光成像检测和测距)、声纳等。

例如,图2示出用于检测本车辆的外部信息的各种传感器的安装示例。成像装置7910、7912、7914、7916和7918设置在车辆7900的前鼻、侧视镜、后保险杠、后门上的位置、或在车辆内部中的挡风玻璃的上部上的位置中的至少之一处。

设置在车辆的前鼻上的成像装置7910和设置在车辆内部中的挡风玻璃的上部处的成像装置7918主要获取在车辆7900前方的图像。设置在侧视镜上的成像装置7912和7914主要获取在车辆7900侧面的图像。设置在后保险杠或后门上的成像装置7916主要获取在车辆7900后面的图像。设置在车辆内部中的挡风玻璃的上部处的成像装置7918主要用来检测前面的车辆或行人、障碍物、交通信号灯、交通标志、车道轨迹等。此外,在将来的自动驾驶中,成像装置7918可被扩展地用于当车辆向左或向右转弯时在更宽的区域范围内跨越在左转或右转之前的道路的行人,或者可进一步被扩展地用于交叉道路上的接近物的范围。

注意,在图2中,示出成像装置7910、7912、7914和7916的成像范围的示例。成像范围a指示设置在前鼻上的成像装置7910的成像范围。成像范围b和c分别示出设置在侧视镜上的成像装置7912和7914的成像范围;成像范围d指示设置在后保险杠或后门上的成像装置7916的成像范围。例如,通过叠加由成像装置7910、7912、7914和7916捕获的图像数据,获得从上方观看的车辆7900的鸟瞰图像、利用弯曲平面围绕车辆周边的全向三维显示图像等。

设置在车辆7900的前、后、侧面和转角上以及车辆内部中的挡风玻璃的上部处的传感器7920、7922、7924、7926、2928和7930可以是例如超声波传感器或雷达。设置在车辆的前鼻、后保险杠和后门上以及车辆内部中的挡风玻璃的上部处的传感器7920、7926和7930可以分别是例如lidar。传感器7920至7930主要用来检测前方车辆、行人、障碍物等。这样的检测的结果可以进一步应用于改善鸟瞰显示或全向立体显示的三维对象显示。

返回参考图1,例如,数据获取单元102包括用于检测本车辆的当前位置的各种传感器。特别地,数据获取单元102包括例如用于从gnss(全球导航卫星系统)卫星接收gnss信号的gnss接收器等。

此外,数据获取单元102包括例如用于检测关于车辆内部的信息的各种传感器。特别地,例如,数据获取单元102包括用于对驾驶员进行成像的成像装置、用于检测驾驶员的生物信息的生物传感器、用于收集车辆内部中的声音的麦克风等。生物传感器例如设置在座椅面、方向盘等上,并且检测坐在座椅上的乘客的就坐状态或抓握方向盘的驾驶员的生物信息。作为生物信号,可以利用心率、脉搏率、血流、呼吸、心身关联、视觉刺激、脑电波、出汗、漂移(drift)、头部姿势行为、眼睛、凝视、眨眼、扫视(saccade)、微扫视、注视、凝视、虹膜瞳孔反应等各种可观测数据。

通信单元103与车载装置104以及车辆外部的各种装置、服务器、基站等执行通信,以发送从车辆控制系统100的组件供应的数据,并且将接收到的数据供应给车辆控制系统100的组件。注意,由通信单元103支持的通信协议没有特别限制,并且通信单元103也可以支持多种类型的通信协议。

例如,通信单元103通过无线lan、蓝牙(注册商标)、nfc(近场通信)、wusb(无线usb)等与车载装置104执行无线通信。此外,通信单元103通过usb(通用串行总线)、hdmi(高清多媒体接口)、mhl(移动高清链接)等经由未示出的连接端子(和电缆,如果需要的话)与车载装置104执行有线通信。

此外,通信单元103例如通过基站或接入点与外部网络(例如,因特网、云网络或提供商独有的网络)中存在的装置(例如,应用服务器或控制服务器)执行通信。此外,通信单元103例如使用p2p(点对点)技术与存在于本车辆附近的终端(例如,行人或商店的终端或mtc(机器类型通信)终端)执行通信。此外,通信单元103执行v2x通信,诸如例如车辆对车辆(车辆对车辆)通信、道路对车辆(车辆对基础设施)通信、本车辆与家庭之间的通信(车辆对家庭)、以及行人对车辆(车辆对行人)通信。此外,通信单元103例如包括信标接收单元,并且接收源自安装在道路上的无线站等的无线电波或电磁波,以获取关于当前位置、交通拥堵、交通规则、所需时间等的信息。注意,通过通信单元与在区间中行驶期间的前面行驶的车辆(可以成为先行车辆的车辆)配对,使得由集成在前面行驶的车辆中的数据获取单元获取的信息被获取为预先行驶信息,并且与本车辆的数据获取单元102的数据互补地使用,这成为用于确保后续车辆队列的更高安全性的手段,尤其是例如在先行车辆继之以后续车辆的队列行驶的情况下。

车载装置104包括例如由乘客拥有的移动设备(平板计算机、智能电话等)或可穿戴设备、本车辆中携带或附接到本车辆的信息设备、用于执行到任意目的地的路线搜索的导航装置等。注意,如果考虑到由于自动驾驶的普及,乘员不一定固定到就坐固定位置,则车载装置104可以扩展地用于视频再现设备、游戏设备或可从其安装位置移除的装置。尽管结合其中驾驶员的干预要求点的信息的呈现限于可应用的驾驶员的示例来描述本实施例,但是可以对队列行驶中的后续车辆等进一步执行信息提供,或者可以通过正常地将信息给予给乘客运输拼车公共汽车(carpoolbus)或长途物流商用车辆的服务运营控制中心,与远程行驶支持相结合来进一步适当地利用信息提供。

输出控制单元105控制将各种类型信息的输出给本车辆的乘客或车辆外部。例如,输出控制单元105生成包括视觉信息(例如,图像数据)和听觉信息(例如,声音数据)中的至少之一的输出信号,并且将该输出信号供应给输出单元106,以控制从输出单元106输出视觉信息和听觉信息。特别地,输出控制单元105合成由数据获取单元102的不同成像装置捕获的图像数据以生成鸟瞰图像、全景图像等,并且将包括所生成的图像的输出信号供应给输出单元106。此外,输出控制单元105生成声音数据,并且将包括所生成的声音数据的输出信号供应给输出单元106,该声音数据例如包括针对碰撞、接触、进入危险区域等的风险的警告声音、警告消息等。

输出单元106包括能够向本车辆的乘客或车辆外部输出视觉信息或听觉信息的装置。例如,输出单元106包括显示装置、仪表板、音频扬声器、耳机、要由乘客穿戴的诸如眼镜型显示器之类的可穿戴设备、投影仪、灯等。输出单元106中设置的显示装置不仅可以是具有普通显示器的装置,而且可以是用于在驾驶员的视野中显示视觉信息的装置,诸如例如平视显示器、透射型显示器或具有ar(增强现实)显示功能的装置。

驱动系统控制单元107生成各种控制信号,并且将各种控制信号供应给驱动系统108以执行对驱动系统108的控制。此外,驱动系统控制单元107将控制信号供应给除驱动系统108以外的其他组件,以根据需要执行驱动系统108的控制状态的通知等。

驱动系统108包括与本车辆的驱动系统有关的各种装置。例如,驱动系统108包括用于生成诸如内燃机或驱动电机的驱动力的驱动力生成装置、用于将驱动力传送至车轴的驱动力传送机构、用于调整转向角的转向机构、用于生成制动力的制动系统、abs(防抱死制动系统)、esc(电子稳定性控制)、电动助力转向装置等。

车身控制单元109生成各种控制信号,并且将各种控制信号供应给车身系统110以执行对车身系统110的控制。此外,车身控制单元109将控制信号供应给除车身系统110以外的其他组件,以根据需要执行车身系统110的控制状态的通知等。

车身系统110包括装备在车身上的车身系统的各种装置。例如,车身系统110包括无钥匙进入系统、智能钥匙系统、电动窗装置、电动座椅、方向盘、空调装置、各种灯(例如,前灯、后灯、制动灯、转向信号灯、雾灯等)等。

存储单元111包括诸如例如rom(只读存储器)、ram(随机存取存储器)和hdd(硬盘驱动器)之类的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。存储单元111存储将由车辆控制系统100的组件使用的各种程序、数据等。例如,存储单元111存储三维高精度地图(诸如动态地图)、精度比高精度地图低但覆盖区域更广泛的全局地图、包括本车辆周围的信息的局部地图等的地图数据。

自动驾驶控制单元112执行与自动驾驶(例如自主行驶、驾驶辅助等)有关的控制。特别地,例如,自动驾驶控制单元112为了实现adas(高级驾驶员辅助系统)功能的目的而执行协作控制,该adas功能包括本车辆的碰撞避免或冲击缓冲、基于车辆间距离的跟随行驶、车辆速度保持行驶、本车辆的碰撞警告、车道偏离行驶等。另外,例如,自动驾驶控制单元112为了在不依赖于驾驶员的操作的情况下进行自主驾驶的自动行驶等的目的而执行协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、规划单元134和动作控制单元135。

检测单元131执行对由自动驾驶的控制所需的各种类型的信息的检测。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143。

车辆外部信息检测单元141基于来自车辆控制系统100的组件的数据或信号执行对本车辆外部的信息的检测处理。例如,外部车辆信息检测单元141执行本车辆周围的对象的检测处理、识别处理和跟踪处理以及与对象的距离的检测处理。成为检测目标的对象例如包括车辆、人、障碍物、构筑物、道路、交通信号灯、交通标志、道路标志等。

此外,车辆外部信息检测单元141执行例如本车辆周围的环境的检测处理。成为检测目标的周围环境包括例如天气、气温、湿度、亮度、道路状态等。车辆外部信息检测单元141将指示检测处理的结果的数据供应给自身位置估计单元132,状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153,动作控制单元135的紧急情况避免单元171等。

作为要由车辆外部信息检测单元141获取的信息,如果行驶区间是由基础设施提供局部动态地图(该局部动态地图主要作为可以进行自动驾驶的行驶的区间而被正常地更新)的区间,则可以主要接收基础设施的信息;或者本车辆可以行驶,从而在本车辆前进至区间之前,事先从在本车辆之前的对应区间中行驶的车辆或车辆组正常地接收地图的更新。此外,在没有正常地执行从基础设施更新最新的局部动态地图的情况下,或者在类似情况下,可以进一步补充地利用从已经进入该区间的先行车辆获得的道路环境信息,以便紧接在更安全地进入该区间(尤其是按照队列行驶等)之前获得道路信息。是否可以在该区间中进行自动驾驶取决于从基础设施提供的事先信息是否可用。在从基础设施提供的路线上提供自动驾驶行驶可用信息等同于提供所谓的不可见轨迹作为信息。

车辆内部信息检测单元142基于来自车辆控制系统100的组件的数据或信号执行车辆内部信息的检测处理。例如,车辆内部信息检测单元142执行驾驶员的认证处理和识别处理、驾驶员的状态的检测处理、乘客的检测处理、车辆内部中的环境的检测处理等。成为检测对象的驾驶员的状态例如包括身体状态、觉醒度、集中度、疲劳度、视线方向等。

此外,在未来假设使用这样的自动驾驶,在该自动驾驶中驾驶员完全从驾驶转向作业中撤回,并且系统需要掌握驾驶员已经暂时打瞌睡或已经开始某些其他作业、并且返回到驾驶所需要的意识已经返回了多少。简而言之,尽管迄今为止研究的驾驶员监控系统主要涉及用于检测诸如睡意之类的意识降低的手段,但是由于在未来可应用驾驶员根本不干预驾驶转向的状态,因此该系统不再需要用于观测驾驶员的驾驶干预程度的手段,并且需要从驾驶员的准确意识状态未知的状态起观测由驾驶所需的意识返回转变,并且在掌握了驾驶员的准确内部觉醒之后,进行将干预从自动驾驶转移到手动驾驶。

因此,车辆内部信息检测单元142主要具有两个主要作用,第一个作用是在自动驾驶期间被动监控驾驶员的状态,第二个作用是在从系统发出返回请求之后,检测驾驶员的能力(例如周边识别、感知和确定)以及转向设备的操作能力是否达到可以进行手动驾驶的水平,直到达到谨慎驾驶的区间。作为控制,可以进一步执行整个车辆的故障自我诊断,使得即使在由于自动驾驶的某些功能故障而导致自动驾驶功能劣化的情况下,也类似地鼓励驾驶员尽早地返回到手动驾驶。被动监控在此表示不要求驾驶员的有意识的响应反应的类型的检测手段,以及不排除从装置发出物理无线电波、光等并且检测响应信号的物品。简而言之,识别响应反应不在意识中(例如在小睡期间)被称为被动型。

作为检测目标的车辆内部中的环境包括例如温度、湿度、亮度、气味等。车辆内部信息检测单元142将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153和动作控制单元135。注意,在如下情况下:在由系统向驾驶员发出驾驶返回指令之后,发现驾驶员不能在精确的截止时间内实现手动驾驶,并且即使在维持自动驾驶以进行时间延迟(time-giving)的同时执行减速控制,也确定不能及时进行交接,则车辆内部信息检测单元142向系统的紧急情况避免单元171等发出指令以开始减速、逃避(escape)和停止过程以使车辆逃避。

车辆状态检测单元143基于来自车辆控制系统100的组件的数据或信号来执行本车辆的状态的检测处理。成为检测目标的本车辆的状态例如包括速度、加速度、转向角、有无异常以及异常的详细内容、驾驶操作的状态、电动座椅的位置和倾斜度、门的锁定状态、其他车载装置的状态等。车辆状态检测单元143将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153,动作控制单元135的紧急情况避免单元171等。

自身位置估计单元132基于来自车辆控制系统100的组件(诸如车辆外部信息检测单元141,状态分析单元133的状态识别单元153)的数据或信号来执行本车辆的位置、姿势等的估计处理。此外,如果需要,自身位置估计单元132生成用于估计本车辆的位置的局部地图(在下文中被称为自身位置估计地图)。

自身位置估计地图是使用例如slam(模拟定位和映射)技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据供应给状况分析单元133的地图分析单元151、交通规则识别单元152、状况识别单元153等。此外,自身位置估计单元132将自身位置估计地图存储到存储单元111中。

状况分析单元133执行本车辆和周围状况的分析处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153、状况预测单元154和学习单元155。

地图分析单元151根据需要在使用来自车辆控制系统100的组件(诸如自身位置估计单元132和车辆外部信息检测单元141)的数据或信号的同时,对存储在存储单元111中的各种地图进行分析处理,以构建包括由自动驾驶的处理所需要的信息的地图。地图分析单元151将所构建的地图供应给交通规则识别单元152、状况识别单元153、状况预测单元154和规划单元134的路线规划单元161、行动规划单元162和动作计划单元163。

交通规则识别单元152基于来自车辆控制系统100的组件(诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151)的数据或信号来执行本车辆周围的交通规则的识别处理。通过该识别处理,例如,本车辆周围的交通信号灯的位置和状态、本车辆周围的交通规则的详细内容、可用车道等被识别。交通规则识别单元152将指示识别处理的结果的数据供应给状况预测单元154等。

状况识别单元153基于来自车辆控制系统100的组件(诸如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号,执行与本车辆有关的状况的识别处理。例如,状况识别单元153执行本车辆的状况、本车辆周围的状况、本车辆的驾驶员的状况等的识别处理。此外,状况识别单元153根据需要生成要用于识别本车辆周围的状况的局部地图(在下文中被称为用于状况识别的地图)。用于状况识别的地图被设定为例如占用网格地图(occupancygridmap)。

成为识别目标的本车辆的状况例如包括车辆特有的条件(诸如本车辆的位置、姿势和移动(例如速度、加速度、移动方向等)、和与确定本车辆的运动特性的装载货物量和货物装载相关联的车身重心的移动、轮胎压力、与刹车片磨损状况相关联的制动距离移动、用于防止由于装载货物而引起的由制动导致的货物移动的可允许最大减速制动、和在弯道上行驶时由液体货物产生的离心松弛极限速度)和装载货物特有的条件,以及由于在完全相同的道路环境(例如路面的摩擦系数、道路弯道或坡度)中,控制所需要的时间取决于车辆本身的属性和装载物品等而不同,所以需要进行这样的各种条件的收集并且学习它们,以使其反映在要进行控制的最佳时机上。仅观测和监控本车辆的有无异常和异常的详细内容等是不够的。

成为识别目标的本车辆周围的状况包括例如本车辆周围的静止对象的类型和位置,本车辆周围的移动对象的类型、位置和移动(例如速度、加速度、移动方向等),本车辆周围的道路的构成和路面的状态以及本车辆周围的天气、湿度、亮度等。成为识别目标的驾驶员的状态例如包括身体状态、觉醒度、集中度、疲劳度、视线移动、驾驶操作等。为了车辆的安全行驶,要求应对的控制开始点取决于以下各项而显著不同:在车辆固有状态下装载的装载量,装载部分的底盘固定状态,重心的偏置状态,最大减速可能加速值,最大装载可能离心力,和响应于驾驶员的状态的返回响应延迟量。

状况识别单元153将指示识别处理的结果的数据(根据需要包括用于状况识别的地图)供应给自身位置估计单元132、状况预测单元154等。此外,状况识别单元153将用于状况识别的地图存储到存储单元111中。

状况预测单元154基于来自车辆控制系统100的组件(例如地图分析单元151、交通规则识别单元152、状况识别单元153等)的数据或信号,执行与本车辆有关的状况的预测处理。例如,状况预测单元154执行本车辆的状况、本车辆周围的状况、驾驶员的状况等的预测处理。

成为预测目标的本车辆的状况例如包括本车辆的行为、异常的发生、行驶里程等。成为预测目标的本车辆周围的状况例如包括本车辆周围的移动对象的行为、交通信号的状态变化、诸如天气之类的环境的变化等。成为预测目标的驾驶员的状况例如包括驾驶员的行为、身体状态等。

状况预测单元154将指示预测处理结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起供应给规划单元134的路线规划单元161、行动规划单元162、动作规划单元163等。

学习单元155根据驾驶员的返回行动模式、车辆特性等来学习最佳返回定时,并且将学习信息供应给状况识别单元153等。因此,例如,可以向驾驶员呈现由驾驶员以预定的一定比率或更大比率从自动驾驶返回到手动驾驶所需要的并且在统计上确定的最佳定时。

路线规划单元161基于来自车辆控制系统100的组件(例如地图分析单元151和状况预测单元154)的数据或信号,规划到目的地的路线。例如,路线规划单元161基于全局地图来设定从当前位置到指定目的地的路线。此外,例如,路线计划单元161基于交通拥堵、事故、交通规则、或施工、驾驶员的身体状态等状况来适当地改变路线。路线规划单元161将指示所规划的路线的数据供应给行动规划单元162等。

行动规划单元162基于来自车辆控制系统100的组件(例如地图分析单元151和状况预测单元154)的数据或信号,规划本车辆的行动,以沿着由路线规划单元161规划的路线在规划的时间段内安全地行驶。例如,行动规划单元162执行开始、停止、移动方向(例如,向前、向后、向左转、向右转、转弯等)、行驶车道、行驶速度、驶过等的规划。行动规划单元162将指示所规划的本车辆的行动的数据供应给动作规划单元163等。

动作规划单元163基于来自车辆控制系统100的组件(例如地图分析单元151和状况预测单元154)的数据或信号来规划本车辆的动作,以实现由行动规划单元162规划的行动。例如,动作规划单元163执行加速、减速、行驶轨迹等的规划。动作规划单元163将指示所规划的本车辆的动作的数据供应给动作控制单元135的加速/减速控制单元172、方向控制单元173等。

动作控制单元135执行本车辆的动作控制。动作控制单元135包括紧急情况避免单元171、加速/减速控制单元172和方向控制单元173。

紧急情况避免单元171基于车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143的检测结果,进行诸如碰撞、接触、进入危险区域、驾驶员异常或车辆异常之类的紧急情况的检测处理。在紧急情况避免单元171检测到紧急情况的发生的情况下,它规划用于避免紧急情况的本车辆的动作,例如突然停止、急转弯等。紧急情况避免单元171将指示所规划的本车辆的动作的数据供应给加速/减速控制单元172、方向控制单元173等。

加速/减速控制单元172进行用于实现由动作规划单元163或紧急情况避免单元171规划的本车辆的动作的加速/减速控制。加速/减速控制单元172计算用于实现所规划的加速、减速或突然停止的驱动力生成装置或制动系统的控制目标值,并且将指示所计算的控制目标值的控制指令供应给驱动系统控制单元107。注意,紧急情况可能主要在两种情况下发生。特别地,这两种情况包括:在自动驾驶期间在如下道路上由于突然原因而发生意外事故并且没有及时执行紧急情况返回的情况,其中该道路最初在从自动驾驶期间的行驶路线中的基础设施获取的局部动态地图等中被确定为是安全的;以及驾驶员无法精确地从自动驾驶返回到手动驾驶的另一种情况。

方向控制单元173进行用于实现由动作规划单元163或紧急情况避免单元171规划的本车辆的动作的方向控制。例如,方向控制单元173计算用于实现由动作规划单元163或紧急情况避免单元171规划的行驶轨迹或急转弯的转向机构的控制目标值,并且将指示所计算的控制目标值的控制指令供应给驱动系统控制单元107。

[自动驾驶的手动交接序列]

图3示意性地示出由自动驾驶控制单元112进行的自动驾驶的手动交接序列的示例。在步骤s1,驾驶员在未来可能处于从驾驶转向完全撤回的状态。在该状态下,驾驶员可以例如进行小睡,观看视频,专注于游戏,或使用诸如平板计算机或智能电话之类的视觉工具执行诸如作业之类的次要任务。此外,可以考虑例如在驾驶员座椅移位的状态下或在与驾驶员座椅不同的座椅上执行使用诸如平板计算机或智能电话之类的视觉工具的作业。

根据驾驶员的状态,假定当本车辆接近路线上的需要手动驾驶返回的区间时,直到驾驶员返回为止的时间段每次根据当前作业的内容而显著地不同,并且在紧接在接近事件之前没有足够的时间段进行通知或者对于为事件的接近采取的裕度而过早地发出通知的情况下,发生的状况:直到实际要求返回的定时为止的时间过长。结果,如果反复地发生没有在精确的定时发出通知的状况,则驾驶员将在系统的通知定时方面失去关于定时的可靠性,以及驾驶员关于通知的意识劣化并且驾驶员将忽略精确的措施。这导致没有很好地执行交接的风险的增加,并且成为缓解次要任务执行的阻碍因素。因此,为了使驾驶员对于通知开始用于精确驾驶返回的措施,系统需要对通知定时进行优化。

在步骤s2,用于返回通知的定时到来,并且视觉地或听觉地向驾驶员发出用于驾驶返回的通知。自动驾驶控制单元112监控例如驾驶员的稳定状态并且掌握用于发出通知的定时,并且在适当的定时发出通知。特别地,在前一阶段的被动监控时段期间,通常被动地监控驾驶员的次要任务的执行状态,并且系统可以计算用于通知的最佳定时。通常并且连续地执行在步骤s1的时段期间的被动监控,并且根据驾驶员的独特返回特性,期望地执行最佳返回定时和返回通知方法。

特别地,期望通过根据驾驶员的返回行动定时、车辆特性等学习最佳返回定时,向驾驶员呈现在统计上确定的并且允许驾驶员以等于或高于规定比率的比率正确地从自动驾驶返回到手动驾驶所需要的最佳定时。在该情况下,在驾驶员在一定时间段内没有对通知进行响应的情况下,通过警报声发出警告。

在步骤s3,检查驾驶员是否返回到坐在驾驶员座椅上。在步骤s4,通过扫视等检查驾驶员的内部觉醒状态。在步骤s5,监控驾驶员的实际转向状况的稳定性。然后在步骤s6,完成从自动驾驶到手动驾驶的交接。

图4示出自动驾驶的手动交接序列的更详细的示例。在步骤s11,将返回点的预测视觉地呈现给诸如平板计算机或智能电话之类的视觉工具。然而,不一定将显示限于视觉工具,而是期望如下显示模式,其中视觉呈现被包括在执行次要任务期间已经从驾驶撤回的驾驶员的视场中,诸如例如车辆的中心信息显示器。尽管在下文中描述详细内容,但是执行未来规划和接近信息的呈现,并且显示返回点,使得该返回点随着时间流逝而接近本车辆。

在步骤s12,通过更新ldm(局部动态地图)等适当地改变未来规划和接近信息的呈现内容。此外,在步骤s12,定期地监控驾驶员的状态。在步骤s13,通过闪烁显示、波浪显示等向驾驶员强调显示从当前地点起的一定时间段中到来的返回点,以通知驾驶员。调整要在步骤s13发出通知的定时,以使得通过响应于在前一阶段定期地监控的检测结果,即响应于驾驶员通过小睡或通过次要任务从驾驶撤回的深度,尽早地执行该通知来及时地执行返回。

在步骤s14,如果驾驶员对该通知没有反应,则发出用于唤醒的警报。在步骤s15,如果驾驶员没有坐在驾驶员座椅上,则向驾驶员发出用于返回的视觉或听觉通知。在步骤s16,在存在对于就坐的返回延迟的情况下,发出警报报警。在步骤s17,例如,监控驾驶员的用于前方确认的指点信号作为返回开始。

在步骤s18,检查坐姿势。在步骤s19,确定通过诸如扫视、注视等感知反射来决定驾驶员的内部觉醒度,以便使用诸如例如视线详细分析之类的手段来检测驾驶员的大脑中的内部感知状态的恢复。在步骤s20,将驾驶转向权限顺次地委托给驾驶员,并且在观测实际转向反应的响应转向状况的同时,委托转向,并且监控转向稳定性。

在稳定性的监控观测的结果指示未按驾驶员期望的程度检测到主观驾驶转向返回的情况下,这表示存在驾驶员仍处于延长的梦境状态的风险。因此,如果在步骤s21假设不可能进行正常返回,则确定紧急交接导致失败,并且开始减速慢行逃避序列。

由于这样的返回所需要的时间转变根据诸如驾驶员的年龄或经验、疲劳度等各种因素而改变,因此由根据个体的返回定时来确定。在要求驾驶员从自动驾驶返回到手动驾驶的情况下,至少需要一定时间段,直到驾驶员几乎可以确定地返回到手动驾驶。最期望根据车辆特性、道路特性和个体的驾驶返回特性执行最佳定时通知的配置,并且由于以联动关系显示交接点的接近状况,因此驾驶员可以获得以下便利:驾驶员可以响应于容许状况而轻松地利用次要任务,并且同时,由于紧张状态和放松状态之一交替出现,因此对于每个需要区间适当地实现用户的谨慎返回,从而在人体工程学上导致利用。换句话说,驾驶员从不必要的连续谨慎的紧张状态中释放。

该过程的最大效果在于,可以保持在使用者的紧张和放松状态下的次要任务的平衡。结果,可以降低由于持续的紧张而使用户神经疲劳并且结果由于从中途起的睡意导致用户转变到分心状态的风险,并且具有长期可持续操作的效果。注意,为了使效果最大化,即使在长距离不要求驾驶员干预的区间中,在中途期望驾驶员的紧张返回的情况下,也可能在中途生成虚拟事件,使得响应于驾驶员对虚拟事件的返回程度来执行驾驶员的返回水平评估和驾驶员的能力响应评估,并且可以进一步执行存储返回程度评估值的记录存储。

[自动驾驶目标车辆的动作概要]

图5的流程图示出包括上述车辆控制系统100的自动驾驶目标车辆的动作概要。在步骤s31,开始动作。然后,在步骤s32,驾驶员将操作输入单元101以设定目的地。在这种情况下,基于仪表板上的显示图像来执行驾驶员的输入操作。

注意,尽管将用户乘上车辆来假设行程设定的情况的示例描述为本实施例,但是用户可以在用户乘上车辆之前预先从智能电话执行远程提前预约设定,或者在用户离开自己的家之前从个人计算机执行远程提前预约设定。此外,车辆的系统可以根据由驾驶员根据日程安排表假定的日程安排来执行预先计划设定,并且可以在乘上车辆时或在乘上车辆之前更新或获取关于道路环境的ldm信息,以像礼宾员那样显示实际行驶建议。

然后在步骤s33,开始行驶路线上的行驶区间显示。该行驶区间显示以与作业窗口并排的关系显示在仪表板上或显示在平板计算机等上,驾驶员在该平板计算机上执行次要任务。因此,正在作业窗口上进行作业的驾驶员可以容易地在从当前地点起的到达预测时间轴上识别行驶路线的驾驶员干预要求区间和自动驾驶可用区间。

在该行驶区间显示中,执行到各个地点的未来计划和接近信息的呈现。在该行驶区间显示中,在从当前地点起的到达预测时间轴上显示行驶路线的驾驶员干预要求区间和自动驾驶可用区间。于是,驾驶员干预要求区间包括手动驾驶区间、从自动驾驶到手动驾驶的交接区间以及从自动驾驶起的谨慎行驶区间。在下文中描述行驶区间显示的详细内容。

然后,在步骤s34,开始获取ldm更新信息。与获取ldm更新信息一起,可以将行驶区间显示的内容改变为最新状态。然后,在步骤s35,开始行驶。然后,在步骤st36,基于本车辆的位置信息和所获取的ldm更新信息来更新行驶区间显示的显示。因此,滚动显示行驶区间显示,使得随着车辆行驶,每个区间接近本车辆。

然后,在步骤s37,执行驾驶员状态的监控。然后,在步骤s38,决定是否需要改变驾驶员状态。例如,在驾驶员处于从行驶转向完全撤回的状态下并且本车辆当前处于自动驾驶区间中的状态下接近驾驶员干预要求区间的情况下,需要使驾驶员尽早地返回到行驶转向状态。

当不需要改变驾驶员状态时,处理返回到步骤s36的操作。相反,当需要改变驾驶员状态时,在步骤s39向驾驶员发出对此的通知。如果驾驶员不响应于该通知,则生成警告(警报)。如果驾驶员对通知或警告做出反应,则处理返回到步骤s36的操作。

注意,尽管未在图5的流程图中示出,例如,在正在接近驾驶员干预要求区间的阶段估计驾驶员不可能在设定的宽限预定时间段内返回到驾驶转向状态的情况下,例如,开始减速慢行逃避序列,并且延迟交接点的到达时间以生成时间宽限期。然后,当即使这样仍不能期待返回时,车辆进一步紧急行驶逃避到路肩或避难场所并且停止。关于是否要通过减速慢行来延迟到达交接点,因为期望状态是由各种因素(诸如基础设施因素(例如可容许交通拥堵是否对道路有影响、或对于道路有无逃避场所)、或在可应用时间点的交通量)引起的,所以期望通过道路-车辆合作根据最佳控制进行处理。然而,由于本说明书关注于显示形式,因此未详细描述对时间轴上的设定有影响的车辆控制。

[行驶区间显示的详细内容]

图6示出通过由驾驶员设定目的地而确定的行驶路线的示例。行驶路线包括自动驾驶可用区间sa、手动驾驶区间sb、从自动驾驶到手动驾驶的交接区间sc以及从自动驾驶起的谨慎行驶区间sd。在此,交接区间sc必定紧接在手动驾驶区间sb之前,因此驾驶员需要处于到手动驾驶的返回姿势。另外,谨慎行驶区间sd是这样的区间,其中在处于到手动驾驶的返回姿势的驾驶员的仔细观看下,车辆可以在维持自动驾驶的状态下减速并行驶。

在所示的示例中,自动驾驶可用区间sa以绿色来指示;手动驾驶区间sb以红色来指示;并且交接区间sc和谨慎行驶区间sd以黄色来指示。注意,为了便于说明,颜色以不同的图案来表示。

在诸如中心信息显示器或平板计算机之类的显示设备上的行驶区间显示中,如上所述的行驶路径的这些区间被表示在从当前地点起的到达预测时间轴上。自动驾驶控制单元112基于行驶路线信息和交通信息沿着行驶路线执行对于行驶区间显示的信息处理。

图7的(a)在从当前地点起的移动距离轴上以一定比例表示行驶路线的各个区间。图7的(b)表示各个地点处的平均道路交通的流速v(t)。图7的(c)表示使用速度v(t)从移动距离轴上表示的那些转换为时间轴上的那些的区间。因此,在从当前地点起的到达预测时间轴上呈现行驶路线的各区间。简而言之,通过将行驶路线上的物理距离除以每个区间的平均速度,可以在时间轴上表示该物理距离。

在该实施例中,如图7的(d)所示,显示为行驶区间的所有区间被划分为三个区间,并且时间轴在各区间之间改变。特别地,在第一时间轴上将从当前地点到第一地点的第一区间(时间t0,例如大约10分钟)显示为时间线性显示最近区间。例如,将时间t0设定为在一般驾驶员结束次要任务并且返回到驾驶之前所需要的足够时间。由于通过行驶而接近的最近区间的视觉直观效果与当在车辆以一定速度行进的地图上指示的视觉直观效果相同,因此驾驶员可以开始为由于事件接近而产生的驾驶返回做精确的准备,并且优点在于,驾驶员可以直观地并且在某种程度上准确地掌握要开始返回的点。简而言之,各区间的显示目的在于向用户提供驾驶员的精确返回点的开始确定信息。

同时,在从第一时间轴到第二时间轴顺序地变化的时间轴上将从第一地点(时间t0)到第二地点(时间t1,例如,大约一个小时)的第二区间显示为时间倒数显示区间,第二时间轴从第一时间轴以预定比率缩小。第二区间的显示目的是用于以狭窄的显示向驾驶员准确地提供较长时段的道路状况的方案,因为当第二区间主要以等于先前的第一区间的比例因子显示时,难以在狭窄的显示空间中显示长时段。通过该方案,驾驶员可以容易地掌握在与行驶一起的前面某个一定区间中直到哪个地点为止可能不要求驾驶员对驾驶进行干预,并且优点在于,驾驶员可以系统地从事次要任务。对于驾驶员而言,驾驶干预的需要性/不需要性变得很明显,并且在与第三方等的通信所涉及的次要任务中,信息呈现在驾驶员从次要任务等的释放规划中起着重要作用。

在此,参考图7的(d)来描述该第二显示区间的设定方法。当三角形的高度用h0来表示时,从三角形的顶部起早h的地点的时间t由以下表达式(1)来计算。

t=t0*h0/h...(1)

同时,第二地点(时间t1)处的第二时间轴从第一时间轴以hs/h0的比率缩小。例如,在hs=h0/8的情况下,缩小率为1/8。

在车辆以一定车辆速度行驶的情况下,上述第二显示区间中的显示等同于将地图上的行驶直线延伸显示区间倾斜地向移动方向倾斜的显示,或者等同于倾斜地观看道路平面的前方的状态。换句话说,由于该显示区间的视觉效果是可以从显示图像高度位置直观地理解透视,所以即使在画面上未显示用于精确位置显示的刻度等,也可以容易地掌握感觉距离。于是,尽管远方区间被缩小,但是由于这不是车辆通过行驶而快速到达的地点,因此尽管粗略预测很重要,但是驾驶员不需要直观地掌握如近地点处那样的准确到达时间信息。因此,当驾驶员安排次要任务执行时,这也是优选的。

此外,在第二时间轴(缩小率hs/h0)上显示从第二地点(时间t1)到第三地点(时间t3)的第三区间作为时间线性显示远方区间。通过显示以这种方式划分的三个区间,驾驶员可以在有限的显示空间中知道时间上最近的区间信息的详细内容,并且可以知道时间上更远的区间信息。注意,当在保持第二部分的显示形式的情况下显示远方区间时,这变得低于人的视觉分辨率,并且进一步变得低于系统的显示分辨率极限。因此,不可能区分由次要任务的计划确定所需要的信息,并且失去了显示功能的重要性。因此,最有效的显示是在可以直观地充分把握时间区间感觉并且适当地显示需要介入区间和不需要区间的分类的阶段结束显示比例的缩小,并且在随后的分区中执行比例返回到一定比例的显示。

注意,车辆控制系统100具有时间t0、t1和t3的默认值。由于也可考虑到使时间t0、t1和t2的值在长距离驾驶和短距离驾驶之间不同,因此默认值不限于一组,并且可以提供多组以使驾驶员(用户)或系统响应于行驶路线而选择性地使用它们。另外,可考虑到允许驾驶员(用户)任意设定时间t0、t1和t3的值。

图8的(a)和图8的(b)分别示出最终显示的行驶区间显示图像的示例。注意,通过箭头标记的长度,示出了时间轴是否是线性的、以及进一步时间轴的缩小率的变化。在图8的(a)的情况下,以所保持的第一宽度来显示第一区间、第二区间和第三区间的所有区间。

另一方面,在图的8(b)的情况下,以第一宽度显示从当前地点到第一地点的第一区间(时刻t0);以从第一值到第二值顺序地改变的宽度显示从第一地点(时间t0)到第二地点(时间t1)的第二区间,该第二值指示比第一宽度更窄的宽度;并且以第二宽度显示从第二地点(时间t1)到第三地点(时间t2)的第三区间。因此,驾驶员可以在视觉上识别第二区间和第三区间中的时间轴相对于第一区间的缩小程度。简而言之,尽管图7中的显示形式是仅考虑移动方向上的缩小率的显示图像,通过根据透视进一步人为地改变相对于显示信息的移动方向的横向宽度,获得与当驾驶员沿着道路或地图的行进朝向无限方向观看时获得的透视效果相同的透视效果,并且与瞬间观看画面时相比,有助于直观地掌握驾驶干预要求区间的分布。特别地,在仅第二区间沿逆时针方向转动并被观看的情况下,由于在车辆以一定速度行驶的情况下第二区间与前面道路的道路宽度和每个可应用地点处的到达时间相当,即使没有通过观察确定精确的位置分度,也可以直观地把握对每个地点的到达感觉,并且显示形式被认为允许时间分配。

注意,当例如在缩小率hs/h0较低的部分(如第三区间)处,以时间长度原样显示短时间长度的区间时,则区间显示得很细,并且预计驾驶员的识别会困难。因此,即使在驾驶员干预区间(手动驾驶区间、交接区间、谨慎行驶区间)实际上等于或小于一定时间长度的情况下,也以一定时间长度显示。在这种情况下,例如,在交接区间和手动驾驶区间继续的情况下,有时省略交接区间的显示。在图8的(a)和图8的(b)中,第三区间中的第一手动驾驶区间sb的显示指示了刚刚描述的这样的状态。因此,在时间轴显著缩小的第三区间中,短时间长度的驾驶员干预要求区间可被显示,使得该短时间长度的驾驶员干预要求区间可被驾驶员识别。

此外,在缩小率hs/h0较低的部分(如第三区间),在手动驾驶期间sb以短周期而间歇地出现的情况下,这被显示为整体上连续的手动驾驶区间sb。在图8的(a)和图8的(b)中,第三区间中的第二手动驾驶区间sb的显示指示了这样的状态:以如上所述的连续方式显示第二手动驾驶区间sb。如图8的(c)中所示,除了手动驾驶区间sb之外,以这种方式显示的手动驾驶区间sb实际上还包括短时段的谨慎行驶区间sd和自动驾驶可用区间sa。注意,如下文中所述,如果在平板计算机等上给出行驶区间显示的状态下例如两重触摸(doubletouch)地点,则可以执行详细显示。

基于本车辆的位置信息和所获取的ldm更新信息,相继地更新上述行驶路线上的行驶区间显示。因此,随着时间流逝,滚动显示行驶区间显示,使得各区间相继地接近本车辆。图9的(a)至图9的(d)分别示出与时间的流逝一起的行驶区间显示的变化的示例。尽管该示例示出以逐渐变细的方式显示第二区间的示例,但是以相等的宽度显示所有区间的情况也是类似的。

在这种情况下,在第一区间中,每个区间中的移动较高。同时,在第二区间中,由于时间轴的缩小从第三区间侧朝向第一区间侧减小,所以每个区间中的移动变快。此外,在第三区间中,由于时间轴的缩小变大,所以每个区间中的移动较慢。

图10的(a)和图10的(b)分别示出在平板计算机300的画面上显示的行驶路线上的行驶区间显示图像200的示例。图10的(a)示出在垂直使用平板计算机300的情况下的示例。在这种情况下,车辆控制系统100以沿着左侧和上侧弯曲的状态显示,并且与作为在平板计算机300上执行的次要任务的执行画面的作业窗口并列地显示。图10的(b)示出在以横向使用平板计算机300的情况下的示例。同样,在这种情况下,行驶区间显示图像200以沿着左侧和上侧弯曲的状态显示,并且与作为在平板计算机300上执行的次要任务的执行画面的作业窗口并列地显示。注意,尽管在所示的示例中,行驶区间显示图像200以弯曲的状态布置在平板计算机300的画面上,但是在可以确保足够的布置空间的情况下,也可以考虑行驶区间显示图像200被线性地布置。

图11示出驾驶员实际使用平板计算机300执行次要任务的状态的示例。在该示例中,平板计算机300以横向使用。在平板计算机300的画面上,以沿左侧和上方弯曲的状态显示行驶区间显示图像200。注意,可以通过驾驶员(用户)的操作来选择性地执行是否在画面上显示行驶区间显示图像200。在这种情况下,例如,在画面上显示行驶区间显示图像200的情况下,在驾驶员干预要求区间在一定时间段中到来并且这将被通知给驾驶员的情况下,则行驶区间显示图像200可以自动显示在画面上。

在平板计算机300的画面上显示行驶区间显示图像200的状态下,在显示区间内新出现驾驶员干预要求区间的情况下,新生成的驾驶员干预要求区间的显示图像新出现。在这种情况下,例如通过闪烁显示一定时间段来显示新出现的驾驶员干预要求区间,以便可从其他显示图像中识别出该新出现的驾驶员干预要求区间。该闪烁显示可以伴随有警告报警声。在此,驾驶员干预要求区间新出现的情况不仅包括谨慎行驶区间或手动驾驶区间新出现的情况,而且还包括行驶区间从谨慎行驶区间改变为手动驾驶区间的情况。

图12示出谨慎行驶区间sd在第二区间中新出现并且通过闪烁显示将此向驾驶员进行警告的状态。应当注意,在这种情况下,通过驾驶员触摸在闪烁显示状态下的谨慎行驶区间sd的显示位置,可以使闪烁显示(即警告状态)停止。作为替代,可以通过驾驶员触摸在闪烁显示状态下的谨慎行驶区间sd的显示位置来弹出显示小窗口,然后通过驾驶员的用于批准的画面触摸来停止闪烁(即警告状态)。

此外,在平板计算机300的画面上显示行驶区间显示图像200的状态下,在驾驶员(用户)两重触摸以指定任意地点的情况下,例如弹出显示小窗口,并且如图13中所示,执行与该地点相关联的显示。

图14的(a)、图14的(b)、14的(c)和14的(d)分别示出在小窗口中显示的信息的示例。图14的(a)示出如下示例,其中在小窗口中以文本显示该地点处的路面状况、天气、当前区间是哪个区间等。图14的(b)示出在小窗口中显示该地点处的地图的示例。图14的(c)示出如下示例,其中在小窗口中显示包括该地点的一定时间段由哪些区间构成。图14的(d)示出在小窗口中显示绕道的示例。注意,这些显示示例仅是示例性的,并且他们不是限制性的。此外,可以通过驾驶员的操作来顺序地可切换地显示他们中的全部或他们中的一些。

此外,当在平板计算机300的画面上显示行驶区间显示图像200的状态下,驾驶员干预要求区间从当前地点起进入一定时间段的范围中时,将驾驶员干预要求区间置于强调显示的状态,以向驾驶员发出通知以引起注意。驾驶员将基于通知快速地执行驾驶返回。注意,当定时基于驾驶返回所需要的时间裕度而到来时,设定用于允许将通知作为开始信号提供给驾驶员的一定时间段,以使得响应于驾驶员的个性或响应于驾驶员的当前状态、或进一步响应于车辆的负载制动特性和道路状况,驾驶员可以足够在驾驶交接区间或谨慎行驶区间到来之前返回到驾驶。简而言之,如上所述的任何这样的通知的详细信令点可以通过由驾驶员个体属性学习器学习驾驶员特定的独特特性等并且在最佳定时执行信令来设定。尽管本说明书没有具体地描述用于最佳返回定时的个人特性的学习器的配置或学习方法,但是学习器是从驾驶的可观测状态估计在驾驶员接受通知之后驾驶员以一定比率从自动驾驶正确地返回到手动驾驶时的延迟时间的学习设备。

在强调显示的状态下,例如,使用闪烁显示、以不同颜色显示、移动速度看起来高于实际速度的错觉显示、或者例如波形显示。这使得驾驶员可以容易地识别驾驶员干预要求区间从当前地点起进入一定时间段的范围中。尽管从画面等的显示范围的关系来看,存在显示比例在通常的接近显示中较小并且不太可能把握接近感的情况,为了最大限度地利用人眼的动态视力效果,于是可以通过该方法在显示画面上生成到接近位置的快速的亮度梯度变化点。同样,在驾驶员在次要任务中看着画面的不同位置进行作业的情况下,本方法的最显著优点是可以在周边视野中掌握变化。

图15示出将波形显示应用于紧接在手动驾驶区间sb之前的交接区间sc作为强调显示的状态。图16示出执行波形显示的显示图像的示例。在该显示示例中,通过针对每个δt改变交接区间sc的区间长度,重复进行用于比行进速度更快的显示和向后拉动显示图像的操作。同时,图17示出执行波形显示的显示图像的另一示例。在该显示示例中,通过针对每个δt改变交接区间sc的区间间位置,重复进行比移动速度更快的显示和向后拉动的操作。

此外,在平板计算机300的画面上显示行驶区间显示图像200的状态下,可以与行驶区间显示图像200并行地显示所规划的通过里程碑地点(milestonepoint)、主要路线名称等。该里程碑地点由系统推荐或由驾驶员(用户)设定。图18示出里程碑地点等的显示图像的示例。

此外,在平板计算机300的画面上显示行驶区间显示图像200的状态下,可以响应于驾驶员(用户)的选择操作而进一步允许在次要任务的作业画面和地图画面之间的切换显示。在图19的(a)中,在平板计算机300的画面上显示次要任务的作业画面。如果在这种状态下,在行驶区间显示图像200的任意地点被三重触摸(tripletouch)之后触摸地图画面图标“m”,则进入如下状态,其中在该地点处的放大地图以鸟瞰图被显示在平板计算机300的画面上,如图19的(b)所示。

此外,当以这种方式在平板计算机300的画面上显示可应用地点处的放大地图的状态下沿水平线转动平板计算机300时,地图显示进入如图19的(c)中所示的3d显示状态。注意,在任意地点是非常接近当前地点的地点(例如第一区间中的点)的情况下,不执行倾斜3d显示,并且维持如图19的(b)中所示的这样的鸟瞰图。这是因为,在鸟瞰显示的情况下,接近时间段与显示长度成比例地改变,并且鸟瞰显示允许直观地掌握接近时间段。通过在平板计算机300的画面上显示放大地图的状态下触摸作业画面图标“t”,显示返回到图19的(a)的状态。

如上所述,在图1中所示的车辆控制系统100中,基于行驶路线信息和交通信息,在显示设备(仪表板、平板计算机等)上在从当前地点起的到达预测时间轴上显示行驶路线的驾驶员干预要求区间和自动驾驶可用区间。因此,可以始终向驾驶员适当地提供行驶路线的区间信息,并且即使在多个自动驾驶行驶级别复杂地混合的复杂行驶级别区间中,驾驶员也可以顺利地且无缝地在清楚区别的情况下进行次要任务执行和干预返回,而没有(返回)等待压力。因此,可以实现最大限度地利用自动驾驶模式的在长区间中的行驶。于是,一般而言,由于可以有效地降低从自动驾驶到手动驾驶的交接失败的车辆的比率,针对作为社会基础设施的道路的交通带宽负担的重大问题,可以通过广泛地引入自动驾驶使其负面影响最小化。

<2、变型>

[变型1]

注意,在本说明书中,术语“系统”用于表示多个组件(装置、模块(部件)等)的集合,并且是否所有组件都容纳在同一壳体中并不重要。因此,容纳在单独的壳体中并且通过网络彼此连接的多个装置和将多个模块容纳在单个壳体中的一个装置都是系统。

[变型2]

此外,在本说明书中,在由驾驶员执行的次要任务例如是包括第三方的视频会议系统的情况下,在次要任务期间远程连接到驾驶员的第三方不能直接掌握关于驾驶员何时需要返回到驾驶的状况。然而,由于在这种情况下不知道驾驶员何时需要从次要任务中退出并且返回到驾驶,因此远程连接的第三方无法掌握并且无法知道是否即将出现通信中断的状况,这不方便。因此,通过向位于驾驶员参与的视频会议的连接画面的相对侧上的连接伙伴的第三方提供驾驶员的返回需要定时信息,使得众所周知的是驾驶员进行会议执行作为驾驶作业的次要任务。简而言之,连接伙伴也期望掌握驾驶员的返回定时的状况,并且可以通过通信向伙伴侧共享在一部分时间或一定时间段内的驾驶员干预返回请求信息。

此外,为了即使在会议期间也可以优先由系统处理驾驶返回请求,可以采取诸如向连接伙伴侧进行通知、状况识别、会议继续拒绝通知之类的手段。作为系统的返回请求信息,不需要一定呈现与驾驶员相同的信息,并且可以使用通过语音的通知或通过osd的消息显示。此外,在通过次要任务的执行而使驾驶员的自愿驾驶干预返回被延迟的情况下,系统可以强制进行中断。此外,为了避免驾驶员不合理地继续次要任务,可以根据系统的返回请求来跟踪记录驾驶员的返回行动的日志。简而言之,在第三方在自动驾驶期间远程地连接到车辆驾驶员并且参加车辆驾驶员的作业的情况下,优选的是,第三方不干扰驾驶员返回到驾驶,并且在执行干扰行动的情况下,也需要为此保留记录。

在驾驶员需要从自动驾驶返回到手动驾驶的情况下,如果通过远程连接参加次要任务的第三方知道状况是暂时的还是状态持续,则第三方不需要受到行动限制,因此提高了便利性。在此,根据用途,可以通过远程通信将在由自动驾驶车辆进行的自动驾驶中的驾驶员返回需要性的计划显示进一步通知给远程第三方。

在本说明书中,在上述由驾驶员执行的次要任务期间,在系统要求沿着行驶路线在注意下行驶或返回到手动驾驶以转变到行驶的情况下,根据正被执行的次要任务的内容,请求定时在某些情况下可能不适合于中断次要任务的作业。

例如,在次要任务是包括深度睡眠的小睡的情况下,存在这样的情况:在系统正常地连续观测驾驶员状态(例如睡眠的深度决定)的同时,可以通过稳态观测来决定睡眠浅到适合于返回到某种程度的定时。然而,在驾驶员可以执行的各种类型的次要任务中,非常难以总是仅根据可以由系统执行的驾驶员的生物观测信息等来计算对于由驾驶员执行的次要任务而言最优的通知定时。

取决于次要任务的类型,存在与如上述睡眠那样极端的从转向作业中撤回不同的意识撤回的类型。同样,沉浸式游戏是刚刚描述的这样的次要任务的典型示例。当然,取决于参与次要任务的方式,作业可能具有如下可能性:即使驾驶员可以在由驾驶返回所需要的向前注意的同时开始作业,但是同时取决于参与的方式并且取决于大脑思维活动,驾驶员可能将他自己/她自己沉浸在次要任务中,直到驾驶员对行驶前方或交接通知定时的注意力显著地劣化。如果驾驶员像游戏上瘾一样达到极端上瘾,则驾驶员对系统的通知或警报变得不敏感,从而导致可能无法实现适当的返回。

此外,提供类似的沉浸感的任务包括在直播电视等上观看体育比赛。此外,假设在电话会议等中涉及活跃讨论的时段期间,取决于讨论中的参与状况,驾驶员类似地对不在会议中的系统的返回通知或警报变得不敏感。

另外,平板计算机终端装置的票据输入系统的作业可以被分类为如下类型的次要任务:从作业效率的视点来看,通常有利的是连续地进行一系列输入而不中断作业,并且进行输入作业,直到作业完成。

注意,作为提供轻度沉浸感的作业,例如,可以观看记录的视频的电影和观看记录的当前新闻,并且取决于内容,任何这些次要任务的作业增加或减少对次要任务的过多注意力集中。取决于当前的再现内容,在某些情况下,有时忽略与周围行驶有关的注意力的分配,或者有时可以实现足够的注意力维持。

然而,通常难以将从驾驶注意力的撤回深度与作业相关。因此,即使可以由系统进行驾驶员状态的被动观察,由于系统无法观测到大脑中的思维状况,因此无法进行注意力集中程度的直接观测,并且难以实现对返回通知或警报定时的优化。

为了克服这个问题,没有选择而依靠驾驶员在某种程度上的自愿作业中断。为了便于驾驶员中断次要任务,需要减少引起犹豫的因素以中断次要任务。

在以上给出的几个示例中,由于驾驶员他自己/她自己不一定可以控制再现视频或游戏的进行程度,因此在次要任务被中断并且以后从中断点起重新开始再现时,可以取决于驾驶员如何舒适地观看从中断点继续的次要任务的内容来减少中断的犹豫。

在观看电影、在实况电视上观看实况体育节目等时,如果在良好的中断场景(例如与在观看时的情绪紧张上升的场景相邻的场景)处暂时中断电影的欣赏或在实况电视上的体育比赛的观看,并且可以从中断点重新开始欣赏或观看,则可以减少由中间中断引起的不满意或不适感。

此外,在可以重新开始欣赏的时间点,通过在插入直到中断点为止的故事的简短摘要之后,或者在体育实况观看的情况下在插入在中断期间的精彩场面之后,在重新开始时向作为观看者的驾驶员提供补充信息,可以实现在次要任务中断时发生的不满意感觉的减少。

可以通过驾驶员的中断过程来执行这样的次要任务的中断,以用于在该次要任务被中断的情况下执行驾驶转向注意和实际转向返回。然后,此时,可以执行从中断点起的重新开始,或者可以事先追溯地预约再现点以便执行中断。期望地通过如下这样的方法来输入中断再现方法,例如通过单重触摸(singletouch)欣赏监控画面来提供中断菜单;并且可以进行直观且快速的指定,诸如中断再现方法指定或追溯点的滑块指定中断。

此外,在没有具体地指定的情况下,可以执行从中断点起的追溯再现。在没有追溯再现的情况下,与连续欣赏不同,由于曾经中断了欣赏,即使驾驶员在重新开始内容的再现时从中断点起观看内容,也难以掌握内容的故事。如果以下面为例,可以很容易识别本再现方法的效果:即使一个人在听到有趣的评论之后,过了一段时间在喜剧双人表演中听见诙谐的评论,这也不是很有趣。

作为具有较高中断自由度的次要任务,可以使用诸如将数据输入到平板计算机终端、个人计算机等或读取数据之类的作业的示例。在数据输入的情况下,当在检查彼此相关联的多个项目的同时以联动关系将信息输入到表格等中时,如果在不利于停止的地方中断了作业,则在那时已经完成的作业可能变得毫无用处。此外,对于通过因特网进行购买的输入作业或近年来在各个领域中经常使用的官方过程输入处理,经常需要一定的连续作业。因此,在无法结束用于这样的过程的输入作业的情况下,如果在途中中断了作业,并且在重新开始输入作业时必须将输入作业追溯地返回到初始输入开始点,则会犹豫中断输入作业。

如由上述示例所指示的,也依赖于次要任务中的沉浸度、连续输入的需要性等,如果任务的类型是在次要任务被中断的情况下驾驶员需要从头开始再次全部重做该任务,则即使接收到通知,在某些情况下,驾驶员在心理上也希望延迟次要任务的中断以将作业完成到利于停止的地方。

当在尽早阶段中断作业以优先交接手动驾驶的情况下的缺点低于在不中断并且继续次要任务的作业以及延迟交接手动驾驶的情况下的缺点时,可能使得用户优先中断次要任务并且鼓励用户在尽早阶段返回到驾驶转向作业。然而,作为在不中断并且继续作业从而导致交接延迟的情况下的缺点,可能增加最终发生驾驶返回延迟的可能性。另外,例如,即使当在极少数情况下由于延迟而未能及时进行交接,并且系统使得车辆行驶对于紧急情况的逃避行驶时,除非用户将由逃避行驶造成的影响识别为在直观上不利,否则用户不会设法避免该状况。

作为对此的对策,在系统观测到作业被中断并且返回被延迟的情况下,用于对用户施加惩罚的机制是有效的。然而,在返回过程延迟的情况下的惩罚并不总是万能的,以及作为人类的行为心理,用户优先保留返回的通知,直到用户感觉到直接的惩罚为止,并且中断次要任务的心理不一定起作用。

特别地,如果在产生紧急交接请求时或在规定的时间段内未完成交接而由系统执行紧急慢行行驶或逃避行驶以最小化风险(最小风险机动),这迫使诸如后续车辆之类的周边行驶车辆执行突然制动或避免动作,从而导致诸如交通拥堵或追尾事故之类的风险的增加。特别地,在无条件地强行地继续执行次要任务时依赖于由系统执行的紧急措施的操作会增加可能引起二次损害(例如交通拥堵或追尾事故)的可能性,并且具有导致道路基础设施的社会功能劣化的不利影响。

期望如下的使用形式,其避免驾驶员在尽早阶段鲁莽地继续次要任务以及鼓励驾驶员迅速中断次要任务并且开始交接。特别地,如果对违反忽略动机(激励)和对于尽早交接的要求生成惩罚,则期望用户的积极、自愿和反射性的尽早交接成为习惯,并且这种情况下也需要减少繁琐的缺点。

特别地,尽管在许多行驶环境中,人类在自动驾驶利用行为中的心理变得可能依赖于系统的自动驾驶转向,但是用于促使自愿返回行为以避免由于过度依赖而导致的交接执行的懒惰的机制是有效的,并且,如果在操作感觉上直观地表现了利用时的优点和缺点之间的平衡,则人开始优先中断作业。

作为期望连续执行次要任务的作业的示例,在未来可以使用例如观看电影、观看体育比赛、棋盘游戏或电子游戏、乘客之间的对话、电话会议中的讨论、使用信息终端输入数据、网上银行作业、发送邮件等、浏览、网上购物等。

特别地,在上述的这样的次要任务当中,如果在游戏的中途中断作业,在利用诸如智能电话或平板计算机之类的信息终端使用应用为票据的输入处理输入一系列信息的情况下在作业的中途中断作业,或者在网上购物的情况下中断作业,则到目前为止已经完成的输入处理作业都被浪费了。结果,可能发生必须从头开始执行(重做)的状况。

由于作为人类心理希望消除作业的浪费,因此,如果完成输入到最后的心理起作用,则作业的中断被推迟,并且可能会容许稍许延迟的心理进一步起作用,从而可能导致如下风险:安全和平顺的返回根本无法被执行,并且可能无法及时被执行。换句话说,只要驾驶员是一个人并且根据人类行为心理来执行交接作业,就要求在行为心理上中断作业并且使尽早返回优先化的机制。

因此,如果可以构建中断作业并且使尽早返回优先化的机制,则期望通过使用户(驾驶员)放弃作业的继续来降低风险。特别地,如果次要任务是在平板计算机等上输入信息,并且准备了便于用户在执行应用时的作业指定点返回的显式菜单,则即使用户暂时中断了作业,用户也可以容易地从中断点起重新开始作业。

注意,当前流行的许多个人计算机和其他信息终端的应用软件配备有执行处理历史的存储和恢复功能,以用于取消或重做输入。然而,这些功能被认为是用于在终端上从事输入期间重做输入的目的,并且是在由多个人进行的文档的阅览作业期间选择性地反映选择性地改变的内容的功能,而不是用于当未指定的任意输入作业被中断时辅助重新开始输入作业的目的的功能。因此,功能成为用于使得用户犹豫中断作为次要任务的对信息终端的输入作业的因素。

为了使用户中断输入作业并且优先地返回到驾驶任务,需要用于辅助输入作业等的重新开始的辅助功能。在下文中,描述了用于辅助这样的返回的作业示例以及若干用途。

在利用信息终端执行次要任务的情况下,为了避免由于用户过多地沉浸在次要任务中而疏忽了来自自动驾驶的返回通知而导致驾驶注意力的完全撤回,在作业窗口400中正常地执行直到通过行进而到达交接点为止的指标呈现(行驶区间显示图像200)。此外,如果由交接通知决定设备决定为通知定时,则如图20的(a)中所示,在作业窗口400中通过闪烁等将用于通知的小图标显示为视觉刺激诱导。

例如,如图20的(b)中所示,在驾驶员(次要任务执行者)确认该通知并且执行例如触摸或勾选图标上的标记的情况下,作业画面被中断(部分阻塞),并且显示用于输入作业的重新开始返回点指定滑块菜单,使得利用者可以通过最优返回点的滑块旋转来执行自由设定。在这种情况下,滑块显示可以是如图21的(b)中所示的在逆时针方向上的旋转类型的旋转显示图像、如图21的(a)中所示的水平线性显示图像、或未示出的垂直线性显示图像。

在如图20的(b)中所示的这样的顺时针显示图像的情况下,将从12点钟方向到9点钟方向的逆时针方向确定为输入追溯点,并且在如图21的(a)中所示的这样的水平线性滑动块显示形式的情况下,例如,将从当前输入点(其是在大约2/3长度处的点)起的向左方向确定为输入追溯点。

在信息输入处理的情况下,最后输入信息地点是当前地点,并且由于尚未输入的地方不是最初无法执行重新开始的地点,因此不能将其指定为在重新开始时的再现指定点。然而,通过使菜单上的作业项目前进,使输入点前进到输入应用工具上的所规划的输入位置,并且通过在返回输入时执行画面模拟简单显示,可以执行用于追溯地重新开始作业的最佳地点确定。

由于原因有点难以理解,因此将以体育运动中的跳高为例进行说明。如果可以事先估计在跳高时要跳过的距离,则可以确定将要确保什么距离作为用于助跑的距离。因此,尽管助跑曾经被中断并且稍后执行跳跃,但是通过事先掌握状况,可以预测要在哪个追溯点重新开始助跑。可以用来推迟和浏览未来的输入位置的滑块设计是用于此的措施。在检查剩余的输入项目的情况下,此优点很有用。

在没有响应于通知而执行一定时间流逝转变或驾驶员对通知的确认响应输入、并且系统在确认驾驶员的响应检测时失败的情况下,合理的是发出警告以促使尽早返回。例如,如图21的(b)中所示,在缩小次要任务执行窗口400的同时,像行驶区间显示图像200'那样以放大比例来显示直到到达行驶方向上的交接点为止的指标呈现(行驶区间显示图像200),以及在某些情况下,可以强制退出作为次要任务执行的应用输入。

如图22中所示,在执行次要任务的驾驶员指定作业重新开始点并且曾经响应于系统的返回请求而中断作业以及作为流程而驾驶员可以再次返回到自动驾驶并且重新开始作业的情况下,可以呈现滑块菜单(用于在重新开始时利用画面上的输入历史进行返回位置指定的滑块)500,在滑块菜单中按时间顺序明确地排列输入作业点(对输入作业点的cr(输入键盘回车(carriagereturn))执行点、和输入表单完成点(inputformcompletionpoint))。注意,尽管曾经作业中断之后的重新开始不需要一定在返回到自动驾驶之后被执行,并且可以在行程结束之后被执行,但是在流程图中省略了可应用情况的示例。

特别地,如果不需要指定特定的重新开始点,则可以通过用于利用双指滑动地移动滑块的处理或者通过关闭菜单来关闭滑块。可替代地,可以通过以下方式来指定重新开始点:输入数值,敲击回车,将滑块移动到期望在多个点当中执行作业重新开始的位置,以及通过两重触摸或选中标记操作来指定可应用的位置。

使返回点的这些指定和操作彼此一致,并且在滑块上移动指定位置,使得也可有效地在应用执行画面上再现输入画面。同样,在重新开始作业时,通过在滑块中显示针对每个输入返回键划分的作业进度菜单,输入人员可以容易地检查中断位置和到目前为止已经完成的输入历史,因此这成为如下界面,通过该界面可以容易地回忆起(recall)中断点。

特别地,由于用户可以直观地掌握平板计算机等上的终端作业的输入作业点和行驶环境的到达地点,因此不仅可以简单地向驾驶员临时显示次要任务的执行任务和显示更新信息,而且可以进一步将与任务的同步记录存储到记录装置中,以便可以通过在菜单上滚动由进度所涉及的区间接近窗口以及对于作业恢复点的画面两重触摸或三重触摸操作等来一起使用任务回放功能等。

通过以这种方式提供用于作业返回点搜索和返回标记的手段,利用所述手段,在将驾驶返回给驾驶员之后可以容易地将作业返回到任意作业点,从人机工程学的角度来看,可以避免鲁莽地继续次要任务。结果,由于正在执行次要任务的驾驶员在没有压力的情况下迅速开始驾驶返回,这导致可以实现更安全的自动驾驶的利用的达成。

特别地,在输入作业中,重要的是先前和后继的输入信息之间的交互作用,并且例如,在将多个相关信息相继地输入到表格等中的情况下,在选择项目并且输入与该项目联动的一系列信息的情况下,如果输入在不完整的条件下不利于停止的位置被中断,则取决于在重新开始作业时的驾驶员的记忆,存在如下可能性:可能需要时间才能回忆起中断位置,或者可能发生错误的输入。

特别地,在原样保留假定通常连续使用的应用接口的情况下,当在中途中断输入作业并且在中断期间执行具有与所需的输入作业不同的注意力的作业时,对当驾驶员在作业返回时精确地返回到中断位置并且继续作业时有不利的影响。通过对作业中断点指定专用的菜单或输入位置进行显式可视化,在作业返回时,驾驶员可以回忆起输入作业的记忆,以允许容易地重新开始作业。

直到中断输入次要任务的时间为止的输入画面改变历史是用于回忆输入重新开始点的有效辅助功能,并且对提高作业效率有用。特别地,在历史信息的浏览效果高但是重新计算繁重的作业中,也可以通过在最后几个阶段将画面变化本地存储为图像来省略重新计算处理。

尽管上述示例是从主要作为信息输入应用的到信息终端的数据输入的视点来看的流程,但是类似的操作流程也可应用于电影观看、体育观看和新闻节目的流媒体观看。在观看电影或观看正在电视上广播的诸如足球之类的竞争比赛的情况下,有效的是,临时地和本地存储广播,在一旦请求手动驾驶返回的定时中断再现显示,并且由驾驶员从作业的中途执行延迟的再现。此时,可以降低繁琐的倒带回放处理的需要性。

然而,在执行提供深度沉浸感的极端利用形式(例如特别是参加型游戏中的vr利用形式)的情况下,也有效的是,不仅强制驾驶员中断作业,而且通过切换画面的显示来强制驾驶员观看前方行驶信息,以使得前方行驶信息显示在次要任务画面中,从而使得驾驶员在尽早阶段从其中驾驶者从驾驶行驶作业中完全撤回的状态返回他/她的注意力。

在短期内仅在安全性和在交接极限点处的可靠且平顺的交接中可以感觉到通过在自动驾驶期间中断次要任务作业而获得的优点的情况下,没有直观地感觉到其需要性。因此,尽管逐步惩罚功能可有效地使用户感觉到开始直观返回并且促使行动的需要性,但是使用警报或触觉的报警是繁琐的,并且仅仅惩罚无法总是改善人类行为心理。然而,通过结合消除了缺点的用于支持在次要任务中断时的重新开始和返回的机制,可以增强次要任务的快速中断的心理并且习惯性地减少次要任务的鲁莽的继续。

图23和图24的流程图示出在接收到交接通知决定的情况下的系统的处理过程的示例。

在步骤s51,系统在接收到交接通知决定时开始处理。然后,在步骤s52,系统执行对次要任务的执行者的通知。例如,在执行使用信息终端的次要任务的情况下,用于通知的小图标在作业窗口400中闪烁等(参考图20的(a))。

然后,在步骤s53,系统检测次要任务的执行者的通知确认响应。例如,如上所述,在执行利用信息终端的次要任务并且用于通知的小图标在作业窗口400中闪烁等作为通知的情况下,例如检测由执行者对图标的触摸操作等。此外,在步骤s54,系统向次要任务的执行者发出次要任务的输入作业的中断请求,并且给出用于画面缩小和中断的通告。

然后,在步骤s55,系统判别是否检测到通知确认响应。如果未检测到通知确认响应,则在步骤s56,系统计算交接宽限预算的剩余时间段。然后,在步骤s57,系统基于在步骤s56计算的剩余时间段来判别是否超时。如果没有超时,则系统返回到步骤s53以重复与上述那些处理类似的处理。

相反,如果在步骤s57超时,则在步骤s58,系统使用声音、振动、图像等执行警告。然后,在步骤s59,系统执行作业画面图像的缩小和交接点接近显示的放大强调显示(参考图21的(b))。然后,在步骤s60,系统执行警告确认的接受处理和次要任务的重新开始点指定。在这种情况下,系统显示用于次要任务输入作业的重新开始点指定滑块菜单,并且由次要任务执行者执行对重新开始点指定的确定(通过滑块等进行的作业返回点预约)的接受(参考图20的(b)和图21的(a))。

然后,在步骤s61,系统判别是否超时。在这种情况下,在通过交接宽限时间段决定预测交接延迟的时间点判别超时。如果没有超时,则系统继续步骤s60处的处理。相反,如果超时,则系统在步骤s62强制结束次要任务的作业。然后,在步骤s63,系统执行返回延迟惩罚记录、作业重新开始点的限制、自动驾驶模式的重新使用限制等。

相反,当在上述步骤s55检测到通知确认响应时,系统在步骤s64显示用于次要任务输入作业的重新开始点指定滑块菜单,然后由次要任务执行者执行对重新开始点指定的确定的接受(参见图20的(b)和图21的(a))。然后,在步骤s65的处理之后,系统进行到步骤s66的处理。同样,在上述步骤s63的处理之后,系统进行到步骤s66的处理。

在步骤s66,系统保存次要任务的作业历史和重新开始点指定信息。然后,在步骤s67,系统决定这是手动驾驶返回时段,并且次要任务的执行被禁用。

然后,在步骤s68,系统监控并且获取由进行自动驾驶重新开始可用性决定所需要的ldm信息、驾驶员状态和车辆自己诊断信息。然后,在步骤s69,系统确定车辆是否再次进入次要任务的可执行区间。如果车辆没有再次进入次要任务的可执行区间,则系统继续步骤s68处的处理。相反,如果车辆再次进入了次要任务的可执行区间,则系统在步骤s70确定自动驾驶可用区间的进入。

然后,在步骤s71,系统启用终端的次要任务作业的可返回菜单。然后,在步骤s72,系统监控次要任务返回重新开始输入。然后,在步骤s73,系统确定次要任务的执行者是否执行返回菜单的选择。如果未执行返回菜单的选择,则系统在步骤s74确定是否超时(重新开始指定等待时间超时)。如果没有超时,则系统返回到步骤s71处的处理以重复与上述那些处理类似的处理。在步骤s74执行的超时决定可以是这样的过程:在驾驶员没有在一定时间段内执行次要任务重新开始的情况下,作业的中断等同于转变到作为终端的节能模式的待机模式,执行暂停模式,在该暂停模式中记录用于完全断开电源的中断信息以关闭作业等,从而通过要求长期作业中断的手动驾驶返回来避免到目前为止已经完成的作业内容的丢失。

当在步骤s73执行返回菜单的选择时,如果在步骤s75由系统通过滑块菜单等通过作业重新开始点指定,则在步骤s76,系统根据指定输入来进行作业重新开始。此后,系统在步骤s77结束一系列处理。应当注意,当在步骤s74超时时,系统立即进行到步骤s77以结束一系列处理。

[变型4]

此外,在本说明书中,在如上所述由驾驶员执行的次要任务期间,基于沿着行驶路线的谨慎行驶或手动驾驶返回请求信息来中断次要任务以使手动驾驶优先化的情况下,可能存在这样的情况:要求驾驶员返回的定时不一定是对正在执行的次要任务的中断有利的定时。特别地,可能存在这样的状况:在要输入一系列信息的情况下,如果在途中中断作业,则到目前为止已经完成的输入处理作业都必须全部从头开始重新输入。由于作为人类心理,期望消除作业的浪费,因此设法完成输入直到最后。然而,这涉及不能及时执行返回的风险。因此,作为风险降低措施,可以进一步辅助地提供有助于用户在执行次要任务的应用时返回作业指定点的显式菜单。特别地,由于可以由用户直观地掌握平板计算机等上的终端作业的输入作业点和行驶环境的到达点,因此不仅简单地向驾驶员临时呈现次要任务的执行任务和显示更新信息,使得可以通过在菜单上与行驶一起滚动区间接近窗口以及对作业恢复点等的屏幕两重触摸或三重触摸操作来使用任务回放功能等,而且与任务的同步记录可以进一步存储到记录装置中。通过以这种方式提供在驾驶返回给驾驶员之后可返回到任意作业点的手段,从人机工程学的角度来看,可以避免鲁莽地继续次要任务。结果,正在执行次要任务的驾驶员在没有压力的情况下迅速开始驾驶返回,并且这导致实现更安全的自动驾驶的利用。

[变型5]

此外,在队列行驶时的操作中接收到通过无线通信的远程支持的行驶支持的情况下,远程支持者可以控制在可应用车辆或车辆组的支持要求地点处的行驶速度,以执行所规划的分配,或者执行用于避免交通控制中心的支持集中的分布规划。此外,行驶支持可以被配送公司用来规划在自动配送伙伴和手动配送伙伴之间建立分配计划等,并且可以将行驶支持的利用进一步扩展到远程配送支持等。

[变型6]

此外,本技术的实施例不限于上述实施例,并且可以在不偏离本技术的主题的情况下以各种方式修改。例如,本技术可以采用用于云计算的配置,通过云计算,多个装置通过网络共享并且协作地处理一个功能。

此外,在上文给出的流程图的描述中描述的步骤不仅可以由单个装置执行,而且可以由多个装置共享和执行。此外,在一个步骤包括多个处理的情况下,一个步骤中包括的多个处理可以由单个装置执行,也可以由多个装置通过共享来执行。

注意,本技术还可以采用如下所述的这样的配置。

(1)一种信息处理装置,包括:

信息获取单元,所述信息获取单元被配置为获取行驶路线信息和与所述行驶路线有关的交通信息;以及

显示控制单元,所述显示控制单元被配置为基于所述行驶路线信息和所述交通信息,在显示设备上在从当前地点起的到达预测时间轴上显示所述行驶路线的驾驶员干预要求区间和自动驾驶可用区间。

(2)根据以上(1)所述的信息处理装置,其中,

所述驾驶员干预要求区间包括手动驾驶区间、从自动驾驶到手动驾驶的交接区间以及从自动驾驶起的谨慎行驶区间。

(3)根据以上(2)所述的信息处理装置,其中,

所述显示控制单元以第一颜色显示所述自动驾驶可用区间,以第二颜色显示所述手动驾驶区间,并且以第三颜色显示所述交接区间和所述谨慎行驶区间。

(4)根据以上(1)至(3)中任一项所述的信息处理装置,其中,

所述显示控制单元:

在第一时间轴上显示从当前地点到第一地点的第一区间,

在从第一时间轴到第二时间轴顺序地改变的时间轴上显示从第一地点到第二地点的第二区间,第二时间轴相对于第一时间轴以预定比率缩小,以及

在第二时间轴上显示从第二地点到第三地点的第三区间。

(5)根据以上(4)所述的信息处理装置,其中,

所述显示控制单元:

以第一宽度显示第一区间,

以从第一宽度到小于第一宽度的第二宽度顺序地改变的宽度显示第二区间,以及

以第二宽度显示第三区间。

(6)根据以上(4)所述的信息处理装置,其中,

在第三区间中,即使驾驶车辆干预要求区间实际上等于或小于一定时间长度,所述显示控制单元也以所述一定时间长度显示驾驶车辆干预要求区间。

(7)根据以上(1)至(6)中任一项所述的信息处理装置,其中,

所述显示控制单元还显示与在每个所显示的区间中指定的地点有关的信息。

(8)根据以上(1)至(7)中任一项所述的信息处理装置,其中,

所述显示控制单元以能从现有的驾驶车辆干预要求区间中识别的方式显示新出现的驾驶车辆干预要求区间。

(9)根据以上(1)至(8)中任一项所述的信息处理装置,其中,

当所述驾驶员干预要求区间从当前地点起进入一定时间段的范围中时,所述显示控制单元将所述驾驶员干预要求区间置于强调显示的状态。

(10)根据以上(1)至(9)中任一项所述的信息处理装置,其中,

所述显示控制单元将各区间的显示图像与作业窗口并列地显示。

(11)根据以上(1)至(10)中任一项所述的信息处理装置,

所述显示设备是设置在便携式终端中的显示设备,以及

所述信息处理装置还包括:

通信单元,所述通信单元被配置为与所述便携式终端通信。

(12)一种信息处理方法,包括:

由信息获取单元获取行驶路线信息和与所述行驶路线有关的交通信息的步骤;以及

由显示控制单元基于所述行驶路线信息和所述交通信息,在显示设备上在从当前地点起的到达预测时间轴上显示所述行驶路线的驾驶员干预要求区间和自动驾驶可用区间的步骤。

[参考符号列表]

100...车辆控制系统

101...输入单元

102...数据获取单元

103...通信单元

104...车载装置

105...输出控制单元

106...输出单元

107...驱动系统控制单元

108...驱动系统

109...车身控制单元

110...车身系统

111...存储单元

112...自动驾驶控制单元

121...通信网络

131...检测单元

132...自身位置估计单元

133...状况分析单元

134...规划单位

135...动作控制单元

141...车辆外部信息检测单元

142...车辆内部信息检测单元

143...车辆状态检测单元

151...地图分析单元

152...交通规则识别单元

153...状况识别单元

154...状况预测单元

161...路线规划单元

162...行动规划单元

163...动作规划单元

171...紧急情况避免单元

172...加速/减速控制单元

173...方向控制单元

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1