本发明涉及车辆远程指示系统。
背景技术:
以往,作为与车辆远程指示系统相关的技术文献,已知日本特开2018―140755号公报。该公报中示出了如下远程操纵,即,通过将由远程操作者(operator)对转向装置(steeringwheel)的操舵量发送至自动驾驶车辆,自动驾驶车辆的操舵系统根据远程操作者的操舵量而被操舵。
现有技术文献
专利文献1:日本特开2018―140755号公报
技术实现要素:
发明要解决的问题
然而,在自动驾驶车辆并非上述那样的远程操纵而需要人类的判断的情况下,可以考虑远程操作者发出行进等的远程指示,自动驾驶车辆按照远程指示进行自动行驶的系统。该情况下,由于与远程操作者远程操纵不同,未必能够把握远程指示的结果,所以希望在按照远程指示行驶的自动驾驶车辆成为了应留下记录的状况(例如使紧急制动器工作这样的状况)时使记录留下。
用于解决问题的技术手段
本发明的一技术方案,是远程操作者根据自动驾驶车辆的状况进行与自动驾驶车辆的行驶相关的远程指示的车辆远程指示系统,具备:记录对象状况判定部,在远程操作者对自动驾驶车辆进行了远程指示的情况下,基于自动驾驶车辆的车载传感器的检测信息,判定按照远程指示行驶的自动驾驶车辆是否成为了预先决定的记录对象状况;和远程指示结果记录部,在通过记录对象状况判定部判定为自动驾驶车辆成为了记录对象状况的情况下,记录自动驾驶车辆的位置信息来作为远程指示的结果。
根据本发明的一技术方案的车辆远程指示系统,在判定为按照远程指示行驶的自动驾驶车辆成为了预先决定的记录对象状况的情况下,能够记录自动驾驶车辆的位置信息来作为远程指示的结果。
在本发明的一技术方案的车辆远程指示系统中,记录对象状况判定部也可以在按照远程指示行驶的自动驾驶车辆使紧急制动器工作了的情况下,判定为自动驾驶车辆成为了记录对象状况。
在本发明的一技术方案的车辆远程指示系统中,远程指示结果记录部也可以在通过记录对象状况判定部判定为自动驾驶车辆成为了记录对象状况的情况下,将自动驾驶车辆的位置信息以及自动驾驶车辆的车载传感器的检测信息关联地记录来作为远程指示的结果。
在本发明的一技术方案的车辆远程指示系统中,远程指示结果记录部也可以在通过记录对象状况判定部判定为自动驾驶车辆成为了记录对象状况的情况下,将自动驾驶车辆的位置信息以及远程操作者的识别信息关联地记录。
在本发明的一技术方案的车辆远程指示系统中,远程指示结果记录部也可以在远程指示是紧急退避的情况下,无论记录对象状况判定部的判定结果如何,都不记录远程指示的结果。
发明效果
根据本发明的一技术方案的车辆远程指示系统,按照远程指示行驶的自动驾驶车辆能够在成为了预先决定的记录对象状况时记录远程指示的结果。
附图说明
图1是表示一实施方式的车辆远程指示系统的全局的图。
图2是表示自动驾驶车辆的构成的一例的框图。
图3是表示远程指示服务器的硬件构成的一例的框图。
图4是表示远程指示装置的构成的一例的框图。
图5(a)是表示自动驾驶车辆成为记录对象状况之前的一例的俯视图。图5(b)是表示自动驾驶车辆成为了记录对象状况的情况下的一例的俯视图。
图6(a)是表示远程指示请求处理的一例的流程图。图6(b)是表示远程指示发送处理的一例的流程图。
图7(a)是表示远程指示结果记录处理的一例的流程图。图7(b)是表示记录对象状况判定处理的一例的流程图。
具体实施方式
以下,参照附图说明本发明的实施方式。
图1是表示一实施方式的车辆远程指示系统的全局的图。图1所示的车辆远程指示系统100是由远程操作者r进行对自动驾驶车辆2的远程指示的系统。远程指示是指,与自动驾驶车辆2的行驶的判断相关的远程操作者r的指示。
远程指示包含:交叉点的右转开始的指示、带有信号灯的交叉点的进入开始的指示、视线差的交叉点的进入开始的指示、车道变更的开始的指示、对前方的障碍物的偏移(offset)避开的开始的指示、以及紧急退避中的至少一个。在车辆沿右侧通行的国家或地区,能够取代交叉点的右转开始的指示而设为交叉点的左转开始的指示。视线差的交叉点是指,在交叉点的进入时因障碍(物)等而难以视认交叉道路的状况的交叉点。视线差的交叉点例如预先登记于地图信息。是否成为视线差的交叉点,也可以根据自动驾驶车辆2相对于交叉点的进入方向而被决定。
对前方的障碍物的偏移避开是指,例如在自动驾驶车辆2的前方存在正在靠路边停车的停车车辆的情况下,为了避开停车车辆而自动驾驶车辆2以暂时向相邻车道或对向车道超出的方式进行偏移的行驶。该情况下的停车车辆不限于四轮车辆而也可以是二轮车。前方的障碍物可以是自行车、个人移动设备(personalmobility)、行人等,也可以处于移动中。紧急退避是指使自动驾驶车辆2自动退避至道路的路肩等的退避空间(space)的控制。退避空间例如在地图上预先设定。远程操作者r例如在识别出自动驾驶车辆2的异常的情况下或识别出乘员的异常的情况下等选择紧急退避的远程指示。
除此之外,远程指示也可以包含对驻车状态下的自动驾驶车辆2的起步的指示。远程指示也可以包含对在停车状态下的自动驾驶车辆2的周围检测出行人等的情况下的自动驾驶车辆2的起步的指示。远程指示也可以包含与乘员相对于自动驾驶车辆2的上下车相关的指示(例如门的自动开闭的指示、下车的声音引导开始的指示)。
[车辆远程指示系统的构成]
如图1所示,车辆远程指示系统100具备供远程操作者r输入远程指示的远程指示装置1。远程指示装置1经由网络n与多个自动驾驶车辆2以能够通信的方式连接。网络n是无线通信网络。远程指示装置1从自动驾驶车辆2接收各种信息。
在车辆远程指示系统100中,例如根据来自自动驾驶车辆2的远程指示请求,向远程操作者r请求远程指示的输入。远程操作者r向远程指示装置1的操作者接口(operatorinterface)3输入远程指示。远程指示装置1通过网络n向自动驾驶车辆2发送远程指示。自动驾驶车辆2按照远程指示自动行驶。远程指示装置1在一定条件下取得遵循了远程指示的自动驾驶车辆2的行驶的结果,并记录于远程指示结果数据库4。
此外,在车辆远程指示系统100中,远程操作者r的人数没有限定,可以是一人,也可以是两人以上。对能够与车辆远程指示系统100通信的自动驾驶车辆2的台数也没有特别限定。可以是多人的远程操作者r交替地进行对一台自动驾驶车辆2的远程指示的技术方案,也可以是一人的远程操作者r对两台以上的自动驾驶车辆2进行远程指示的技术方案。
〈自动驾驶车辆的构成〉
首先,对自动驾驶车辆2的构成的一例行进说明。图2是表示自动驾驶车辆2的构成的一例的框图。如图2所示,自动驾驶车辆2作为一例而具有自动驾驶ecu20。自动驾驶ecu20是具有cpu、rom、ram等的电子控制单元。在自动驾驶ecu20中,例如,通过将记录于rom的程序导入ram,由cpu执行导入至ram的程序来实现各种功能。自动驾驶ecu20也可以由多个电子单元构成。
自动驾驶ecu20与gps[globalpositioningsystem:全球定位系统]接收部21、外部传感器22(车载传感器)、内部传感器23(车载传感器)、地图数据库24、通信部25、以及、促动器26连接。
gps接收部21通过从3个以上的gps卫星接收信号,测定自动驾驶车辆2的位置(例如自动驾驶车辆2的纬度以及经度)。gps接收部21将所测定出的自动驾驶车辆2的位置信息向自动驾驶ecu20发送。
外部传感器22是检测自动驾驶车辆2的外部环境的车载传感器。外部传感器22至少包含摄像头。摄像头是拍摄自动驾驶车辆2的外部环境的拍摄设备。摄像头例如设置于自动驾驶车辆2的挡风玻璃的里侧,对车辆前方进行拍摄。摄像头将与自动驾驶车辆2的外部环境相关的拍摄信息向自动驾驶ecu20发送。摄像头可以是单眼摄像头,也可以是立体摄像头。摄像头可以设置有多台,也可以除了自动驾驶车辆2的前方以外,还对左右的侧方以及后方进行拍摄。自动驾驶车辆2也可以配备面向远程操作者的外部摄像头。面向远程操作者的外部摄像头至少拍摄着自动驾驶车辆2的前方。面向远程操作者的外部摄像头也可以由拍摄包含自动驾驶车辆2的侧方以及后方的周围的多个摄像头构成。
外部传感器22也可以包含雷达传感器。雷达传感器是利用电波(例如毫米波)或光检测自动驾驶车辆2的周边的物体的检测设备。雷达传感器例如包含毫米波雷达或激光雷达[lidar:lightdetectionandranging]。雷达传感器通过将电波或光向自动驾驶车辆2的周边发送,接收由物体反射的电波或光来检测物体。雷达传感器将检测出的物体信息向自动驾驶ecu20发送。物体除了包含护栏(guardrail)、建筑物等的固定物体以外,还包含行人、自行车、其他车辆等的移动物体。另外,外部传感器22也可以包含检测自动驾驶车辆2的外部声音的声音检测传感器。
内部传感器23是检测自动驾驶车辆2的行驶状态的车载传感器。内部传感器23包含车速传感器、加速度传感器、以及横摆率传感器。车速传感器是检测自动驾驶车辆2的速度的检测器。作为车速传感器,能够使用相对于自动驾驶车辆2的车轮或与车轮一体旋转的驱动轴等而设置、检测各车轮的旋转速度的车轮速传感器。车速传感器将所检测出的车速信息(车轮速信息)向自动驾驶ecu20发送。
加速度传感器是检测自动驾驶车辆2的加速度的检测器。加速度传感器例如包含检测自动驾驶车辆2的前后方向的加速度的前后加速度传感器。加速度传感器也可以包含检测自动驾驶车辆2的横加速度的横加速度传感器。加速度传感器例如将自动驾驶车辆2的加速度信息向自动驾驶ecu20发送。横摆率传感器是检测自动驾驶车辆2的重心的绕铅直轴的横摆率(旋转角速度)的检测器。作为横摆率传感器,例如能够使用陀螺传感器。横摆率传感器将检测出的自动驾驶车辆2的横摆率信息向自动驾驶ecu20发送。
地图数据库24是记录地图信息的数据库。地图数据库24例如在搭载于自动驾驶车辆2的hdd等的记录装置内形成。地图信息包含道路的位置信息、道路形状的信息(例如曲率信息)、交叉点以及分支点的位置信息等。地图信息也可以包含与位置信息进行了关联的法定速度等的交通管制信息。地图信息也可以包含在自动驾驶车辆2的位置信息的取得中使用的物标信息。作为物标,能够使用道路标识、路面标示、信号灯、电线杆等。地图数据库24也可以构成为能够与自动驾驶车辆2通信的服务器。服务器不限定于远程指示服务器10。
通信部25是控制与自动驾驶车辆2的外部进行的无线通信的通信设备。通信部25经由网络n与远程指示服务器10进行各种信息的发送以及接收。
促动器26是在自动驾驶车辆2的控制中使用的设备。促动器26至少包含驱动促动器、制动促动器、以及操舵促动器。驱动促动器根据来自自动驾驶ecu20的控制信号控制对发动机的空气的供给量(节气门开度),控制自动驾驶车辆2的驱动力。此外,在自动驾驶车辆2是混合动力车的情况下,除了对发动机的空气的供给量以外,还向作为动力源的马达输入来自自动驾驶ecu20的控制信号来控制该驱动力。在自动驾驶车辆2是电动汽车的情况下,向作为动力源的马达输入来自自动驾驶ecu20的控制信号来控制该驱动力。作为在这些情况下的动力源的马达构成促动器26。
制动促动器根据来自自动驾驶ecu20的控制信号控制制动器系统,控制向自动驾驶车辆2的车轮赋予的制动力。作为制动系统,例如能够使用液压制动系统。操舵促动器根据来自自动驾驶ecu20的控制信号控制电动动力转向系统中对操舵转矩进行控制的辅助马达的驱动。由此,操舵促动器控制自动驾驶车辆2的操舵转矩。
接着,针对自动驾驶ecu20的功能的构成的一例行进说明。自动驾驶ecu20具有:车辆位置取得部31、外部环境识别部32、行驶状态识别部33、远程指示请求判定部34、前进道路生成部35、自动驾驶控制部36、以及紧急制动判定部37。
车辆位置取得部31基于gps接收部21的位置信息以及地图数据库24的地图信息,取得自动驾驶车辆2的位置信息。另外,车辆位置取得部31也可以利用地图数据库24的地图信息所包含的物标信息以及外部传感器22的检测结果,通过slam[simultaneouslocalizationandmapping:同时定位与地图构建]技术取得自动驾驶车辆2的位置信息。车辆位置取得部31也可以根据车道的车道线与自动驾驶车辆2的位置关系,识别自动驾驶车辆2相对于车道的横位置(自动驾驶车辆2在车道宽度方向上的位置)而使其包含于位置信息。除此之外,车辆位置取得部31还可以通过周知的方法取得自动驾驶车辆2的位置信息。
外部环境识别部32基于外部传感器22的检测结果,识别自动驾驶车辆2的外部环境。外部环境包含周围的物体相对于自动驾驶车辆2的相对位置。外部环境也可以包含周围的物体相对于自动驾驶车辆2的相对速度以及移动方向。外部环境也可以包含其他车辆、行人、自行车等的物体的种类。物体的种类能够通过模式匹配等的周知的方法识别。外部环境也可以包含自动驾驶车辆2的周围的车道线识别(白线识别)的结果。外部环境也可以包含信号灯的点亮状态的识别结果。外部环境识别部32例如能够基于外部传感器22的摄像头的图像,识别自动驾驶车辆2的前方的信号灯的点亮状态(是能够通过的点亮状态、还是禁止通过的点亮状态等)。
行驶状态识别部33基于内部传感器23的检测结果,识别自动驾驶车辆2的行驶状态。行驶状态包含:自动驾驶车辆2的车速、自动驾驶车辆2的加速度、自动驾驶车辆2的横摆率。具体而言,行驶状态识别部33基于车速传感器的车速信息,识别自动驾驶车辆2的车速。行驶状态识别部33基于加速度传感器的车速信息,识别自动驾驶车辆2的加速度。行驶状态识别部33基于横摆率传感器的横摆率信息,识别自动驾驶车辆2的方向。
远程指示请求判定部34判定是否应该向远程操作者r请求远程指示。远程指示请求判定部34基于车辆位置取得部31取得的自动驾驶车辆2的位置信息以及地图数据库24的地图信息、外部环境识别部32识别出的外部环境、后述的前进道路生成部35生成的前进道路中的至少一个,判定是否应该请求远程指示。
远程指示请求判定部34在自动驾驶车辆2成为了预先设定的应请求远程指示的状况的情况下,判定为应请求远程指示。远程指示请求判定部34例如在自动驾驶车辆2成为了在交叉点右转的状况的情况下,判定为应请求远程指示。远程指示请求判定部34也可以在自动驾驶车辆2成为了将要进入带有信号灯的交叉点或视线差的交叉点的状况的情况下,判定为应请求远程指示。远程指示请求判定部34也可以在自动驾驶车辆2成为了为到达目的地而开始车道变更的状况的情况下,判定应请求远程指示。远程指示请求判定部34也可以在自动驾驶车辆2的前方存在应偏移避开的障碍物的情况下,判定为应请求远程指示。
远程指示请求判定部34例如根据自动驾驶车辆2的位置信息、地图信息、以及前进道路,能够识别自动驾驶车辆2成为了在交叉点右转的状况、自动驾驶车辆2成为了将要进入带有信号灯的交叉点的状况、或自动驾驶车辆2成为了开始车道变更的状况。另外,远程指示请求判定部34基于自动驾驶车辆2的外部环境,能够识别在自动驾驶车辆2的前方存在应偏移避开的障碍物。
远程指示请求判定部34在判定为应请求远程指示的情况下,对远程指示服务器10请求由远程操作者r进行的远程指示。远程指示的请求例如包含自动驾驶车辆2的识别信息。此外,远程指示请求判定部34也可以预先具有余裕地请求远程指示。远程指示请求判定部34也可以在成为远程指示的对象的交叉点等与自动驾驶车辆2的距离成为了一定距离以下的情况下,判定为应请求远程指示。也可以使用到达剩余时间而非距离。
远程指示请求判定部34在判定为应请求远程指示的情况下,将自动驾驶车辆2的行驶状况信息向远程指示服务器10发送。自动驾驶车辆2的行驶状况信息包含远程操作者r用于识别自动驾驶车辆2的状况的信息。
具体而言,自动驾驶车辆2的行驶状况信息包含自动驾驶车辆2的位置信息以及自动驾驶车辆2的车载传感器的检测信息。车载传感器的检测信息包含外部传感器22的摄像头的图像。车载传感器的检测信息例如也可以包含自动驾驶车辆2的摄像头拍摄到的自动驾驶车辆2的前方的图像。车载传感器的检测信息也可以包含包括自动驾驶车辆2的侧方以及后方的自动驾驶车辆2的周围的图像。另外,车载传感器的检测信息也可以包含外部传感器22的雷达传感器检测出的物体信息。车载传感器的检测信息也可以包含物体的种类的识别结果。远程指示请求判定部34也可以使用外部环境识别部32识别出的自动驾驶车辆2的外部环境的信息来作为车载传感器的检测信息。
另外,车载传感器的检测信息也可以包含内部传感器23的车速传感器检测出的自动驾驶车辆2的车速的信息。车载传感器的检测信息也可以包含内部传感器23的横摆率传感器检测出的自动驾驶车辆2的横摆率的信息。车载传感器的检测信息也可以包含自动驾驶车辆2的操舵角的信息。远程指示请求判定部34也可以使用行驶状态识别部33识别出的自动驾驶车辆2的行驶状态的信息来作为车载传感器的检测信息。
进而,自动驾驶车辆2的行驶状况信息也可以包含与乘员相关的信息(乘员的有无、乘员的人数)。自动驾驶车辆2的行驶状况信息也可以包含与远程操作者r能够选择的远程指示相应的前进道路的信息。就前进道路而言稍后说明。
此外,自动驾驶ecu20也可以是与是否应请求远程指示的判定结果无关,在预先设定的定时(timing)将自动驾驶车辆2的行驶状况信息向远程指示服务器10发送的技术方案。预先设定的定时可以是按每一定时间,可以是按地图上的道路的每个节点,也可以是接近人行横道时、接近交叉点时等的每个事件(event)。
前进道路生成部35生成自动驾驶车辆2的自动驾驶所利用的前进道路[trajectory]。前进道路生成部35基于预先设定的行驶路线、地图信息、自动驾驶车辆2的位置信息、自动驾驶车辆2的外部环境、以及自动驾驶车辆2的行驶状态,生成自动驾驶的前进道路。
行驶路线是指,在自动驾驶中自动驾驶车辆2行驶的路线。前进道路生成部35例如基于目的地、地图信息、以及自动驾驶车辆2的位置信息,求出自动驾驶的行驶路线。行驶路线也可以通过周知的导航系统而被设定。目的地既可以通过自动驾驶车辆2的乘员设定,也可以由自动驾驶ecu20或导航系统等自动提案。
前进道路包含在自动驾驶下车辆行驶的路径[path]和自动驾驶中的车速分布图(profile)。路径是在行驶路线上自动驾驶中的车辆行驶的预定的轨迹。路径例如能够设为与行驶路线上的位置相应的自动驾驶车辆2的操舵角变化的数据(操舵角分布图)。行驶路线上的位置是指,例如在行驶路线的行进方向上按每个预定间隔(例如1m)设定的设定纵向位置。操舵角分布图成为,按每个设定纵向位置关联了目标操舵角的数据。
前进道路生成部35例如基于行驶路线、地图信息、自动驾驶车辆2的外部环境、以及自动驾驶车辆2的行驶状态,生成自动驾驶车辆2行驶的路径。前进道路生成部35生成路径以使得例如自动驾驶车辆2通过行驶路线所包含的车道的中央(车道宽度方向的中央)。
车速分布图例如是按每个设定纵向位置关联了目标车速的数据。此外,设定纵向位置也可以不以距离而以自动驾驶车辆2的行驶时间为基准而被设定。设定纵向位置也可以被设定为车辆的1秒后的到达位置或车辆的2秒后的到达位置。
前进道路生成部35例如基于路径和地图信息所包含的法定速度等的交通管制信息生成车速分布图。也可以取代法定速度而对地图上的位置或区间使用预先设定的设定速度。前进道路生成部35根据路径以及车速分布图生成自动驾驶的前进道路。此外,前进道路生成部35的前进道路的生成方法不限定于上述的内容,也能够采用与自动驾驶相关的周知的方法。前进道路的内容也同样。
前进道路生成部35在通过远程指示请求判定部34对远程指示服务器10请求了远程指示的情况下,预先生成与远程指示相应的前进道路。根据自动驾驶车辆2的状况,预先决定远程指示的内容。例如交叉点的右转时的远程指示的内容包含右转开始(行进)的远程指示以及等待的远程指示。交叉点的右转时的远程指示的内容也可以包含放弃右转而直行的远程指示,也可以包含紧急退避的远程指示。
前进道路生成部35例如在自动驾驶车辆2在交叉点右转的状况下,生成自动驾驶车辆2在交叉点右转的前进道路,以应对右转开始的远程指示。前进道路生成部35也可以在直到接收远程指示为止的期间,根据外部环境的变化而更新前进道路。另外,前进道路生成部35也可以在存在从交叉点的右转切换为交叉点的直行的远程指示的情况下,预先生成在交叉点直行的前进道路。
前进道路生成部35也可以在存在紧急退避的远程指示的情况下,预先生成紧急退避用的前进道路。紧急退避用的前进道路被生成为,使得自动驾驶车辆2停车在地图上预先设定的退避空间中的任一个退避空间上。前进道路生成部35例如基于外部环境识别各退避空间上的障碍物的有无,生成紧急退避用的前进道路,以使得在空着的退避空间停车。此外,前进道路生成部35也可以不必预先生成前进道路,在接收到远程指示后生成应对远程指示的前进道路。
自动驾驶控制部36执行自动驾驶车辆2的自动驾驶。自动驾驶控制部36例如基于自动驾驶车辆2的外部环境、自动驾驶车辆2的行驶状态、以及前进道路生成部35生成的前进道路,执行自动驾驶车辆2的自动驾驶。自动驾驶控制部36通过向促动器26发送控制信号,进行自动驾驶车辆2的自动驾驶。
自动驾驶控制部36在通过远程指示请求判定部34对远程指示服务器10请求了远程指示的情况下,等待来自远程指示服务器10的远程指示的接收。自动驾驶控制部36在自动驾驶车辆2停车后请求了远程指示的情况下,维持停车状态直到接收远程指示为止。
自动驾驶控制部36也可以在有驾驶执照的乘员乘车的情况下,在即使经过预先设定的等待时间也没有接收到远程指示时,要求由该乘员进行的判断或手动驾驶。自动驾驶控制部36也可以在即使经过等待时间也没有接收到远程指示也无法进行由乘员的判断或手动驾驶的情况下,自动进行紧急退避。
紧急制动判定部37基于自动驾驶车辆2的外部环境或外部传感器22的检测结果(摄像头的图像和/或雷达传感器的物体信息),判定是否需要紧急制动。紧急制动判定部37例如在自动驾驶车辆2的前方的障碍物与自动驾驶车辆2的碰撞余裕时间[ttc:timetocollision]低于ttc阈值的情况下,判定为需要紧急制动。ttc阈值是预先设定的值的阈值。此外,也可以取代碰撞余裕时间而使用车间时间[thw:timeheadway:车头时距],也可以使用自动驾驶车辆2与障碍物的距离。
紧急制动判定部37在判定为需要紧急制动的情况下,向制动促动器发送控制信号来执行紧急制动。紧急制动的判定独立于自动驾驶功能而执行。紧急制动判定部37也可以形成为不同于自动驾驶ecu20的电子单元。紧急制动也可以在所谓的pcs[pre-crashsafety:防撞安全]系统中执行。
〈远程指示装置的构成〉
以下,参照附图说明本实施方式的远程指示装置1的构成。如图1所示,远程指示装置1具有:远程指示服务器10、操作者接口3、远程指示结果数据库4。
首先,对远程指示服务器10的硬件构成进行说明。图3是表示远程指示服务器10的硬件构成的一例的框图。如图3所示,远程指示服务器10构成为具备处理器10a、记录部10b、通信部10c以及用户接口10d的通常的计算机。
处理器10a使各种操作系统进行动作来控制远程指示服务器10。处理器10a是包含控制装置、运算装置、寄存器等的cpu[centralprocessingunit]等的运算器。处理器10a对记录部10b、通信部10c以及用户接口10d进行统括。记录部10b包含存储器以及储存装置中的至少一方而构成。存储器是rom[readonlymemory]、ram[randomaccessmemory]等的记录介质。储存装置是hdd[harddiskdrive]等的记录介质。
通信部10c是用于进行经由网络n的通信的通信设备。通信部10c能够使用网络设备、网络控制器、网卡等。用户接口10d是对于管理者等的用户的远程指示服务器10的输入输出部。用户接口10d包含:显示器、扬声器等的输出器、以及、触摸面板等的输入器。此外,远程指示服务器10未必设置于设施,也可以搭载于车辆等的移动体。
图4是表示远程指示装置1的构成的一例的框图。如图4所示,操作者接口3是对于远程操作者r的远程指示装置1的输入输出部。操作者接口3具有输出部3a以及指示输入部3b。
输出部3a是对远程操作者r输出在自动驾驶车辆2的远程指示中使用的信息的设备。输出部3a包含输出图像信息的显示器和输出声音信息的扬声器。
显示器例如显示自动驾驶车辆2的摄像头拍摄到的自动驾驶车辆2的前方的图像(前方的景色的图像)。显示器也可以具有多个显示画面,也可以显示自动驾驶车辆2的侧方和/或后方的图像。显示器只要是能够向远程操作者r提供视觉信息的构成则没有特别限定。显示器也可以是以覆盖远程操作者r的眼睛的方式装戴的可佩戴设备。
扬声器例如是装戴于远程操作者r的头部的头戴式扬声器(headsetspeaker)。扬声器例如将自动驾驶车辆2的状况(例如作为在交叉点的右转时等的状况)通过声音向远程操作者r传达。扬声器未必是头戴式,也可以是安装型。
输出部3a也可以通过振动向远程操作者r提供信息。输出部3a也可以具有例如设置于远程操作者r的座位(seat)的振动促动器。输出部3a也可以通过振动提醒远程操作者r注意其他车辆对自动驾驶车辆2的接近等。输出部3a也可以在座位的左右各自具有振动促动器,使与其他车辆的接近方向等相应的位置的振动促动器振动。此外,输出部3a也可以具有装戴于远程操作者r的身体的可佩戴型的振动促动器。输出部3a能够通过使装戴于身体的各位置的振动促动器根据其他车辆的接近方向等而振动来向远程操作者r进行信息提供。
指示输入部3b是供远程操作者r输入远程指示的设备。指示输入部3b例如具有操作杆。在指示输入部3b中,例如通过使操作杆倒向远程操作者r的前后方向的里侧来输入使自动驾驶车辆2行进的远程指示,通过使操作杆倒向远程操作者r的前后方向的跟前侧来输入自动驾驶车辆2的减速或停车的远程指示。
指示输入部3b也可以具有按钮,也可以通过远程操作者r一边按下按钮一边将操作杆推倒来输入远程指示。指示输入部3b也可以具有触摸面板。触摸面板也可以与输出部3a的显示器共用。指示输入部3b也可以具有操作踏板。
指示输入部3b也可以具有声音识别的功能,也可以具有手势识别的功能。远程操作者r的手势能够由搭载于操作者接口3的摄像头和/或雷达传感器等而识别。在指示输入部3b中,也可以是,能够通过使操作杆的操作、按钮的操作、触摸面板的操作、操作踏板的操作、声音输入、手势中的两个以上进行组合来输入远程指示。
远程指示结果数据库4是记录远程指示的结果的数据库。远程指示的结果中至少包含自动驾驶车辆2的位置信息。远程指示的结果也可以包含自动驾驶车辆2的车载传感器的检测信息。自动驾驶车辆2的构成稍后说明。远程指示的结果也可以包含远程操作者r的识别信息。远程指示结果数据库4未必由远程指示装置1所具有,也可以形成于不同的设施的服务器等。
接着,针对远程指示服务器10的功能的构成进行说明。如图4所示,远程指示服务器10具有:远程指示请求接收部11、信息提供部12、远程指示发送部13、记录对象状况判定部14、以及远程指示结果记录部15。
远程指示请求接收部11在自动驾驶车辆2向远程指示服务器10请求了远程指示的情况下,接收远程指示的请求。另外,远程指示请求接收部11通过来自自动驾驶车辆2的发送,取得请求了远程指示的自动驾驶车辆2的行驶状况信息。此外,远程指示请求接收部11也可以取得没有请求远程指示的自动驾驶车辆2的行驶状况信息。
信息提供部12进行对远程操作者r的各种信息提供。信息提供部12在远程指示请求接收部11接收到远程指示的请求的情况下,经由操作者接口3向担当的远程操作者r请求远程指示的输入。
另外,信息提供部12基于远程指示请求接收部11取得的自动驾驶车辆2的行驶状况信息,向远程操作者r提供自动驾驶车辆2的信息。信息提供部12例如在操作者接口3的输出部3a的显示器上显示自动驾驶车辆2的前方的图像。信息提供部12也可以通过视点转换显示从自动驾驶车辆2的驾驶座附近观察到的图像。信息提供部12也可以显示自动驾驶车辆2的侧方以及后方的图像。信息提供部12既可以显示将拍摄自动驾驶车辆2的周围得到的图像合成后的全景图像,也可以显示通过图像合成以及视点转换以俯视自动驾驶车辆2的方式生成的俯瞰图像。信息提供部12也可以进行图像中的物体的强调显示(例如用框包围其他车辆等的显示)。信息提供部12也可以在图像中包含信号灯的情况下,将信号灯的点亮状态的识别结果显示于显示器。
信息提供部12也可以将各种各样的信息显示于显示器而不限于自动驾驶车辆2的摄像头拍摄到的图像。信息提供部12也可以使用文本或图标等显示请求了远程指示的自动驾驶车辆2的状况(交叉点的右转时、障碍物的偏移避开时等的状况)。信息提供部12也可以将远程操作者r能够选择的远程指示的种类(行进、等待等)显示于显示器。信息提供部12也可以将与远程指示相应的自动驾驶车辆2的前进道路相关的信息(应对行进的远程指示的自动驾驶车辆2行进的轨迹等)显示于显示器。
信息提供部12也可以显示自动驾驶车辆2的雷达传感器检测出的物体的信息。物体的信息也可以在俯瞰图像中显示为图标。在物体的种类被识别出的情况下,也可以进行与物体的种类相应的图标显示。信息提供部12也可以将基于自动驾驶车辆2的位置信息取得的自动驾驶车辆2的周围的地图信息显示于显示器。地图信息可以为远程指示服务器10所具有,可以从其他服务器等取得,自动驾驶车辆2的周围的地图信息也可以从自动驾驶车辆2取得。
信息提供部12也可以将基于自动驾驶车辆2的位置信息取得的道路交通信息显示于显示器。道路交通信息包含拥堵发生区间、施工区间信息、事故位置信息等中的至少一个。道路交通信息例如能够从交通信息中心取得。
信息提供部12可以将自动驾驶车辆2的车速的信息显示于显示器,也可以将自动驾驶车辆2的操舵角的信息显示于显示器。信息提供部12也可以将自动驾驶车辆2所位于的道路的坡度的信息显示于显示器。信息提供部12也可以在自动驾驶车辆2具有车室内摄像头的情况下,根据需要显示自动驾驶车辆2的车室内的图像。信息提供部12将自动驾驶车辆2的乘员的乘车状况和/或货物的装载状况显示于显示器。
信息提供部12通过操作者接口3的输出部3a的扬声器将声音信息向远程操作者r提供。信息提供部12也可以将自动驾驶车辆2的状况(交叉点的右转时、障碍物的偏移避开时等)作为声音从扬声器输出。信息提供部12也可以将自动驾驶车辆2的周围的其他车辆等的接近作为声音从扬声器输出。信息提供部12也可以将自动驾驶车辆2的周围的声音(噪音)直接从扬声器输出。信息提供部12也可以根据需要将车室内的乘员的声音从扬声器输出。此外,利用扬声器的信息提供不是必须的。
除此之外,信息提供部12也可以在输出部3a具有振动促动器的情况下,通过振动向远程操作者r进行信息提供。该情况下,信息提供部12例如通过使其他车辆相对于自动驾驶车辆2的接近方向、行人的存在的方向等的应注意的方向相应的位置的振动促动器振动来向远程操作者r进行信息提供(提醒注意)。
远程指示发送部13在远程操作者r对操作者接口3的指示输入部3b进行了输入的情况下,将远程指示向自动驾驶车辆2发送。信息提供部12也可以在将远程操作者r输入了的远程指示向自动驾驶车辆2发送了的情况下,使自动驾驶车辆2的信息持续地向远程操作者r传达,也可以切换为请求远程指示的其他自动驾驶车辆2的信息。
远程指示发送部13在将远程指示向自动驾驶车辆2发送了的情况下,取得按照远程指示行驶的自动驾驶车辆2的行驶结果信息。行驶结果信息包含自动驾驶车辆2的位置信息以及自动驾驶车辆2的车载传感器的检测信息。行驶结果信息也可以包含与紧急制动器有无工作相关的信息。行驶结果信息能够设为与上述的行驶状况信息同样的信息。
记录对象状况判定部14基于自动驾驶车辆2的行驶结果信息(自动驾驶车辆2的车载传感器的检测信息),判定按照远程指示行驶的自动驾驶车辆2是否成为了预先决定的记录对象状况。记录对象状况是指,成为记录远程指示的结果的对象的自动驾驶车辆2的状况。
记录对象状况判定部14例如在按照远程指示行驶的自动驾驶车辆2的紧急制动器工作了的情况下,判定为自动驾驶车辆2成为了记录对象状况。在此,图5(a)是表示自动驾驶车辆2成为记录对象状况之前的一例的俯视图。图5(b)是表示自动驾驶车辆2成为记录对象状况时的一例的俯视图。
图5(a)示出十字路的交叉点t、自动驾驶车辆2的对向车n1以及n2。交叉点t的信号灯是能够通过的点亮状态(例如蓝色的点亮状态)。自动驾驶中的自动驾驶车辆2由于在交叉点t开始右转,所以向远程指示装置1的远程指示服务器10请求远程指示。在图5(a)所示的状况中,对向车n2由于对向车n1的存在而从自动驾驶车辆2来看位于死角的位置。另外,对向车n1看到自动驾驶车辆2右转的转向指示灯(winker)而正在减速。在此,远程操作者r没有识别到对向车n2的存在地,输入了自动驾驶车辆2的行进(右转开始)的远程指示。
接着,在图5(b)所示的状况中,按照远程操作者r的远程指示右转的自动驾驶车辆2由于对向车n2的紧急接近而使紧急制动器工作而停止。这样,记录对象状况判定部14在按照远程指示行驶的自动驾驶车辆2的紧急制动器工作了的情况下,判定为自动驾驶车辆2成为了记录对象状况。此外,信息提供部12也可以在判定为按照远程指示行驶的自动驾驶车辆2成为了记录对象状况的情况下,向远程操作者r进行通知。
记录对象状况判定部14也可以在紧急制动器没有工作但是在按照远程指示行驶的自动驾驶车辆2的附近检测出行人等的障碍物的情况下,判定为自动驾驶车辆2成为了记录对象状况。或者,记录对象状况判定部14也可以在按照远程指示行驶的自动驾驶车辆2的轨迹的附近检测出行人等的障碍物的情况下,判定为自动驾驶车辆2成为了记录对象状况。附近是指,距自动驾驶车辆2一定距离内的范围。一定距离没有特别限定,可以是0.5m、可以是1m,也可以是2m。
记录对象状况判定部14也可以在带有信号灯的交叉点的进入时或在带有信号灯的交叉点的右转开始时远程操作者r输入了行进开始的远程指示的情况下、且基于图像得到的信号灯的点亮状态的识别结果为通过禁止的点亮状态时,判定为自动驾驶车辆2成为了记录对象状况。
记录对象状况判定部14也可以在带有信号灯的交叉点的进入时或交叉点的右转开始时远程操作者r输入了行进开始的远程指示的情况下、且由于在交叉点通过后的进入目的地的道路上堵塞其他车辆等、在交叉点内或刚通过交叉点之后的人行横道上停止有自动驾驶车辆2的情况下,判定为自动驾驶车辆2成为了记录对象状况。
记录对象状况判定部14也可以在由进入了交叉点内的自动驾驶车辆2进行的交叉点的右转开始时远程操作者r输入了等待的远程指示的情况下、且即使经过一定时间也没有输入行进的远程指示时,判定为自动驾驶车辆2成为了记录对象状况。一定时间没有特别限定,可以是3分钟、也可以是5分钟。此外,停止或指示保留的远程指示也可以在远程操作者r经过预定时间也没有输入远程指示的情况下自动发送。
记录对象状况判定部14也可以在对前方的障碍物的偏移避开时远程操作者r输入了行进开始的远程指示的情况下、且由于偏移而在自动驾驶车辆2超出的相邻车道上检测出接近的后续车时,判定为自动驾驶车辆2成为了记录对象状况。后续车例如能够在盲点监视器[bsm:blindspotmonitor]上发生反应时被检测出。记录对象状况判定部14也可以在对前方的停止车辆的偏移避开时远程操作者r输入了行进开始的远程指示的情况下、且停止车辆起步而不再需要偏移避开时,判定为自动驾驶车辆2成为了记录对象状况。
记录对象状况判定部14也可以在视线差的交叉点的进入时远程操作者r输入了行进开始的远程指示的情况下、且检测出与自动驾驶车辆2的行进方向交叉的其他车辆时,判定为自动驾驶车辆2成为了记录对象状况。与自动驾驶车辆2的行进方向交叉的其他车辆例如能够设为在前方交叉路口交通警报[fcta:frontcrosstrafficalert]发生了反应时被检测出。
记录对象状况判定部14也可以在视线差的交叉点的进入时远程操作者r输入了等待的远程指示的情况下、且即使经过一定时间也没有输入行进的远程指示时,判定为自动驾驶车辆2成为了记录对象状况。记录对象状况判定部14也可以在视线差的交叉点的进入时远程操作者r输入了等待的远程指示的情况下、且从后方的其他车辆用喇叭发出了警告时,判定为自动驾驶车辆2成为了记录对象状况。喇叭的警告能够在自动驾驶车辆2搭载有检测外部声音的声音检测传感器的情况下检测。另外,作为来自后方的其他车辆的警告,也可以对通过(passing)进行检测。
此外,记录对象状况判定部14也可以在带有信号灯的交叉点的进入时、交叉点的右转开始时、也受到来自后方的其他车辆的警告时,判定为自动驾驶车辆2成为了记录对象状况。另外,记录对象状况判定部14也可以除了自动驾驶车辆2的行驶结果信息以外,还基于设置于道路上的路面摄像头的拍摄图像(包含自动驾驶车辆2的图像),判定自动驾驶车辆2是否成为了记录对象状况。记录对象状况判定部14也可以除了自动驾驶车辆2的行驶结果信息以外,还基于其他的车辆的摄像头的图像(包含自动驾驶车辆2的图像),判定为自动驾驶车辆2成为了记录对象状况。
远程指示结果记录部15在通过记录对象状况判定部14判定为自动驾驶车辆2成为了记录对象状况的情况下,记录远程指示的结果。远程指示结果记录部15在远程指示结果数据库4中记录远程指示的结果。
远程指示结果记录部15记录按照远程指示行驶的自动驾驶车辆2的位置信息来作为远程指示的结果。记录对象也可以是按照远程指示行驶的自动驾驶车辆2的位置信息的一部分。
远程指示结果记录部15也可以与自动驾驶车辆2的位置信息关联地记录自动驾驶车辆2的车载传感器的检测信息来作为远程指示的结果。远程指示结果记录部15也可以与自动驾驶车辆2的位置信息关联地记录远程操作者r的识别信息来作为远程指示的结果。远程操作者r的识别信息只要是能够个别地识别远程操作者r的信息则没有特别限定。远程操作者r的识别信息可以是编号。远程指示结果记录部15也可以将自动驾驶车辆2的位置信息、自动驾驶车辆2的车载传感器的检测信息、远程操作者r的识别信息的全部进行关联地记录来作为远程指示的结果。
成为记录对象的自动驾驶车辆2的车载传感器的检测信息包含例如自动驾驶车辆2的摄像头的图像。远程指示结果记录部15也可以在图像内包含信号灯的情况下,包含图像内的信号灯的点亮状态的识别结果来作为成为记录对象的检测信息。远程指示结果记录部15也可以在通过紧急制动器的工作而判定为自动驾驶车辆2是记录对象状况的情况下,将与紧急制动器的工作相关的车载传感器的检测信息(摄像头的图像和/或雷达传感器的物体信息)包含于判定结果。摄像头的图像不仅包含自动驾驶车辆2的前方,也可以包含后方的图像,还可以包含侧方的图像。雷达传感器的物体信息也不仅包含自动驾驶车辆2的前方,也可以包含后方,还可以包含侧方。
此外,远程指示结果记录部15既可以记录判定为自动驾驶车辆2成为了记录对象状况时的远程指示的结果,也可以记录多个在从接收到远程操作者r的远程指示之后起到判定为自动驾驶车辆2成为了记录对象状况为止的期间的远程指示的结果。远程指示的结果的记录时间能够任意设定。
除此之外,远程指示结果记录部15也可以将自动驾驶车辆2的车种、规格等的车辆信息与远程指示的结果进行关联地记录。远程指示结果记录部15也可以将自动驾驶车辆2的识别信息与远程指示的结果关联地记录。此外,远程指示结果记录部15也可以在远程指示是紧急退避的情况下,无论记录对象状况判定部14的判定结果如何,都不记录远程指示的结果。
[车辆远程指示系统的处理]
接着,针对本实施方式的车辆远程指示系统100的远程指示装置1的处理参照附图进行说明。图6(a)是表示远程指示请求处理的一例的流程图。
如图6(a)所示,作为s10,远程指示装置1的远程指示服务器10判定是否通过远程指示请求接收部11从自动驾驶车辆2接收到远程指示的请求。远程指示服务器10在判定为从自动驾驶车辆2接收到远程指示的请求的情况下(s10:是),移向s12。远程指示服务器10在判定为没有从自动驾驶车辆2接收到远程指示的请求的情况下(s10:否),结束本次的处理。之后,远程指示服务器10在经过一定时间后再次反复进行s10的处理。
在s12中,远程指示服务器10通过信息提供部12向远程操作者r请求远程指示的输入。信息提供部12将成为远程指示的对象的自动驾驶车辆2的信息向远程操作者r提供。之后,结束本次的处理。
图6(b)是表示远程指示发送处理的一例的流程图。远程指示发送处理在向远程操作者r请求了远程指示的输入的情况下执行。
如图6(b)所示,作为s20,远程指示服务器10通过远程指示发送部13判定远程操作者r是否输入了远程指示。远程指示服务器10在判定为远程操作者r输入了远程指示的情况下(s20:是),移向s22。远程指示服务器10在判定为远程操作者r没有输入远程指示的情况下(s20:否),结束本次的处理。之后,远程指示服务器10在经过一定时间后再次反复进行s20的处理。
在s22中,远程指示服务器10通过远程指示发送部13向自动驾驶车辆2发送远程指示。之后,远程指示服务器10结束本次的处理。此外,远程指示服务器10在存在等待的远程指示的情况下,从s20起反复进行处理。
图7(a)是表示远程指示结果记录处理的一例的流程图。远程指示结果记录处理在向自动驾驶车辆2发送了远程指示的情况下执行。
如图7(a)所示,作为s30,远程指示服务器10通过记录对象状况判定部14判定按照远程指示行驶的自动驾驶车辆2是否成为了记录对象状况。远程指示服务器10在判定为自动驾驶车辆2成为了记录对象状况的情况下(s30:是),移向s32。远程指示服务器10在判定为自动驾驶车辆2没有成为记录对象状况的情况下(s30:否),结束本次的处理。之后,远程指示服务器10在按照远程指示的自动驾驶车辆2的行驶继续的情况下,在经过一定时间后再次反复进行s30的处理。
在s32中,远程指示服务器10通过远程指示结果记录部15判定远程指示是否是紧急退避。远程指示服务器10在判定为远程指示不是紧急退避的情况下(s32:是),移向s34。远程指示服务器10在判定为远程指示是紧急退避的情况下(s32:否),结束本次的处理。
此外,s32的判定也可以在s30之前执行。在远程指示不包含紧急退避的情况下,无需执行s32。另外,也可以是s32未必执行,在远程指示是紧急退避的情况下也记录远程指示的结果的技术方案。
在s34中,远程指示服务器10通过信息提供部12对远程操作者r通知自动驾驶车辆2成为了记录对象状况。信息提供部12例如经由操作者接口3向远程操作者r进行通知。通知内容只要是向远程操作者r寻求自动驾驶车辆2的状况的确认即可。此外,s34的处理未必执行。
之后,在s36中,远程指示服务器10通过远程指示结果记录部15记录远程指示的结果。远程指示结果记录部15例如将自动驾驶车辆2的位置信息、自动驾驶车辆2的车载传感器的检测信息、远程操作者r的识别信息关联地记录来作为远程指示的结果。之后,远程指示服务器10结束本次的处理。
图7(b)是表示记录对象状况判定处理的一例的流程图。记录对象状况判定处理对应于图7(a)的s30。
如图7(b)所示,作为s40,远程指示服务器10通过记录对象状况判定部14判定按照远程指示行驶的自动驾驶车辆2是否使紧急制动器工作。远程指示服务器10在判定为自动驾驶车辆2使紧急制动器工作了的情况下(s40:是),移向s42。远程指示服务器10在判定为自动驾驶车辆2没有使紧急制动器工作的情况下(s40:否),结束本次的处理(基于紧急制动器的工作进行的记录对象状况的判定)。
在s42中,远程指示服务器10通过记录对象状况判定部14判定为自动驾驶车辆2成为了记录对象状况。之后,远程指示服务器10移向图7(a)的s32。
根据以上说明的车辆远程指示系统100,在判定为按照远程指示行驶的自动驾驶车辆2成为了记录对象状况的情况下,记录自动驾驶车辆2的位置信息来作为远程指示的结果。另外,在车辆远程指示系统100中,通过将自动驾驶车辆的位置信息以及自动驾驶车辆的车载传感器的检测信息关联地记录,能够以更加详细地记录的方式留下远程指示的结果。进而,在车辆远程指示系统100中,通过将自动驾驶车辆的位置信息以及远程操作者的识别信息关联地记录来作为远程指示的结果,能够将远程指示的结果向远程操作者反馈,也能够将远程指示的结果用于远程操作者的技能提高上。
另外,根据车辆远程指示系统100,由于在按照远程指示行驶的自动驾驶车辆2使紧急制动器工作了的情况下判定为自动驾驶车辆2成为了记录对象状况,所以能够适当记录应记录的远程指示的结果。进而,根据车辆远程指示系统100,在远程指示是紧急退避的情况下,可以认为远程操作者往往认识到自动驾驶车辆成为与通常不同的记录对象状况的可能性,因此通过不记录远程指示的结果能够避免连不需要向远程操作者反馈的信息都记录。
以上,对本发明的实施方式进行了说明,但是本发明并不限定于上述的实施方式。本发明以上述的实施方式为首,能够基于本领域技术人员的知识进行各种变更、以实施了改良的各种方式实施。
例如,车辆远程指示系统100也可以不将自动驾驶车辆2包含在构成要素中。该情况下,车辆远程指示系统100相当于远程指示装置1。
在车辆远程指示系统100中,不仅自动驾驶车辆2,远程指示服务器10也可以判定是否需要远程指示。该情况下,远程指示服务器10基于从自动驾驶车辆2取得的行驶状况信息,判定自动驾驶车辆2是否成为了应请求远程指示的状况。远程指示服务器10也可以在判定为自动驾驶车辆2成为了应请求远程指示的状况的情况下,向自动驾驶车辆2发送等待指示,并且向远程操作者r请求远程指示的输入。
此外,远程指示装置1也可以搭载于车辆。该情况下,远程操作者r也乘坐车辆。远程指示服务器10也可以是由多台车辆的ecu构成的云服务器。
远程指示结果记录部15也可以在即使经过了预先设定的等待时间远程操作者r也没有输入远程指示的情况下,也记录自动驾驶车辆2的状况来作为远程指示的结果。
标号说明
1…远程指示装置、2…自动驾驶车辆、3…操作者接口、3a…输出部、3b…指示输入部、4…远程指示结果数据库、10…远程指示服务器、11…远程指示请求接收部、12…信息提供部、13…远程指示发送部、14…记录对象状况判定部、15…远程指示结果记录部、100…车辆远程指示系统。