本申请要求2019年2月1日提交的韩国专利申请no.10-2019-0013933的优先权,且本申请要求2018年4月11日提交的美国专利申请no.62/655,831的优先权,上述申请的全部内容通过引用结合于此。
本发明涉及一种用于根据自动驾驶车辆的情况来确定是否移交控制权的装置和方法。
背景技术:
本部分中的陈述仅仅提供与本发明相关的背景信息,并不构成现有技术。
随着汽车工业的发展,已经开发出了自动驾驶系统和有助于部分自动驾驶(为便于描述,下文中的自动驾驶和驾驶辅助均指“自动驾驶”)的驾驶辅助系统。自动驾驶系统可以提供多种功能,例如设置速度保持、车辆到车辆的距离保持(例如,巡航控制)、车道保持以及车道变换。自动驾驶系统可以使用多种设备执行自动驾驶,例如用于检测车辆外部的环境的传感器、用于检测关于车辆的信息的传感器、全球定位系统(gps)、地图信息、驾驶员状态监测系统、转向致动器、加速/减速致动器、通信电路以及控制电路(例如,电子控制单元(ecu))。可以根据驾驶员的输入来启用自动驾驶系统。当问题发生或者预测到问题发生时,自动驾驶系统可以向驾驶员提供控制权转移的通知。当驾驶员接管控制权时,自动驾驶系统可以被释放。
当驾驶员的控制(超控)与自动驾驶系统的控制发生重大偏离时,控制权转移可以被禁止。例如,当驾驶员操作的方向盘的转向角增加到超过给定值或车辆速度增加到超过给定值时,控制权转移可以被禁止。但是,根据上述统一标准禁止控制权转移可能不适用于驾驶员的安全。因此,有必要研发一种用于恰当地禁止控制权转移的确定方法。
技术实现要素:
本发明的一个方面致力于提供一种装置和方法,以用于考虑驾驶员的状态和驾驶员控制输入的可靠性来确定是否移交控制权。
本发明要解决的技术问题不限于上述问题,本发明所属领域的技术人员将从以下描述中清楚地理解本文中未提及的任何其它技术问题。
根据本发明的一个方面,一种用于管理车辆控制权转移的装置可以包括:转向装置;加速装置;减速装置;传感器,其配置为感测关于车辆的驾驶员的信息;以及控制电路,其配置为与所述转向装置、所述加速装置、所述减速装置以及所述传感器电连接。所述控制电路可以配置为:当执行自动驾驶控制时,使用所述传感器获得关于驾驶员的状态信息;接收驾驶员对所述转向装置、所述加速装置或所述减速装置中的至少一些的控制输入;根据所述状态信息和所述控制输入的可靠性来确定是否转移控制权;当确定移交控制权时,将控制权移交给驾驶员。
在本发明的一些实施方案中,所述传感器可以包括摄像装置。所述控制电路可以配置为:通过分析驾驶员的图像来获得所述状态信息,所述图像是由所述摄像装置获得的。
在本发明的一些实施方案中,所述状态信息可以包括与驾驶员视线有关的信息和与驾驶员就座有关的信息。
在本发明的一些实施方案中,所述控制输入的可靠性可以包括关于由所述控制输入导致的碰撞的可能性的信息。
在本发明的一些实施方案中,所述控制电路可以配置为:根据所述控制输入计算车辆的预期路径并且根据所述预期路径确定车辆的碰撞概率。
在本发明的一些实施方案中,所述控制电路可以配置为:当不能转移控制权时,禁止控制权转移。
在本发明的一些实施方案中,所述装置可以进一步包括输入装置,所述输入装置配置为与所述控制电路电连接。所述控制电路可以配置为:当通过所述输入装置接收到用于控制权转移的输入时,立即将控制权移交给驾驶员。
在本发明的一些实施方案中,所述装置可以进一步包括输入装置,所述输入装置配置为与所述控制电路电连接。所述控制电路可以配置为:在控制权移交之后,当驾驶员的控制输入停止或通过所述输入装置接收到用于自动驾驶控制的输入时,恢复执行自动驾驶控制。
在本发明的一些实施方案中,所述控制电路可以配置为:当检测到驾驶员的瞳孔和驾驶员就座并且当没有由控制输入导致的碰撞的可能性时,将控制权移交给驾驶员。
在本发明的一些实施方案中,所述控制电路可以配置为:当检测到驾驶员的瞳孔和驾驶员就座并且当存在由控制输入导致的碰撞的可能性时,禁止控制权转移。
在本发明的一些实施方案中,所述控制电路可以配置为:当未检测到驾驶员的瞳孔时,禁止控制权转移。
在本发明的一些实施方案中,所述控制电路可以配置为:当未检测到驾驶员就座时,根据预先确定的最小风险策略(mrm)执行自动驾驶控制。
根据本发明的另一方面,一种用于管理车辆控制权转移的方法可以包括:当执行自动驾驶控制时,获得关于车辆的驾驶员的状态信息;接收驾驶员对包括在车辆中的转向装置、加速装置或减速装置中的至少一些的控制输入;根据所述状态信息和所述控制输入的可靠性来确定是否移交控制权;以及当确定移交控制权时,将控制权移交给驾驶员。
在本发明的一些实施方案中,所述状态信息可以包括与驾驶员视线有关的信息和与驾驶员就座有关的信息。
在本发明的一些实施方案中,所述控制输入的可靠性可以包括关于由所述控制输入导致的碰撞的可能性的信息。
从本文提供的描述中可以看出更多的适用范围。应当理解,这些描述和具体示例仅仅用于说明的目的,并非旨在限制本发明的范围。
附图说明
为了较好地理解本发明,现将参考所附附图来描述以示例的形式给出的本发明的各种形式,其中:
图1是说明本发明一种实施方案中的用于管理车辆控制权转移的装置的配置的框图;
图2是说明本发明一种实施方案中的用于管理车辆控制权转移的装置的配置的框图;
图3是说明本发明一种实施方案中的确定是否在用于管理车辆控制权转移的装置中移交控制权的标准的示意图;
图4是说明本发明一种实施方案中的用于管理车辆控制权转移的装置的示例性操作的示意图;
图5是说明本发明一种实施方案中的用于管理车辆控制权转移的方法的流程图;
图6是说明本发明一种实施方案中的用于管理车辆控制权转移的方法的流程图;
图7是说明本发明一种实施方案中的计算系统的配置的框图。
本文中描述的附图仅仅用于说明的目的,并非旨在以任何方式限制本发明的范围。
具体实施方式
下面的描述在本质上只是示例性的而并非旨在限制本发明或者其应用或使用。应当理解,贯穿附图的相应的附图标记表示相似的或者相应的部分和特征。
在描述本发明的一些实施方案的元件时,可能使用第一、第二、首先、其次、a、b、(a)、(b)等等词语。这些词语仅仅用于将一个元件与另一个元件区分开而并不限制相应元件的性质、顺序或序列。除非另有定义,本文使用的所有术语(包括技术术语或科技术语)的含义与本发明所属领域的普通技术人员通常所理解的含义相同。在常用词典中定义的术语应被解释为具有与其在相关领域的语境中相同的含义,并且不应被解释为具有理想化或过于字面的含义,除非本申请中明确定义为具有这样的含义。
图1是说明本发明一些实施方案中的用于管理车辆控制权转移的装置的配置的框图。
参照图1,本发明一些实施方案中的用于管理车辆控制权转移的装置100可以包括转向装置110、加速装置120、减速装置130、传感器140、输入装置150和控制电路160。图1中的用于管理控制权转移的装置100可以是自动驾驶系统的一部分并且可以装载到车辆中。
转向装置110可以配置为控制车辆的转向角。转向装置110可以例如包括方向盘、与方向盘联锁的致动器以及用于控制致动器的控制器,并且可以由车辆的驾驶员和/或自动驾驶系统控制。
加速装置120可以配置为控制车辆的加速。加速装置120可以例如包括节气门、与节气门联锁的致动器以及用于控制致动器的控制器,并且可以由驾驶员和/或自动驾驶系统控制。
减速装置130可以配置为控制车辆的减速。减速装置130可以例如包括制动器、与制动器联锁的致动器以及用于控制致动器的控制器,并且可以由驾驶员和/或自动驾驶系统控制。
传感器140可以配置为感测关于车辆外部和内部的信息。例如,传感器140可以感测关于驾驶员的信息。传感器140可以包括用于捕获驾驶员的图像的摄像装置并且可以包括用于感测驾驶员是否坐在驾驶员座椅上的传感器。再例如,传感器140可以包括用于感测车辆外部的环境的雷达、激光雷达(lidar)、摄像装置等等,并且可以包括用于感测车辆的状态的车轮速度传感器、横摆角速度传感器、加速度传感器、扭矩传感器等等。
输入装置150可以配置为接收来自车辆的驾驶员的输入。例如,输入装置150可以实现为按钮、开关、控制杆、触摸传感器、触摸面板等等。
控制电路160可以与转向装置110、加速装置120、减速装置130、传感器140以及输入装置150电连接。控制电路160可以控制转向装置110、加速装置120、减速装置130、传感器140以及输入装置150,并且可以执行各种数据处理和各种算术运算。控制电路160可以例如是装载到车辆中的电子控制单元(ecu)、微控制器单元(mcu)或者子控制器。
在本发明的一些实施方案中,在执行自动驾驶控制时,控制电路160可以使用传感器140获得关于驾驶员的状态信息。状态信息可以例如包括与驾驶员视线相关的信息以及与驾驶员就座相关的信息。在本发明的一些实施方案中,控制电路160可以使用传感器140(例如,摄像装置)获得驾驶员的图像,并且可以分析驾驶员的图像以获得关于驾驶员的状态信息。例如,控制电路160可以从图像获得关于驾驶员视线的状态信息。再例如,控制电路160可以使用传感器140确定驾驶员是否坐在驾驶员座椅上,并且可以获得关于驾驶员是否坐在驾驶员座椅上的状态信息。
在本发明的一些实施方案中,控制电路160可以接收驾驶员对转向装置110、加速装置120或减速装置130中的至少一些的控制输入。控制电路160可以接收驾驶员对方向盘、减速踏板或加速踏板的控制输入。控制电路160可以确定接收到的控制输入的可靠性。在本发明的一些实施方案中,控制输入的可靠性可以包括关于控制输入导致碰撞的概率的信息。例如,控制电路160可以根据接收到的控制输入来计算接收到的控制输入导致的车辆的预期路径。控制电路160可以根据预期路径和外部物体的位置来确定车辆碰撞的概率。当碰撞的概率较高(或有碰撞的可能性时),控制电路160可以确定控制输入的可靠性较低。当碰撞的概率较低(或没有碰撞的可能性)时,控制电路160可以确定控制输入的可靠性较高。
在本发明的一些实施方案中,控制电路160可以根据状态信息和控制输入的可靠性来确定是否移交控制权。当确定移交控制权时,控制电路160可以将控制权移交给驾驶员。当驾驶员有意识并且控制输入的可靠性较高时,控制电路160可以确定移交控制权。例如,当检测到驾驶员的瞳孔和驾驶员就座并且当控制输入基本上没有导致碰撞的可能性(或者碰撞的可能性很低)时,控制电路160可以将控制权移交给驾驶员。
在本发明的一些实施方案中,当不能移交控制权时,控制电路160可以禁止控制权转移。当驾驶员没有意识或控制输入的可靠性较低时,控制电路160可以禁止控制权转移。例如,当存在控制输入导致碰撞的可能性时,控制电路160可以禁止控制权转移。再例如,当未检测到驾驶员的瞳孔时,控制电路160可以禁止控制权转移。再例如,当未检测到驾驶员就座时,控制电路160可以根据预定的最小风险策略(minimumriskmaneuver,mrm)执行自动驾驶控制。
在本发明的一些实施方案中,当通过输入装置150接收到用于控制权转移的输入时,控制电路160可以立即将控制权移交给驾驶员。无论确定是否移交控制权,当通过单独的输入装置接收到用于控制权转移的转移请求(transitiondemand,td)时,控制电路160可以立即将控制权移交给驾驶员。
在本发明的一些实施方案中,在控制权已移交后,当驾驶员的控制输入停止或者当通过输入装置150接收到用于自动驾驶控制的输入时,控制电路160可以恢复执行自动驾驶控制。当为了驾驶员的方便而停止控制输入时,控制电路160可以自动地启动自动驾驶控制。当通过输入装置150接收到用于启用自动驾驶控制的输入时,控制电路160可以启动自动驾驶控制。
图2是说明本发明一些实施方案中的用于管理车辆控制权转移的装置的配置的框图。
参照图2,本发明一些实施方案中的用于管理车辆控制权转移的装置可以包括传感器信息处理装置210、驾驶员状态确定装置220、控制权转移确定装置230、显示装置240以及控制器250。用于管理控制权转移的装置可以检测驾驶员的状态,可以确定车辆的控制输入的可靠性,并且可以防止车辆的意外的危险操作,以确保操作的稳定性。
传感器信息处理装置210可以生成行驶路径并且可以确定碰撞风险。传感器信息处理装置210可以测量动态信息(例如,转向、速度等等)以用于根据自动驾驶系统的目标预测车辆的路径,并且可以识别周围环境(例如,前方车道、周围物体等等)以确定安全性。传感器信息处理装置210可以包括行驶路径生成器211和碰撞风险确定装置212。
行驶路径生成器211可以生成基于自动驾驶系统的控制的预期路径以及根据驾驶员的控制输入的预期路径。基于自动驾驶系统的控制的预期路径可以是基于导航信息计算出来的行驶轨迹并且可以是通常沿着行驶车道的中央的路径。根据驾驶员的输入的预期路径可以在当驾驶员的输入发生时立即计算出来。
碰撞风险确定装置212可以在考虑了自动驾驶系统和驾驶员的所有控制输入的情况下,确定从当前时间到特定的未来时间内碰撞风险是否会发生。
驾驶员状态确定装置220可以监测驾驶员坐在驾驶员座椅上的状态以及周围情况被识别的状态,以确定驾驶员是否有可能接管控制权。
驾驶员状态检测装置221可以分析图像以识别驾驶员的面部。驾驶员状态检测装置221可以识别是否检测到驾驶员的面部、困倦状态、视线方向等等,并且可以监测驾驶员的转向、加速、减速等等控制输入,从而确定驾驶员是否坐在驾驶员座椅上。驾驶员状态检测装置221可以例如将驾驶员的状态分为四种状态。例如,驾驶员状态检测装置221可以将驾驶员的如下状态确定为第一种状态:驾驶员的眼睛注视道路(例如,驾驶员的视线在一定范围内)的情况;将如下状态确定为第二种状态:驾驶员的眼睛不注视道路但驾驶员有意识(例如,驾驶员的视线在一定范围外)的情况;将如下状态确定为第三种状态:驾驶员处于无意识状态但驾驶员坐在驾驶员座椅上(例如,驾驶员的瞳孔未被识别但在驾驶员座椅周围识别到驾驶员的面部)的情况;将如下状态确定为第四种状态:驾驶员不坐在驾驶员座椅上或无法确定驾驶员是否坐在驾驶员座椅上。
驾驶员控制可靠性确定装置222可以确定是否能够在根据驾驶员的控制输入的预期路径上行驶而不发生碰撞。特别地,驾驶员控制可靠性确定装置222可以将能够在短时间内引导车辆发生碰撞的强输入的可靠性确定为较低。当基于自动驾驶系统的路径上存在碰撞风险,并且当根据驾驶员的控制输入的预期路径上的碰撞风险低于基于自动驾驶系统的路径上的碰撞风险时,驾驶员控制可靠性确定装置222可以将控制输入的可靠性确定为较高。
控制权转移确定装置230可以根据驾驶员的状态信息和控制输入的可靠性来确定是否移交控制权。将参照图3对详细的确定方法进行详细描述。
显示装置240可以向驾驶员表明控制权的状态。显示装置240可以输出表明车辆的控制主体是自动驾驶系统还是驾驶员的信息。当需要移交控制权、当控制输入的可靠性较低或者当驾驶员处于不适当的状态(例如,当驾驶员昏睡、当驾驶员不在驾驶员座椅上或者类似情况)时,显示装置240可以输出警告通知。系统还可以另外在显示装置240上通知驾驶员未移交控制权的原因。
控制器250可以调整车辆的转向和速度。控制器250可以根据控制权的主体(例如,自动驾驶系统或驾驶员)的命令或输入来控制车辆的行为。控制器250可以驱动用于控制车辆的行为的致动器。
图3是说明本发明一些实施方案中的确定是否在用于管理车辆控制权转移的装置中移交控制权的标准的示意图。
参照图3,本发明一些实施方案中的车辆可以确定其驾驶员的状态和驾驶员的控制输入的可靠性。车辆可以判定驾驶员是否有意识以及是否坐在驾驶员座椅上。当判定驾驶员有意识并且坐在驾驶员座椅上时,车辆可以确定控制输入的可靠性。当控制输入的可靠性较高时,车辆可以立即将控制权移交给驾驶员。
当控制输入的可靠性较低时,即,当在根据控制输入的预期路径上发生碰撞的风险较高时,车辆可以推迟控制权转移。例如,在等到根据控制输入的预期路径上的碰撞风险变低后,车辆可以将控制权移交给驾驶员。再例如,当控制输入的可靠性较低时,车辆可以使其方向盘、减速踏板和/或加速踏板变重,以防止因较低可靠性的控制输入导致事故。
当判定驾驶员坐在驾驶员座椅上但判定驾驶员昏睡或无意识(例如,当驾驶员的瞳孔未被识别)时,车辆可以推迟控制权转移。
当未判定驾驶员坐在驾驶员座椅上时,车辆可以根据最小风险策略(mrm)控制自身。车辆可以根据预定的mrm执行减速行驶、停止行驶或避让行驶。
图4是说明本发明一些实施方案中的用于管理车辆控制权转移的装置的示例性操作的示意图。
参照图4,本发明一些实施方案中的车辆410可以在道路的第二车道上行驶。车辆410可以沿着第二车道的中央行驶。例如,车辆410的驾驶员可以提供第一转向输入,以使车辆410朝向右侧车道。车辆410可以根据第一转向输入计算第一预期路径411。在第一预期路径411上可能存在较低的碰撞概率(或没有碰撞的可能性)。因此,第一转向输入的可靠性可以较高。当在检测到第一转向输入时,如果驾驶员有意识,那么车辆410可以将控制权移交给驾驶员。
再例如,车辆410的驾驶员可以提供第二转向输入,以使车辆410朝向左侧车道。车辆410可以根据第二转向输入计算第二预期路径412。由于外部物体420,在第二预期路径412上可能存在较高的碰撞概率(可能性)。因此,第二转向输入的可靠性可能较低。尽管在检测到第二转向输入时,驾驶员有意识,但车辆410可以推迟控制权转移。
图5是说明本发明一些实施方案中的用于管理车辆控制权转移的方法的流程图。
在下文中,假设包括图1中的用于管理控制权转移的装置100的车辆执行图5的过程。此外,在对图5的描述中,描述为被车辆执行的操作可以理解为由用于管理控制权转移的装置100的控制电路160进行控制。
参照图5,在步骤510,车辆可以执行自动驾驶控制。在步骤520,车辆可以获得关于其驾驶员的状态信息。在步骤530,车辆可以接收驾驶员对包括在车辆中的转向装置、加速装置或减速装置中的至少一些的控制输入。在步骤540,车辆可以根据状态信息和控制输入的可靠性来确定是否移交控制权。当确定移交控制权时,在步骤550,车辆可以将控制权移交给驾驶员。当确定不移交控制权时,在步骤560,车辆可以禁止控制权转移。
图6是说明本发明一些实施方案中的用于管理车辆控制权转移的方法的流程图。
在下文中,假设包括图1中的用于管理控制权转移的装置100的车辆执行图6的过程。此外,在对图6的描述中,描述为被车辆执行的操作可以理解为由用于管理控制权转移的装置100的控制电路160进行控制。
参照图6,在执行自动驾驶控制时,车辆可以确定其驾驶员的状态并可以显示确定的结果。例如,车辆可以将驾驶员的状态确定为参照图2所描述的第一种状态、第二种状态、第三种状态或第四种状态。
在步骤620,车辆可以确定是否需要移交控制权。例如,当检测到驾驶员的控制输入或发生紧急情况时,车辆可以确定需要移交控制权。
当需要移交控制权时,在步骤630,车辆可以评估驾驶员的控制输入的可靠性。控制输入可以例如包括转向输入、加速输入和/或减速输入。车辆可以根据控制输入预测碰撞概率并且可以基于预测的碰撞概率评估可靠性。
在步骤640,车辆可以确定是否可以移交控制权。例如,车辆可以综合考虑驾驶员的状态和控制输入的可靠性,以确定当前情况是否是能够移交控制权的情况。
当可以移交控制权时,在步骤650,车辆可以将控制权移交给驾驶员。
在步骤660,车辆可以确定是否恢复执行自动驾驶控制。例如,当驾驶员的控制输入停止或通过单独的输入装置请求启动自动驾驶系统时,车辆可以自动恢复执行自动驾驶控制以供使用。再例如,当驾驶员的控制输入保持时,车辆可以继续执行驾驶员的控制。
当不可以移交控制权时,在步骤670,车辆可以推迟控制权转移并且可以确定是否继续执行自动驾驶控制。在步骤680,车辆可以确定是否可以保持自动驾驶控制。
当可以保持自动驾驶控制时,在步骤690,车辆可以继续执行自动驾驶控制。当不可以保持自动驾驶控制时,在步骤695,车辆可以执行mrm。
无论处于上述哪一步骤,当通过单独的输入装置从驾驶员处收到td时,车辆可以强制将控制权移交给驾驶员。
图7是说明本发明一些实施方案中的计算系统的配置的框图。
参照图7,计算系统1000可以包括经由总线1200而彼此连接的至少一个处理器1100、存储器1300、用户界面输入设备1400、用户界面输出设备1500、储存装置1600以及网络接口1700。
处理器1100可以是中央处理单元(cpu)或者用于对存储在存储器1300和/或储存装置1600中的指令执行处理的半导体设备。存储器1300和储存装置1600的每一者可以包括各种类型的易失性或非易失性存储介质。例如,存储器1300可以包括只读存储器(rom)和随机存取存储器(ram)。
因此,在公开于说明书的本发明一些实施方案中描述的方法或者算法的操作可以通过处理器1100执行的硬件模块、软件模块或其组合直接实现。软件模块可以驻留在存储介质(即存储器1300和/或储存装置1600)上,例如ram、闪存、rom、可擦除和可编程rom(eprom)、电eprom(eeprom)、寄存器、硬盘、可移动磁盘或者光盘rom(cd-rom)。示例性的存储介质可以联接到处理器1100。处理器1100可以从存储介质中读出信息,并且可以在存储介质中写入信息。可选择地,存储介质可以与处理器1100集成。处理器和存储介质可以设置在专用集成电路(asic)中。asic可以设置在用户终端中。可选择地,处理器和存储介质可以作为用户终端的单独组件。
本发明一些实施方案中的装置和方法可以防止意外的危险控制(例如错误输入等等),并且通过考虑驾驶员的状态和驾驶员的控制输入的可靠性来确定是否移交控制权,从而可以在确保驾驶员的安全性的情况下将控制权安全地移交给驾驶员。
此外,可以提供通过本发明直接或间接确定的各种效果。
对本发明的描述在本质上仅仅是示例性的,因此,不背离本发明的实质的变化形式将在本发明的范围之内。这些变化不应视为背离本发明的精神和范围。