一种人车接管交互的方法、装置、设备和存储介质与流程

1.本发明实施例涉及人车接管技术，尤其涉及一种人车接管交互的方法、装置、设备和存储介质。


背景技术：

2.随着车辆技术的发展，目前l3/l4自动驾驶逐步成为主流趋势。在自动驾驶状态下，驾驶任务如果过于轻松，驾驶员很容易因为较低的认知负担而进入被动疲劳，无聊的驾驶过程也将导致驾驶员更多地参与到社交娱乐等非驾驶主任务中，从而带来驾驶分心；其次，由于自动驾驶过程中主要的注意力资源没有集中在车辆状态和路面情景中，造成情境意识降低，这样，当出现自动系统退出并发出切换控制请求时，驾驶员可能由于未预期的状态改变或提示收到惊吓；同时，情境意识水平的不足，可能造成对驾驶模式的混淆；此外，驾驶员与驾驶车辆之间可能会产生交互误会，驾驶员以为驾驶权已经交付给车辆，而车辆判断权还在驾驶员手中。
3.目前，可以通过设计人机交互系统包括主人机交互模块和从人机交互模块，正常情况下通过主人机交互模块进行报警提示，当主人机交互模块失效时，由从人机交互模块接管系统，并进行报警提示。
4.驾驶员与自动驾驶系统之间的人机交互方案至关重要，不仅影响自动驾驶系统的可用性、更影响系统的安全性。因此，如何安全可靠地完成自动驾驶人车接管任务，是本领域技术人员亟待解决的技术问题。


技术实现要素：

5.本发明实施例提供一种人车接管交互的方法、装置、设备和存储介质，以安全可靠地完成自动驾驶人车接管任务。
6.第一方面，本发明实施例提供了一种人车接管交互的方法，包括：
7.获取人车接管交互请求；
8.识别驾驶员视线是否在设定视野范围内；
9.其中，所述设定视野范围为车辆行驶方向的主观察范围；
10.根据视线识别结果确定驾驶员接管结果；
11.根据所述驾驶员接管结果，基于声光手段发出接管提示。
12.第二方面，本发明实施例还提供了一种人车接管交互的装置，包括：
13.请求获取模块，用于获取人车接管交互请求；
14.视野识别模块，用于识别驾驶员视线是否在设定视野范围内；
15.其中，所述设定视野范围为车辆行驶方向的主观察范围；
16.接管结果确认模块，用于根据视线识别结果确定驾驶员接管结果；
17.接管提示模块，用于根据所述驾驶员接管结果，基于声光手段发出接管提示。
18.第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
19.一个或多个处理器；
20.存储装置，用于存储一个或多个程序；
21.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的人车接管交互的方法。
22.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的人车接管交互的方法。
23.本发明实施例提供了一种人车接管交互的方法、装置、电子设备和存储介质，通过驾驶员双手操作与视线范围的要求，最大程度避免误操作或分心操作，安全可靠地完成自动驾驶人车接管任务。
附图说明
24.图1是本发明实施例一提供的一种人车接管交互方法的流程图；
25.图2a是本发明实施例二提供的一种人车接管交互方法的流程图；
26.图2b是本发明实施例二提供的一种人车接管交互方法的逻辑图；
27.图3是本发明实施例三提供的一种人车接管交互装置的结构示意图；
28.图4是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
29.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
30.实施例一
31.图1是本发明实施例一提供的一种人车接管交互的方法的流程图，本实施例可适用于在自动驾驶车辆中，需要进行人车接管的情况，即从自动驾驶控制状态向由人手动控制的状态切换的过程。本实施例的方法可以由人车接管交互装置来执行，该装置可以采用硬件和/或软件的方式来实现。该装置可以配置于能够对人车接管交互的控制设备中，例如为车载控制设备。该方法具体包括如下步骤：
32.s110、获取人车接管交互请求。
33.其中，人车接管是指驾驶员与计算机之间互相接受并管理的一个过程。例如驾驶员与自动驾驶车辆之间的相互接受管理，在遇到危险时，由自动驾驶转为驾驶员驾驶；在道路安全时由驾驶员驾驶转为自动驾驶。
34.人车交互是指通过计算机输入、输出设备，以有效的方式实现人与计算机之间的对话。例如，驾驶员通过输入设备，请求车辆实现自动驾驶；车辆通过输出或显示设备提示驾驶员接管车辆。
35.人车接管交互请求可以由驾驶员主动触发，也可以根据预设策略，在满足设定道路或行驶条件时自动触发，产生人机接管交互请求。对于驾驶员主动触发的情况，例如，可以是在道路平旦，路途较远的行程中，驾驶员双手同时按下多功能按键，触发人车接管交互请求。
36.s120、识别驾驶员视线是否在设定视野范围内；
37.在获取到人车接管交互请求时，车载控制设备并不立即切换至人工驾驶模式，而是首先对驾驶员视线情况进行识别，具体是识别驾驶员视线是否在设定视野范围内。其中，所述设定视野范围为车辆行驶方向的主观察范围。驾驶员主观察范围是指驾驶员目视前方，所能观察到的范围。
38.其中，识别驾驶员视线，可以是通过在驾驶室内安装前置摄像头，采集驾驶员的人脸图像，对人脸图像中驾驶员的视线焦点进行识别，从而判断驾驶员的视线是否在视野范围内；还可以是通过焦点跟踪的方式，对驾驶员的视线进行跟踪，判断驾驶员的视线是否在视野范围内。通过在驾驶室内安装摄像头，对驾驶员的视线焦点进行跟踪或识别，利用车内已有设备，降低成本，并能对驾驶员视线进行良好的判断。
39.s130、根据视线识别结果确定驾驶员接管结果；
40.其中，视线识别结果是指通过对人脸图像中驾驶员视线焦点进行识别，判断驾驶员视线是否在预定的视野范围内。例如，当驾驶员目视前方时，识别得到驾驶员的视线焦点在预定的视野范围内；当驾驶员未目视前方时，识别得到驾驶员的视线焦点不在预定的视野范围内。
41.根据视线识别结果确定驾驶员接管结果，例如，驾驶员视线未落入设定的视野范围内，则不允许驾驶员接管车辆控制；若驾驶员视线落入设定的视野范围内，可以是驾驶员视线在正前方60
°
角内，则允许驾驶员直接接管车辆；可以是驾驶员视线在正前方60
°
角到最大的预定的视野范围内时，对驾驶员发出提醒后，允许驾驶员接管车辆控制。
42.s140、根据所述驾驶员接管结果，基于声光手段发出接管提示。
43.其中，声光手段是指通过声音和/或光的手段对接管结果发出提示，例如，车辆提示驾驶员接管车辆或车辆完成接管可以通过指示灯闪烁发出提示，可以通过字幕图像发出接管提示，还可以通过滴滴声或蜂鸣声发出接管提示。通过声光手段发出接管提示，可以提高驾驶员对接管提示的注意力，并及时接管车辆。
44.本发明实施例提供了一种人车接管交互的方法，通过获取人车接管交互请求，识别驾驶员视线是否在车辆行驶方向的主观察范围内，根据视线识别结果确定驾驶员接管结果，根据所述驾驶员接管结果，基于声光手段发出接管提示，实现了人车接管交互，安全可靠地完成自动驾驶人车接管任务。
45.实施例二
46.图2a为本发明实施例二提供的一种人车接管交互的方法的流程图。本实施例在上述实施例的基础上进行细化，可选的，该方法还包括：通过自动驾驶控制器将确定的所述驾驶员接管结果传输给车辆内配置的信息娱乐系统；通过所述信息娱乐系统，根据所述驾驶员接管结果，通过语音方式和/或字幕图像方式，发出接管提示。
47.相应的，如图2a所示，本发明实施例的技术方案，具体包括如下步骤：
48.s210、获取人车接管交互请求。
49.可选的，获取人车接管交互请求包括：接收驾驶员输入的人车接管交互请求；或
50.根据当前车辆信息和/或当前驾驶员信息，自动确定产生人车接管交互请求。
51.可选的，接收驾驶员输入的人车接管交互请求包括：如果接收到所述驾驶员对设定的一个或多个功能按键的操作，则确定为接收到人车接管交互请求。
52.可选的，设定的多个功能按键包括：对称设置在方向盘上的功能按键。
53.其中，当前车辆信息包含但不限于当前车辆的型号和行驶速度；驾驶员信息包含但不限于驾驶员状态、驾驶员心情和驾驶员视线范围。
54.其中，接收到所述驾驶员对设定的一个或多个功能按键的操作，可以是接收到一个功能按键的操作，也可以是接收到两个或两个以上的功能按键的操作；在接收到两个或两个以上的功能按键时，可以是相同的功能按键，也可以是不同的功能按键；优选的是驾驶员双手同时触发左右多功能按键的中心按键，发出主动触发人车接管交互的请求。多数车辆在方向盘上设置多功能按键，而且左右基本对称布置，该布置按键中的中心按键可作为操作对象。
55.驾驶员双手同时触发同一任务，需要注意力更加集中，可避免误操作，且驾驶行为本就要求驾驶员双手持方向盘，属于自然交互。
56.s220、识别驾驶员视线是否在设定视野范围内。
57.s230、根据视线识别结果确定驾驶员接管结果。
58.可选的，根据视线识别结果、当前车辆信息和当前路况信息，确定驾驶员接管结果。
59.可选的，根据视线识别结果确定驾驶员接管结果包括：
60.如果驾驶员视线落入设定视野范围内，且人车交互接管请求为驾驶员手动发起的，则确定允许驾驶员接管车辆控制；
61.如果驾驶员视线未落入设定视野范围内，则确定不允许驾驶员接管车辆控制。
62.其中，当前车辆信息包括但不限于驾驶车辆型号。当前路况信息包括但不限于道路限速、道路是否平整以及驾驶前方是否有行人车辆。
63.s240、通过自动驾驶控制器将确定的所述驾驶员接管结果传输给车辆内配置的信息娱乐系统。
64.其中，自动驾驶控制器根据驾驶员触发接管请求、驾驶员视线符合要求以及路况信息符合要求将接管结果传输给信息娱乐系统。
65.s250、通过所述信息娱乐系统，根据所述驾驶员接管结果，通过语音方式和/或字幕图像方式，发出接管提示。
66.其中，信息娱乐系统是采用车载专用中央处理器，基于车身总线系统和互联网服务，形成的车载综合信息处理系统。例如，将自动驾驶控制器发送的接管请求经过处理向驾驶员提示接管结果。
67.其中，接管提示以语音和/或字幕图像方式发出，例如，可以发出滴滴声提示驾驶员接管车辆；还可以通过指示灯闪烁、字幕显示以及图像等方式发出接管提示。
68.本发明实施例的技术方案，通过获取的人车接管交互请求、识别驾驶员视线是否在设定视野范围内，将确定的驾驶员接管结果通过自动驾驶控制器传输给车辆内配置的信息娱乐系统，信息娱乐系统通过语音方式和/或字幕图像方式，发出接管提示，避免人车接管时人机双方产生误会，保证了自动驾驶人车接管任务的安全可靠。
69.下面以实施例的方式对上述的操控过程进行说明，如图2b所示，包括：
70.s201、驾驶员触发方向盘左侧多功能按键的中心按键和/或右侧多功能按键的中心按键。
71.s202、判断驾驶员是否同时触发左右多功能按键的中心按键，若同时触发左右多
功能按键的中心按键则发出接管请求；若未同时触发左右多功能按键的中心按键，则等待下一次接管请求。
72.s203、前置摄像头识别驾驶员视线是否在规定的视野范围内。
73.s204、驾驶员信息判断，若驾驶员发出接管请求且驾驶员视线在规定的视野范围内，则发出人接管信息至自动驾驶控制器；若驾驶员发出接管请求但驾驶员视线不在规定的视野范围内，则等待下一次接管请求。
74.s205、对路况信息进行识别。
75.s206、自动驾驶控制器综合判断策略是对路况信息以及人接管信息进行综合判断，若接收到人接管信息且路况信息符合要求，则将接管结果发送给信息娱乐系统；若接收到人接管信息但路况信息不符合要求，则等待下一次接管请求。
76.s207、信息娱乐系统接收自动驾驶控制器发送的接管结果，并将接管结果提示发送给仪表。
77.s208、仪表接收信息娱乐系统发送的接管结果提示信息，通过视觉/声音的方式向驾驶员提示接管结果。
78.实施例三
79.图3是本发明实施例三提供的一种人车接管交互的装置的结构示意图，该装置包括：请求获取模块310、视野识别模块320、接管结果确认模块330和接管提示模块340。其中：
80.请求获取模块，用于获取人车接管交互请求；
81.视野识别模块，用于识别驾驶员视线是否在设定视野范围内；
82.可选的，所述设定视野范围为车辆行驶方向的主观察范围；
83.接管结果确认模块，用于根据视线识别结果确定驾驶员接管结果；
84.接管提示模块，用于根据所述驾驶员接管结果，基于声光手段发出接管提示。
85.可选的，请求获取模块包括：
86.接收驾驶员输入的人车接管交互请求；或
87.根据当前车辆信息和/或当前驾驶员信息，自动确定产生人车接管交互请求。
88.可选的，请求获取模块还包括：
89.如果接收到所述驾驶员对设定的一个或多个功能按键的操作，则确定为接收到人车接管交互请求。
90.其中，所述设定的多个功能按键包括：对称设置在方向盘上的功能按键。
91.可选的，视野识别模块包括：
92.获取车辆内前置摄像头拍摄到的驾驶员人脸图像；
93.对所述人脸图像中的视线焦点进行识别，以确定所述视线焦点是否在设定视野范围内。
94.可选的，接管提示模块包括：
95.通过自动驾驶控制器将确定的所述驾驶员接管结果传输给车辆内配置的信息娱乐系统；
96.通过所述信息娱乐系统，根据所述驾驶员接管结果，通过语音方式和/或字幕图像方式，发出接管提示。
97.可选的，接管结果确认模块包括：
98.根据视线识别结果、当前车辆信息和当前路况信息，确定驾驶员接管结果。
99.可选的，接管结果确认模块还包括：
100.如果驾驶员视线落入设定视野范围内，且人车交互接管请求为驾驶员手动发起的，则确定允许驾驶员接管车辆控制；
101.如果驾驶员视线未落入设定视野范围内，则确定不允许驾驶员接管车辆控制。
102.上述装置可执行本发明任意实施例所提供的人车接管交互的方法，具备执行该人车接管交互的方法相应的功能模块和有益效果。
103.实施例四
104.图4为本发明实施例四提供的一种电子设备的结构示意图，如图4所示，该电子设备包括处理器410、存储器420、输入装置430和输出装置440；设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
105.存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的人车接管交互的方法对应的程序指令/模块(例如，人车接管交互的装置中的请求获取模块310、视野识别模块320、接管结果确认模块330和接管提示模块340)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的人车接管交互的方法。
106.存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
107.输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
108.实施例五
109.本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人车接管交互的方法，该方法包括：
110.获取人车接管交互请求；
111.识别驾驶员视线是否在设定视野范围内；
112.其中，所述设定视野范围为车辆行驶方向的主观察范围；
113.根据视线识别结果确定驾驶员接管结果；
114.根据所述驾驶员接管结果，基于声光手段发出接管提示。
115.当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的人车接管交互的方法中的相关操作。
116.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的
部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
117.值得注意的是，上述人车接管交互装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
118.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。