一种远程驾驶舱控制方法及控制系统与流程

本发明涉及自动驾驶领域，特别是涉及一种远程驾驶舱控制方法及控制系统。

背景技术：

1、远程驾驶是自动驾驶领域的一种独特的解决方案。在一些复杂的驾驶场景下，比如高危路段，辅助泊车，车辆故障等，自动驾驶仍然存在问题，此时通过人工远程驾驶可弥补这一缺陷。远程驾驶过程中，远程车辆将车身状态数据通过5g网络实时传输到远程驾驶舱。远程驾驶员可透过舱端显示器了解远程车辆的行驶状况，并通过舱端的方向盘、油门、刹车等设备实时向远程车辆发出控制指令，从而远程控制车辆的行驶。

2、远程驾驶在商业化的过程中，可以通过向用户提供远程驾驶服务的方式收取费用。因此，远程驾驶系统一般包括远程驾驶服务设备和远程驾驶控制设备。远程驾驶服务设备用于根据网联车辆的请求从存储的各个可用驾驶舱信息中确定为网联车辆分配的目标驾驶舱，通过云网络向远程驾驶控制设备发送派单信息，派单信息包含发送远程驾驶请求的网联车辆信息和分配的目标驾驶舱信息，远程驾驶控制设备通过云网络将目标驾驶舱的远程控制命令发送给网联车辆，以通过远程控制指令对网联车辆进行远程控制。但驾驶舱的可用状态往往需由驾驶员手动进行维护，在实际使用过程中，如果驾驶员离开驾驶舱时，忘记暂停接单，该驾驶舱仍然保持可用状态，当云端调度系统派单时驾驶员实际上无法接收此订单，则会导致本次派单失败。因此，有必要提供改进的技术方案以减少云端调度系统中出现无效派单。

技术实现思路

1、鉴于上述问题，本发明的目的在于提供一种远程驾驶舱控制方法，可以自动更新远程驾驶舱的接单状态，减少云端调度系统的无效派单，提高远程驾驶服务的派单效率，提升驾驶员接单过程中的操作体验。

2、本发明提供一种远程驾驶舱控制方法，包括：对远程驾驶舱中预设的检测位置进行图像检测，根据图像检测的结果确定驾驶员是否就位；如果确定驾驶员已就位，则询问所述驾驶员是否开启接单状态；如果所述驾驶员开启接单状态，则将所述远程驾驶舱的接单状态更新为可用状态，并通知云端调度系统，等待所述云端调度系统的派单；当所述远程驾驶舱接到派单时，询问所述驾驶员是否接受所述派单的任务；如果所述驾驶员接受所述派单的任务，则控制所述远程驾驶舱与车辆建立远程通信连接，通过所述远程驾驶舱对车辆进行远程驾驶。

3、进一步地，所述对远程驾驶舱中预设的检测位置进行图像检测，根据图像检测的结果确定驾驶员是否就位包括：在预设的检测时段内，通过广角彩色摄像头获取所述远程驾驶舱中的座位区域的视频流；对所述视频流进行图像检测，当检测到人脸图像或人体图像，并且所述人脸图像或者所述人体图像的前侧保持朝向所述广角彩色摄像头的时间超过预设的就位检测时长阈值，则判断所述驾驶员已就位。

4、进一步地，所述图像检测包括：对所述视频流进行人脸目标或者人体目标提取；基于多任务级联卷积神经网络算法对提取出的人脸目标或者人体目标进行人脸检测定位，并识别检测到的人脸是否保持前侧朝向所述广角彩色摄像头的状态。

5、进一步地，所述方法还包括：在所述远程驾驶舱的接单状态为可用状态时，如果在所述检测位置未检测到人脸图像或人体图像的时间超过预设的未就位时长阈值，则将所述远程驾驶舱的接单状态更新为不可用状态，并通知云端调度系统。

6、进一步地，所述方法还包括：当所述远程驾驶舱检测到所述驾驶员发出的驻车指令后，询问所述驾驶员是否结束所述派单的任务；如果所述驾驶员确认结束所述派单的任务，则控制所述远程驾驶舱断开与车辆的远程通信连接。

7、进一步地，所述方法还包括：当所述驾驶员接受所述派单的任务后，将所述远程驾驶舱的接单状态更新为不可用状态，并暂停对所述检测位置进行图像检测；当所述驾驶员确认结束所述派单的任务后，将所述远程驾驶舱的接单状态更新为可用状态，并重新开始对所述检测位置进行图像检测。

8、进一步地，所述方法还包括：所述驾驶员确认是否开启接单状态、确认是否接受派单的任务、以及确认是否结束所述派单的任务的操作中的至少一种通过语音指令执行。

9、本发明还提供一种远程驾驶舱控制系统，包括设于远程驾驶舱内的图像检测模块、接单控制模块以及远程控制模块；所述图像检测模块用于对远程驾驶舱中预设的检测位置进行图像检测，根据图像检测的结果确定驾驶员是否就位；所述接单控制模块用于与云端调度系统通信连接，并用于当确定驾驶员已就位时，询问所述驾驶员是否开启接单状态；如果所述驾驶员开启接单状态，则将所述远程驾驶舱的接单状态更新为可用状态，并通知所述云端调度系统，等待云端调度系统的派单；当所述远程驾驶舱接到派单时，询问所述驾驶员是否接受所述派单的任务；所述远程控制模块用于当所述驾驶员接受所述派单的任务后，控制所述远程驾驶舱与车辆建立远程通信连接，通过所述远程驾驶舱对车辆进行远程驾驶。

10、进一步地，所述图像检测模块包括设置在所述远程驾驶舱座位前方的广角彩色摄像头，所述广角彩色摄像头用于获取所述远程驾驶舱中的座位区域的视频流。

11、进一步地，所述远程驾驶舱控制系统还包括设置在所述远程驾驶舱座位前方的语音输入装置，所述语音输入装置用于接收所述驾驶员在接单过程中的语音操作指令。

12、本发明提供的远程驾驶舱控制方法及远程驾驶控制系统，通过对驾驶舱进行图像检测判断驾驶员是否就位，如果驾驶员已就位并开启接单状态，则将远程驾驶舱的接单状态更新为可用状态，如果通过图像检测检测到驾驶员离开远程驾驶舱座位，则判断驾驶员未就位并自动将远程驾驶舱的接单状态更新为不可用状态，避免因驾驶员离开座位忘记暂停接单，云端调度系统仍然继续派单，而驾驶员却无法接收到派单造成无效派单，提高了远程驾驶服务的派单效率，并且通过语音控制的方式完成接单过程中的操作，提升了驾驶员接单过程中的操作体验。

技术特征：

1.一种远程驾驶舱控制方法，其特征在于，包括：

2.根据权利要求1所述的远程驾驶舱控制方法，其特征在于，所述对远程驾驶舱中预设的检测位置进行图像检测，根据图像检测的结果确定驾驶员是否就位包括：

3.根据权利要求2所述的远程驾驶舱控制方法，其特征在于，所述图像检测包括：

4.根据权利要求2所述的远程驾驶舱控制方法，其特征在于，还包括：在所述远程驾驶舱的接单状态为可用状态时，如果在所述检测位置未检测到人脸图像或人体图像的时间超过预设的未就位时长阈值，则将所述远程驾驶舱的接单状态更新为不可用状态，并通知云端调度系统。

5.根据权利要求1所述的远程驾驶舱控制方法，其特征在于，还包括：

6.根据权利要求5所述的远程驾驶舱控制方法，其特征在于，还包括：

7.根据权利要求6所述的远程驾驶舱控制方法，其特征在于，还包括：

8.一种远程驾驶舱控制系统，其特征在于，包括设于远程驾驶舱内的图像检测模块、接单控制模块以及远程控制模块；

9.根据权利要求8所述的远程驾驶舱控制系统，其特征在于，所述图像检测模块包括设置在所述远程驾驶舱座位前方的广角彩色摄像头，所述广角彩色摄像头用于获取所述远程驾驶舱中的座位区域的视频流。

10.根据权利要求8所述的远程驾驶舱控制系统，其特征在于，还包括设置在所述远程驾驶舱座位前方的语音输入装置，所述语音输入装置用于接收所述驾驶员在接单过程中的语音操作指令。

技术总结
本发明公开了一种远程驾驶舱控制方法及控制系统，方法包括：对远程驾驶舱中预设的检测位置进行图像检测，根据图像检测的结果确定驾驶员是否就位；如果确定驾驶员已就位，则询问驾驶员是否开启接单状态；如果驾驶员开启接单状态，则将远程驾驶舱的接单状态更新为可用状态，并通知云端调度系统，等待云端调度系统的派单；当远程驾驶舱接到派单时，询问驾驶员是否接受派单的任务；如果驾驶员接受派单的任务，则控制远程驾驶舱与车辆建立远程通信连接，通过远程驾驶舱对车辆进行远程驾驶。本发明提供的远程驾驶舱控制方法可以自动更新远程驾驶舱的接单状态，减少云端调度系统的无效派单，提高派单效率，提升驾驶员接单过程的操作体验。

技术研发人员：吴斌洪
受保护的技术使用者：宁波路特斯机器人有限公司
技术研发日：
技术公布日：2024/1/13