一种基于V2X的远程驾驶系统及方法与流程

一种基于v2x的远程驾驶系统及方法
技术领域
1.本发明涉及车联网领域，特别涉及一种基于v2x的远程驾驶系统及方法。


背景技术：

2.随着社会人力成本的上升和无人驾驶技术的发展，一些与交通运输相关的行业逐步无人化，出现可满足不同需求的无人驾驶车辆，如无人出租车robotaxi、无人快递小车、无人售卖小车、无人工程机械车辆等。
3.现阶段无人驾驶车辆还不足以完全无人化，在特殊情况下需要人工干预。例如，无人驾驶车辆在极端路况无法做出决策时，或者在高危建筑等作业场景下，需要借用无线通信技术来实现远程驾驶控制，以辅助解决无人驾驶车辆和工程机械车辆无法应对的情况。但要实现远程驾驶，车端场景的真实性及实时性致关重要，保障了真实性和实时性才能保证远程驾驶舱的操作人员如同坐在车辆驾驶室操作一样，最终才能保证远程驾驶的安全。为保证真实性，一般需要采集车辆前方、后方、侧方等多个角度的视频数据；为保证实时性，所采用的无线通信网络必须满足低延迟、高带宽的要求。
4.在目前的远程驾驶方法中，车端摄像头拍摄的视频数据都是通过4g/5g方式传输到远程驾驶舱。该传输方式严重受限于车子所处位置的网络信号质量。当网络质量不好的时候，视频传输到远程驾驶舱的时延会很高，这将会导致驾驶员根据时延太大的视频数据做出错误的控车操作，引起车辆行驶安全事故。故现提供一种不依赖于4g/5g网络信号质量的数据传送方式，将对远程驾驶安全性带来极大的提高。该方式也可以作为当4g/5g网络信号质量不好的时候，一种数据传输替代方式。比如4g/5g网络信号质量好的时候，使用4g/5g网络进行数据传输，当4g/5g网络信号质量不好的时候，自动切换到v2x方式传输数据。
5.v2x（v2xvehicle to everything）是指车对外界的信息交换，是一系列车载通讯技术的总称。v2x包含汽车对汽车（v2v）、汽车对路侧设备（v2r）、汽车对基础设施（v2i）、汽车对行人（v2p）、汽车对机车（v2m）及汽车对公交车（v2t）。
6.rsu（road side unit）指路侧单元，安装在路侧，采用dsrc（dedicated short range communication）技术，与车载单元（obu，on board unit）进行通讯的装置。
7.obu（on board unit）指车载单元，采用dsrc（dedicated short range communication）技术，与rsu进行通讯的微波装置。
8.现有的专利号：cn111634234a《基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法》中基于多摄像头与雷达组合的远程驾驶车端场景信息采集方法，包括如下步骤：1)判断车辆当前所处的无线通信网络是4g还是5g；2)若为5g，则通过安装在车辆上的多个摄像头同时采集车辆多个角度的视频数据，编码后传输给远程驾驶室；3)若为4g，则仅通过一个摄像头采集车辆正前方的视频数据，经编码后传输给远程驾驶室，同时通过安装在车身上的多个雷达采集其他角度的场景数据并传输给远程驾驶室。本发明在上述方法的基础上，进一步提供了车端信息展示方法及远程驾驶方法。本发明采用摄像头与雷达结合的方式，可以很好地解决4g网络下传输多路高清视频带宽不足的
问题，保证了远程驾驶的真实性和实时性。
9.但多路视频传输对4g/5g信号质量要求极高。当信号质量不好的时候，车端数据传递给远程驾驶舱时，数据往往经历了较大的延迟。此时驾驶员基于落后的视频数据去操纵车辆，极易造成安全事故。在某些特殊场景下，比如隧道、桥梁之下、深山之中，此时可能都没有4g/5g信号，在该种情形下将无法进行远程驾驶车辆。


技术实现要素：

10.鉴于此因，本发明提供一种更可靠的远程驾驶系统。使得远程驾驶不依赖4g/5g信号质量。在4g/5g信号质量不好的时候，有一种替代方式可以传输车端视频数据到远程驾驶舱，用于驾驶员远程驾驶车辆。
11.为实现上述目的，本发明提供如下技术方案：一种基于v2x的远程驾驶系统，包括：车载obu终端、车载摄像头、车载雷达、车辆控制装置、若干个安装在路侧的rsu装置、远程驾驶舱，其中：车载摄像头、车载雷达与obu之间通过车载以太网方式进行通讯；所述车载obu终端与rsu信号覆盖范围内的rsu建立v2x通信连接。所述rsu与远程驾驶舱之间通过有线光纤连接或者无线连接。所述车辆控制装置包括惯性导航系统、动力控制系统、eps、epb、ebooster以及esc。
12.作为优选，所述车载摄像头有5个，分布于车身四周及车内，用于采集车辆周围环境视频信息；作为优选，所述车载雷达有12个，都为超声波雷达，分布于车身四周，用于采集车辆周围障碍物信息；作为优选，所述远程驾驶舱包括服务器，控车信号采集器、具有6自由度驾驶舱、显示器，其中所述服务器用于接收网络信号并进行视频解码；控车信号采集器，用于将操作员的驾驶操作进行串口采集，形成车辆控制指令，然后转换成以太网信号传送给服务器；所述显示器用于对车端环境数据进行图像显示；所述6自由度驾驶舱用于模拟当前行驶状态信息，还用于输入车辆控制指令；所述6自由度驾驶舱包括模拟方向盘、档位、油门、刹车、座椅以及6自由度运动情况的机械结构。
13.一种基于v2x的远程驾驶方法，包括：步骤一，车载obu终端、车载摄像头、车载雷达之间通过车载以太网方式建立硬件物理数据传输连接。
14.步骤二，车载obu终端通过5个鱼眼摄像头采集车辆四周以及驾驶室内的视频，并采用h264/h265编码格式进行视频编码，车载雷达采集车辆周围障碍物信息；步骤三，车载obu终端将采集到的车端环境数据组包；步骤四，车载obu终端将组包后的车端环境数据按照一较小时间周期，通过v2x方式发送车端环境数据给路侧rsu装置；步骤五，rsu装置接收车载obu终端发送过来的车端环境数据，并转换为网络信号；步骤六，rsu装置将车端环境数据传输给远程驾驶舱；步骤七，远程驾驶舱服务器将接收到的网络信号还原成视频和车辆行驶信息，通过h264/h265解码格式进行视频解码，然后显示到远程驾驶舱显示器界面上；
步骤八、操作员根据显示器显示的信息，在6自由度驾驶舱进行挂档、拉电子手刹、踩油门、踩刹车、转方向盘等操作；控车信号采集器将操作员的驾驶操作进行串口采集，然后转换成网络信号传送给服务器；步骤九，所述服务器将控车数据转换为网络信号后传输给路侧rsu装置；步骤十，所述路侧rsu装置通过v2x将网络信号透传给车载obu终端，车载obu终端控车数据通过车载以太网方式写入车辆控制装置完成对车辆的实时操纵。
15.作为优选，所述车辆控制装置中动力控制系统执行踩油门、能量回收操作；eps执行转向操作；epb执行电子手刹操作；ebooster、esc执行制动操作；作为优选，车载obu终端将组包后的车端环境数据发送给路侧rsu装置的周期为10ms；作为优选，rsu装置与远程驾驶舱之间通过有线光纤建立连接，可以有效降低数据传输延迟；作为优选，所述显示器将5个摄像头的影像进行拼接，形成前180
°
、后180
°
两个视野画面；本发明技术方案带来的有益效果：车端数据传输不依赖于车辆联网能力，即使车辆出现网络故障，车端环境视频数据依然可以传到远程驾驶舱。采用v2x方式传输车端数据，数据传输延时极小，可以完美达成远程驾驶技术对车端视频的传输延时要尽可能低的要求。
附图说明
16.图1为本发明实施例提供的一种基于v2x的远程驾驶系统的结构示意图；图2为本发明实施例提供的一种基于v2x的远程驾驶系统的数据流向示意图；图3为本发明实施例提供的一种基于v2x的远程驾驶方法的流程示意图；图4为本发明实施例提供的一种基于v2x的远程驾驶系统6自由度驾驶舱的平面图；图5为本发明实施例提供的一种基于v2x的远程驾驶系统5个鱼眼摄像头的分布以及视角图。
具体实施方式
17.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅以解释本发明，并不用于限定本发明。
18.在本实施例中，本发明提供一种基于v2x的远程驾驶系统，如图1所示，该升级系统，包括：车载obu终端1、车载摄像头2、车载雷达3、车辆控制装置4、若干个安装在路侧的rsu装置5、远程驾驶舱6，其中：车载摄像头3、车载雷达4与obu1之间通过车载以太网方式进行通讯；所述车载obu终端1与rsu装置5信号覆盖范围内的rsu装置5建立v2x通信连接。所述rsu装置5与远程驾驶舱6之间通过有线光纤连接或者无线连接。所述车辆控制装置4包括惯性导航系统、动力控制系统、eps、epb、ebooster以及esc。
19.其中，当前技术下车载obu与rsu装置之间通过v2x进行通信的范围大概在1000米
左右。
20.其中，若干个rsu指的是至少两个rsu。
21.在本实施例中，所有rsu装置都通过光纤与远程驾驶舱连接。
22.在本实施例中，如图5所示，所述车载摄像头2一共有5个，都为鱼眼摄像头，分布于车身前、后、左、右及车内部的车顶，用于采集车辆周围环境视频信息；在本实施例中，所述车载雷达3有12个，都为超声波雷达，分布于车身四周，用于采集车辆周围障碍物信息；在本实施例中，rsu装置与车载obu终端之间的v2x通信方式主要采取的是dsrc技术，dsrc（专用短程通信技术）是一种高效的短程无线通信技术，dsrc拥有专属频段，位于5.9ghz频段的一段75mhz的带宽被划为dsrc专属的交通安全频谱。这与一些常见的其他通信协议有所不同。例如，wi
‑
fi、蓝牙和zigbee就是共享开放的2.4ghz频段，因此不会被当前区域内的其他信号干扰或者产生拥堵。它可以实现在特定小区域内对高速运动下的移动目标的识别和双向通信，实时传输图像、语音和数据信息，将车辆与路侧单元rsu进行连接。
23.在本实施例中，所述远程驾驶舱6包括含服务器61、控车信号采集器62、具有6自由度驾驶舱64（包括：方向盘、档位、油门、刹车、座椅）、显示器65等，其中：服务器61，用于接收网络信号并进行h264/h265格式的视频解码。
24.控车信号采集器62，其用于将操作员的驾驶操作进行串口采集，形成控车数据，然后转换成以太网信号传送给服务器61；显示器65，其用于对车端环境数据进行图像显示；6自由度驾驶舱64也叫六自由度驾驶模拟器，其用于模拟当前行驶状态信息，还用于输入车辆控制指令；6自由度驾驶舱包括模拟方向盘、档位、油门、刹车、座椅以及6自由度运动情况的机械结构。六自由度驾驶模拟器的下平台642安装在地面上，上平台641为运动平台，它由六只电动缸643支承，运动平台641与电动缸643的推杆646采用六个虎克铰645连接，电动缸643与固定基座644连接连接，六只电动缸为采用伺服电机驱动的电动缸。计算机控制系统通过协调控制电动缸643的行程，实现运动平台641的六个自由度的运动，即笛卡尔坐标系内的三个平移运动和绕三个坐标轴的转动。如图4所示。
25.基于上述条件，该系统可以实现远程驾驶功能，如说明书附图的图2、图5所示，该基于v2x的远程驾驶方法对应的流程如下：s1，车载obu终端1、车载摄像头2、车载雷达3之间通过车载以太网方式建立硬件物理数据传输连接。
26.s2，车载obu终端通过5个鱼眼摄像头2采集车辆四周以及驾驶室内的视频，并采用h264/h265编码格式进行视频编码，车载雷达3采集车辆周围障碍物信息；s3，车载obu终端1将采集到的车端环境数据组包；s4，车载obu终端1将组包后的车端环境数据按照10ms为时间周期，通过v2x方式发送车端环境数据给路侧rsu装置5；s5，rsu装置5接收车载obu终端1发送过来的车端环境数据，并转换为网络信号；s6，rsu装置5将车端环境数据传输给远程驾驶舱6；具体地，rsu装置5与远程驾驶舱6之间使用光纤建立有线连接，能够最大程度的降低数据传输延迟；
s7，服务器61将接收到的网络信号还原成视频和车辆的行驶信息，通过h264/h265解码格式进行视频解码，然后将5个摄像头2进行拼接，形成360
°
环形视野显示到显示器65界面上；具体来说是:显示器65将5个摄像头的影像进行拼接，形成前180
°
、后180
°
两个视野画面；s8、操作员根据显示器65显示的信息，在6自由度驾驶舱64进行挂档、拉电子手刹、踩油门、踩刹车、转方向盘等操作；控车信号采集器62将操作员的驾驶操作进行串口采集，然后转换成网络信号传送给服务器61；s9，所述服务器61将控车数据转换为网络信号后传输给路侧rsu装置5；s10，所述路侧rsu装置5通过v2x将网络信号透传给车载obu终端1，车载obu终端1控车数据通过车载以太网方式写入车辆控制装置4完成对车辆的实时操纵。所述车辆控制装置4中动力控制系统执行踩油门、能量回收操作；eps执行转向操作；epb执行电子手刹操作；ebooster、esc执行制动操作；其中，eps（electric power steering），即电动助力转向系统，它是指依靠电机提供辅助扭矩的动力转向系统；esc（electronic stability controller），即车身电子稳定控制系统，它是一种辅助驾驶者控制车辆的主动安全技术，esc主要对车辆纵向和横向稳定性进行控制，保证车辆稳定行驶；epb（electrical parking brake），即电子驻车系统，epb通过电子线路控制停车制动。功能同机械拉杆手刹。
27.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
28.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
29.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。