一种车辆远程驾驶视频传输方法及系统与流程

本发明属于车辆远程驾驶领域，具体涉及一种车辆远程驾驶视频传输方法及系统。

背景技术：

1、在某些复杂场景中，例如在矿区、港口等，远程驾驶代替自动驾驶车辆做出决策，可以提高自动驾驶的安全性和可靠性，减少交通事 故和人员伤亡；甚至在自动驾驶车辆出现问题时，驾驶员能及时接管，可以消除车辆异常，改变车辆失控状态，避免车辆伤害到行人和其他车辆。

2、远程驾驶主要依赖于车身周围的摄像头获取四周环境视频，通过无线通信传输到远程驾驶控制室，驾驶员根据视频信息判断路况及时控制车辆。

3、比如申请号：202021639323.2公开了一种5g远程驾驶系统，该文件涉及驾驶系统本体和辅助系统，该文件的驾驶系统本体包括座椅底盘、方向盘、高频振动座椅、画面显示屏、扬声器和控制模块，该文件的辅助系统包括5g基站、信息采集模块、信息接收模块、目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块和整合模块。该文件的5g远程驾驶系统，通过驾驶系统本体和座椅底盘的结构，用于接收车辆的车辆姿态信息，并模拟车辆姿态信息进行姿态转动，该文件通过方向盘和高频振动座椅的结构，用于模拟还原实车驾驶振动。

4、虽然上述文件实现了远程驾驶控制，但是在远程监控和驾驶的过程中，由于网络延时存在，可能出现远程驾驶员无法及时获取到清晰的视频信息的情况，从而导致无人驾驶设备存在安全隐患。所以，如何能够有效地提高视频传输的效率，则是一个亟待解决的问题。

技术实现思路

1、为了降低通信延迟问题，本发明提供一种车辆远程驾驶视频传输方法，方法通过ffmpeg将视频编码成h.265改善码流和编码质量，然后采用rtsp视频流和5g网实现视频实时传输，可提高视频清晰度、系统兼容性和传输速率稳定性。

2、方法包括：

3、s1、车载控制器通过车载摄像头获取车辆周围的rgb视频信号，将rgb视频信号转换成yuv420p信号；

4、s2、ffmpeg 编码器对yuv420p信号进行h.26压缩编码，在编码数据中添加udp 报文头，并封装成rtp文件；

5、s3、建立rtsp信息交互，并将rtp文件以rstp数据流的方式发送给服务器，服务器将接收到rstp数据流转发到驾驶舱控制器；

6、s4、驾驶舱控制器对rstp数据流进行解码，并通过显示屏显示车辆四周视频信息。

7、进一步需要说明的是，步骤s1中还包括如下步骤：车载摄像头通过 gmsl2 四合一协议接口与车载控制器连接。

8、进一步需要说明的是，步骤s1中每一路车载摄像头输入信号进入车载控制器后，通过解串器解串成 mipi-csi2信号后输入到车载控制器的soc系统。

9、进一步需要说明的是，步骤s1中，soc系统通过ros开源元操作系统获取 rgb视频信号，并通过 opencv模块将 rgb 视频图像转换成 yuv420p 信号。

10、进一步需要说明的是，步骤s2还包括如下步骤：

11、在 soc 系统中安装 ffmpeg插件，并注册 ffmpeg所有编码器，初始化码流数据，设置编码的参数和格式，将 yuv420p 像素数据转换 到编码需要的 avframe 结构体中，并将 avframe 结构体中存储的 yuv像素数据编码成 h.265 格式的码流数据，将编码数据添加 udp 报文头，再分片打包成rtp文件。

12、进一步需要说明的是，步骤s3具体包括如下步骤：

13、建立服务器和驾驶舱控制器之间的请求，并响应rstp数据流连接，在5g专网下车载控制器首先通过 socket（）函数初始化 socket 对象并设置参数，然后connect（）函数连接指定ip地址的服务器；

14、将封装的rstp数据流通过 send（）函数推送到远程的服务器；

15、服务器处于监听模式，当检测到接收端口信息后接收rtsp数据流并转发到驾驶舱控制器中。

16、进一步需要说明的是，s4 还包括如下步骤：

17、驾驶舱控制器接收到服务器转发的rstp数据流，通过vlc media player 拉流视频数据，解码压缩数据流数据并在驾驶舱显示屏展示车辆四周的实时视频。

18、本发明还提供一种车辆远程驾驶视频传输系统，系统包括：车载控制器、车载摄像头、编码器、服务器、驾驶舱控制器以及显示屏；

19、车载控制器通过车载摄像头获取车辆周围的rgb视频信号，将rgb视频信号转换成yuv420p信号；

20、编码器用于对yuv420p信号进行h.26压缩编码，在编码数据中添加udp 报文头，并封装成rtp文件；

21、车载控制器还用于建立rtsp信息交互，并将rtp文件以rstp数据流的方式发送给服务器，服务器将接收到rstp数据流转发到驾驶舱控制器；

22、驾驶舱控制器用于对rstp数据流进行解码，并通过显示屏显示车辆四周视频信息。

23、进一步需要说明的是，系统还包括：gmsl2 四合一协议接口以及储存器；车载摄像头采用四路车载摄像头相机；车载控制器配置有soc系统；储存器存储有soc系统、ros开源元操作系统、opencv模块以及ffmpeg插件；

24、四路车载摄像头相机通过 gmsl2 四合一协议接口连接车载控制器，每一路摄像头输入信号进入车载控制器后，通过解串器解串成 mipi-csi2 后输入到车载控制器的soc系统。

25、从以上技术方案可以看出，本发明具有以下优点：

26、本发明能够对车辆周围的视频信息及时处理并传输给驾驶舱控制器，进行实时显示，方便驾驶员和监控人员进行观看，有效的提升车辆驾驶的安全性。还能够对视频信号高效率地收集、存储，并进行传输，可以基于车辆行驶状态以及车辆周围环境状态实现实时观测，使用多维空间描述整个驾驶过程。及时发现在车辆行驶过程中的安全隐患，优选地可以进行预警，以提高车辆行驶过程的安全性，降低车辆驾驶风险，从而实现车辆驾驶全过程监督和控制的及时性和科学性。

技术特征：

1.一种车辆远程驾驶视频传输方法，其特征在于，方法包括：

2.根据权利要求1所述的车辆远程驾驶视频传输方法，其特征在于，步骤s1中还包括如下步骤：车载摄像头通过 gmsl2 四合一协议接口与车载控制器连接。

3.根据权利要求2所述的车辆远程驾驶视频传输方法，其特征在于，步骤s1中每一路车载摄像头输入信号进入车载控制器后，通过解串器解串成 mipi-csi2信号后输入到车载控制器的soc系统。

4.根据权利要求3所述的车辆远程驾驶视频传输方法，其特征在于，步骤s1中，soc系统通过ros开源元操作系统获取 rgb视频信号，并通过 opencv模块将 rgb 视频图像转换成yuv420p 信号。

5.根据权利要求3所述的车辆远程驾驶视频传输方法，其特征在于，步骤s2还包括如下步骤：

6.根据权利要求1所述的车辆远程驾驶视频传输方法，其特征在于，步骤s3具体包括如下步骤：

7.根据权利要求1所述的车辆远程驾驶视频传输方法，其特征在于，

8.一种车辆远程驾驶视频传输系统，其特征在于，系统采用如权利要求1至7任意一项所述的车辆远程驾驶视频传输方法；

9.根据权利要求8所述的车辆远程驾驶视频传输系统，其特征在于，

技术总结
本发明提供一种车辆远程驾驶视频传输方法及系统，属于车辆远程驾驶领域，车载控制器通过车载摄像头获取车辆周围的RGB视频信号，将RGB视频信号转换成YUV420P信号；FFmpeg编码器对YUV420P信号进行H.26压缩编码，在编码数据中添加UDP报文头，并封装成RTP文件；建立RTSP信息交互，并将RTP文件以RSTP数据流的方式发送给服务器，服务器将接收到RSTP数据流转发到驾驶舱控制器；驾驶舱控制器对RSTP数据流进行解码，并通过显示屏显示车辆四周视频信息。本发明可以实时观察车辆周围环境，保证远程驾驶车辆的安全行驶。

技术研发人员：张跃,田磊,杨孟,韩孝雷,赵玉超
受保护的技术使用者：中国重汽集团济南动力有限公司
技术研发日：
技术公布日：2024/1/13