远程驾驶监控视频画面调整方法与流程

1.本发明属于远程驾驶技术领域，具体涉及一种远程驾驶监控视频画面调整方法。


背景技术：

2.5g远程驾驶(5g remote driving)作为智能驾驶产业的一个分支，在无人驾驶技术尚不成熟的前提下，具有很高的应用价值和应用前景。无人驾驶车辆是融合环境感知、路径规划、状态识别和车辆控制等多元一体的集成化、智能化的新时代技术产物。无人驾驶车辆不但可以通过搭载的自动驾驶系统进行环境感知、道路规划达成无人驾驶的目的，也可以通过远程驾驶端对装备智能软件和多种感应设备的车辆进行云端操控实现无人驾驶。在无人驾驶技术中，以无人车为例，当无人车处于远程驾驶模式时，可以通过远程驾驶平台实时查看安装在无人车上的摄像头采集并上传的视频数据对应的视频画面，以对无人车进行驾驶操控。
3.远端控制室通过车辆终端实时传输的路况视频图像作为判断是否进行远程驾驶或远程控制汽车行驶的依据。由于车辆在道路上行驶时会在许多不同制式的网络覆盖范围内快速穿过，一些网络自身的特性不能满足车辆终端实时视频传输，会导致连接时间过长甚至连接中断。同时，由于行车条件的多变性、极端的天气状况、城市的高层建筑物等等，都会对信号传输造成影响。


技术实现要素：

4.本发明的目的在于，提供一种远程驾驶监控视频画面调整方法，解决远程驾驶对网络带宽要求高的问题。
5.本发明所采用的技术方案如下：
6.一种远程驾驶监控视频画面调整方法，远程被控车辆设有车载摄像机和车载网联终端obu，车载摄像机包括前视摄像机、后视摄像机、侧视摄像机和环视摄像机；前视摄像机用于采集远程被控车辆前方交通环境信息并将采集到的视频图像数据发送给obu；侧视摄像机用于采集远程被控车辆侧方交通环境信息并将采集到的视频图像数据发送给obu；后视摄像机用于采集远程被控车辆后方交通环境信息并将采集到的视频图像数据发送给obu；环视摄像机用于车辆泊车时采集车辆近距离360
°
范围内的视频数据信息并将采集到的视频图像数据发送给obu；然后obu对车载摄像机采集到的视频图像数据进行压缩上传；
7.启动远程驾驶模式后，车辆正常行驶，obu只上传前视摄像机采集到的视频图像数据；
8.当远程驾驶员准备向右进行变道时，打开车辆右转向灯，obu上传车辆右侧侧视摄像机采集到的视频图像数据；当远程驾驶员准备向左进行变道时，打开车辆左转向灯，obu上传车辆左侧侧视摄像机采集到的视频图像数据；
9.当车辆到达目的地准备停车时，启动泊车功能，obu上传车辆环视摄像机采集到的车辆周围360
°
范围内的视频图像数据；配备多个摄像机采集车辆周围360
°
范围内的视频图
像数据，相邻摄像机之间的视角存在重叠区域，对多个摄像机的视频图像进行拼接再上传。
10.进一步，车辆正常行驶时，上传前视摄像机和侧视摄像机采集到的视频图像数据或上传前视摄像机和侧视摄像机采集到的视频图像数据但降低侧视摄像机采集到的视频图像数据的清晰度。
11.进一步，相邻摄像机之间的视角存在40％～50％的重叠区域。
12.进一步，图像拼接包括：
13.将相邻两个摄像机同时采集到的两张图记为p
l
和pr；
14.首先对pr进行分割，将其中同p
l
重叠的区域和非重叠的区域分开，称重叠区域为p
r_pers
，非重叠区域为p
r_affine
；
15.对p
l
和p
r_pers
使用角点提取算法提取特征点，将特征点周围连续暗点或连续亮点的分布范围记为有效区间s，然后计算有效区间s特征点方向，特征点方向为特征点到s中间位置的连线的方向；
16.记角点提取算法中特征点周围共有h个待分类像素点，则特征点一共有2h种方向，包括指向待分类像素点的方向以及指向相邻待分类像素点中间位置的方向，并依据此方向分别将两张图片中提取的特征点分为2h个子集；
17.分别对匹配的特征点子集进行特征匹配，能够得到2h个匹配特征点集合，然后将所有匹配特征点统一到同一个集合中，通过匹配特征点集计算透视变换矩阵：假设p
r_pers
右边缘的一个点p经过变换之后的点为p
′
，p
′
的纵坐标位于图片垂直方向的正中央，那么就将p作为旋转变换的中心，将p和p
′
这两者水平差δw和垂直差δh作为平移变换的参数；同时计算p
r_pers
右边缘在变换前后的缩放比例k以及倾斜角θ；
18.使用以上获取到的五个参数：旋转变换的中心、水平差δw、垂直差δh、缩放比例k以及倾斜角θ，计算出一个变换矩阵；通过变换矩阵进行拼接，得到最终的宽视角图像。
19.本发明与现有技术相比，具有以下优点及有益效果：
20.不同驾驶模式下，上传不同摄像机采集到的视频数据，同时给出了视频拼接的方法，上传之前进行摄像机采集视频的重叠区域调整，提高上传视频中有效信息的比例，解决远程驾驶对网络上行带宽高要求问题。
附图说明
21.图1是车辆远程驾驶系统架构图；
22.图2是特征点方向图；
23.图3是基于特征点的图像拼接算法流程图；
24.图4是远程驾驶视频监控画面切换流程图。
具体实施方式
25.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
26.本发明实施例的智能驾驶系统包含车辆远程驾驶和自动驾驶两种驾驶模式，整个
系统包括：各类感知传感器、自动驾驶控制器、车载网联终端(obu)、调度云平台和移动控制端。感知传感器包括激光雷达、毫米波雷达、超声波雷达和车载摄像机，用于获取车辆行驶环境信息，并将信息发送给自动驾驶控制器；自动驾驶控制器根据获取的外部行驶环境信息控制车辆底盘执行器安全稳定行驶；obu用于发送本车行驶状态数据、接收v2x信息并转发给自动驾驶控制器以及转发跳读云平台下发的控制信息；调度云平台用于接收远程车辆反馈的行驶环境和行驶状态信息和发送远程驾驶控制信号；移动控制端用于用户操控车辆，图1为系统架构图。
27.本车的车载网联终端(obu)还可用于周围车辆的车载网联终端相连，以及与路边单元rsu相连，实现通信。
28.车载前视摄像机分为前视摄像机、后视摄像机、侧视摄像机和环视摄像机等四类摄像头；前视摄像机用于采集远程被控车辆前方交通环境信息并将采集到的视频图像数据发送给obu；侧视摄像机用于采集远程被控车辆侧方交通环境信息(相当于后视镜的作用)并将采集到的视频图像数据发送给obu；后视摄像机用于采集远程被控车辆后方交通环境信息(车辆倒车)并将采集到的视频图像数据发送给obu；环视摄像机用于车辆泊车时采集车辆近距离360
°
范围内的视频数据信息并将采集到的视频图像数据发送给obu；然后obu对车载摄像机采集到视频数据进行压缩上传。
29.当前，5g网络的理想上行带宽为125mbps，普通情况下为50～60mbps，车载摄像头的数据均大于等于200w像素，单个摄像头(200万像素)需求网络带宽＝1920*1080(分辨率)*16bit(每个像素大小)*25(帧率)＝830mbps，因此，需要先对采集到的视频信号进行编码处理，h.265编码方式，4个200万像素的摄像头采集的视频数据只需要8m上行带宽。
30.第一阶段远程驾驶模式启动，车辆处于d档正常行驶，如图4所示，此时远程驾驶员只需要看车辆前方和两侧视野，因此，在确保驾驶安全的前提下，为降低网络带宽需求和网络支出成本，obu只需要上传前视摄像机和侧视摄像机采集到的视频数据，甚至可以只上传前视摄像机采集到的车辆前方的视频数据或者降低侧视视频数据的清晰度。
31.第二阶段当远程驾驶员准备向右进行变道时，首先打开车辆右转向灯，此时obu上传车辆右侧侧视摄像机采集到的视频数据，当远程驾驶员准备向左进行变道时，首先打开车辆左转向灯，此时obu上传车辆左侧侧视摄像机采集到的视频数据，这种方案可以降低网络带宽需求和网络支付成本。
32.第三阶段当车辆到达目的地准备停车时，启动泊车功能，车辆上传车载环视摄像头采集到的车辆周围360
°
范围内的视频数据信息，为了满足驾驶人员对远程监控视频视角的需求，为此需要配备多个摄像机用来采集图像数据，同时为防止摄像机之间存在死角，相邻摄像机之间的视角要求存在40％～50％的重叠区域，但这种方案使得摄像机画面之间的边界并不连贯，降低了操作人员的操作体验，由于重叠区域的存在，也会降低视频中有效信息的比例，提高了传输的数据量，容易造成高延时，因此需要对重叠区域进行视频拼接，视频是由连续一帧帧图片组成的，即对连续上传的图片进行拼接就相当于对监控视频的拼接。
33.如图3所示，假设将相邻两个摄像机同时采集到的两张图记为p
l
(左图)和pr(右图)，分别从p
l
和pr中提取特征点集，其中图片中提取到的特征点集为u
l
，特征点数量为n
l
；图片pr中提取到的特征点集为ur，特征点数量为nr。首先对pr进行分割，将其中同p
l
重叠的区
域和非重叠的区域分割，称重叠区域为p
r_pers
，非重叠区域为p
r_affine
。对p
l
和p
r_pers
使用fast-9角点提取算法提取特征点(采集图片中的周围3～4半径上存在9个连续亮点或暗点的像素点)。将特征点周围连续暗点(比特征点颜色更深的像素点)或连续亮点(比特征点颜色更浅的像素点)的分布范围，记为有效区间s。然后通过计算s特征点粗略的方向，记该特征点方向为特征点到s中间位置的连线的方向，如图2所示。
34.由于fast角点提取算法中特征点周围3～4半径上共有16个待分类像素点(图2黄框标记的像素点)，所以特征点一共有32种可能的方向，包括指向待分类像素点的方向以及指向相邻待分类像素点中间位置的方向。并依据此方向可以分别将两张图片中提取的特征点分为32个子集。
35.u
l
＝{l1，l2，l3，...，l
32
}
36.ur＝{r1，r2，r3，...，r
32
}
37.分别对匹配的特征点子集进行特征匹配，能够得到32个匹配特征点集合，然后将所有匹配特征点统一到同一个集合中。通过匹配特征点集计算透视变换矩阵。假设p
r_pers
右边缘的一个点p经过变换之后的点为p
′
，p
′
的纵坐标位于图片垂直方向的正中央，那么就将p作为旋转变换的中心；将p和p
′
这两者水平差δw和垂直差δh作为平移变换的参数；同时计算p
r_pers
右边缘在变换前后的缩放比例k以及倾斜角θ。使用以上获取到的五个参数就可以计算出一个变换矩阵。通过变换矩阵进行拼接，即可得到最终的宽视角图像。
38.综上所述，本发明提供的车辆远程驾驶监控视频画面调整方法，不同驾驶模式下，上传不同摄像机采集到的视频数据，同时给出了视频拼接的方法，上传之前进行摄像机采集视频的重叠区域调整，提高上传视频中有效信息的比例，解决远程驾驶对网络上行带宽高要求问题。
39.本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。