一种基于C-V2X的多传感器信息融合车辆检测方法

一种基于c-v2x的多传感器信息融合车辆检测方法
技术领域
1.本发明涉及车辆融合检测，涉及多传感器融合信息车辆检测，以车车通信补充现有多传感器融合检测模型。


背景技术：

2.21世纪以来，随着人工智能的不断发展与深入，自动驾驶作为人工智能领域的重要分支已经成为国内外的研究热点。而面向辅助驾驶的智能交通系统(intelligent transportation system，its)是解决目前交通问题的可行方案。
3.智能交通系统中，单车智能驾驶与互联自主驾驶技术上，目前自主驾驶有两种不同的实现路径：单车智能驾驶与互联自主驾驶。单车智能主要依靠车辆自身的视觉、毫米波雷达、激光雷达等传感器进行环境感知、计算决策和控制执行。互联自主驾驶是在现有单车驾驶的基础上，连接“人车路云”的交通参与要素，扩展和促进智能驾驶的能力提升，加速自主驾驶应用的成熟。在环境感知方面，它使车辆能够获得比单个车辆更多的信息，如非直瞄感知或解决容易受到恶劣环境影响的问题。单车智能感知一般只有300～500米，在计算和决策过程中，而c-v2x改进了车辆、车辆和道路之间的系统决策，解决了驾驶员超视距感知和视觉盲区等问题。
4.当前在车辆检测过程中多传感器融合大多采用摄像头、激光雷达、毫米波雷达中的任意两种传感器融合检测方法，旨在提高融合检测的速度、精度，但是当前的融合检测方法方法仍存在对于视觉盲区(障碍物遮挡，大雨大雪大雾等极端天气)和超视距感知的缺乏。


技术实现要素：

5.本发明为了解决现有问题，提出了一种基于c-v2x的多传感器融合检测车辆的模型，在原本激光雷达和摄像头融合检测基础上通过车车通信来补充，采用yolov4算法去对比训练模型，并通过改进的ds证据理论进行多传感器融合以减少检测误差，进一步提升车辆检测的准确率并解决视觉障碍(车辆被障碍物遮挡，视觉死角以及大雨大雪大风等极端天气)问题。
6.本发明采用如下技术方案：一种基于c-v2x的多传感器融合信息的车辆检测方法。车辆融合检测方法的具体流程为：获取激光雷达和摄像头采集的数据，对获取的图像数据和点云数据进行预处理，yolov4在深度图像和去噪图像两个训练集上分别进行训练，得到两个训练好的模型，通过判断深度图像目标边界框和去噪图像目标边界框交并比(iou)的大小，选择不同的融合策略，通过改进的ds证据理论进行融合，得到车辆检测融合结果，最后通过车车通信补充现有多传感器融合检测，输出准确性实时性较高的车辆检测结果。本发明方法的整体流程图如图所示，包括如下步骤：
7.步骤1：通过安装在车辆上的摄像头获得车辆的语义信息(即rgb图像)，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息(即激光雷达点云)；
8.步骤2：对于摄像头获取到的rgb图像和激光点云信息进行预处理；
9.步骤2.1：对于摄像头获取的rgb图像采用加权平均法进行去噪处理。
10.步骤2.2：将激光雷达和摄像头坐标进行精确校准和联合标定，然后将三维激光雷达点云帧投影到二维去噪图像平面上，形成稀疏的深度图。
11.步骤3：对预处理后的激光雷达点云图像进行深度补全，转换为密集深度图；
12.步骤4：使用yolov4目标检测算法对预处理后的图像进行车辆检测；
13.步骤4.1：使用yolov4目标检测算法对去噪后图像进行处理得到边界框信息和相应的置信度；
14.步骤4.2：使用yolov4目标检测算法对深度图像进行处理得到边界框信息和相应的置信度；
15.步骤5：对分别使用yolov4目标检测算法进行车辆检测的两种图像进行决策级融合，融合置信度机制原理是当感兴趣(iou)《0.5时，则不进行合并，认为检测不成功，进行丢弃，如若0.5《iou《0.8，则认为检测成功，将边界框交集作为检测结果，若0.8《iou《1，则认为检测成功，并将边界框的拓展区域作为新的检测区域，而后融合基于改进的ds证据理论进行融合；
16.步骤6：以车车通信补充现有多传感器系统，交互融合后的信息，解决视觉障碍问题。
17.本发明的创造性主要体现在：
18.本发明采用多传感器融合优势互补的方法弥补了单一传感器感知信息准确性较低的不足，以v2v通信补充现有多传感器系统，克服自主传感器系统的限制，从而提供更高的精度、更好的可靠性，融合感知到视觉感知范围外的车辆位置信息。将三维激光雷达点云通过深度补全方法转换为和图像具有相同分辨率的二维密集深度图，摄像头采集到的彩色图像进行去噪处理。然后将处理后的图像和密集深度图分别通过yolov4实时目标检测框架得到各自的车辆检测信息。最后，提出了决策级融合方法(基于改进的ds证据理论)将两者的检测结果进行融合，得到了最终的车辆检测结果，能有效提升车辆检测的实时性、准确性，鲁棒性。
附图说明
19.图1是本发明提出的方法总体流程图。
20.图2是本发明提出的车车通信流程图。
具体实施方式
21.以下结合说明书附图，对本发明的实施实例加以详细说明：
22.如图1所示，是本发明提出的方法总体流程图。一种基于c-v2x的多传感器信息融合车辆检测方法，该方法的具体实施过程如下：
23.步骤1：通过安装在车辆上的摄像头获得车辆的语义信息(即rgb图像)，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息(即激光雷达点云)；
24.步骤2：对于摄像头获取到的rgb图像和激光点云信息进行预处理；
25.步骤2.1：对于摄像头获取的rgb图像进行去噪处理。
26.步骤2.2：将激光雷达和摄像头坐标进行精确校准和联合标定，然后将三维激光雷达点云帧投影到二维去噪图像平面上，形成稀疏的深度图。
27.步骤3：对预处理后的激光雷达点云图像进行深度补全，转换为密集深度图；
28.步骤4：使用yolov4目标检测算法对预处理后的图像进行车辆检测；
29.步骤4.1：使用yolov4目标检测算法对去噪后图像进行处理得到边界框信息和相应的置信度；
30.步骤4.2：使用yolov4目标检测算法对深度图像进行处理得到边界框信息和相应的置信度；
31.步骤5：对分别使用yolov4目标检测算法进行车辆检测的两种图像进行决策级融合，融合基于改进的ds证据理论；
32.步骤6：以车车通信补充现有多传感器系统，交互融合后的信息，解决视觉障碍问题。
33.进一步地，步骤2的预处理包括图像去噪处理和将激光雷达三维图像转换为二维图像：
34.步骤2.1：摄像头采集到的图像在生成和传输的过程中会经常收到各种噪声的干扰从而使图像的质量降低，采用加权平均法对rgb图像进行灰度处理，将rgb进行加权平均计算形成性对应的灰度图像值。人体视觉下对三基色的敏感度分别是绿色、红色、蓝色，按照该式能够获得有效的灰度图像。
35.gray(i,j)＝0.289*r(i,j)0.568*g(i,j)0.104b(i,j)
36.按照上式可以看到设置参数分别为0.289，0.568，0.104，其中灰度化像素值为gray(i,j)；r，g，b分别为红、绿、蓝的像素值。经灰度处理可以提升效率。
37.步骤2.2：联合标定首先要得到激光雷达相对于相机的旋转和平移；
38.步骤2.2.1：获取相机内参可由官方ros标定工具提供的脚本autoware_camera_calibration获得；
39.步骤2.2.2：camera-lidar外参标定，通过图像和点云中的对应点来执行camera-lidar外参标定，使用rviz和image_view2包中的clicked_point和screenpoint。
40.进一步地，步骤3的深度补全具体方法如下：
41.深度补全方法基于两个假设：
42.1)认为距离相近的像素点有着相似的深度值；
43.2)认为相似的颜色区域具有相似的深度值；
44.对于深度未知的像素点，深度值dp为：
[0045][0046]
归一化因子wp为：
[0047]wp
＝σ
q∈ωgσd
(||p-q||)g
σi
(||i
p-iq||)
[0048]
其中g为高斯函数，p和q是像素点的坐标；i为图像的像素值；d为与图像对应的深度值；ω为高斯函数的核；σ1,σ2分别是颜色、距离的高斯函数的σ值。
[0049]
稀疏矩阵图通过深度补全方法形成密集矩阵图。
[0050]
进一步地，步骤5基于改进的ds证据理论进行决策级融合具体步骤如下：
[0051]
步骤5.1：将边界框进行融合，通过判断深度图像目标边界框和彩色图像目标边界框交并比(iou)的大小，选择不同的融合策略：当交并比小于0.5时，认为是2个独立的检测目标，不进行融合；交并比在0.5～0.8之间时，2组边界模型没有完全重合，将重叠区域作为最终目标区域；交并比在0.8～1之间时，2组边界模型基本上完全重合，此时认为所有的模型边界都是有效的，将边界框的扩展区域作为新的检测区域。
[0052]
步骤5.2：融合后边界框的置信度，以原始边界框相应的置信度为基准，通过改进的ds证据理论进行计算。算法具体流程如下。
[0053]
设θ为一辨识框架，且满足：
[0054]
m(φ)＝0
[0055][0056]
m:2
θ
→
[0,1],其中，2
θ
为θ的所有子集构成的集合，称m(a)为a的基本概率分配(bpa),也称mass函数。
[0057]
假设在辨识框架θ下有2个证据e1和e2：e1的基本概率赋值和焦元分别是m1和a1，a2，...ak；e2的基本概率赋值和焦元分别是m2和b1,b2,...,bk。根据dempster的组合规则，可以将上述证据进行融合。
[0058][0059]
反映了证据的冲突程度。
[0060]
步骤5.3:当dempster的组合规则被用来组合高冲突的证据时，可能会产生一个错误的结论。因此本发明采用murphy的改进方法以克服其局限性。该方法完全忽略了证据之间的冲突和联系，将各个证据的基本概率赋值求平均值，得到平均证据。然后利用ds证据理论组合规则对平均证据进行合成。计算过程如下。假设有n个证据，对证据进行平均，得到期望证据：
[0061][0062]
然后将利用ds证据理论对期望证据m迭代组合n-1次后的结果作为最终的合成结果。
[0063]
步骤6：获得上述融合结果后，v2x通信模块中的车载设备采用c-v2x模块，车车通信具体实现方法如图2所示。