一种视觉和成像毫米波雷达点云融合方法、系统和设备与流程

本技术涉及一种对目标检测跟踪的视觉和成像毫米波雷达点云融合方法、系统和设备，属于无人驾驶事件检测。

背景技术：

1、在无人驾驶领域的事件检测算法中，为了避免复杂路况、极端天气等因素对视频事件检测技术的不利影响，综合4d毫米波雷达和视频监控在事件检测技术领域的优势，将4d毫米波雷达探测技术与视频检测技术相融合，即雷视融合感知技术。

2、随着毫米波芯片技术的发展，应用于车载的毫米波雷达系统得到了大规模应用，4d毫米波雷达技术突破了传统车载雷达的局限性，可以以很高的分辨率同时探测目标的距离、速度、水平方位和俯仰方位，使得：

3、一、最远探测距离大幅可达300多米，比激光雷达和视觉传感器都要远。

4、二、4d毫米波雷达系统水平角度分辨率较高，通常可以达到1 的角度分辨率，可以区分 300m 处的两辆近车。

5、三、4d毫米波雷达系统可以测量俯仰角度，可达到优于2°的角度分辨率，可在150m 处区分地物和立交桥。

6、四、当有横穿车辆和行人，多普勒为零或很低时通过高精度的水平角和高精度的俯仰角可以有效识别目标。

7、五、目标点云更密集，信息更丰富，更适合与深度学习框架结合。

8、4d毫米波雷达另外还能够提供真实的路径规划，可以在300米以上的范围内创建道路的详细图像，捕捉和识别汽车周围物体的大小、位置和速度数据。

9、目前，在路端有基于雷视融合的交通流量采集、事件检测专业设备雷视一体机，但是相对于路端，车端进行雷视融合难度要明显增加，车端雷视融合要考虑自身车辆状态、复杂多变的道路、车辆遮挡等问题。现有的雷视融合大多使用深度学习确定识别目标、提取特征属性并跟踪运动轨迹，通过大量的数据对雷达和视频的ai模型进行融合训练，但无法取得很好的效果。也有在决策层进行雷视融合，但是融合过程没有充分利用到多个传感器的数据信息。

10、需要说明的是，上述信息仅用于加强对本技术的背景技术的理解，上述信息可以包括不属于本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本技术要解决的技术问题是现有的雷视融合大多使用深度学习确定识别目标、提取特征属性并跟踪运动轨迹，通过大量的数据对雷达和视频的ai模型进行融合训练，但无法取得很好的效果。

2、为了解决上述技术问题，本技术的技术方案是提供了一种视觉和成像毫米波雷达点云融合方法，对目标检测跟踪，包括以下步骤：

3、s1、获取4d毫米波雷达点云、图像数据和车身信息数据；

4、s2、建立图像检测节点，图像检测节点获取图像数据，处理后得到目标2d检测框坐标、id、置信度、类别和检测框变化速度数据；

5、s3、建立点云处理节点，点云处理节点获得图像数据、4d毫米波雷达点云、图像检测节点的数据和车身信息数据，选出在检测框内的点云并聚类点云，计算每团点云的2d框大小和图像检测框的大小，计算交并比，得到与检测框有关联的点云和没有关联的点云；

6、s4、建立ukf节点，ukf节点获得点云处理节点的数据，计算每个量测点概率得到加权结果，使用检测框关联目标，使用无迹卡尔曼滤波进行预测滤波；对有框无点和有点无框的目标设置波门，将航迹与波门内点关联，更新目标信息。

7、优选的，步骤s2中，图像检测节点获取图像数据，以yolox-x模型为权重检测并跟踪目标，得到目标2d检测框坐标值（t,l,w,h），检测框变化速度(vt,vl,va,vh)，目标类别label，目标置信度score，和目标跟踪id；其中，像素坐标系是图像左上角为坐标原点建立的坐标系，t是检测框的横坐标，l是纵坐标，w是宽，h是高，vt是横坐标变化速度，vl是纵坐标变化速度，va是宽/高比变化速度，vh是高度变化速度。

8、优选的，步骤s3中，点云处理节点获取图像数据、4d毫米波雷达点云、图像检测节点的数据和车身信息数据；通过车身信息数据提供的车身速度、俯仰角、翻滚角、相对速度算得目标对地速度，利用相邻帧时间差和检测框变化速度对检测框大小进行补偿，得到实时的检测框坐标，然后选出所有投影到2d平面后在检测框内的点云；

9、对得到的点云以dbscan方式聚类，聚类过程如下：

10、s31、确定两个参数：epsilon：在一个点周围邻近区域的半径；minpts：邻近区域内至少包含点的个数；

11、s32、任意选择一个点，计算它的密度空间判断是否为核点；如果是，在该点周围建立一个类，否则，设定为外围点；

12、s33、遍历其他点，直到建立一个类；把直接密度可达的点加入到类中，接着把密度可达的点也加进来；如果标记为外围的点被加进来，修改状态为边缘点；

13、s34、重复步骤s32和s33，直到所有的点满足在类中或者为外围点；

14、s35、利用轮廓函数对算法进行评估，得出最优参数；然后计算每一团点云投影到2d平面后的矩形框，再获得每个检测框的边界，计算点云矩形框与检测框的交并比；

15、对于每团点云，选择具有最大交并比的检测框，将检测框信息与这团点云关联，输出坐标、速度、id、label、score信息；对于交并比为0的点云，只输出坐标和速度信息。

16、优选的，步骤s4中，ukf节点获取点云处理节点的数据，处理过程如下：

17、s41、初始化目标，将有id且id相同的一团点云初始化为一个目标，量测值为init_x，init_y，init_v，分别表示点云中最近点的横坐标、纵坐标和相对速度；

18、s42、对于无迹变换，就是在原状态分布中，按照规则选取一定的采样点；将这些采样点带入非线性函数中，得到非线性函数值点集，通过这些点集求取变换后的均值和协方差；这里选取2l+1（）个点和对应权重，计算方法如下：

19、

20、i=1,…,l

21、i=l+1,…,2l

22、

23、

24、i=1,…,2l

25、x_sig表示6行2l+1列的矩阵，x_sig的第i列为：

26、]

27、其中表示求期望时第1个点的权值，表示求方差时第1个点的权值，表示求期望时第i个点的权值，表示求方差时第i个点的权值，是状态向量，是状态协方差矩阵，是一个尺度参数，取很小正值，k一般取0，对于高斯分布取2最优，中i表示取矩阵的第i行， p_x，，，p_y,,分别表示横坐标、沿x方向速度，沿x方向加速度、纵坐标、沿y方向速度，沿y方向加速度；

28、s43、ukf的预测采用ca模型，包括p_x，，，p_y,,六个状态值，为相邻帧时间差，状态转移函数如下：

29、

30、

31、

32、

33、

34、

35、其中，xp、yp、、、、分别表示预测后的横坐标、纵坐标、沿x方向速度、沿y方向速度、沿x方向加速度、沿y方向加速度；

36、s44、量测方程为：

37、

38、

39、

40、若；

41、其中z_xp、z_yp、z_vp分别表示预测的量测值的横坐标、纵坐标、速度；

42、s45、对于有id的点云都与相同id的航迹关联，否则关联没有id且在波门内的点；

43、s46、对于关联的点计算每个点的概率，然后得到加权结果作为量测值，概率计算系数公式如下：

44、)

45、) (j=1,2...,n)

46、=[,,]-[z_xp,z_yp,z_vp]

47、=

48、其中，n为量测点的个数，表示其中一个点的概率；b取极小的值可为0，,,分别表示其中一个量测点的横坐标、纵坐标、速度，表示量测值与预测值信息，s为带有噪声的预测量测值的协方差矩阵；

49、s47、无迹卡尔曼滤波更新过程的部分公式如下：

50、

51、

52、

53、其中，k是卡尔曼增益，pxpzp是预测状态值与预测量测值协方差矩阵，x是更新后的状态值向量，xp是更新前的状态值向量，z是当前量测值向量，zp是预测量测值向量，p是更新后协方差矩阵，pp是更新前协方差矩阵，

54、s48、得到更新后目标的信息。

55、本技术还提供了一种视觉和成像毫米波雷达点云融合的检测系统，其特征在于，用于实现权利要求1所述的视觉和成像毫米波雷达点云融合方法，包括采集模块、图像检测计算节点、点云处理计算节点以及ukf计算节点；

56、采集模块包括图像传感器、4d毫米波雷达以及车身信息传感器；图像传感器、4d毫米波雷达以及车身信息传感器均设于车身上；图像传感器获取图像数据，4d毫米波雷达获取点云，车身信息传感器获取车身信息数据，包括车身速度、俯仰角、翻滚角、相对速度；

57、图像检测计算节点获取图像数据，计算得到目标2d检测框坐标、id、置信度、类别和检测框变化速度数据；

58、点云处理计算节点获得图像数据、4d毫米波雷达点云、图像检测计算节点的数据和车身信息数据，选出在检测框内的点云并聚类点云，计算每团点云的2d框大小和图像检测框的大小，计算交并比，得到与检测框有关联的点云和没有关联的点云；

59、ukf计算节点获得点云处理计算节点的数据，计算每个量测点概率得到加权结果，使用检测框关联目标，使用无迹卡尔曼滤波进行预测滤波；对有框无点和有点无框的目标设置波门，将航迹与波门内点关联，更新目标信息。

60、本技术还提供了一种视觉和成像毫米波雷达点云融合的检测设备，包括：

61、处理器，存储器，所述存储器中存储有处理器的可执行指令；

62、所述处理器配置为执行所述可执行指令来执行上述的视觉和成像毫米波雷达点云融合方法的步骤。

63、本技术优点在于，本技术提供的检测方法、系统和设备，将图像传感器、4d毫米波雷达以及车身信息传感器获得的数据高度融合。摄像头能够检测交通参与者类型，比如车辆、行人和骑行者，缺点是定位精度不高，且受天气和光照强度的影响较大。毫米波雷达能够准确地检测目标的位置、速度等信息并且不受天气状态的干扰，覆盖范围大，综合性价比高；缺点是横向精度较低，且无法精确区分目标类型。4d毫米波雷达相比传统毫米波雷达对一个目标可以检测多个点，可以获得更多信息。本技术提供的检测方法、系统和设备将图像传感器与4d毫米波雷达数据在决策层前融合，更多地利用传感器的数据信息，得到更好的跟踪效果。