基于多信息融合的车辆追踪方法、装置及系统与流程

1.本发明涉及智能汽车技术领域，尤其涉及一种基于多信息融合的车辆追踪方法、基于多信息融合的车辆追踪装置及基于多信息融合的车辆追踪系统。


背景技术：

2.近年来，随着汽车行业的快速发展，智能汽车已经成为汽车产业布局的主要方向，其中，车辆追踪作为汽车环境感知的一项重要功能，对于后续的决策规划和运动控制具有重要作用。
3.现有技术一般多集中于纯视觉或毫米波雷达的单传感器的车辆追踪方法。例如，在视觉方面，如公开号为cn109344712a、发明名称为一种道路车辆跟踪方法的发明专利申请，其主要公开了使用双目视觉光流方法对车辆进行追踪；又如公开号为cn112766038a、发明名称为一种根据图像识别的车辆跟踪方法的发明专利申请，其主要公开了使用两个图像传感器单元对目标进行采集与比对，实现追踪。
4.而在毫米波雷达方面，如公开号为cn112034445a、发明名称为基于毫米波雷达的车辆运动轨迹跟踪方法和系统的发明专利申请，其主要公开了使用毫米波雷达提供的距离、方位角和径向速度等信息引入粒子滤波算法对车辆进行追踪；又如公开号为cn112098990a、发明名称为车载高分辨毫米波雷达对于中高速车辆的检测与跟踪方法的发明专利申请，其主要公开了利用两个不同配置的子帧交替运行，并使用基于卡尔曼滤波的跟踪算法实现目标的检测及追踪。
5.申请人通过研究发现，以上无论是毫米波雷达还是视觉识别都各自存在一定的局限性，如相机受天气、光照条件影响大，且无法探测距离信息，毫米波雷达无法测量目标的形状和大小，单独使用都不能获得对周围环境的更准确描述，导致跟踪错误和丢失，从而引发交通事故。另外，以上这些技术使用的滤波方法，存在以下缺点：(1)对于目标遮挡、形变以及运动模糊等抗干扰能力弱；(2)执行速度慢，通常每秒处理十帧，无法满足实时性的要求。
6.综上，如何能够提供一种提升车辆追踪效果的方法成为本领域技术人员亟待解决的技术问题。


技术实现要素：

7.本发明提供了一种基于多信息融合的车辆追踪方法、基于多信息融合的车辆追踪装置及基于多信息融合的车辆追踪系统，解决相关技术中存在的车辆追踪效果差的问题。
8.作为本发明的第一个方面，提供一种基于多信息融合的车辆追踪方法，其中，包括：
9.分别获取目标车辆的初始点云数据和视觉图像信息，其中所述初始点云数据为标定后的毫米波雷达采集到的目标车辆的点云数据，所述视觉图像信息为标定后的视觉采集装置采集到的目标车辆的图像信息；
10.对所述初始点云数据进行聚类处理后得到雷达检测框，以及对所述视觉图像信息进行目标检测处理后得到视觉检测框；
11.将所述雷达检测框与所述视觉检测框进行融合，并根据融合结果确定主融合目标；
12.对所述主融合目标进行优化处理，得到目标车辆的追踪结果。
13.进一步地，对所述初始点云数据进行聚类处理后得到雷达检测框，包括：
14.根据dbscan算法对所述初始点云数据进行聚类处理，得到初始聚类结果；
15.根据极端学生化偏差异常检测算法对所述初始点云数据的聚类结果进行异常点检测，得到最终聚类结果；
16.对所述最终聚类结果生成包围框，得到雷达检测框。
17.进一步地，对所述视觉图像信息进行目标检测处理后得到视觉检测框，包括：
18.根据视觉算法评测数据集训练图像检测模型；
19.将所述图像检测模型作为视觉检测头对目标区域进行检测，得到视觉检测框。
20.进一步地，将所述雷达检测框与所述视觉检测框进行融合，并根据融合结果确定主融合目标，包括：
21.将所述雷达检测框映射到所述视觉图像信息所对应的图像坐标空间，得到映射检测框；
22.将所述视觉检测框与所述映射检测框进行融合，并计算所述视觉检测框与所述映射检测框的融合交并比；
23.若所述融合交并比大于预设阈值，则将所述视觉检测框与所述映射检测框的融合结果确定为主目标；
24.若所述融合交并比不大于预设阈值，则将所述视觉检测框作为第一次目标，以及将所述映射检测框作为第二次目标；
25.分别将所述主目标、第一次目标和第二次目标与所述目标车辆的已有行驶轨迹进行最近邻数据关联处理，并根据关联结果确定所述主融合目标。
26.进一步地，分别将所述主目标、第一次目标和第二次目标与所述目标车辆的已有行驶轨迹进行最近邻数据关联处理，并根据关联结果确定所述主融合目标，包括：
27.根据所述目标车辆在当前时刻之前的所有行驶轨迹数据确定轨迹管理器；
28.将所述主目标、第一次目标和第二次目标均与所述轨迹管理器进行目标匹配；
29.若与所述轨迹管理器进行目标匹配的目标满足第一预设条件，则确定该目标为所述主融合目标，其中所述第一预设条件包括：所述目标为所述主目标且与所述轨迹管理器存在关联目标，或者，所述目标为所述第一次目标和/或所述第二次目标，且与所述轨迹管理器存在关联目标；
30.若与所述轨迹管理器进行目标匹配的目标满足第二预设条件，则丢弃该目前，其中所述第二预设条件包括：所述目标不是所述主目标，且与所述轨迹管理器不存在关联目标；
31.若与所述轨迹管理器进行目标匹配的目标满足第三预设条件，则结束对当前目标车辆的追踪，其中所述第三预设条件包括：所述目标为所述主目标，且与所述轨迹管理器不存在未关联上的新目标；
32.若与所述轨迹管理器进行目标匹配的目标满足第四预设条件，则将与所述轨迹管理器之间未关联上的新目标加入所述轨迹管理器，其中所述第四预设条件包括：所述目标为所述主目标，且与所述轨迹管理器存在未关联上的新目标。
33.进一步地，对所述主融合目标进行优化处理，得到目标车辆的追踪结果，包括：
34.将所述主融合目标输入至卡尔曼滤波器进行迭代处理，得到目标车辆的追踪结果；
35.根据所述目标车辆的追踪结果更新所述目标车辆的当前状态。
36.进一步地，根据所述目标车辆的追踪结果更新所述目标车辆的当前状态，包括：
37.计算卡尔曼滤波器的滤波增益；
38.根据所述滤波增益对所述目标车辆的追踪结果进行加权，以更新所述目标车辆的当前状态；
39.更新卡尔曼滤波器的误差协方差矩阵，其中更新后的目标车辆的当前状态和更新后的误差协方差矩阵用于下一次的卡尔曼滤波。
40.进一步地，还包括在所述分别获取目标车辆的初始点云数据和视觉图像信息的步骤前进行的：
41.根据视觉检测装置坐标系与毫米波雷达坐标系的转换关系、视觉检测装置坐标系与图像坐标系的转换关系以及毫米波雷达坐标系与图像坐标系的转换关系，对毫米波雷达和视觉检测装置进行联合标定。
42.作为本发明的另一个方面，提供一种基于多信息融合的车辆追踪装置，其中，包括：
43.获取模块，用于分别获取目标车辆的初始点云数据和视觉图像信息，其中所述初始点云数据为标定后的毫米波雷达采集到的目标车辆的点云数据，所述视觉图像信息为标定后的视觉采集装置采集到的目标车辆的图像信息；
44.数据处理模块，用于对所述初始点云数据进行聚类处理后得到雷达检测框，以及对所述视觉图像信息进行目标检测处理后得到视觉检测框；
45.融合模块，用于将所述雷达检测框与所述视觉检测框进行融合，并根据融合结果确定主融合目标；
46.优化处理模块，用于对所述主融合目标进行优化处理，得到目标车辆的追踪结果。
47.作为本发明的另一个方面，提供一种基于多信息融合的车辆追踪系统，其中，包括：视觉检测装置、毫米波雷达和前文所述的基于多信息融合的车辆追踪装置，所述视觉检测装置和所述毫米波雷达均与所述基于多信息融合的车辆追踪装置通信连接，所述视觉检测装置用于实时采集目标车辆的图像信息，所述毫米波雷达用于实时采集目标车辆的点云数据，所述基于多信息融合的车辆追踪装置用于根据所述目标车辆的图像信息和目标车辆的点云数据进行融合处理，得到目标车辆的追踪结果。
48.本发明提供的基于多信息融合的车辆追踪方法，通过毫米波雷达采集到的目标车辆的点云数据与视觉图像采集装置采集到的目标车辆的图像信息进行融合处理，确定主融合目标，进而确定目标车辆的追踪结果，该基于多信息融合的车辆追踪方法能够提高追踪结果的鲁棒性及抗干扰能力，因而能够有效提升追踪效果。
附图说明
49.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
50.图1为本发明提供的基于多信息融合的车辆追踪方法的流程图。
51.图2为本发明提供的雷达摄像头空间位置示意图。
52.图3为本发明提供的基于多信息融合的车辆追踪方法的具体实施过程流程图。
53.图4为本发明提供的基于多信息融合的车辆追踪装置的结构框图。
54.图5为本发明提供的基于多信息融合的车辆追踪系统的结构框图。
具体实施方式
55.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
56.为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
57.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
58.当前，现有技术中针对目标车辆的追踪，存在追踪错误或者追踪实时性差等，从而影响追踪效果，针对当前的目标车辆追踪的追踪效果差的问题，在本发明实施例中提供了一种基于多信息融合的车辆追踪方法，图1是根据本发明实施例提供的基于多信息融合的车辆追踪方法的流程图，如图1所示，包括：
59.s100、分别获取目标车辆的初始点云数据和视觉图像信息，其中所述初始点云数据为标定后的毫米波雷达采集到的目标车辆的点云数据，所述视觉图像信息为标定后的视觉采集装置采集到的目标车辆的图像信息；
60.在本发明实施例中，针对毫米波雷达和视觉采集装置进行时间和空间的校准之后，所述毫米波雷达采集目标车辆的点云数据形成初始点云数据，所述视觉采集装置采集目标车辆的图像信息形成视觉图像信息。
61.s200、对所述初始点云数据进行聚类处理后得到雷达检测框，以及对所述视觉图像信息进行目标检测处理后得到视觉检测框；
62.在本发明实施例中，对初始点云数据可以采用dbscan聚类以及极端学生化偏差算法相结合的方式进行聚类处理，得到雷达检测框；而针对视觉图像信息通过进行训练得到的训练ssd(single shot multibox detector，通用物体检测)图像检测模型进行目标检测处理，得到视觉检测框。
63.s300、将所述雷达检测框与所述视觉检测框进行融合，并根据融合结果确定主融
合目标；
64.在本发明实施例中，将雷达检测框与视觉检测框进行融合后，通过融合后的结果需要进行进一步的分析以确定主融合目标，在确定了主融合目标之后，只针对主融合目标进行卡尔曼滤波处理，以确定目标车辆的跟踪结果。
65.s400、对所述主融合目标进行优化处理，得到目标车辆的追踪结果。
66.在获得目标车辆的追踪结果后，对目标车辆的状态进行更新，以进行下一次的追踪。
67.本发明实施例提供的基于多信息融合的车辆追踪方法，通过毫米波雷达采集到的目标车辆的点云数据与视觉图像采集装置采集到的目标车辆的图像信息进行融合处理，确定主融合目标，进而确定目标车辆的追踪结果，该基于多信息融合的车辆追踪方法能够提高追踪结果的鲁棒性及抗干扰能力，因而能够有效提升追踪效果。
68.需要说明的是，在本发明实施例中，所述视觉检测装置具体可以为摄像头。
69.具体地，如前文所述，在获取初始点云数据和视觉图像信息前，需要对毫米波雷达和视觉检测装置进行标定。
70.在本发明实施例中，所述方法还包括在所述分别获取目标车辆的初始点云数据和视觉图像信息的步骤前进行的：
71.根据视觉检测装置坐标系与毫米波雷达坐标系的转换关系、视觉检测装置坐标系与图像坐标系的转换关系以及毫米波雷达坐标系与图像坐标系的转换关系，对毫米波雷达和视觉检测装置进行联合标定。
72.图2所示为雷达摄像头空间位置示意图。其中，o
w-xyz表示世界坐标系，以描述视觉采集装置即相机的位置；o
r-xryrzr表示毫米波雷达坐标系，原点or为雷达的扫描中心；o
c-xcyczc为摄像头坐标系，坐标原点为摄像头的光学中心，zc轴与摄像机光轴重合，且以摄像的方向为zc轴正向，相机的焦距为f,p点坐标为(xc,yc,zc)。o-uv表示图像坐标系，其中x
{c
′
}
轴、y
{c
′
}
轴分别与图像像素坐标系的u、v轴平行，图像像素坐标系o-uv的坐标原点为图像的左上角，u、v分别表示每个像素在数字图像中的列数和行数。
73.各坐标系转换关系如下：
74.(1)摄像头坐标系与毫米波雷达坐标系关系：
[0075][0076]
其中：r＝r
xryrz
,t＝[t
x t
y tz]
t
,
[0077][0078][0079]
r表示旋转矩阵，即表示两个坐标系之间的角位移关系；α、β、γ分别表示毫米波雷
达坐标系在摄像头坐标系中沿xc、yc、zc轴方向的偏转角度；t表示平移矩阵，即表示两坐标系之间相对位置关系。
[0080]
(2)摄像头坐标系与图像坐标系关系：摄像头将物点p成像到像素平面上p
′
点，关系如下：
[0081][0082]
其中分别表示xc′
轴和yc′
轴方向上的等效焦距。
[0083]
(3)毫米波雷达坐标系与图像坐标系关系：
[0084][0085]
在本发明实施例中，为了提高追踪结果的抗干扰能够力，对所述初始点云数据进行聚类处理后得到雷达检测框，包括：
[0086]
s210、根据dbscan算法对所述初始点云数据进行聚类处理，得到初始聚类结果；
[0087]
s220、根据极端学生化偏差异常检测算法对所述初始点云数据的聚类结果进行异常点检测，得到最终聚类结果；
[0088]
s230、对所述最终聚类结果生成包围框，得到雷达检测框。
[0089]
具体地，使用dbscan聚类以及极端学生化偏差算法对初始点云信息进行杂波滤波。对各聚类结果生成包围框，产生毫米波雷达粗检测结果。
[0090]
在本发明实施例中，dbscan聚类算法的具体实现过程包括：
[0091]
1)首先根据预先确定聚类参数eps和minpts对某个未处理的点进行判断，若其eps邻域内数据点数量大于minpts，则标记为核心点，并标记上对应的点群编号，同时将其eps邻域内所有点标记为同一点群编号；若其半径eps内数据点数量小于minpts，但是该点落在某核心点的eps邻域内，则称之为边界点，一个边界点可能同时落入一个或多个核心点的eps邻域；若其eps邻域内数据点数量小于minpts，则将该点标记为噪声点，处理下一个点；
[0092]
2)然后对该点邻域内点处理，各自判断是否为核心点，并将其中属于核心点的数据点的eps邻域内点加入对应的点群中并进行核心点判断；
[0093]
3)以步骤2)的方式不断扩张，直到该点群内所有点都处理完毕，从而得到一个包含核心点和边界点的最大化的点群。
[0094]
4)之后再寻找下一个点群，重复步骤1)～3)，依次类推处理完毕所有数据点，则聚类完成，输出的每个数据点都标记上相应的点群编号或噪声点。
[0095]
极端学生化偏差异常检测算法的具体实现过程包括：
[0096]
设各聚类点云簇为y，其中有n个点云样本，yi为其中第i个点云样本(观测值)，为点云均值，s为标准差，首先计算与均值偏离最远的残差，1≤j≤k,删去使得|y
i-y|最大化的观测值。然后，用n-1个观测值重新计算ri，得到检验检验统计量序列，
再计算对应临界值：
[0097][0098]
其中t
{p,v}
表示具有ν自由度的t分布的值，α表示事先确定的一个可允许的作为判断界限的小概率标准，可设0.05。
[0099]
若r_j》λ_j，该样本点为异常点。
[0100]
在本发明实施例中，对所述视觉图像信息进行目标检测处理后得到视觉检测框，包括：
[0101]
根据视觉算法评测数据集训练图像检测模型；
[0102]
将所述图像检测模型作为视觉检测头对目标区域进行检测，得到视觉检测框。
[0103]
应当理解的是，在kitti数据集上训练ssd图像检测模型，加入正负样本参与训练，测试阶段误检的作为难例再次投入训练。将训练后的模型作为视觉检测头对摄像头目标区域进行检测并生成检测框。
[0104]
在本发明实施例中，将所述雷达检测框与所述视觉检测框进行融合，并根据融合结果确定主融合目标，包括：
[0105]
s310、将所述雷达检测框映射到所述视觉图像信息所对应的图像坐标空间，得到映射检测框；
[0106]
s320、将所述视觉检测框与所述映射检测框进行融合，并计算所述视觉检测框与所述映射检测框的融合交并比；
[0107]
s330、若所述融合交并比大于预设阈值，则将所述视觉检测框与所述映射检测框的融合结果确定为主目标；
[0108]
s340、若所述融合交并比不大于预设阈值，则将所述视觉检测框作为第一次目标，以及将所述映射检测框作为第二次目标；
[0109]
s350、分别将所述主目标、第一次目标和第二次目标与所述目标车辆的已有行驶轨迹进行最近邻数据关联处理，并根据关联结果确定所述主融合目标。
[0110]
如图3所示，将毫米波雷达检测框映射到图像坐标空间，得到映射检测框，将映射检测框与视觉检测框进行融合，并计算映射检测框与视觉检测框的融合交并比。
[0111]
在本发明实施例中，所述融合交并比可以设定为0.7，交并比大于0.7的则认为是同一目标，进行匹配以及信息合并，记为t
merged
。对于交并比为0的情况可能有两种状态发生：(1)如果视觉检测头对摄像头目标区域进行检测后生成有视觉检测框而并不存在映射检测框，则基本认定毫米波雷达失效，先记为t
vision
；(2)如果存在映射检测框而无视觉检测框，则基本认定摄像头失效，先记为t
radar
。
[0112]
在本发明实施例中，融合交并比的计算可以采用下述计算公式实现，其中a表示映射检测框，b表示视觉检测框。
[0113][0114]
进一步具体地，分别将所述主目标、第一次目标和第二次目标与所述目标车辆的已有行驶轨迹进行最近邻数据关联处理，并根据关联结果确定所述主融合目标，包括：
[0115]
s351、根据所述目标车辆在当前时刻之前的所有行驶轨迹数据确定轨迹管理器；
[0116]
在本发明实施例中，当前时刻记为t，初次跟踪需建立轨迹管理器，其包含直到t-1时刻的轨迹数据，将t
merged
作为主目标与已有轨迹进行最近邻数据关联。将t
vision
与t
radar
作为次目标，重复此操作。
[0117]
s352、将所述主目标、第一次目标和第二次目标均与所述轨迹管理器进行目标匹配；
[0118]
s353、若与所述轨迹管理器进行目标匹配的目标满足第一预设条件，则确定该目标为所述主融合目标，其中所述第一预设条件包括：所述目标为所述主目标且与所述轨迹管理器存在关联目标，或者，所述目标为所述第一次目标和/或所述第二次目标，且与所述轨迹管理器存在关联目标；
[0119]
s354、若与所述轨迹管理器进行目标匹配的目标满足第二预设条件，则丢弃该目前，其中所述第二预设条件包括：所述目标不是所述主目标，且与所述轨迹管理器不存在关联目标；
[0120]
s355、若与所述轨迹管理器进行目标匹配的目标满足第三预设条件，则结束对当前目标车辆的追踪，其中所述第三预设条件包括：所述目标为所述主目标，且与所述轨迹管理器不存在未关联上的新目标；
[0121]
s356、若与所述轨迹管理器进行目标匹配的目标满足第四预设条件，则将与所述轨迹管理器之间未关联上的新目标加入所述轨迹管理器，其中所述第四预设条件包括：所述目标为所述主目标，且与所述轨迹管理器存在未关联上的新目标。
[0122]
如果发现轨迹管理器中有和次目标存在关联轨迹的，则提升次目标等级为主目标，否则认为是错误识别。
[0123]
重复步骤s100至步骤s300，进行下一帧的目标车辆的检测与追踪。
[0124]
在本发明实施例中，所述最近邻数据关联的具体实现过程包括：
[0125]
假设在第k次目标检测之前，已经建立了n条航迹。第k次新观测为zj(k),j＝1,2，
…
，n。定义滤波器残差：
[0126][0127]
其中xj(k|k-1)为状态估计的下一步预测方程，1)为状态估计的下一步预测方程，其中a为状态转移矩阵，h为观测矩阵，设s(k)为e
ij
(k)的协方差矩阵，则统计距离为：
[0128]dij
＝e
ij
(k)s(k)-1eij
(k)
t
[0129]
该距离在阈值范围内且距离最近的可以认为为成功关联。
[0130]
具体地，对所述主融合目标进行优化处理，得到目标车辆的追踪结果，包括：
[0131]
s410、将所述主融合目标输入至卡尔曼滤波器进行迭代处理，得到目标车辆的追踪结果；
[0132]
s420、根据所述目标车辆的追踪结果更新所述目标车辆的当前状态。
[0133]
进一步具体地，根据所述目标车辆的追踪结果更新所述目标车辆的当前状态，包括：
[0134]
计算卡尔曼滤波器的滤波增益；
[0135]
根据所述滤波增益对所述目标车辆的追踪结果进行加权，以更新所述目标车辆的当前状态；
[0136]
更新卡尔曼滤波器的误差协方差矩阵，其中更新后的目标车辆的当前状态和更新后的误差协方差矩阵用于下一次的卡尔曼滤波。
[0137]
在本发明实施例中，基于卡尔曼滤波的车辆追踪模型具体包括：
[0138]
对于车辆目标，可以建立相应的状态向量：
[0139][0140]
其中，x
vehicle
,y
vehicle
代表目标车辆在二维空间的位置，v
xvehicle
,v
yvehicle
代表在x方向和y方向上的速度r
width
,r
height
代表包围框的宽度和高度，θ
vehicle
代表车辆与x正方向夹角，w
vehicle
代表车辆自身方向盘转角。
[0141]
车辆目标观测向量表示如下：
[0142][0143]
其中，xg,yg为目标的位置坐标，vg为目标的相对速度，bbox
width
,bbox
height
为目标包围框的宽度和高度信息。
[0144]
状态向量对应的状态转移方程如下：
[0145][0146]
具体地，提取状态转移矩阵作φ。
[0147]
状态向量与观测向量转移方程如下：
[0148][0149]
具体地，提取状态观测转移矩阵作h。
[0150]
其中，观测噪声协方差r矩阵定义如下：
[0151][0152]
系统噪声协方差q矩阵定义如下：
[0153][0154]
误差协方差矩阵p转移公式如下：
[0155][0156]
轨迹的状态更新方法如下：
[0157]
设当前为第k步，
[0158]
(1)首先计算卡尔曼滤波增益：
[0159][0160]
(2)利用增益对观测向量加权来更新状态向量：
[0161][0162]
其中，zk表示实际观测值与状态值的差值。
[0163]
(3)最后更新误差协方差矩阵p：
[0164][0165]
模型每次输入新观测值用于更新估计结果，更新后的状态向量就代表着该目标最新的估计状态，利用更新后的状态向量和误差协方差矩阵进行下一次的卡尔曼滤波。
[0166]
综上，本发明实施例提供的基于多信息融合的车辆追踪方法，针对传统的单传感器追踪容易丢失目标、误检率高等问题，本发明使用毫米波雷达与视觉多信息融合的方法，提高了鲁棒性，大大提升追踪性能。另外，本发明实施例结合dbscan聚类与极端学生化偏差算法结合的滤波方法，有效去除点云背景杂波；针对传统技术执行速度慢的问题，本发明使用最近邻方法对目标数据进行关联，保证实时性需求；采用主次融合目标划分操作，有效降低误检率。
[0167]
作为本发明的另一实施例，提供一种基于多信息融合的车辆追踪装置10，其中，如图4所示，包括：
[0168]
获取模块100，用于分别获取目标车辆的初始点云数据和视觉图像信息，其中所述初始点云数据为标定后的毫米波雷达采集到的目标车辆的点云数据，所述视觉图像信息为标定后的视觉采集装置采集到的目标车辆的图像信息；
[0169]
数据处理模块200，用于对所述初始点云数据进行聚类处理后得到雷达检测框，以及对所述视觉图像信息进行目标检测处理后得到视觉检测框；
[0170]
融合模块300，用于将所述雷达检测框与所述视觉检测框进行融合，并根据融合结果确定主融合目标；
[0171]
优化处理模块400，用于对所述主融合目标进行优化处理，得到目标车辆的追踪结果。
[0172]
本发明实施例提供的基于多信息融合的车辆追踪装置，通过毫米波雷达采集到的目标车辆的点云数据与视觉图像采集装置采集到的目标车辆的图像信息进行融合处理，确定主融合目标，进而确定目标车辆的追踪结果，该基于多信息融合的车辆追踪方法能够提高追踪结果的鲁棒性及抗干扰能力，因而能够有效提升追踪效果。
[0173]
关于本发明实施例提供的基于多信息融合的车辆追踪装置的具体工作原理及过程可以参照前文的基于多信息融合的车辆追踪方法的描述，此处不再赘述。
[0174]
作为本发明的另一实施例，提供一种基于多信息融合的车辆追踪系统1，其中，如图5所示，包括：视觉检测装置20、毫米波雷达30和前文所述的基于多信息融合的车辆追踪装置10，所述视觉检测装置20和所述毫米波雷达30均与所述基于多信息融合的车辆追踪装置10通信连接，所述视觉检测装置20用于实时采集目标车辆的图像信息，所述毫米波雷达30用于实时采集目标车辆的点云数据，所述基于多信息融合的车辆追踪装置10用于根据所述目标车辆的图像信息和目标车辆的点云数据进行融合处理，得到目标车辆的追踪结果。
[0175]
在本发明实施例中，所述视觉检测装置具体可以为摄像机等。关于本发明实施例提供的基于多信息融合的车辆追踪系统的具体工作原理及过程可以参照前文的基于多信息融合的车辆追踪方法的描述，此处不再赘述。
[0176]
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。