基于激光雷达和摄像头融合感知的轨迹追踪方法及系统与流程

1.本发明涉及道路交通检测技术领域，更具体的说是涉及一种基于激光雷达和摄像头融合感知的轨迹追踪方法及系统。


背景技术：

2.随着我国交通体系的发展，复杂的交通环境导致交通压力与日俱增，交通拥堵和交通安全等问题日益显著。因此，获取可靠准确的道路目标轨迹数据对于降低交通冲突风险以及保障道路通行效率等起着至关重要的作用。
3.目前，轨迹追踪设备的布设方式主要分为三类：机载布设、车载布设以及路侧布设。机载布设方式从高处采集数据，获取的数据量更大、数据更丰富，但机载传感器的成本也更高，技术更为复杂，难以实现对道路的全时段实时监测，易受恶劣天气影响。车载布设将gps、etc、车载智能终端等安装于车辆，通过获取自车行驶轨迹数据，探究自车与周围车辆的交互行为，获取单车位置数据，可为车辆路径规划、高速收费等方面提供支撑，但精度有限，数据难以打通，无法为车路协同系统提供实时服务。路侧布设可以获取丰富度更高的交通数据，实现对道路多目标的实时检测追踪，既可实现对宏观交通流态势的捕获，又可获取每个道路使用者的运动特性，同时还尽可能地降低噪声数据数量。因此，以路侧进行传感器布设的方式逐渐成为新的研究的热点。
4.路侧布设大多采用激光雷达或摄像头，获取数据。摄像头可获取丰富的目标语义数据，但受光线影响较大，且视野范围有限，限制了追踪算法的精确度。激光雷达由微波雷达发展而来，能够采集带有角度和距离的三维点云数据，数据准确度更高且数据量更为丰富，采集到的数据能够实时显示并按比例还原目标形状大小，相较于摄像头，其最突出的一个特点就是不受光照的影响，白天与黑夜的表现能力俱佳，可以360
°
全方位检测，但随着目标距离增加，点云质量将逐渐衰减，无法提取充分特征。因此，单一传感器很难满足不同环境下的长距离、连续性轨迹追踪的数据分析要求。
5.因此，目前急需一种多源数据融合，适应不同环境、长距离、连续性的轨迹追踪方法，弥补单一传感器的不足，提升道路车辆轨迹追踪技术的准确度与抗干扰度。


技术实现要素：

6.有鉴于此，本发明提供了一种基于激光雷达和摄像头融合感知的轨迹追踪方法及系统，通过数据融合的方式，弥补单一传感器的不足，提高车辆轨迹追踪技术的准确度和抗干扰度。
7.为了实现上述目的，一方面，本发明提供一种基于激光雷达和摄像头融合感知的轨迹追踪方法，技术方案如下：
8.利用路侧布设的激光雷达采集目标车辆及周围环境的点云数据，利用路侧布设的摄像头采集目标车辆及周围环境的图像数据，并将采集的点云数据和图像数据进行配准；
9.基于配准后的点云数据生成点云轨迹信息，并确定所述点云轨迹信息的权重系
数；
10.基于配准后的图像数据生成图像轨迹信息，并基于所述点云数据和所述图像数据，确定所述图像轨迹信息的权重系数；
11.根据所述点云轨迹信息和所述图像轨迹信息的权重系数融合所述点云轨迹信息和所述图像轨迹信息，生成最终的轨迹信息。
12.优选的，对所述点云数据和图像数据的配准的具体步骤为：以采集的点云数据的时间戳为基准，匹配与所述点云数据时间差最小的图像数据，完成所述点云数据与所述图像数据的时间同步；通过摄像头内参以及激光雷达和摄像头联合外参的配准标定，获得内外参数矩阵，同步所述点云数据和所述图像数据的信息。
13.优选的，所述点云轨迹信息生成的步骤为：基于点云数据目标检测算法和点云分割，对所述点云数据进行关键目标点云特征信息的提取，最后根据提取的关键目标点云特征信息生成所述点云轨迹信息。
14.优选的，所述图像轨迹信息生成的步骤为：基于图像数据检测算法对配准后的图像数据进行目标检测，提取图像数据信息生成图像轨迹信息，并根据提取的图像数据信息确定所述图像轨迹信息。
15.优选的，所述确定点云轨迹信息的权重系数的步骤为：根据采集的点云数据，获取点云数量和所述激光雷达与所述目标车辆的距离，根据所述点云数量和所述激光雷达与目标车辆的距离构建点云数量与距离的关系，根据所述点云数量与距离的关系确定所述点云轨迹信息的权重系数与所述距离的关系。
16.优选的，所述确定图像轨迹信息的权重系数的步骤为：根据所述点云数量与距离的关系，确定所述图像轨迹信息的权重系数。
17.优选的，所述点云数据由水平方向点云数据和竖直方向的点云数据融合得到。
18.优选的，所述图像信息轨迹包括：帧数、检测类别、2d目标物体检测框、目标追踪编号；所述点云轨迹信息包括：帧数、检测类别、2d目标物体检测框、目标追踪编号。
19.第二方面，本发明还提供了一种基于激光雷达和摄像头融合感知的轨迹追踪系统，该系统包括：
20.数据采集模块、数据处理模块、数据融合模块；
21.所述数据采集模块分为点云采集单元和图像采集单元；所述点云采集单元通过激光雷达采集目标车辆及周围环境的点云数据，并传输给数据处理模块；所述图像采集单元通过摄像头采集目标车辆及周围环境的图像数据，并传输给数据处理模块；
22.所述数据处理模块包括数据配准单元、点云数据处理单元和图像数据处理单元；所述数据配准单元用于根据所述点云采集单元采集点云数据匹配与所述点云数据时间差最小的图像数据，完成所述点云数据和所述图像数据的时间同步；所述点云数据处理单元用于提取所述点云数据中的关键目标点云特征信息，生成点云轨迹信息，并确定所述点云轨迹信息的权重系数；所述图像数据处理单元用于提取所述图像数据中的图像数据信息，生成图像轨迹信息并确定所述图像轨迹信息的权重系数；
23.所述数据融合单元用于根据所述数据处理单元生成的点云轨迹信息的权重系数和图像轨迹信息的权重系数融合所述点云轨迹信息和所述图像轨迹信息，生成最终轨迹信息。
24.优选的，所述点云数据处理单元还包括点云数量提取单元、距离提取单元、第一关系构建单元、第二关系构建单元；
25.所述点云数量提取单元用于提取所述点云数据的中的点云数量；所述距离提取单元用于提取所述点云数据中激光雷达与目标车辆的距离；所述第一关系构建单元用于根据所述点云数量和所述激光雷达与目标车辆的距离构建点云数量与距离的关系所述第二关系构建单元用于根据所述点云数量与距离的关系确定所述点云轨迹信息的权重系数与所述距离的关系。
26.经由上述的技术方案可知，与现有技术相比，本发明公开提供的一种基于激光雷达和摄像头融合感知的轨迹追踪方法及系统，基于权重系数的轨迹融合追踪算法，并根据点云数量随距离的变换关系，确定在数据融合过程中图像与点云轨迹信息所占权重，实现了基于距离的图像数据和点云数据的轨迹信息动态融合；更进一步，本发明基于激光雷达和摄像头融合，充分发挥了点云和图像的互补性，提高了系统的鲁棒性。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
28.图1为本发明实施例中基于激光雷达和摄像头融合感知的轨迹追踪方法的流程图。
29.图2为本发明实施例中路侧布设的摄像头激光雷达装置的结构示意图。
30.图3为本发明实施例中目标车辆与激光雷达竖直位置示意图。
31.图4为本发明实施例中目标车辆与激光雷达水平位置示意图。
32.图5为本发明实施例中基于激光雷达和摄像头融合感知的轨迹追踪系统的结构示意图。
33.图6为本发明实施例中基于激光雷达和摄像头融合感知的轨迹追踪系统的点云数据处理单元结构示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.在检测过程中，当车辆未进入激光雷达检测区域时，此时在目标检测与追踪系统中最终轨迹信息只有图像检测轨迹信息；当车辆进入激光雷达检测区域时，轨迹追踪系统可同时获得目标车辆的图像轨迹信息和点云轨迹信息，并融合图像轨迹信息和点云轨迹信息生成最终轨迹信息。
36.如图1所示，本发明实施例公开了一种基于激光雷达和摄像头融合感知的轨迹追踪方法，包括：
37.利用如图2所示的摄像头激光雷达装置采集点云数据和图像数据。具体的，利用路侧布设的激光雷达1采集目标车辆3及周围环境的点云数据，利用路侧布设的摄像头2采集目标车辆3及周围环境的图像数据，并采集的点云数据的时间戳为基准，匹配与采集的点云数据时间差最小的图像数据，完成点云数据与图像数据的时间同步；通过摄像头内参以及激光雷达和摄像头联合外参的配准标定，获得内外参数矩阵，同步点云数据和图像数据的信息。
38.基于配准后的点云数据生成点云轨迹信息，并确定点云轨迹信息的权重系数；
39.基于配准后的图像数据生成图像轨迹信息，并基于点云数据和图像数据，确定图像轨迹信息的权重系数；
40.根据点云轨迹信息和图像轨迹信息的权重系数融合点云轨迹信息和图像轨迹信息生成最终的轨迹信息。最终轨迹信息为依照权重系数叠加图像轨迹信息和点云轨迹信息，并除以权重系数之和。
41.其中，生成点云轨迹信息的具体步骤为：基于点云数据目标检测算法和点云分割，通过对原始点云特征进行学习生成点云预选框和前景掩码，之后根据前一帧生成的预选框来优化框的位置，进行逐点特征池化运算，通过前景掩码进行框内前景和背景的区分，从而将背景滤除，实现关键目标点云特征信息的提取，最后根据提取的关键目标点云特征信息生成点云轨迹信息。
42.生成图像轨迹信息的步骤为：基于图像数据检测算法对配准后的图像数据进行目标检测，将多帧连续图像数据输入目标检测网络进行目标识别，第一个通道不论宽还是高，都从0开始，每隔两个步长取值；第二个通道，不论宽还是高，都从1开始，每隔两个步长取值；以此类推，对三个通道都采取这样的切片操作。最后将所有的切片，按照通道堆叠在一起，得到一个(通道数
×
图像长度
×
图像宽度)的特征图，之后再对2d目标进行追踪，提取图像数据信息生成点云轨迹信息，并根据提取的图像数据信息和点云轨迹信息的权重系数，确定点云轨迹信息的权重系数。
43.确定点云轨迹信息的权重系数的步骤为：根据采集的点云数据，获取点云数量和激光雷达与目标车辆的距离，根据点云数量和激光雷达与目标车辆的距离构建点云数量与距离的关系，根据点云数量与距离的关系确定点云轨迹信息的权重系数与距离的关系，点云权重系数与距离互成比例关系。图像轨迹信息的权重系数的步骤为：根据点云数量与距离的关系，确定图像轨迹信息的权重系数。当车辆未进入激光雷达检测区域，此时目标与检测追踪系统中只有图像检测轨迹信息，即最终轨迹信息全部由图像信息构成；当车辆进入激光雷达检测区域时，轨迹追踪系统同时获得图像与点云轨迹信息，此时图像数据可依据目标检测的准确率和光照条件确定所述图像轨迹信息的权重系数。
44.点云数据由水平方向点云数据和竖直方向的点云数据融合得到。
45.当目标物体形体特征确定时，目标物体所具有的点云数目只和激光雷达架设高度、目标与激光雷达之间的距离、激光雷达水平分辨率和竖直分辨率有关。由于激光雷达在对目标车辆进行扫描时，竖直方向和水平方向具有不同的分辨率，而分辨率的大小直接决定了激光雷达扫描目标车辆时点云数目，因此，在利用激光雷达采集数据时，通过扫描水平方向点云数据和竖直方向的点云数据并融合得到最终点云数据。在竖直方向上，目标车辆3与激光雷达1的位置关系如图3所示，根据几何关系可推导计算出激光雷达照射在车侧面的
两条边缘激光束夹角α，则目标车辆横截面的点云数量，即为激光雷达竖直照射在车侧面的两条边缘激光束夹角所对应横截面区域的点云数目。在水平方向上，目标车辆3与激光雷达1的位置关系如图4所示，根据几何关系可推导出计算出照射在车侧面的两条边缘激光束夹角β，则目标车辆纵截面的点云数量，即为激光雷达竖直照射在车侧面的两条边缘激光束夹角所对应纵截面区域的点云数目。
46.在车侧身和车尾两种条件下，点云数量理论值和距离之间呈幂指函数关系，对其进行拟合确定，在距离不同时对点云信息权重进行相应的设定，进行最终的信息融合。当激光雷达垂直分辨率为1
°
，范围为-16
°
～15
°
，水平分辨率为0.18
°
，范围为360
°
，数据采集频率为10hz，激光雷达与目标车辆距离为5时，点云权重为1；距离为10点云权重为0.5161；距离为15，点云权重为0.2643。
47.图像信息轨迹包括：帧数、检测类别、2d目标物体检测框、目标追踪编号；点云轨迹信息包括：帧数、检测类别、2d目标物体检测框、目标追踪编号。
48.如图5所示，本发明还公布了一种基于激光雷达和摄像头融合感知的轨迹追踪系统，包括：数据采集模块、数据处理模块、数据融合模块；
49.数据采集模块分为点云采集单元和图像采集单元；点云采集单元通过激光雷达采集目标车辆及周围环境的点云数据，并传输给数据处理模块；图像采集单元通过摄像头采集目标车辆及周围环境的图像数据，并传输给数据处理模块；
50.数据处理模块包括数据配准单元、点云数据处理单元和图像数据处理单元；数据配准单元用于根据点云采集单元采集点云数据匹配与点云数据时间差最小的图像数据，完成点云数据和图像数据的时间同步；点云数据处理单元用于提取点云数据中的关键目标点云特征信息，生成点云轨迹信息，并确定点云轨迹信息的权重系数；图像数据处理单元用于提取图像数据中的图像数据信息，生成图像轨迹信息并确定图像轨迹信息的权重系数；
51.数据融合单元用于根据数据处理单元生成的点云轨迹信息的权重系数和图像轨迹信息的权重系数融合点云轨迹信息和所述图像轨迹信息，生成最终轨迹信息。
52.如图6所示，点云数据处理单元还包括点云数量提取单元、距离提取单元、第一关系构建单元、第二关系构建单元；
53.点云数量提取单元用于提取点云数据的中的点云数量；距离提取单元用于提取点云数据中激光雷达与目标车辆的距离；第一关系构建单元用于根据点云数量和激光雷达与目标车辆的距离构建点云数量与距离的关系第二关系构建单元用于根据点云数量与距离的关系确定点云轨迹信息的权重系数与距离的关系。
54.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
55.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。