一种基于多传感器融合的交通标示牌三维重构方法和装置与流程

本发明涉及自动驾驶，特别是涉及一种基于多传感器融合的交通标示牌三维重构方法和装置。

背景技术：

1、自动驾驶技术的蓬勃发展对交通要素的实时识别提出了更高的要求。作为一种先验信息，高精度地图能够为自动驾驶车辆提供行驶区域内的动态及静态环境信息。作为实现自动驾驶系统的关键组成部分之一，高精度地图能够一定程度上弥补车载传感器的感知局限性，为车辆提供了更加可靠的感知能力。

2、交通标示牌作为高精度地图必须进行绘制的静态交通要素，其通过提供道路信息，指路导向，进而指挥控制交通，保障交通安全。

3、运行在自动驾驶汽车上的车载感知系统能够实时检测环境中的交通标示牌，但其精度往往不满足高精度地图对于交通元素坐标的“厘米级要求”。因此，这种方法无法直接适用于高精度地图的生产流程。为满足交通标示牌的的坐标精度要求，目前往往采用人工作业，由制图员人工识别并在地图上绘制交通标示牌，完成交通标示牌的三维重构。

4、为检测并完成交通标示牌的三维重构，在高精度地图中描述其坐标，类别等属性，根据进行数据采集所采用传感器种类，目前既有的技术方案可分为基于单传感器的方法以及基于多传感器融合的方法。

5、对于基于单传感器的方法，采用的传感器主要包括视觉传感器与激光雷达。通过视觉传感器采集图像信息，可将图像经过预处理后输入目标检测网络，网络输出图像中的标示牌类别，并以边界框或者其他的表示法给出标示牌在图像中的位置。结合视觉传感器标定参数及车辆参数，可粗略地将二维像素坐标投影至三维的车辆坐标系下。基于激光雷达的方法，通过对比点云反射率、坐标等不同，可实现点云聚类，得到扫描到交通标示牌平面上的点云，进而通过加权等手段给出具体的交通标示牌坐标。

6、对于多传感器融合实现交通标示牌检测与重构的方法，可以通过视觉传感器给出标示牌的类别，通过点云数据给出交通标示牌具体的三维坐标。

7、此外，人工识别标示牌并给出标示牌的属性也被高精度地图的制作手段之一。

8、对于直接基于视觉传感器采集的图像信息进行交通标示牌检测与三维重构的方法，由于受限于坐标转换过程中得到的深度信息的准确性，导致通过这种方法给出的坐标精确度往往不能满足高精度地图的坐标精度要求。对于仅仅基于激光雷达的方法，虽然基于点云的反射率能够进行的聚类，但是这种方法对于激光雷达的规格要求较高，导致数据采集的成果较高。此外，将这种方法用于交通标示牌的对象聚类时，由于标示牌的激光扫射面积较小，导致表征交通标示牌的点云数据数量较小，不利于后续的分析。同样地，基于激光雷法的点云数据很难输出交通标示牌对象类别，即使能够提升标示牌对象坐标精度，由于缺乏类别属性，也不利于后续将识别出的对象集成至高精度地图中。对于融合了多传感器的交通标示牌检测与重构算法，由于数据量相较于单传感器的检测算法更大，导致算法的实时性较低。

技术实现思路

1、本发明的目的在于提供一种基于多传感器融合的交通标示牌三维重构方法和装置，其能够较大程度降低人工作业量，提高高精度地图的生产效率。

2、为实现上述目的，本发明提供一种基于多传感器融合的交通标示牌三维重构方法，其包括：

3、步骤s1，通过激光雷达、视觉传感器、惯性导航单元同时采集数据，标定激光雷达与视觉传感器的参数；

4、步骤s2，检测交通标示牌目标的种类和视觉传感器采集到的图像中交通标示牌目标对应的二维边界框的位置；

5、步骤s3，将步骤s2输出的每一个检测结果设为一个离散点，该离散点包含交通标示牌的类别、边界框及相应的时间戳，按时间顺序遍历所有离散点，相邻两个离散点的时间差分值在预设范围内的第一离散点置入同一个检测区间，由此获得若干检测区间，将每一个检测区间中含有某一类交通标示牌的边界框面积最大的第一离散点，作为该类交通标示牌的目标；

6、步骤s4，对步骤s3获得的交通的目标点云进行增强，对交通标示牌目标的点云进行筛选，获得交通标示牌的目标的点云；

7、步骤s5，对交通标示牌的目标进行三维重构。

8、进一步地，步骤s3还包括：

9、对于相邻两个离散点的时间差分值在预设范围外的第二离散点，按时间顺序继续遍历第二离散点后的所有离散点，以将与第二离散点时间间隔最小、且与相邻离散点的时间差分值在预设范围内的离散点，作为一个新的检测区间的第一个离散点，依此获得新的检测区间。

10、进一步地，筛选包括粗筛选，粗筛选具体方法包括：

11、根据步骤s1中标定好的激光雷达与视觉传感器的参数，获取经由点云增强后通过步骤s2检测到的图像中交通标示牌目标对应的二维边界框、且能够投影到步骤s3获得的交通标示牌的目标对应的图像所在的平面的点云，该点云的原始的三维信息，作为粗筛选结果。

12、进一步地，筛选包括细筛选，细筛选的具体方法包括：

13、根据点云的反射率差异性，对粗筛选结果中的点云进行聚类，进一步筛选出扫到步骤s3获得的交通标示牌的目标的点云，获得交通标示牌的目标的点云。

14、本发明还提供一种基于多传感器融合的交通标示牌三维重构装置，其包括：

15、数据采集与标定单元，其用于通过激光雷达、视觉传感器、惯性导航单元同时采集数据，标定激光雷达与视觉传感器的参数；

16、种类检测单元，其用于检测交通标示牌目标的种类和视觉传感器采集到的图像中交通标示牌目标对应的二维边界框的位置；

17、目标选择单元，其用于将种类检测单元输出的每一个检测结果设为一个离散点，该离散点包含交通标示牌的类别、边界框及相应的时间戳，按时间顺序遍历所有离散点，相邻两个离散点的时间差分值在预设范围内的第一离散点置入同一个检测区间，由此获得若干检测区间，将每一个检测区间中含有某一类交通标示牌的边界框面积最大的第一离散点，作为该类交通标示牌的目标；

18、目标点云的获取单元，其用于对目标选择单元获得的交通的目标点云进行增强，对交通标示牌目标的点云进行粗筛选以及细筛选，获得交通标示牌的目标的点云；

19、三维重构单元，其用于对交通标示牌的目标进行三维重构。

20、进一步地，目标选择单元还包括：

21、对于相邻两个离散点的时间差分值在预设范围外的第二离散点，按时间顺序继续遍历第二离散点后的所有离散点，以将与第二离散点时间间隔最小、且与相邻离散点的时间差分值在预设范围内的离散点，作为一个新的检测区间的第一个离散点，依此获得新的检测区间。

22、进一步地，目标点云的获取单元包括点云粗筛选子单元，其用于根据数据采集与标定单元标定好的激光雷达与视觉传感器的参数，获取经由点云增强后通过种类检测单元检测到的图像中交通标示牌目标对应的二维边界框、且能够投影到目标选择单元获得的交通标示牌的目标对应的图像所在的平面的点云，该点云的原始的三维信息，作为粗筛选结果。

23、进一步地，目标点云的获取单元包括点云细筛选子单元，其用于根据点云的反射率差异性，对粗筛选结果中的点云进行聚类，进一步筛选出扫到目标选择单元获得的交通标示牌的目标的点云，获得输入三维重构单元的交通标示牌的目标的点云。

24、由于采用了多传感器融合及深度学习的方法，本发明提出的交通标示牌检测及三维重构算法能够精确地输出交通标示牌的种类及三维坐标，极大地提高了高精度地图的生产效率，为后续自动驾驶系统正确运行提供了可靠的先验信息。