相机与激光雷达的标定方法以及标定系统与流程

本发明涉及自动驾驶技术，并且具体地，涉及一种相机与激光雷达的标定方法以及标定系统。

背景技术：

1、无人驾驶车辆自动行驶过程中，通过感知系统实时监测周身路面环境信息是确保行车安全的必要条件。目前在驾驶车辆领域应用广泛的感知传感器包括激光雷达、相机和毫米波雷达等，这几种传感器都有各自的特点：激光雷达产生的点云数据有较高的空间测量精度，能大概描绘出目标物体的形状；相机产生的图像数据带有色彩信息，对物体的种类和轮廓识别较为精确；毫米波雷达识别距离远，能获取目标的运动姿态信息。和人类司机的视觉能力相比较，这几种传感器单独使用都有各自的局限，比如激光雷达难以区分刚性目标（人、车、落石）和非刚性目标（浮土、烟尘），相机难以精确计算目标的空间位置和三维尺寸。因此，无人驾驶车辆的感知系统通常需要安装多种类型的传感器以取长补短。

2、同一系统下的多传感器产生的数据势必要整合到唯一的系统坐标系下进行数据融合。同种类传感器的尺度和结构相似，标定和转化也较为容易。然而，相机和激光雷达这两种类型的传感器，尺度单位不一致，数据维度也不一致，数据的标定和融合也就更复杂一些。对于相机和激光雷达的融合标定，目前可行的技术路线是计算出从激光雷达的三维空间映射到相机的二维空间上的旋转平移矩阵，以此统一两类传感器的尺度单位和维度，实现数据融合的基准。

3、为实现相机和激光雷达的标定，自动或辅助驾驶相关领域的主流技术方案是采取专业的标定车间、实验室等场地内精确布置一些固定参照物。通过这些参照物作为媒介联通相机和激光雷达的坐标系，实现2d-3d空间映射矩阵的解算。然而，在频繁变化的环境下（例如，道路随着矿藏采剥作业面的推进会频繁变化的矿山无人车运营环境），不具备复杂固定标定场景的搭建条件。因此，需要设计一套适应变化环境下的标定方法。

技术实现思路

1、本发明的目的在于提出一种相机与激光雷达的标定方法以及标定系统，其能够在简单布置参照物的情况实现相机与激光雷达的融合标定，并且结果满足映射精度要求。

2、根据本发明的一方面，提供了一种相机与激光雷达的标定方法，所述相机和所述激光雷达以在进行标定时临时布置的参照物组进行标定，所述参照物组中的每个参照物具有在其高度方向上的唯一顶点，所述方法包括：获取由所述相机采集的所述参照物组的图像数据；获取由所述激光雷达采集的所述参照物组的点云数据，并转换所述点云数据为鸟瞰视角（bev）点云栅格数据；以相同的标记顺序，对所述图像数据和所述鸟瞰视角点云栅格数据执行初步顶点标记，来确定每个参照物的所述图像数据中的第一顶点搜索范围以及所述鸟瞰视角点云栅格数据中的第二顶点搜索范围；在所述第一顶点搜索范围内，搜索所述图像数据中的所述参照物的顶点，并确定所述顶点的像素坐标；在所述第二顶点搜索范围内，搜索所述鸟瞰视角点云栅格数据中的所述参照物的顶点，并确定所述顶点的三维坐标；和根据所述标记顺序，将所述参照物组中的每个参照物的顶点的像素坐标和三维坐标进行配对，并根据所配对的像素坐标和三维坐标，计算所述相机与所述激光雷达的映射公式。

3、可选地，所述参照物组包括至少三个参照物，并且所述参照物被布置成在三维空间的各个维度上彼此不在同一平面。

4、可选地，执行初步顶点标记包括：分别在所述图像数据和所述鸟瞰视角点云栅格数据上，根据顶点特征对所述参照物进行点击标记，以获得标记点。

5、可选地，执行初步顶点标记还包括：根据对所述参照物的点击标记的顺序，基于所述标记点生成连线标记，并分别显示在所述图像数据和所述鸟瞰视角点云栅格数据上，以确保相同的标记顺序。

6、可选地，确定所述第一顶点搜索范围和所述第二顶点搜索范围包括：将所述图像数据上的标记点的第一设定周边范围确定为所述第一顶点搜索范围；和将所述鸟瞰视角点云栅格数据上的标记点的第二设定周边范围确定为所述第二顶点搜索范围。

7、可选地，在所述第一顶点搜索范围内搜索所述图像数据中的所述参照物的顶点包括：计算在所述第一顶点搜索范围内的所有像素的色阶值；计算每个像素的色阶值与其邻域像素的色阶值之间的阶差；将阶差与设定阈值进行比较；将具有大于设定阈值的阶差的像素确定为备选像素；和在所述备选像素中，搜索像素坐标（x,y）中的y值最小的像素作为所述图像数据中的所述参照物的顶点。

8、可选地，在所述第二顶点搜索范围内，搜索所述鸟瞰视角点云栅格数据中的所述参照物的顶点包括：获取在所述第二顶点搜索范围内的所有点云的三维坐标（x,y,z）；搜索三维坐标（x,y,z）中的z值最大的点云作为所述鸟瞰视角点云栅格数据中的所述参照物的顶点。

9、可选地，计算所述相机与所述激光雷达的映射公式包括：针对每个参照物的所配对的像素坐标和三维坐标，确定表示所述相机的坐标系相对于所述激光雷达的坐标系的位姿的旋转平移矩阵表示；基于所有参照物的旋转平移矩阵表示，解算所述相机与所述激光雷达的映射公式。

10、根据本发明的另一方面，提供了一种相机与激光雷达的标定系统，所述标定系统执行根据本发明的标定方法，所述标定系统包括：相机，所述相机用于获取参照物组的图像数据；激光雷达，所述激光雷达用于获取所述参照物组的点云数据；显示模块，所述显示模块将所述点云数据转换为鸟瞰视角点云栅格数据，并分别显示所述鸟瞰视角点云栅格数据和所述图像数据，以实现所述参照物组中的参照物的初步顶点标记；标定模块，所述标定模块根据所述参照物的初步顶点标记，分别在所述图像数据和所述鸟瞰视角点云栅格数据中确定顶点搜索范围，并在其中搜索所述参照物的顶点，以确定所述顶点的像素坐标和三维坐标，从而根据所述像素坐标和所述三维坐标计算所述相机与所述激光雷达的映射公式。

11、可选地，所述相机和所述激光雷达包括在无人驾驶车辆中。

12、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种相机与激光雷达的标定方法，其特征在于，所述相机和所述激光雷达以在进行标定时临时布置的参照物组进行标定，所述参照物组中的每个参照物具有在其高度方向上的唯一顶点，所述方法包括：

2.根据权利要求1所述的标定方法，其特征在于，所述参照物组包括至少三个参照物，并且所述参照物被布置成在三维空间的各个维度上彼此不在同一平面。

3.根据权利要求1所述的标定方法，其特征在于，执行初步顶点标记包括：分别在所述图像数据和所述鸟瞰视角点云栅格数据上，根据顶点特征对所述参照物进行点击标记，以获得标记点。

4.根据权利要求3所述的标定方法，其特征在于，执行初步顶点标记还包括：根据对所述参照物的点击标记的顺序，基于所述标记点生成连线标记，并分别显示在所述图像数据和所述鸟瞰视角点云栅格数据上，以确保相同的标记顺序。

5. 根据权利要求4所述的标定方法，其特征在于，确定所述第一顶点搜索范围和所述第二顶点搜索范围包括：

6.根据权利要求1所述的标定方法，其特征在于，在所述第一顶点搜索范围内搜索所述图像数据中的所述参照物的顶点包括：

7.根据权利要求1所述的标定方法，其特征在于，在所述第二顶点搜索范围内，搜索所述鸟瞰视角点云栅格数据中的所述参照物的顶点包括：

8.根据权利要求1所述的标定方法，其特征在于，计算所述相机与所述激光雷达的映射公式包括：

9.一种相机与激光雷达的标定系统，其特征在于，所述标定系统执行根据权利要求1-8中任一项所述的标定方法，所述标定系统包括：

10.根据权利要求9所述的标定系统，其特征在于，

技术总结
本发明提供了一种相机与激光雷达的标定方法以及标定系统，涉及自动驾驶技术领域。该相机和激光雷达以临时布置的参照物组进行标定，参照物组中的每个参照物具有在其高度方向上的唯一顶点。该标定方法包括：获取由相机采集的图像数据；获取由激光雷达采集的点云数据并转换为鸟瞰视角点云栅格数据；以相同的标记顺序执行初步顶点标记来确定每个参照物的第一顶点搜索范围以及第二顶点搜索范围；在第一顶点搜索范围内搜索图像数据中的参照物的顶点并确定像素坐标；在第二顶点搜索范围内搜索鸟瞰视角点云栅格数据中的参照物的顶点并确定三维坐标；计算相机与激光雷达的映射公式。本发明的系统以及方法能够适于频繁变化的环境。

技术研发人员：谢意,蒋先尧,刘志勇,禹文扬
受保护的技术使用者：北京路凯智行科技有限公司
技术研发日：
技术公布日：2024/1/15