一种联合标定方法及装置与流程

1.本公开涉及多传感器标定技术领域，尤其涉及一种联合标定方法及装置。


背景技术：

2.单一传感器获取的信息具有局限性，为了提高系统的稳健性，多采取多传感器融合的方案。比如在无人驾驶领域，一般都会安装有激光雷达和相机，通过各自优势去检测周围物体进行图像识别，这就需要将激光雷达和相机获取的信息进行融合，以提高检测效率和准确性，在融合之前，需要对激光雷达和相机进行联合标定，以便于激光雷达和相机检测到同一位置相同物体时，不会重复将该物体信息发送给上层处理器。
3.对激光雷达和相机进行联合标定时，需要用到标定板，使用相机拍摄标定板得到标定板的单帧图片，然后人工对图片进行标注，使得最终得到的标定结果误差较大。


技术实现要素：

4.为了减少标定过程中由于人工参与产生的误差，本公开提供了一种联合标定方法及装置。
5.本公开的一个方面，提供了一种联合标定方法，用于标定相机和雷达的位置转换关系，所述方法包括：
6.基于标定板的深度图像确定第一位置转换关系，所述第一位置转换关系为所述标定板相对所述相机的位置转换关系，所述相机为拍摄所述标定板的深度图像的相机；
7.基于所述标定板的实际点云在雷达坐标系的预设坐标点创建至少一组所述标定板的图案点云；
8.基于所述标定板的实际点云和所述标定板的图案点云确定第二位置转换关系，所述第二位置转换关系为所述标定板相对所述雷达坐标系的预设坐标点的位置转换关系；
9.基于所述第一位置转换关系和所述第二位置转换关系，标定所述相机与所述雷达之间的位置转换关系。
10.本公开的另一个方面，提供了一种联合标定装置，用于标定相机和雷达的位置转换关系，所述装置包括：
11.第一转换模块，用于基于标定板的深度图像确定第一位置转换关系，所述第一位置转换关系为所述标定板相对所述相机的位置转换关系，所述相机为拍摄所述标定板的深度图像的相机；
12.点云创建模块，用于基于所述标定板的实际点云在雷达坐标系的预设坐标点创建所述标定板的图案点云；
13.第二转换模块，用于基于所述标定板的实际点云和图案点云确定标定板第二位置转换关系，并发送至标定模块，所述第二位置转换关系为所述标定板相对所述雷达的预设坐标点的位置转换关系；
14.标定模块，用于基于所述第一位置转换关系和所述第二位置转换关系，标定所述
相机与所述雷达之间的位置转换关系。
15.本公开的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上所述的联合标定方法。
16.本公开实施例提供的技术方案带来的有益效果至少可以包括：
17.本公开通过标定板的深度图像确定标定板相对相机的位置转换关系，通过标定板的实际点云和构建的虚拟点云确定标定板相对雷达坐标系的位置转换关系，进而标定所述相机与所述雷达之间的位置转换关系，不再需要人工对标定板的单帧图片进行标注，能够解决由人工对对单帧图片进行标注带来的标定误差。还具有节约成本、提高标定效率的优点；且方法操作和系统结构简单，比较容易实现相机和激光雷达的联合标定。
附图说明
18.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图包括在本说明书中并构成本说明书的一部分，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。为了便于描述，附图中仅示出了与本公开相关的部分。
19.图1示出了本公开实施例中一种联合标定方法的流程图；
20.图2示出了本公开实施例中一种联合标定装置的结构框图；
21.图3为aruco码标定板。
22.图2中标记：10-点云创建模块，20-第二转换模块，30-第一转换模块，40-标定模块；
23.图3中标记：1-aruco码标定板。
具体实施方式
24.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例，且在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
25.本公开实施例提供了一种联合标定方法及装置。
26.图1示意性示出了本实施例中一种联合标定方法的流程图。参照图1，一种联合标定方法，用于标定相机和雷达的位置转换关系，所述方法包括：
27.s1、基于标定板的深度图像确定第一位置转换关系，所述第一位置转换关系为所述标定板相对所述相机的位置转换关系，所述相机为拍摄所述标定板的深度图像的相机；
28.s2、基于所述标定板的实际点云在雷达坐标系的预设坐标点创建至少一组所述标定板的图案点云；
29.s3、基于所述标定板的实际点云和所述标定板的图案点云确定第二位置转换关系，所述第二位置转换关系为所述标定板相对所述雷达坐标系的预设坐标点的位置转换关系；
30.s4、基于所述第一位置转换关系和所述第二位置转换关系，标定所述相机与所述雷达之间的位置转换关系。
31.本公开通过标定板的深度图像确定标定板相对相机的位置转换关系，通过标定板的实际点云和构建的虚拟点云确定标定板相对雷达坐标系的位置转换关系，进而标定所述相机与所述雷达之间的位置转换关系，不再使人工对单帧图片进行标注，能够降低因为人工标注造成的标定误差，还能够节约成本，提高标定效率，且方法操作简单，比较容易实现相机和激光雷达的联合标定。
32.具体实施时，由相机对标定板进行拍照，获取标定板的单帧图片，标定板具有含有深度信息的图案，所述图案由多种材质或者多种颜色构成，如该图案可以由黑色和白色两种颜色组成；或者使用不同材质的颜料印刷图案，如镜面黑和磨砂黑印刷图案，使标定板具有不同的反射率。这便于后续激光雷达对标定板进行扫描之后通过区分点云强度，去除杂点，从而确定标定板中的图案。
33.具体实施时，标定板上的图案记载有不对称信息，即该图案为不对称图案，保证标定板相对雷达的位置转换关系的唯一解。标定板上的图案为aruco码或者charuco码。只要满足以下条件，也可以是其他类型的标定板：1.相机拍摄标定板的单帧图片即可得到深度信息。2.标定板上的信息为不对称信息，保证激光雷达可以得到标定板相对激光雷达坐标系零点的变换关系的唯一解。aruco码作为基准标记放置在要成像的对象或场景上，是一个背景为黑色的正方形，正方形内部的白色图案用来表示标记的唯一性，并且存储一些信息。
34.具体实施时，激光雷达和相机的联合标定的结果是得到激光雷达相对于相机的旋转和平移，所以第一位置转换关系含有旋转参数转换关系和平移参数转换关系。
35.具体实施时，所述第一位置转换关系满足：
36.其中，t为第一位置转换关系，r为旋转矩阵，t为平移矩阵。
37.具体实施时，所述雷达坐标系的预设坐标点为零点坐标。零点坐标是雷达光心，基于雷达坐标系的零点坐标创建的标定板虚拟点云，保证最终得到的标定板相对于雷达的位置转换关系的正确性。
38.具体实施时，基于所述第一位置转换关系和所述第二位置转换关系，标定所述相机与所述雷达之间的位置转换关系，通过以下公式实现：
39.其中，为第一位置转换关系，为第二位置转换关系。
40.图2示意性示出了本公开另一个实施例中的一种联合标定装置的结构框图。如图2，本实施例的一种联合标定装置，用于标定相机和雷达的位置转换关系，所述装置包括：
41.第一转换模块，用于基于标定板的深度图像确定第一位置转换关系，所述第一位置转换关系为所述标定板相对所述相机的位置转换关系，所述相机为拍摄所述标定板的深度图像的相机；
42.点云创建模块，用于基于所述标定板的实际点云在雷达坐标系的预设坐标点创建所述标定板的图案点云；
43.第二转换模块，用于基于所述标定板的实际点云和图案点云确定第二位置转换关系，并发送至标定模块，所述第二位置转换关系为所述标定板相对所述雷达的预设坐标点
的位置转换关系；
44.标定模块，用于基于所述第一位置转换关系和所述第二位置转换关系，标定所述相机与所述雷达之间的位置转换关系。
45.本公开通过标定板的深度图像确定标定板相对相机的位置转换关系，通过标定板的实际点云和构建的虚拟点云确定标定板相对雷达坐标系的位置转换关系，进而标定所述相机与所述雷达之间的位置转换关系，不再使人工对单帧图片进行标注，能够降低因为人工标注造成的标定误差，还能够节约成本，提高标定效率，且方法操作简单，比较容易实现相机和激光雷达的联合标定。
46.具体实施时，具体实施时，由相机对标定板进行拍照，获取标定板的单帧图片，标定板具有含有深度信息的图案，所述图案由多种材质或者多种颜色构成，如该图案可以由黑色和白色两种颜色组成；或者使用不同材质的颜料印刷图案，如镜面黑和磨砂黑印刷图案，使标定板具有不同的反射率。这便于后续激光雷达对标定板进行扫描之后通过区分点云强度，去除杂点，从而确定标定板中的图案。
47.具体实施时，标定板上的图案记载有不对称信息，即该图案为不对称图案，保证标定板相对雷达的位置转换关系的唯一解。标定板上的图案为aruco码或者charuco码。只要满足以下条件，也可以是其他类型的标定板：1.相机拍摄标定板的单帧图片即可得到深度信息。2.标定板上的信息为不对称信息，保证激光雷达可以得到标定板相对激光雷达坐标系零点的变换关系的唯一解。aruco码作为基准标记放置在要成像的对象或场景上，是一个背景为黑色的正方形，正方形内部的白色图案用来表示标记的唯一性，并且存储一些信息。
48.具体实施时，激光雷达和相机的联合标定的结果是得到激光雷达相对于相机的旋转和平移，所以第一位置转换关系含有旋转参数转换关系和平移参数转换关系。
49.具体实施时，所述第一位置转换关系满足：
50.其中，t为第一位置转换关系，r为旋转矩阵，t为平移矩阵。
51.具体实施时，所述雷达坐标系的预设坐标点为零点坐标。零点坐标是雷达光心，基于雷达坐标系的零点坐标创建的标定板虚拟点云，保证最终得到的标定板相对于雷达的位置转换关系的正确性。
52.具体实施时，基于所述第一位置转换关系和所述第二位置转换关系，标定所述相机与所述雷达之间的位置转换关系，通过以下公式实现：
53.其中，为第一位置转换关系，为第二位置转换关系。
54.本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上所述的联合标定方法。
55.本实施例的一种联合标定方法的一个具体工作实施例为：首先，人工选择如图3所示的aruco码标定板的范围，范围不需要很精确。然后，利用相机拍摄标定板的单帧图片，一般情况下，相机拍摄的单帧图片只能得到平面坐标，无法得到深度信息(深度信息是指相机光心距离aruco码标定板中心的距离，也是标定板相对相机坐标系的变换关系其中，c表示相机坐标系，a表示aruco码标定板坐标系)。但由于aruco码的特性，根据aruco二维码测距的原理，相机通过拍摄aruco标定板，可以得到标定板相对相机坐标系的变换关系
其中，其中，r为旋转矩阵，是3x3的正交矩阵，表示三维空间上的旋转，t为3x1的向量，表示三维空间上的平移。
56.利用激光雷达扫描aruco标定板，得到标定板点云，并进行滤波(如利用栅格处理，滤掉杂点，可以多次滤波，得到纯净标定板点云)、分割(未经分割的标定板点云存在多种由于反射率不同而产生的多种颜色，利用反射率可以分割出标定板黑白点云)，通过滤波和分割，得到标定板更精确、纯净的黑白点云；获取点云库；并根据点云库得到虚拟标定板点云，虚拟标定板点云与aruco标定板上的图案相同；点云实际上是一团三维点的集合，每个点都有三维坐标(x,y,z)和特征构成，因此，生成点云最重要的参数是点的数量n和点云的“形状”。本实施例中，利用点云库得到虚拟标定板点云，由于激光雷达扫描时会引入噪声，因此需要在三维坐标点加上不同噪声分布。例如，实际中有一个10cm*10cm的平面板，厚度约5mm，设点云坐标系z轴与平面向外的法向量相同，可令点云三维坐标中的z值服从均值为0，方差为(2.5*10-3
)2的高斯分布，即：
57.z～n(0，(2.5*10-3
)2)
58.同时，坐标系x0y平面即为实际平面，令x，y值均服从-0.05到0.05均匀分布，即：
59.x～u(-0.05，0.05)，y～u(-0.05，0.05)
60.所以通过修改各项参数，如数量n，坐标分布(x,y,z)，强度等，就可以生成任意所需要的点云，如与aruco标定板上的图案相同的虚拟点云。
61.根据标定板点云和虚拟标定板点云得到标定板相对激光雷达坐标系零点的变换关系(距离+旋转)；空间中有一团点云，仅能知道这团点云中每个点(单点)的三维坐标，无法确定该点云(集合)与激光雷达之间的关系，所以需要模拟一团与实际点云相同的虚拟点云，将其放置在激光雷达位置，此时，通过求解虚拟点云(集合)与实际点云(集合)之间的变换关系，即可间接求出激光雷达与实际点云(集合)的关系，再通过icp算法或其变式或者ransac算法等得到标定板相对激光雷达坐标系零点的变换关系由于aruco码记载有不对称信息，所以保证了有唯一解。
62.最后，根据公式得到相机与激光雷达之间的变换关系
63.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
64.在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾
的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
65.本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。