利用相机提取棋盘格标定板特征点及对应的联合标定方法与流程

1.本发明涉及一种利用相机提取棋盘格标定板特征点及对应的联合标定方法，属于多传感器联合标定技术领域。


背景技术：

2.在无人驾驶车辆中激光雷达和相机是两种很常见的传感器，它们分别有各自的优缺点，激光雷达可以准确感知周围环境的三维空间信息，相机可以准确获取周围环境的颜色和纹理信息，为了更好地对周围环境感知，通常会将激光雷达和相机进行信息融合，而激光雷达和相机的联合标定正是它们进行信息融合的前提。激光雷达和相机的联合标定就是要求解两者之间的旋转平移矩阵(即两者之间的外参)，其求解的方法一般是先寻找多组对应的空间特征点和平面特征点，然后再利用pnp算法求解出他们之间的旋转平移矩阵，其中，空间特征点是标定板特征点在激光雷达坐标系下的三维坐标，平面特征点是标定板特征点在像素坐标系下的二维坐标。
3.激光雷达和相机自动化联合标定技术对于建设无人化标定场站至关重要，可以节省大量人力物力，在现有的激光雷达和相机自动化联合标定中平面特征点提取的方法一般有两种：第一是直接利用棋盘格标定板的角点来作为要提取的平面特征，但由于激光雷达对颜色信息不敏感，无法直接提取出角点的空间特征，所以还需要对棋盘格标定板进行特殊的改造；第二是通过制作特殊的标定物来方便平面特征和空间特征的提取，如专利申请公布号为cn109978954 a的中国发明专利申请文件中公开的基于箱体的雷达和相机联合标定的方法。以上两种平面特征的提取方法虽然都能满足激光雷达和相机联合标定的需要，但其都需要制作特殊的标定板，操作流程较为复杂，不具有普适性。


技术实现要素：

4.本发明的目的在于提供一种利用相机提取棋盘格标定板特征点及对应的联合标定方法，用以解决现有技术中直接将棋盘格标定板的角点作为平面特征用于激光雷达和相机的联合标定，需要对棋盘格标定板做特殊的改造，操作较为复杂、普适性不强的问题。
5.为了实现上述目的，本发明提供了一种利用相机提取棋盘格标定板特征点的方法，该方法包括以下步骤：
6.利用相机拍摄棋盘格标定板的图像，基于得到的图像数据计算得到棋盘格标定板上的每个特征点在像素坐标系下的二维坐标；所述棋盘格标定板倾斜放置在相机能够感知到的区域，特征点为棋盘格标定板的顶点；
7.其中，所述特征点在像素坐标系下的二维坐标的计算过程包括：
8.(1)对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像；
9.(2)对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标，并根据所有角点在像素坐标系下的坐标找到最上、最下、最左和最右的角点作为a点、b点、c点和d点，并根据a点、b点、c点和d点的坐标分别计算得到
ac、cb、bd、ad所在的直线方程；
10.(3)分别计算ac、cb、bd、ad所在直线到边界l1、l3、l2、l4的距离d1、d3、d2、d4，所述边界l1、l3、l2、l4分别为ac、cb、bd、ad所在直线对应的所述去畸变后的图像中棋盘格标定板的边界；
11.其中，所述距离d1、d3、d2、d4分别根据ac、cb、bd、ad所在直线到各自对应的棋盘格标定板边界的真实距离与比例系数计算得到，所述比例系数根据棋盘方格的真实边长与棋盘方格在所述去畸变后的图像中的边长确定；
12.(4)将ac、cb、bd、ad所在的直线方程分别平移距离d1、d3、d2、d4得到所述边界l1、l3、l2、l4的直线方程，根据所述边界l1、l3、l2、l4的直线方程的交点坐标，得到棋盘格标定板上各特征点在像素坐标系下的二维坐标。
13.该利用相机提取棋盘格标定板特征点的方法的有益效果是：该方法将棋盘格标定板的顶点作为特征点，基于检测出的去畸变后的图像上棋盘格的角点在像素坐标系下的坐标，找到去畸变后的图像上最上、最下、最左和最右的角点(即a点、b点、c点和d点)，通过对ac、cb、bd、ad所在的直线方程进行平移得到去畸变后的图像中棋盘格标定板边界的直线方程，然后基于去畸变后的图像中棋盘格标定板边界的直线方程的交点坐标，得到棋盘格标定板上各特征点在像素坐标系下的二维坐标。可以看出，该方法无需对棋盘格标定板进行特殊的改造即可提取出棋盘格标定板上各特征点在像素坐标系下的二维坐标，操作简单，普适性强。
14.进一步地，在上述利用相机提取棋盘格标定板特征点的方法中，所述比例系数的计算公式为：r＝l
picture
/s0，式中，r为比例系数，l
picture
为棋盘方格在所述去畸变后的图像中的边长，s0为棋盘方格的真实边长；所述ac、cb、bd、ad所在直线到各自对应的棋盘格标定板边界的真实距离＝ac、cb、bd、ad所在直线各自对应的棋盘格标定板边界到距其最近的棋盘方格的真实距离+棋盘方格的真实边长。
15.进一步地，在上述利用相机提取棋盘格标定板特征点的方法中，所述棋盘格标定板的形状为矩形，所述倾斜放置为对角放置。
16.进一步地，在上述利用相机提取棋盘格标定板特征点的方法中，利用张氏标定法对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像。
17.进一步地，在上述利用相机提取棋盘格标定板特征点的方法中，利用harris算法对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标。
18.本发明还提供了一种相机与激光雷达的联合标定方法，该方法包括以下步骤：
19.利用相机拍摄棋盘格标定板的图像，基于得到的图像数据计算得到棋盘格标定板上的每个特征点在像素坐标系下的二维坐标；所述棋盘格标定板倾斜放置在相机与激光雷达同时能够感知到的区域，特征点为棋盘格标定板的顶点，特征点至少有3个；
20.利用激光雷达扫描棋盘格标定板，基于扫描得到的点云数据计算得到棋盘格标定板上的每个特征点在激光雷达坐标系下的三维坐标；
21.将每个特征点对应的二维坐标和三维坐标组成一组点对数据，利用得到的至少3组点对数据基于pnp方法求解得到相机与激光雷达之间的外参；
22.其中，所述特征点在像素坐标系下的二维坐标的计算过程包括：
23.(1)对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像；
24.(2)对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标，并根据所有角点在像素坐标系下的坐标找到最上、最下、最左和最右的角点作为a点、b点、c点和d点，并根据a点、b点、c点和d点的坐标分别计算得到ac、cb、bd、ad所在的直线方程；
25.(3)分别计算ac、cb、bd、ad所在直线到边界l1、l3、l2、l4的距离d1、d3、d2、d4，所述边界l1、l3、l2、l4分别为ac、cb、bd、ad所在直线对应的所述去畸变后的图像中棋盘格标定板的边界；
26.其中，所述距离d1、d3、d2、d4分别根据ac、cb、bd、ad所在直线到各自对应的棋盘格标定板边界的真实距离与比例系数计算得到，所述比例系数根据棋盘方格的真实边长与棋盘方格在所述去畸变后的图像中的边长确定；
27.(4)将ac、cb、bd、ad所在的直线方程分别平移距离d1、d3、d2、d4得到所述边界l1、l3、l2、l4的直线方程，根据所述边界l1、l3、l2、l4的直线方程的交点坐标，得到棋盘格标定板上各特征点在像素坐标系下的二维坐标。
28.该相机与激光雷达的联合标定方法的有益效果是：首先，本发明基于检测出的去畸变后的图像上棋盘格的角点在像素坐标系下的坐标，找到去畸变后的图像上最上、最下、最左和最右的角点(即a点、b点、c点和d点)，通过对ac、cb、bd、ad所在的直线方程进行平移得到去畸变后的图像中棋盘格标定板边界的直线方程，然后基于去畸变后的图像中棋盘格标定板边界的直线方程的交点坐标，得到棋盘格标定板上各特征点在像素坐标系下的二维坐标，并将其作为激光雷达和相机联合标定中的平面特征，操作简单，无需对标定板进行特殊的改造即可提取出联合标定所需要的平面特征，从而可以实现利用普通的棋盘格标定板即可完成激光雷达和相机的自动化联合标定；并且，本发明将棋盘格标定板的顶点作为特征点，并通过将棋盘格标定板倾斜放置在相机与激光雷达同时能够感知到的区域，使标定板顶点的空间特征更容易精确提取出来，能够提高联合标定的精度。
29.进一步地，在上述相机与激光雷达的联合标定方法中，所述比例系数的计算公式为：r＝l
picture
/s0，式中，r为比例系数，l
picture
为棋盘方格在所述去畸变后的图像中的边长，s0为棋盘方格的真实边长；所述ac、cb、bd、ad所在直线到各自对应的棋盘格标定板边界的真实距离＝ac、cb、bd、ad所在直线各自对应的棋盘格标定板边界到距其最近的棋盘方格的真实距离+棋盘方格的真实边长。
30.进一步地，在上述相机与激光雷达的联合标定方法中，所述棋盘格标定板的形状为矩形，所述倾斜放置为对角放置。
31.进一步地，为了进一步提高联合标定的精度，在上述相机与激光雷达的联合标定方法中，所述棋盘格标定板倾斜固定在可移动的标定支架上，标定过程中将棋盘格标定板随着标定支架移动多个位置，对于每个位置都提取棋盘格标定板上各特征点对应的二维坐标和三维坐标，利用所有特征点对应的点对数据基于pnp方法求解得到相机与激光雷达之间的外参。
32.进一步地，在上述相机与激光雷达的联合标定方法中，利用张氏标定法对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像；利用harris算法对所述去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标。
附图说明
33.图1是本发明联合标定方法实施例中不同摆放方式下的棋盘格标定板顶点拟合效果对比图；
34.图2是本发明联合标定方法实施例中的联合标定场景示意图；
35.图3是本发明联合标定方法实施例中利用相机提取棋盘格标定板特征点的方法流程图；
36.图4是本发明联合标定方法实施例中的harris算法角点检测结果示意图；
37.图5是本发明联合标定方法实施例中的棋盘格标定板测量示意图；
38.图6是本发明联合标定方法实施例中的棋盘格标定板直线方程求解及平移示意图。
具体实施方式
39.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
40.联合标定方法实施例：
41.本实施例的相机与激光雷达的联合标定方法包括以下步骤：
42.利用相机拍摄棋盘格标定板的图像，基于得到的图像数据计算得到棋盘格标定板上的每个特征点在像素坐标系下的二维坐标；其中，棋盘格标定板的形状为矩形，棋盘格标定板倾斜放置(其中，对角放置是倾斜放置的一种特殊情况)在相机与激光雷达同时能够感知到的区域，特征点为棋盘格标定板的顶点，特征点至少有3个；
43.利用激光雷达扫描棋盘格标定板，基于扫描得到的点云数据计算得到棋盘格标定板上的每个特征点在激光雷达坐标系下的三维坐标；
44.将每个特征点对应的二维坐标和三维坐标组成一组点对数据，利用得到的至少3组点对数据基于pnp方法求解得到相机与激光雷达之间的外参。
45.为了解决现有技术中直接将棋盘格标定板的角点作为平面特征用于激光雷达和相机的联合标定，需要对棋盘格标定板做特殊的改造，操作较为复杂、普适性不强的问题，本实施例中进行激光雷达和相机的自动化联合标定时，将棋盘格标定板的顶点作为特征点，并将棋盘格标定板倾斜固定在可移动的标定支架上，这样做的好处是：标定板倾斜固定可以使标定板顶点的空间特征更容易精确提取出来，尤其对于低线束的激光雷达其效果更加明显，其原因在于激光雷达的垂直分辨率要比水平分辨率低很多。如果标定板垂直放置，激光雷达很可能就扫不到棋盘格的上下两条边，此时通过棋盘格上扫描的点云数据拟合出的顶点与真实的棋盘格顶点相差较大，如图1左所示，灰色实心点为拟合出的顶点，黑色实心点为需要求的空间特征点；而对于倾斜放置的标定板其上下顶点虽然也不容易被激光雷达扫到，但其通过棋盘格上扫描的点云数据拟合出的顶点就是真实的棋盘格顶点，如图1右所示，黑色实心点和灰色实心点重合。
46.一般为了得到较好的联合标定结果，提高联合标定的精度，标定过程中会将棋盘格标定板随着标定支架移动多个位置，对于每个位置都需要提取标定板上各特征点的平面特征和空间特征(即计算标定板上各特征点对应的二维坐标和三维坐标)，利用所有特征点对应的点对数据基于pnp方法求解得到相机与激光雷达之间的外参。
47.联合标定场景如图2所示，提前规划出标定场地，将棋盘格标定板倾斜固定在标定支架上，确保标定支架在移动的过程中棋盘格标定板不容易晃动，在联合标定开始前需要将车停在指定位置静止不动，确保标定场地在车辆的相机视野中，标定支架移动的位置需要提前设计好，标定支架每移动一个位置时对棋盘格标定板抓拍图像并保存。
48.在联合标定中，现有技术可以准确检测出相机拍摄的棋盘格标定板图像中棋盘格角点在像素坐标系下的坐标，但无法准确检测出棋盘格标定板图像中棋盘格标定板顶点在像素坐标系下的坐标，而本实施例中将棋盘格标定板的顶点作为特征点，因此如何准确求取棋盘格标定板图像中棋盘格标定板顶点在像素坐标系下的坐标(即如何求取特征点在像素坐标系下的二维坐标)是关键，如图3所示，本实施例中利用相机提取棋盘格标定板特征点的方法包括以下步骤：
49.步骤1、对拍摄得到的棋盘格标定板图像去畸变，得到去畸变后的图像；
50.本实施例中利用张氏标定法求出相机的畸变系数，根据求出的畸变系数对拍摄得到的棋盘格标定板图像去畸变；作为其他实施方式，还可以采用现有技术中的其他方法对拍摄得到的棋盘格标定板图像去畸变。
51.步骤2、对去畸变后的图像中的棋盘格角点进行检测，得到去畸变后的图像上每个角点在像素坐标系下的坐标(以下将在像素坐标系下的坐标简称为像素坐标)；
52.如图4所示，本实施例中通过建立像素坐标系，在像素坐标系下计算去畸变后的图像上每个角点的像素坐标，在像素坐标系下，左上角为原点，向右为x轴方向，向下为y轴方向，角点的检测结果如图中圆圈所示。
53.本实施例中利用harris算法对去畸变后的图像中的棋盘格角点进行检测；作为其他实施方式，还可以采用现有技术中的其他方法实现棋盘格角点的检测。
54.步骤3、基于检测出的去畸变后的图像上每个角点的像素坐标，求取去畸变后的图像中棋盘格标定板顶点的像素坐标，，由于本实施例中将标定板的顶点作为特征点，因此棋盘格标定板顶点在像素坐标系下的二维坐标也就是标定板上特征点在像素坐标系下的二维坐标。
55.求解去畸变后的图像中棋盘格标定板顶点的像素坐标的具体过程如下：
56.(1)求去畸变后的图像中棋盘格最外层角点所在的直线方程；
57.如图4所示，令去畸变后的图像上最上、最下、最左和最右的角点分别用a点、b点、c点、d点表示，由于棋盘格标定板是倾斜放置的，所以在检测出的所有角点的像素坐标中a点的纵坐标最小、b点的纵坐标最大、c点的横坐标最小、d点的横坐标最大，依据这些特征可以得到a、b、c、d四个点的像素坐标；根据a点、b点、c点和d点的坐标分别计算得到ac、cb、bd、ad所在的直线方程(即棋盘格最外层角点所在的直线方程)；
58.(2)求比例系数并计算需平移的像素距离；
59.如图5所示，在进行联合标定前，先用距离测量工具测出棋盘格标定板中一个棋盘方格在真实世界中的真实边长s0，以及在真实世界中棋盘格标定板的四条边界到距其最近的棋盘方格的真实距离，按图5所示方位，在真实世界中棋盘格标定板的四条边界到距其最近的棋盘方格的真实距离分别为s1、s2、s3、s4。由于棋盘格标定板在选用后就固定不变了，所以只需对棋盘格标定板测量一次。
60.但是由于标定支架在移动的时候距离相机的远近是不同的，所以对于当前要处理
的图像需要计算一个比例系数r来描述像素坐标系和世界坐标系下的距离关系。以图6所示图像中棋盘格的数量为例，由于a点到c点对应5个棋盘方格，此时比例系数r可由公式计算得到，|ac|表示a点到c点之间的欧式像素距离；作为其他实施方式，还可以通过计算一个棋盘方格在去畸变后的图像中的边长l
picture
，直接利用r＝l
picture
/s0计算比例系数。
61.如图6所示，由于需要求去畸变后的图像中棋盘格标定板顶点的像素坐标，所以需将ac、cb、bd、ad的直线方程平移到边界l1、l3、l2、l4处，平移所需的像素距离分别为d1、d3、d2、d4；其中，边界l1、l3、l2、l4分别为ac、cb、bd、ad所在直线对应的去畸变后的图像中棋盘格标定板的边界；平移所需的像素距离d1、d3、d2、d4的计算公式如下：
62.d1＝r*(s1+s0)
63.d2＝r*(s2+s0)
64.d3＝r*(s3+s0)
65.d4＝r*(s4+s0)
66.其中，s1+s0表示ac所在直线到其对应的棋盘格标定板边界的真实距离，s1为ac所在直线对应的棋盘格标定板边界到距其最近的棋盘方格的真实距离；s2+s0、s3+s0、s4+s0、s2、s3、s4的含义可类似得到，不再赘述。
67.(3)将棋盘格最外层角点所在的直线方程平移到去畸变后的图像中标定板的边界l1、l3、l2、l4，即将ac、cb、bd、ad所在的直线方程分别平移距离d1、d3、d2、d4，计算得到边界l1、l3、l2、l4的直线方程。
68.(4)求去畸变后的图像中标定板的边界所在直线方程的交点坐标即为标定板顶点的像素坐标，即求边界l1、l3、l2、l4的直线方程的交点坐标作为去畸变后的图像中棋盘格标定板顶点的像素坐标。
69.标定板特征点提取方法实施例：
70.本实施例的利用相机提取棋盘格标定板特征点的方法，如图3所示，该方法与联合标定方法实施例中的利用相机提取棋盘格标定板特征点的方法相同，由于该方法已在联合标定方法实施例中进行了详细介绍，此处不再赘述。