相机外参标定方法、装置和车辆与流程

本技术涉及图像处理，特别是涉及一种相机外参标定方法、装置、车辆、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着自动驾驶领域的不断发展，车载相机可以用于实现车辆的自动驾驶功能。为保证车辆的自动驾驶功能的体验效果，需要对相机外参进行标定。

2、传统技术中，可以基于普通标定板边缘进行外参标定，具体地，通过对相机采集的图像进行边缘提取，并利用激光雷达采集的点云坐标和偏航角特性进行边缘提取，以通过投影到像素坐标系下的边线关系，获得相机外参。

3、然而，在上述方式中，由于点云存在抖动、拖点等现象，图像的采集环境存在不确定性，导致激光雷达和相机的边缘检测存在大量噪点，会在点云中把非边缘点当成边缘点，把图像的背景线当成标定板边缘线使用，使得得到的相机外参的准确性不高。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高外参标定准确率的相机外参标定方法、装置和车辆。

2、第一方面，本技术提供了一种相机外参标定方法，所述方法包括：获取相机采集标定板的多帧目标图像数据和激光雷达采集标定板的多帧目标三维点云；根据多帧目标图像数据，获得各帧目标图像数据中标定板的多个角点位置和对应的标定板在相机坐标系下的第一平面方程；根据各帧目标图像数据中标定板的多个角点位置，获得各帧目标图像数据中标定板的多个目标相机边缘点和对应的标定板在相机坐标系下的边缘直线方程；根据多帧目标三维点云，获得各帧目标三维点云中标定板在激光雷达坐标系下的第二平面方程和各帧目标三维点云中标定板的多个目标激光边缘点；根据各帧目标图像数据中标定板的多个角点位置、边缘直线方程和第一平面方程、以及各帧目标三维点云、各帧目标三维点云中标定板的多个目标激光边缘点和第二平面方程，建立相机和激光雷达之间的外参的目标函数；基于目标函数，确定相机的目标外参。

3、在其中一个实施例中，根据各帧目标图像数据中标定板的多个角点位置、边缘直线方程和第一平面方程、以及各帧目标三维点云、各帧目标三维点云中标定板的多个目标激光边缘点和第二平面方程，建立相机和激光雷达之间的外参的目标函数，包括：通过目标外参，将各帧目标三维点云投影到相机坐标系下，获得各帧目标三维点云中标定板对应的第一目标投影点；通过目标外参，将各帧目标图像数据中标定板的多个角点位置投影到相机坐标系下，获得各帧目标图像数据中标定板对应的第二目标投影点；通过目标外参，将各帧目标三维点云中标定板对应的多个目标激光边缘点投影到相机坐标系下，获得各帧目标三维点云中标定板对应的第三目标投影点；根据各帧目标三维点云中标定板对应的第一目标投影点和第一平面方程、各帧目标图像数据中标定板对应的第二目标投影点和第二平面方程、以及各帧目标三维点云中标定板对应的第三目标投影点和边缘直线方程，建立相机和激光雷达之间的外参的目标函数。

4、在其中一个实施例中，根据各帧目标三维点云中标定板对应的第一目标投影点和第一平面方程、各帧目标图像数据中标定板对应的第二目标投影点和第二平面方程、以及各帧目标三维点云中标定板对应的第三目标投影点和边缘直线方程，建立相机和激光雷达之间的外参的目标函数，包括：根据各帧目标三维点云中标定板对应的第一目标投影点到对应的第一平面方程的第一距离，建立各帧目标三维点云中标定板对应的第一代价函数；根据各帧目标图像数据中标定板对应的第二目标投影点到对应的第二平面方程的第二距离，建立各帧目标图像数据中标定板对应的第二代价函数；根据各帧目标三维点云中标定板对应的第三目标投影点到边缘直线方程的第三距离，建立各帧目标三维点云中标定板对应的第三代价函数；基于各帧目标三维点云中标定板对应的第一代价函数、各帧目标图像数据中标定板对应的第二代价函数、以及各帧目标三维点云中标定板对应的第三代价函数，建立相机和激光雷达之间的外参的目标函数。

5、在其中一个实施例中，根据多帧目标图像数据，获得各帧目标图像数据中标定板的多个角点位置和对应的标定板在相机坐标系下的第一平面方程，包括：根据预设角点函数和多帧目标图像数据，获得各帧目标图像数据中标定板的多个角点位置；获取各帧目标图像数据中标定板的多个角点位置通过相机内参投影到世界坐标系下的第四目标投影点；对各帧目标图像数据中标定板对应的第四目标投影点进行数据拟合，根据数据拟合结果，获得各帧目标图像数据中标定板在相机坐标系下的第一平面方程。

6、在其中一个实施例中，标定板包括棋盘板，根据各帧目标图像数据中标定板的多个角点位置，获得各帧目标图像数据中标定板的多个目标相机边缘点和对应的标定板在相机坐标系下的边缘直线方程，包括：根据棋盘板中格子的尺寸、棋盘板的边缘到棋盘板中格子的距离、以及各帧目标图像数据中标定板的多个角点位置，获得各帧目标图像数据中标定板的多个目标相机边缘点；对各帧目标图像数据中标定板的多个目标相机边缘点进行数据拟合，根据数据拟合结果，获得各帧目标图像数据中标定板在相机坐标系下的边缘直线方程。

7、在其中一个实施例中，根据多帧目标三维点云，获得各帧目标三维点云中标定板在激光雷达坐标系下的第二平面方程和各帧目标三维点云中标定板的多个目标激光边缘点，包括：对多帧目标三维点云中的各帧目标三维点云分别进行数据拟合，根据数据拟合结果，获得各帧目标三维点云中标定板在激光雷达坐标系下的第二平面方程；根据对应的第二平面方程的系数，对各帧目标三维点云进行投影，获得各帧目标二维点云；根据各帧目标二维点云和第一半径，获得各帧目标二维点云中每个点对应的点云候选集合；根据对应的点云候选集合和预设曲面方程，获得各帧目标二维点云中每个点对应的法向量；根据各帧目标二维点云中每个点对应的点云候选集合和各帧目标二维点云中每个点对应的法向量，获得各帧目标三维点云中标定板对应的多个目标激光边缘点。

8、在其中一个实施例中，根据各帧目标二维点云中每个点对应的点云候选集合和各帧目标二维点云中每个点对应的法向量，获得各帧目标三维点云中标定板对应的多个目标激光边缘点，包括：将各帧目标二维点云中每个点对应的点云候选集合分别投影到目标切平面，获得对应的平面投影点集合；目标切平面为各帧目标二维点云中每个点和对应的法向量构成的平面；以各帧目标二维点云中每个点为原点，对应的法向量为y轴建立坐标系，根据各帧目标二维点云中每个点分别到对应的平面投影点集合中每个点的连线与坐标系的夹角，获得各帧目标二维点云中每个点对应的目标夹角集合；当根据对应的目标夹角集合中的夹角大于预设角度，确定对应的点云候选集合的点为边缘点时，获得各帧目标三维点云中标定板对应的多个目标激光边缘点。

9、在其中一个实施例中，多帧目标三维点云的获取方式，包括：获取激光雷达采集标定板的多帧初始三维点云；根据多帧初始三维点云对应的预设关键点和第二半径，获得多帧候选三维点云；对多帧候选三维点云进行去噪处理，获得多帧目标三维点云。

10、第二方面，本技术提供一种相机外参标定装置，装置包括：获取模块，用于获取相机采集标定板的多帧目标图像数据和激光雷达采集标定板的多帧目标三维点云；第一处理模块，用于根据多帧目标图像数据，获得各帧目标图像数据中标定板的多个角点位置和对应的标定板在相机坐标系下的第一平面方程；第二处理模块，用于根据各帧目标图像数据中标定板的多个角点位置，获得各帧目标图像数据中标定板的多个目标相机边缘点和对应的标定板在相机坐标系下的边缘直线方程；第三处理模块，用于根据多帧目标三维点云，获得各帧目标三维点云中标定板在激光雷达坐标系下的第二平面方程和各帧目标三维点云中标定板的多个目标激光边缘点；第四处理模块，用于根据各帧目标图像数据中标定板的多个角点位置、边缘直线方程和第一平面方程、以及各帧目标三维点云、各帧目标三维点云中标定板的多个目标激光边缘点和第二平面方程，建立相机和激光雷达之间的外参的目标函数；确定模块，用于基于目标函数，确定相机的目标外参。

11、第三方面，本技术提供一种车辆，车辆包括：相机、激光雷达和处理器；相机，用于采集标定板的多帧目标图像数据；激光雷达，用于采集标定板的多帧目标三维点云；处理器，用于执行上述的方法的步骤。

12、上述相机外参标定方法、装置和车辆，通过获取相机采集标定板的多帧目标图像数据和激光雷达采集标定板的多帧目标三维点云，以根据多帧目标图像数据，获得各帧目标图像数据中标定板的多个角点位置和对应的标定板在相机坐标系下的第一平面方程，通过结合标定板的角点位置确定对应的标定板所在的平面，可以避免环境中的干扰物对相机外参标定的影响；并根据各帧目标图像数据中标定板的多个角点位置，获得各帧目标图像数据中标定板的多个目标相机边缘点和对应的标定板在相机坐标系下的边缘直线方程，通过结合标定板的角点位置确定标定板的边缘点，可以避免将环境中的干扰物作为标定板的边缘点，进而可以提高基于边缘点获得对应的边缘直线方程的准确率；并根据各帧目标图像数据中标定板的多个角点位置、边缘直线方程和第一平面方程、以及各帧目标三维点云、各帧目标三维点云中标定板的多个目标激光边缘点和第二平面方程，建立相机和激光雷达之间的外参的目标函数，通过结合相机和激光雷达对应的标定板的边缘特性和平面特征建立相机和激光雷达之间的外参的目标函数，以基于目标函数，确定相机的目标外参，可以提高相机外参标定的准确率。