激光雷达与相机标定方法、装置、电子设备及存储介质与流程

本发明实施例涉及智能汽车，尤其涉及一种激光雷达与相机标定方法、装置、电子设备及存储介质。

背景技术：

1、在智能汽车技术领域中，单一传感器不可避免的存在局限性，为了提高系统的稳健性，多采取多传感器融合的方案。在多传感器融合的方案中，激光雷达与相机的融合在其特性高度互补的前提下得到了快速发展和广泛应用。

2、激光雷达与相机的联合标定属于不同传感器的空间同步范畴，联合标定可以理解为需要确定激光雷达到相机的空间转换关系，即确定激光雷达相对于相机的旋转矩阵和平移矩阵，为后续的激光雷达和相机的数据融合做准备。

3、现有技术中，可以通过基于标定板标定的方法实现激光雷达与相机的联合标定，但该方法需要在有标定板的场景下才能实现联合标定；还可以基于自然场景中的道路特征进行自动标定，但该方法所需采用的算法较为复杂。故，如何更便捷地实现激光雷达与相机的联合标定是当前亟待解决的技术问题。

技术实现思路

1、本发明提供了一种激光雷达与相机标定方法、装置、电子设备及存储介质，可以更便捷地实现激光雷达与相机的联合标定。

2、第一方面，本发明实施例提供了一种激光雷达与相机标定方法，其特征在于，包括：

3、显示融合结果至标定界面，所述融合结果指示将激光雷达采集的点云数据所对应点云投射至相机采集的图像得到的结果，所述点云数据和所述图像基于所述激光雷达和所述相机的共视区域采集得到；

4、响应于在所述标定界面中基于所述融合结果的点对选择操作，确定所述点对选择操作所选择的超过设定数量的候选点对，所述候选点对由投射至所述图像的点云中的第一二维点和所述图像中的第二二维点形成；

5、基于所述点云数据确定各所述候选点对对应的目标点对，所述目标点对由所述第一二维点在所述点云数据中对应的目标三维点和所述第二二维点形成；

6、响应于所述标定界面中的标定结果获取操作，基于所确定的目标点对确定所述激光雷达相对于所述相机的目标旋转矩阵和目标平移矩阵。

7、第二方面，本发明实施例提供了一种激光雷达与相机标定装置，其特征在于，包括：

8、显示模块，用于显示融合结果至标定界面，所述融合结果指示将激光雷达采集的点云数据所对应点云投射至相机采集的图像得到的结果，所述点云数据和所述图像基于所述激光雷达和所述相机的共视区域采集得到；

9、候选点对确定模块，用于响应于在所述标定界面中基于所述融合结果的点对选择操作，确定所述点对选择操作所选择的超过设定数量的候选点对，所述候选点对由投射至所述图像的点云中的第一二维点和所述图像中的第二二维点形成；

10、目标点对确定模块，用于基于所述点云数据确定各所述候选点对对应的目标点对，所述目标点对由所述第一二维点在所述点云数据中对应的目标三维点和所述第二二维点形成；

11、标定结果确定模块，用于响应于所述标定界面中的标定结果获取操作，基于所确定的目标点对确定所述激光雷达相对于所述相机的目标旋转矩阵和目标平移矩阵。

12、第三方面，本发明实施例提供了一种电子设备，包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

16、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

17、本发明实施例的技术方案，通过响应于标定界面中基于融合结果的点对选择操作确定候选点对，通过点云数据确定各候选点对对应的目标点对，再通过响应于标定界面中的标定结果获取操作，基于所确定的目标点对确定激光雷达相对于相机的目标旋转矩阵和目标平移矩阵。上述技术方案，通过响应于标定界面的点对选择操作，选取第一二维点和第二二维点组成的点对，基于所选取的第一二维点在点云数据中确定对应的目标三维点，进而确定目标三维点和第二二维点组成的点对，即通过选取二维点和二维点组成的点对，即可确定用于标定的三维点和二维点组成的点对，可以更便捷地实现激光雷达与相机的联合标定。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种激光雷达与相机标定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，响应于在所述标定界面中基于所述融合结果的点对选择操作，确定所述点对选择操作所选择的超过设定数量的候选点对，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述点云数据确定各所述候选点对对应的目标点对，包括：

4.根据权利要求3所述的方法，其特征在于，基于所述点标识、所述点云数据和所述候选点对中所述第二二维点的第二像素坐标，确定所述候选点对对应的目标点对，包括：

5.根据权利要求1所述的方法，其特征在于，响应于所述标定界面中的标定结果获取操作，基于所确定的目标点对确定所述激光雷达相对于所述相机的目标旋转矩阵和目标平移矩阵，包括：

6.根据权利要求1所述的方法，其特征在于，在所述显示融合结果至标定界面之前，还包括：

7.根据权利要求6所述的方法，其特征在于，通过所述标定配置文件将所述点云投射至所述图像得到融合结果，包括：

8.根据权利要求7所述的方法，其特征在于，根据所述投射信息将所述点云数据对应的点云投射至所述校正图像，得到融合结果，包括：

9.根据权利要求8所述的方法，其特征在于，基于所述待处理点对应的三维坐标和所述投射信息，确定所述待处理点在像素坐标系下的像素坐标，包括：

10.一种激光雷达与相机标定装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括：

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。

技术总结
本发明公开了一种激光雷达与相机标定方法、装置、电子设备及存储介质。该方法包括：显示融合结果至标定界面；响应于在标定界面中基于融合结果的点对选择操作，确定点对选择操作所选择的超过设定数量的候选点对，候选点对由投射至图像的点云中的第一二维点和图像中的第二二维点形成；基于点云数据确定各候选点对对应的目标点对，目标点对由第一二维点在点云数据中对应的目标三维点和第二二维点形成；响应于标定界面中的标定结果获取操作，基于所确定的目标点对确定激光雷达相对于相机的目标旋转矩阵和目标平移矩阵。该方法通过选取二维点和二维点组成的点对，确定用于标定的三维点和二维点组成的点对，更便捷地实现了激光雷达与相机的联合标定。

技术研发人员：杨鑫,贾楠,徐倩
受保护的技术使用者：成都市卡蛙科技有限公司
技术研发日：
技术公布日：2024/1/16