用于激光雷达与相机的自标定方法、装置及存储介质

本发明涉及计算机视觉，具体地说，涉及一种用于激光雷达与相机的自标定方法、装置及存储介质。

背景技术：

1、激光雷达和可见光相机是计算机视觉中常用的两种成像传感器，激光雷达可以获取环境的三维位置信息，可见光相机可以获得环境的色彩信息。现有技术中为了获得目标场景的彩色点云等更利于感知的信息，会同时采用激光雷达和相机对目标场景进行检测。为了实现激光雷达和相机的数据的融合，就需要对同一系统中的激光雷达和相机的投影关系进行标定。

2、目前对于激光雷达和相机间的标定，均需要依靠特定已知物体如标定板和建筑直角等进行，难以实现自标定。

技术实现思路

1、本发明提供了一种用于激光雷达与相机的自标定方法，其能够克服现有技术的某种或某些缺陷。

2、根据本发明的一种用于激光雷达与相机的自标定方法，其具有如下步骤：

3、s1、采用激光雷达和相机对同一场景进行数据采集，激光雷达用于获取深度图像id和强度图像iin，相机用于获取彩色图像irgb；

4、s2、基于orb特征检测，获取强度图像iin与彩色图像irgb中的匹配点对为强度图像iin中的orb特征点，为彩色图像irgb中的orb特征点；

5、s3、自深度图像id中获取与匹配点对应的三维坐标(xk，yk，zk)，自彩色图像irgb中获取与匹配点对应的图像坐标(uk，vk)，建立坐标点对(xk，yk，zk，uk，vk)；

6、s4、构建深度图像id与彩色图像irgb间的坐标投影公式，通过坐标点对(xk，yk，zk，uk，vk)对坐标投影公式求解，获取激光雷达与相机间的转换矩阵r。

7、作为优选，步骤s2具体包括如下步骤，

8、s21、获取强度图像ii的第一orb特征点集合pref以及对应的第一orb特征点向量集合为第m个第一orb特征点，为对应的第一orb特征点向量；

9、s22、获取彩色图像irgb的第二orb特征点集合prgb以及对应的第二orb特征点向量集合qrgb，为第n个第二orb特征点，为对应的第二orb特征点向量；

10、s23、将第一orb特征点向量集合qref中的每个第一orb特征点依次与第二orb特征点向量集合qrgb中的第二orb特征点进行相似度匹配；进而获取匹配点对集合其中，

11、作为优选，步骤s23中，对于第k个匹配点对和匹配点和匹配点的图像坐标位置相似，且对应的第一orb特征点向量与第二orb特征点向量相似。

12、作为优选，在进行相似度匹配时，

13、对于任一第一orb特征点依次计算其与第二orb特征点集合prgb中未被匹配的第二orb特征点的像素坐标的欧拉距离dref，并依次计算对应的第一orb特征点向量与第二orb特征点向量集合qrgb中未被匹配的第二orb特征点所对应的第二orb特征点向量的汉明距离drgb；

14、若第二orb特征点集合prgb中存在与该任一第一orb特征点的欧拉距离dref小于设定欧拉距离阈值dref且汉明距离drgb小于设定汉明距离阈值drgb的对应点时，则匹配成功；在匹配成功时，将该任一第一orb特征点与该对应点作为一个匹配点对。

15、作为优选，在所述对应点存在多个时，以欧拉距离dref与汉明距离drgb之和最小的点作为所述任一第一orb特征点的匹配点。

16、作为优选，步骤s3中，获取与匹配点对集合pmatch对应的坐标点对集合pc，pc＝{(xk，yk，zk，uk，vk)|k∈n+}；步骤s4中，在对坐标投影公式进行求解时，自坐标点对集合pc中选取足够数量的坐标点代入至坐标投影公式中。

17、作为优选，步骤s4中，

18、所构建的转换矩阵r为，

19、

20、所构建的坐标投影公式为，

21、

22、作为优选，步骤s4中，基于最小二乘法获取转换矩阵r。

23、此外，本发明还提供了一种用于激光雷达与相机的自标定装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现任一项上述的自标定方法的步骤。

24、此外，本发明还提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被执行时实现任一项上述的自标定方法的步骤。

25、本发明具有如下有益效果：

26、1、所引入的强度图像iin能够与彩色图像irgb对同一场景中的特征点保持基本相同的感知，通过对强度图像iin与彩色图像irgb中的特征点的匹配(可以理解的是，相匹配的2个特征点对应着实际场景中的同一点)，即可较佳地实现实际场景中的某一点在激光雷达与相机中的坐标的分别获取，故而即可较佳地实现转换矩阵r的获取；通过上述，无需采用专用标定靶作为标定物，即可实现激光雷达和相机间的自标定，故而大大简化标定流程，提升标定效率；

27、2、通过约束匹配点和匹配点的图像坐标位置相似，能够较佳地确保匹配点对和间具有相似的空间位置；通过约束应的第一orb特征点向量与第二orb特征点向量相似，能够较佳地确保匹配点对和间具有相似的反射特性；

28、3、欧拉距离和汉明距离的引入，较佳地实现了匹配点对和的匹配精度及速度的提升；

29、4、通过本发明的方法，能够在激光雷达与相机联合使用时，实现激光雷达坐标系与相机坐标系间的自主对齐标定。

技术特征：

1.用于激光雷达与相机的自标定方法，其具有如下步骤：

2.根据权利要求1所述的用于激光雷达与相机的自标定方法，其特征在于：步骤s2具体包括如下步骤，

3.根据权利要求2所述的用于激光雷达与相机的自标定方法，其特征在于：步骤s23中，对于第k个匹配点对和匹配点和匹配点的图像坐标位置相似，且对应的第一orb特征点向量与第二orb特征点向量相似。

4.根据权利要求3所述的用于激光雷达与相机的自标定方法，其特征在于：在进行相似度匹配时，

5.根据权利要求4所述的用于激光雷达与相机的自标定方法，其特征在于：在所述对应点存在多个时，以欧拉距离dref与汉明距离drgb之和最小的点作为所述任一第一orb特征点的匹配点。

6.根据权利要求5所述的用于激光雷达与相机的自标定方法，其特征在于：步骤s3中，获取与匹配点对集合pmatch对应的坐标点对集合pc，pc＝{(xk，yk，zk，uk，vk)|k∈n+}；步骤s4中，在对坐标投影公式进行求解时，自坐标点对集合pc中选取足够数量的坐标点代入至坐标投影公式中。

7.根据权利要求6所述的用于激光雷达与相机的自标定方法，其特征在于：步骤s4中，

8.根据权利要求7所述的用于激光雷达与相机的自标定方法，其特征在于：步骤s4中，基于最小二乘法获取转换矩阵r。

9.用于激光雷达与相机的自标定装置，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时，实现权利要求1至8中任一项所述的自标定方法的步骤。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1至8中任一项所述的自标定方法的步骤。

技术总结
本发明涉及计算机视觉技术领域，涉及一种用于激光雷达与相机的自标定方法、装置及存储介质。该方法具有如下步骤：S1、采用激光雷达和相机对同一场景进行数据采集，激光雷达用于获取深度图像和强度图像，相机用于获取彩色图像；S2、基于ORB特征检测，获取强度图像与彩色图像中的匹配点对；S3、自深度图像中获取与匹配点对应的三维坐标，自彩色图像中获取与匹配点对应的图像坐标，建立坐标点对；S4、构建深度图像与彩色图像间的坐标投影公式，通过坐标点对对坐标投影公式求解，获取激光雷达与相机间的转换矩阵。该装置及存储介质均用于实现上述的自标定方法。本发明能够较佳地实现激光雷达坐标系与相机坐标系间的自主对齐标定。

技术研发人员：杨淑婷,王微,刘正予,海云瑞,袁夏,张学俭,王梓懿,李永梅,马聪,王盾,李季,张静,梁爱银
受保护的技术使用者：宁夏农林科学院农业经济与信息技术研究所
技术研发日：
技术公布日：2024/2/1