激光雷达、相机和惯性传感器相互约束的外参标定方法与流程

本发明涉及传感器融合领域，具体涉及一种激光雷达、相机和惯性传感器相互约束的外参标定方法。

背景技术：

1、slam(simultaneous localization and mapping)技术，译为"同时定位与地图构建技术"。它是指安装了传感器的主体，在没有周围环境信息的条件下，通过传感器和自身运动估计自己的位姿，同时建立环境模型的技术。里程计(odometry)技术是slam技术的前端，它通过不同的传感器数据来估计主体位置和姿态的变化。

2、目前已经有许多使用单一测量传感器的成功里程计框架，他们大多基于激光雷达或视觉相机。但是随着人们对智能机器人需求和要求的日益增长，slam技术也需要应对更复杂更具有挑战性的环境，因此近年来也引入imu(惯性测量单元)、gps(全球定位系统)等传感器进行辅助。多传感器结合的多模态融合里程计系统能综合各传感器的工作特性和区间，扬长避短，在部分传感器退化的情况中仍能鲁棒地工作，表现出了更强更广泛的应用。

3、虽然多传感器融合里程计优势明显，但当其应用在slam算法中时也更为复杂。为充分置信并使用各传感器所测量的数据，多模态融合里程计要求传感器之间的坐标轴转换(即外参)是先验的、确定的。以此能将来自不同传感器的信息转换到一个共同的物理参考系下进行计算。现有外参校准方法大多仅适用静态系统，没有包括imu的使用。少数包含对imu的标定方法也只停留在lio系统或者vio系统中，而没有将三种传感器结合在一起的工作实例，因此未能形成完备约束的整体系统。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种激光雷达、相机和惯性传感器相互约束的外参标定方法解决了现有技术对激光雷达、相机和惯性传感器外参标定方法的精度和鲁棒性差的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、提供一种激光雷达、相机和惯性传感器相互约束的外参标定方法，其包括以下步骤：

4、s1、制作棋盘格雷达反射板；将激光雷达、相机和惯性传感器之间的相对位置进行固定，并形成标定系统；其中棋盘格雷达反射板上设置有黑白相间的方形棋盘格图案，且黑白色部分图案的雷达反射率不同；

5、s2、基于棋盘格雷达反射板，静态标定激光雷达和相机，得到激光雷达到相机的转换外参；

6、s3、移动标定系统，对惯性传感器分别从视觉角度和激光雷达角度进行动态标定，分别得到相机与惯性传感器之间的外参初值、激光雷达与惯性传感器之间的外参初值、世界坐标系下一段时间内的多帧相机位姿和世界坐标系下的同一段时间下的多帧激光雷达位姿；

7、s4、基于步骤s3得到的数据构建残差优化模型，通过将残差用最小二乘法进行非线性优化计算出相机与惯性传感器之间的转换外参；

8、s5、基于相机与惯性传感器之间的转换外参和激光雷达到相机的转换外参，由相机-惯性传感器-激光雷达外参间的相互转换关系获取激光雷达与惯性传感器之间的转换外参，完成外参标定。

9、进一步地，步骤s2的具体方法包括以下子步骤：

10、s2-1、获取相机的内参；

11、s2-2、固定棋盘格雷达反射板，分别使激光雷达和相机识别标定板上的点，对应得到3d雷达点云数据和2维图像数据；

12、s2-3、将3d雷达点云数据向2d投影，得到投影后的数据；

13、s2-4、将投影后的数据与2维图像数据中的对应点进行对齐，获取激光雷达到相机的转换外参

14、进一步地，步骤s3中对惯性传感器从视觉角度进行动态标定的具体方法包括以下子步骤：

15、a1、移动标定系统，获取惯性传感器数据和相机数据；

16、a2、将惯性传感器数据向相机数据进行对齐；

17、a3、将第k帧相机数据和第k+1帧相机数据之间的惯性传感器数据进行积分，得到两帧图像之间标定系统的相对位置、速度和旋转变化；

18、a4、以惯性传感器到相机相对位置的变化值为初始值，将每一帧从图像中获取到的特征点重投影误差为优化对象，对优化对象进行非线性优化，得到采集时间内不同相机帧代表的时间点t＝[tv1，tv2，...，tvk]时，世界坐标系下的相机位姿和相机与惯性传感器之间的外参初值

19、进一步地，步骤s3中对惯性传感器从激光雷达进行动态标定的具体方法包括以下子步骤：

20、b1、移动标定系统，获取惯性传感器数据和激光雷达数据；

21、b2、将惯性传感器数据向激光雷达数据进行对齐；

22、b3、通过ndt扫描匹配从激光雷达点云中计算出从第i帧到第i+1帧激光雷达的运动估计值并获取一段时间内不同时间节点的世界坐标系下激光雷达位姿及其对应的时间点{tl1，tl2....tln}；

23、b4、根据公式：

24、

25、获取激光雷达与惯性传感器之间的外参初值其中为惯性传感器与第i帧激光雷达数据相对应的测量值；为惯性传感器与第i+1帧激光雷达数据相对应的测量值。

26、进一步地，步骤s4的具体方法包括以下子步骤：

27、s4-1、从中获取时间点{tl1，tl2....tln}处的位姿数据即从中获取与时间点对齐的数据

28、s4-2、根据公式：

29、

30、建立残差优化模型，将以最小二乘法求解残差δt时得到的值作为相机与惯性传感器之间的转换外参；其中为激光雷达到相机的转换外参；

31、进一步地，步骤s4-1的具体方法为：

32、对于时间点tln，若中存在对应的数据，则直接选用该数据；否则通过在中插值的方法获取时间点tln处对应的数据；其中tln∈{tl1，tl2....tln}。

33、进一步地，步骤s5的具体方法为：

34、将相机与惯性传感器之间的转换外参和激光雷达到相机的转换外参的乘积作为激光雷达与惯性传感器之间的转换外参，完成外参标定。

35、本发明的有益效果为：本方法通过静态标定激光雷达和视觉相机、动态标定激光雷达和imu、动态标定视觉相机和imu互相结合的办法，使得各传感器形成相互约束的三角结构，进一步还能拓展到与更多传感器联系的多因子约束外参空间，实现高精度多传感器间的时空一致性和稳定性。

技术特征：

1.一种激光雷达、相机和惯性传感器相互约束的外参标定方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的激光雷达、相机和惯性传感器相互约束的外参标定方法，其特征在于，步骤s2的具体方法包括以下子步骤：

3.根据权利要求1所述的激光雷达、相机和惯性传感器相互约束的外参标定方法，其特征在于，步骤s3中对惯性传感器从视觉角度进行动态标定的具体方法包括以下子步骤：

4.根据权利要求3所述的激光雷达、相机和惯性传感器相互约束的外参标定方法，其特征在于，步骤s3中对惯性传感器从激光雷达进行动态标定的具体方法包括以下子步骤：

5.根据权利要求4所述的激光雷达、相机和惯性传感器相互约束的外参标定方法，其特征在于，步骤s4的具体方法包括以下子步骤：

6.根据权利要求5所述的激光雷达、相机和惯性传感器相互约束的外参标定方法，其特征在于，步骤s4-1的具体方法为：

7.根据权利要求5所述的激光雷达、相机和惯性传感器相互约束的外参标定方法，其特征在于，步骤s5的具体方法为：

技术总结
本发明公开了一种激光雷达、相机和惯性传感器相互约束的外参标定方法，其包括以下步骤：制作棋盘格雷达反射板，并形成标定系统；静态标定激光雷达和相机，得到激光雷达到相机的转换外参；对惯性传感器分别从视觉角度和激光雷达角度进行动态标定；构建残差优化模型，通过将残差用最小二乘法进行非线性优化计算出相机与惯性传感器之间的转换外参；基于外参间的相互转换关系获取激光雷达与惯性传感器之间的转换外参，完成外参标定。本方法通过静态标定激光雷达和视觉相机、动态标定激光雷达和IMU、动态标定视觉相机和IMU互相结合的办法，使得各传感器形成相互约束的三角结构，实现高精度多传感器间的时空一致性和稳定性。

技术研发人员：杜欣泉,汪双,曾凤,陈财富,王贵锦
受保护的技术使用者：成都清融科技有限责任公司
技术研发日：
技术公布日：2024/1/13