一种多相机系统和激光雷达联合系统及其联合标定方法与流程

本发明涉及计算机技术领域，特别是一种多相机系统和激光雷达联合系统及其联合标定方法。

背景技术：

人类在驾驶过程中所接受的信息大多来自视觉，例如交通标志、道路标志、交通信号等，这些视觉信息成为人类驾驶员控制车辆的主要决策依据。在自动驾驶中，相机取代人类视觉系统作为交通环境感知的传感器之一。相比较其他传感器，相机安装使用的方法简单、获取的图像信息量大、投入成本低、作用范围广。但是相机容易受光照影响，在光线不好或者光线突变的地方拍摄效果差。自动驾驶中另一种常用传感器是激光雷达。激光雷达工作在红外和可见光波段，是一种以激光为工作光束、使用光电探测技术手段的主动遥感设备。激光雷达系统能探测静态和动态物体，并提供被探测物的高分辨率的几何图像、距离图像、速度图像。激光雷达可以获得极高的速度、距离和角度分辨率，形成精确的3d地图，抗干扰能力强，但是成本较高，也容易受到恶劣天气和烟雾环境的影响。针对两种传感器的特点，目前主要的解决方案是传感器融合，而传感器融合首先要解决的就是标定问题。

目前对双目或者多目相机的标定方法都要求有重叠视野才能进行标定，但是在实际使用过程中我们希望多相机系统可以观察到车辆周围的环境信息，所以相机的摆放方向是朝向外侧的。由于相机的视角有限，当两个相机之间的角度稍大时相机间的共同视野就会消失或者有很小的共同视野，传统标定方法就会失效。在相机和激光雷达的标定过程中往往需要采集多个地点多组位姿图像数据，如果需要在远距离标定的很准确就需要很大的一片场地。后期标定还需要点云选取和优化，单相机和激光雷达标定的工作量就很大，如果是多相机系统那工作量将会加倍增长。

技术实现要素：

本发明的目的在于提供一种多相机系统和激光雷达联合系统及其联合标定方法，以解决解决现有多相机标定需要有共同视野，在多相机系统只有很少共同视野或者没有视野无法完成相机的内参和外参标定问题，同时简化多相机系统和激光雷达联合标定的方法。

为实现上述技术目的，达到上述技术效果，本发明公开了一种多相机系统和激光雷达联合系统，所述的联合系统包括了至少两组工业相机和一组激光雷达，所述的工业相机和激光雷达安装于固定支架上，工业相机以激光雷达为中心呈等圆心角分布安装于激光雷达的外侧。

其中，激光雷达为2.5d激光雷达或3d激光雷达，激光雷达的垂直视野的范围为10°-40°。

本发明还公开了一种多相机系统和激光雷达联合标定方法，采用上述的联合系统，具体包括以下步骤：

s1、安装固定联合系统，开启工业相机同步拍摄功能，将特殊标定板放置于联合系统外侧，调整特殊标定板与工业相机的距离保证特殊标定板完整出现在工业相机视野中，将特殊标定板缓慢围绕联合系统移动一圈；

s2、设定联合系统中某一工业相机为cam-1，将棋盘格标定板放置于cam-1外侧，调整棋盘格标定板与cam-1的距离保证棋盘格标定板完整出现在cam-1视野中，通过cam-1和激光雷达分别取得棋盘格标定板的多位姿图像和点云数据；

s3、将s1采集得到数据包进行同步时间戳处理，然后从数据包中提取出图像，将每组工业相机拍摄到的图片规范化命名，筛选出每组工业相机拍摄到的特殊标定板的清晰完整的图像以及相邻工业相机同一时间戳拍摄到的清晰的特殊标定板图像；

s4、计算s3拍摄图像和标定图像的特征点，匹配特征点和筛选错误匹配的特征点，用匹配到的特征点计算工业相机的内参和拍摄到的特殊标定板在工业相机坐标系下的坐标并优化内参和位姿；

s5、构建位姿拓扑地图，以每组工业相机和在相机坐标系下的位姿为顶点，以拍摄到的图片为边，构建位姿拓扑图，设相机cam-1和全局坐标系对齐，计算每组工业相机在全局坐标系下的位姿，以相机cam-1为根节点，使用广度优先算法生成树，将每组工业相机之间的转化关系联系起来，完成多相机系统标定；

s6、同时播放cam-1和激光雷达采集的标定数据，通过标定软件在点云数据中选择打在棋盘格标定板上的点云，每个位姿都需要选取；选择完点云后，将点云投影到相机坐标系中，观测所选点云是否位于标定板中心；

s7、调整s6所选的点云，使得所选点云投影后都在棋盘格标定板的中心，都调整好后点击标定，输出激光雷达标定结果；

s8、联合s5、s6和s7，通过多相机系统和激光雷达联合系统达标定结果，完成整个感知系统的标定。

其中，s1中特殊标定板为表面具有不规则明暗变化的标定板，尺寸大小与棋盘格标定板相同。

其中，s3中图片规范化命名由相机名称和时间戳组成。

优选的，s7中点云的调整方法为最小化重投影误差优化，具体步骤为：

s71、通过所选的点云，估计出平面方程和平面法向量；

s72、通过棋盘格标定板的位姿计算图像中标定板平面的法向量；

s73、通过两个法向量计算出激光雷达和每组工业相机的转换关系,将所有的转换关系通过最小化投影误差，优化出最终的结果。

进一步的，位姿为n种方位与m种倾角的搭配组合，其中，n、m均为正整数。

本发明具有以下有益效果：

1.本发明通过使用一种特殊生成的标定板，只要相邻两个相机可以同时拍摄到标定板的一部分就可以求解出多相机的内参和外参，当多相机系统的相机满足相邻两个相机可以同时拍摄到标定板就可以完成多相机系统的标定，再联合单相机(cam-1)和激光雷达的标定，完成多相机系统和激光雷达的标定。

2.本发明省去了激光雷达和每个相机都采集数据和选择点云的步骤，简化了标定步骤，在保证精度的前提下节省了标定的时间和过程，解决了多相机系统在相邻相机没有共同视野或者共同视野很小的情况下无法完成标定的问题。

附图说明

图1为本发明具体实施多相机系统和激光雷达联合标定的流程示意图；

图2为本发明的多相机系统和激光雷达结构图；

图3为本发明多相机标定使用的特殊标定板的图像。

主要部件符号说明:

1：固定支架，2：激光雷达，3：工业相机。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。

实施例1

如图1-3所示，本发明公开了一种多相机系统和激光雷达联合系统，所述的联合系统包括了五组工业相机3和一组激光雷达2，工业相机3和激光雷达2安装于固定支架1上，工业相机3以激光雷达2为中心呈等圆心角分布安装于激光雷达2的外侧。

其中，激光雷达2为2.5d激光雷达或3d激光雷达，激光雷达2的垂直视野范围为10°-40°。

本发明还公开了一种多相机系统和激光雷达联合标定方法，采用上述的联合系统，具体包括以下步骤：

s1、安装固定联合系统，开启工业相机3同步拍摄功能，将特殊标定板放置于联合系统外侧，调整特殊标定板与工业相机3的距离保证特殊标定板完整出现在工业相机3视野中，将特殊标定板缓慢围绕联合系统移动一圈，

本发明在标定过程中，需要采用两种标定板，一种为特殊标定板，一种为传统的棋盘格标定板，其中特殊标定板为表面具有不规则明暗变化的标定板，尺寸大小与棋盘格标定板相同，具体样式如图3所示；

s2、设定联合系统中某一工业相机3为cam-1，其余工业相机3以cam-2、cam-3、cam-4和cam-5依次标号，将棋盘格标定板放置于cam-1外侧，调整棋盘格标定板与cam-1的距离保证棋盘格标定板完整出现在cam-1视野中，通过cam-1和激光雷达2分别取得棋盘格标定板的多位姿图像和点云数据，在激光雷达2和工业相机3的标定过程中，棋盘格标定板或特殊标定板的位姿为n种方位与m种倾角的搭配组合，具体的为在工业相机3的视野的前中后、左中右共3×3九个位置，在每个位置分别将标定板举起左倾、右倾、前倾、后倾、正放共五个位姿,放在地上左倾、右倾、前倾、后倾、正放共五个位姿，一共九个位置与十个位姿的搭配组合共90种。在举起和放在地上时让尽可能多的激光束打在板上；

s3、将s1采集得到数据包进行同步时间戳处理，然后从数据包中提取出图像，将每组工业相机3拍摄到的图片规范化命名，例如cam-1在时间戳213时拍摄到的图片命名为“cam-1-213”，筛选出每组工业相机3拍摄到的特殊标定板的清晰完整的图像以及相邻工业相机3同一时间戳拍摄到的清晰的特殊标定板图像；

s4、计算s3拍摄图像和标定图像的特征点，匹配特征点和筛选错误匹配的特征点，用匹配到的特征点计算工业相机3的内参和拍摄到的特殊标定板在工业相机坐标系下的坐标并优化内参和位姿；

s5、构建位姿拓扑地图，以每组工业相机3和在相机坐标系下的位姿为顶点，以拍摄到的图片为边，构建位姿拓扑图，设相机cam-1和全局坐标系对齐，计算每组工业相机3在全局坐标系下的位姿，以相机cam-1为根节点，使用广度优先算法生成树，将每组工业相机3之间的转化关系联系起来，完成多相机系统标定；

s6、同时播放cam-1和激光雷达采集的标定数据，通过标定软件在点云数据中选择打在棋盘格标定板上的点云，每个位姿都需要选取；选择完点云后，将点云投影到相机坐标系中，观测所选点云是否位于标定板中心；

s7、调整s6所选的点云，通过最小化重投影误差优化使得所选点云投影后都在棋盘格标定板的中心，都调整好后点击标定，输出激光雷达2标定结果；

s8、联合s5、s6和s7，通过多相机系统和激光雷达联合系统达标定结果，完成整个感知系统的标定。

本发明通过使用一种特殊生成的标定板，只要相邻两个工业相机3可以同时拍摄到标定板的一部分就可以求解出多相机的内参和外参，当多相机系统的相机满足相邻两个工业相机3可以同时拍摄到标定板就可以完成多相机系统的标定，再联合单相机(如cam-1)和激光雷达的标定，完成多相机系统和激光雷达的标定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。