一种利用双目相机和激光雷达深度图融合的方法与流程

本发明属于图像处理和计算机视觉领域。利用双目相机和激光雷达的特性，相互弥补缺陷，使得深度图更精细更准确。

背景技术：

激光雷达是实现移动机器人和汽车自动驾驶环境感知的重要传感器之一,适用于复杂交通环境感知,它的优点所得到的深度图精度较高，它的缺点是分辨率低，获得深度图十分稀疏容易忽视小目标。双目立体视觉作为计算机视觉的重要分支,它被广泛应用于汽车无人驾驶技术当中,但是由于视觉、受光照等环境因素影响较大,导致了其所得深度图精度偏低。所以在移动机器人和汽车自动驾驶等领域中需要一种深度图融合方法，使得生成的深度图即精确又稠密。本发明面临两个难点，一是传感器位姿和时间戳标定，发明中使用深度图标定和最大点云配准两阶段方法解决，二是数据融合，在本发明中使用场景边缘以启发式的方法完成。

技术实现要素：

本发明为了解决现有技术中存在的问题，提供了一种利用双目相机和激光雷达深度图融合的方法。具体技术方案的步骤如下：

1)传感器配准

使用双目相机和激光雷达同时拍摄不同姿态，不同位置的标定物；提取深度图边缘特征e，e是提取深度边缘特征的函数，使用特征进行匹配获得传感器位姿t1，深度图转换得到的点云分别为ps和pl，使用最大一致集修正位姿t1得到位姿t。

使用双目相机和激光雷达同时拍摄，并保持传感器充分移动；获得的数据为双目相机深度图序列和激光雷达深度图序列，使用空域配准的方法分别计算两个序列的运动轨迹，并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn；取平均值作为两传感器的时间偏移。

2)边缘提取

两种传感器生成的配准后深度图分别为ds和dl，对应双目相机的场景图为is；分别提取三张图像的边缘ed(ds)、ed(dl)和ei(is)，ed和ei分别为提取深度图和场景图边缘的函数，得到的边缘图为和三者的稀疏程度由小到大为和边缘图中的边缘并不是密闭的，使用边缘修复函数ep处理边缘图得到密闭的边缘图edl、eds和eis。

3)深度图融合

首先结合eis和ds检查密闭边缘的深度情况，记录异常值的mask；其次结合mask，eds和ds使用eds修复mask区域深度值；最后使用edl、ds和dl使用密闭边缘中的dl校正ds；

算法中n为设定值。

本发明的有益效果是：

本发明设计了一种利用双目相机和激光雷达融合生成深度图的方法。利用两种传感器的特性，相互弥补缺陷，使得融合生成的深度图更精细更准确。具有以下特点：

1、程序简单，易于实现；

2、算法效率高，实时性强；

3、融合生成的深度图更精细更准确。

附图说明

图1是系统架构。

图2是传感器配准的算法流程。

图3是传感器融合生成深度图的算法流程。

图4是kitti数据集双目相机场景图。

图5是kitti数据集场景图生成的深度图。

图6是kitti数据集激光雷达数据。

图7是融合后深度图效果示意图。

具体实施方式

本发明提出了一种利用双目相机和激光雷达融合生成深度图的方法，结合附图及实施例详细说明如下：

总体流程如图1，首先系统获取传感器得到的场景图如图4和深度图如图5，然后提取图像边缘，最后使用边缘信息和配准信息进行深度融合。具体的方法如下：

1)传感器配准

首先进行传感器空域配准如图2左侧，使用双目相机和激光雷达同时拍摄不同姿态，不同位置的标定物。设由深度图分别为ds和dl，提取深度图边缘特征e，e是提取深度边缘特征的函数，使用ds的特征{fs}和dl的特征{fl}进行匹配获得匹配对{<fsi,flj>}，匹配对对应的三维点为{<psi,plj>}。计算传感器位姿t1，即||t1psi-plj||<ε1。然后将深度图转换得到的点云分别为ps和pl，使用最大一致集修正位姿，即要使点对满足且点对的数量达到最大，得到位姿为t。

然后进行传感器时间戳配准如图2右侧，使用双目相机和激光雷达同时拍摄，并保持相机充分移动。获得的数据为双目相机深度图序列和激光雷达深度图序列，分别计算两个序列的运动轨迹li和ld，计算轨迹的方法使用空域配准的方法。并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn。取平均值t作为两传感器的时间偏移。

2)边缘提取

如图3上部两种传感器生成深度图分别为ds和dl，并用位姿t配准，对应双目相机的场景图为is。分别提取三张图像的边缘ed(ds)，ed(dl)和ei(is),ed和ei分别为提取深度图和场景图边缘的函数，得到的边缘图为和然后使用边缘修复函数ep处理边缘图得到密闭的边缘图edl,eds和eis。

3)深度图融合

如图3下部在深度融合前首先检查ds和dl的时间戳是否在偏移t之内；若不在则停止深度图融合；若在，则首先结合eis和ds检查密闭边缘的深度情况，de表示边缘深度值，利用边缘膨胀检查边缘内区域深度值d是否与最近的边的深度值des满足|d-des|<ε3，不满足则记录为异常值并记入mask1；其次结合mask1，eds和ds，遍历eds内的深度值使用de修复mask1；最后使用edl、ds和dl，检查密闭边缘都存在深度值的区域检查是否满足|dl-ds|<ε4，不满足则使用dl替换ds，如果只有存在dl则直接填充，如果只有存在ds则计算ds最近edl边缘和次近的边缘的深度值del1和del2，使用三线性插值计算dt替换ds。融合后的预计效果如图7。

算法中ε1、ε2、ε3、ε4和n为设定值。