1.一种利用双目相机和激光雷达深度图融合的方法,其特征在于,包括以下步骤:
1)传感器配准
使用双目相机和激光雷达同时拍摄不同姿态,不同位置的标定物;提取深度图边缘特征e,e是提取深度边缘特征的函数,使用特征进行匹配获得传感器位姿t1,深度图转换得到的点云分别为ps和pl,使用最大一致集修正位姿t1得到位姿t;
使用双目相机和激光雷达同时拍摄,并保持传感器充分移动;获得的数据为双目相机深度图序列和激光雷达深度图序列,使用空域配准的方法分别计算两个序列的运动轨迹,并将轨迹分为n个时间段进行对齐,获得时间偏移t1,…,tn;取平均值作为两传感器的时间偏移;
2)边缘提取
两种传感器生成的配准后深度图分别为ds和dl,对应双目相机的场景图为is;分别提取三张图像的边缘ed(ds)、ed(dl)和ei(is),ed和ei分别为提取深度图和场景图边缘的函数,得到的边缘图为
3)深度图融合
首先结合eis和ds检查密闭边缘的深度情况,记录异常值的mask;其次结合mask,eds和ds使用eds修复mask区域深度值;最后使用edl、ds和dl使用密闭边缘中的dl校正ds;
算法中n为设定值。
2.根据权利要求1所述的利用双目相机和激光雷达深度图融合的方法,其特征在于,步骤1)传感器配准:
设由深度图分别为ds和dl,提取深度图边缘特征e,e是提取深度边缘特征的函数,使用ds的特征{fs}和dl的特征{fl}进行匹配获得匹配对{<fsi,flj>},匹配对对应的三维点为{<psi,plj>};计算传感器位姿t1,即||t1psi-plj||<ε1;然后将深度图转换得到的点云分别为ps和pl,位姿t要使点对
使用双目相机和激光雷达同时拍摄,并保持相机充分移动;获得的数据为双目相机深度图序列和激光雷达深度图序列,分别计算两个序列的运动轨迹li和ld,计算轨迹的方法使用空域配准的方法;并将轨迹分为n个时间段进行对齐,获得时间偏移t1,…,tn;取平均值t作为两传感器的时间偏移;
算法中ε1、ε2和n为设定值。
3.根据权利要求1所述的利用双目相机和激光雷达深度图融合的方法,其特征在于,步骤3)深度图融合:
在深度融合前首先检查ds和dl的时间戳是否在偏移t之内;若不在则停止深度图融合;若在,则首先结合eis和ds检查密闭边缘的深度情况,de表示边缘深度值,利用边缘膨胀检查边缘内区域深度值d是否与最近的边的深度值des满足|d-des|<ε3,不满足则记录为异常值并记入mask1;其次结合mask1,eds和ds,遍历eds内的深度值使用de修复mask1;最后使用edl、ds和dl,检查密闭边缘都存在深度值的区域检查是否满足|dl-ds|<ε4,不满足则使用dl替换ds,如果只有存在dl则直接填充,如果只有存在ds则计算ds最近edl边缘和次近的边缘的深度值del1和del2,使用三线性插值计算dt替换ds;
算法中ε3和ε4为设定值。