一种利用双目相机和激光雷达深度图融合的方法与流程

文档序号:20206906发布日期:2020-03-31 10:19阅读:来源:国知局

技术特征:

1.一种利用双目相机和激光雷达深度图融合的方法,其特征在于,包括以下步骤:

1)传感器配准

使用双目相机和激光雷达同时拍摄不同姿态,不同位置的标定物;提取深度图边缘特征e,e是提取深度边缘特征的函数,使用特征进行匹配获得传感器位姿t1,深度图转换得到的点云分别为ps和pl,使用最大一致集修正位姿t1得到位姿t;

使用双目相机和激光雷达同时拍摄,并保持传感器充分移动;获得的数据为双目相机深度图序列和激光雷达深度图序列,使用空域配准的方法分别计算两个序列的运动轨迹,并将轨迹分为n个时间段进行对齐,获得时间偏移t1,…,tn;取平均值作为两传感器的时间偏移;

2)边缘提取

两种传感器生成的配准后深度图分别为ds和dl,对应双目相机的场景图为is;分别提取三张图像的边缘ed(ds)、ed(dl)和ei(is),ed和ei分别为提取深度图和场景图边缘的函数,得到的边缘图为三者的稀疏程度由小到大为边缘图中的边缘并不是密闭的,使用边缘修复函数ep处理边缘图得到密闭的边缘图edl、eds和eis;

3)深度图融合

首先结合eis和ds检查密闭边缘的深度情况,记录异常值的mask;其次结合mask,eds和ds使用eds修复mask区域深度值;最后使用edl、ds和dl使用密闭边缘中的dl校正ds;

算法中n为设定值。

2.根据权利要求1所述的利用双目相机和激光雷达深度图融合的方法,其特征在于,步骤1)传感器配准:

设由深度图分别为ds和dl,提取深度图边缘特征e,e是提取深度边缘特征的函数,使用ds的特征{fs}和dl的特征{fl}进行匹配获得匹配对{<fsi,flj>},匹配对对应的三维点为{<psi,plj>};计算传感器位姿t1,即||t1psi-plj||<ε1;然后将深度图转换得到的点云分别为ps和pl,位姿t要使点对满足且点对的数量达到最大,得到位姿为t;

使用双目相机和激光雷达同时拍摄,并保持相机充分移动;获得的数据为双目相机深度图序列和激光雷达深度图序列,分别计算两个序列的运动轨迹li和ld,计算轨迹的方法使用空域配准的方法;并将轨迹分为n个时间段进行对齐,获得时间偏移t1,…,tn;取平均值t作为两传感器的时间偏移;

算法中ε1、ε2和n为设定值。

3.根据权利要求1所述的利用双目相机和激光雷达深度图融合的方法,其特征在于,步骤3)深度图融合:

在深度融合前首先检查ds和dl的时间戳是否在偏移t之内;若不在则停止深度图融合;若在,则首先结合eis和ds检查密闭边缘的深度情况,de表示边缘深度值,利用边缘膨胀检查边缘内区域深度值d是否与最近的边的深度值des满足|d-des|<ε3,不满足则记录为异常值并记入mask1;其次结合mask1,eds和ds,遍历eds内的深度值使用de修复mask1;最后使用edl、ds和dl,检查密闭边缘都存在深度值的区域检查是否满足|dl-ds|<ε4,不满足则使用dl替换ds,如果只有存在dl则直接填充,如果只有存在ds则计算ds最近edl边缘和次近的边缘的深度值del1和del2,使用三线性插值计算dt替换ds;

算法中ε3和ε4为设定值。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1