多模态3D目标检测方法、系统、终端及介质

文档序号:25522303发布日期:2021-06-18 20:10阅读:来源:国知局

技术特征:

1.一种多模态3d目标检测方法,其特征在于,包括如下步骤:

分别提取原始图像i和对应的lidar点云l的特征;

将所述原始图像i和对应的lidar点云l的特征进行点和像素的特征融合,形成lidar点云特征,将所述原始图像i的特征作为图像特征,分别生成3d区域提议和2d区域提议;

分别从所述3d区域提议和2d区域提议内提取特征并进行融合,生成最终的3d目标检测结果。

2.根据权利要求1所述的多模态3d目标检测方法,其特征在于,所述分别提取原始图像i和对应的lidar点云l的特征,包括:

获取原始图像i、对应的lidar点云l、图像特征提取器fei以及lidar点云特征提取器fel;

将所述原始图像i输入到所述图像特征提取器fei,得到原始图像i的特征fi;

将所述lidar点云l输入到所述lidar点云特征提取器fel,得到lidar点云l的特征fl。

3.根据权利要求1所述的多模态3d目标检测方法,其特征在于,所述将所述原始图像i和对应的lidar点云l的特征进行点和像素的特征融合,形成lidar点云特征,将所述原始图像i的特征作为图像特征,分别生成3d区域提议和2d区域提议,包括:

根据提取得到的所述lidar点云l的特征fl,将所述lidar点云l分为前景点lf和背景点lb,对于所有前景点lf,以lf为中心设置3d锚框a3d;

将所述3d锚框a3d投影到图像平面上,得到对应的2d锚框a2d,形成lidar坐标系下的点与图像坐标系下的像素之间的投影关系;

根据所述投影关系,得到所述原始图像i的特征fi和所述lidar点云l的特征fl之间的对应关系,根据所述对应关系将所述原始图像i的特征fi和所述lidar点云l的特征fl进行点和像素的特征融合;

以融合得到的特征作为lidar点云特征f′l,对所述3d锚框a3d进行回归和分类任务,并计算回归误差和分类误差得到回归后的3d锚框a′3d;以所述原始图像i的特征fi作为图像特征fi,对所述2d锚框a2d进行回归和分类任务,并计算回归误差和分类误差得到回归后的2d锚框a′2d;

分别取得分最高的前t个2d锚框a′2d和3d锚框a′3d,分别作为2d区域提议pro2d和3d区域提议pro3d;

将所述3d锚框a′3d根据所述投影关系投影到图像平面生成2d锚框a″2d,并计算所述2d锚框a″2d与所述2d锚框a′2d的误差lpro;

构建损失函数其中,α,β,γ分别为各项系数,通过最小化该损失函数更新网络参数,直至网络收敛。

4.根据权利要求3所述的多模态3d目标检测方法,其特征在于,所述3d锚框a3d尺寸为:长3.9米、宽1.6米、高1.5米。

5.根据权利要求3所述的多模态3d目标检测方法,其特征在于,lidar坐标系下的点x与图像坐标系下的像素y之间的投影关系为:

其中,f(i),c(i)分别是相机传感器的内参,是0号相机的矫正旋转矩阵,是相机与lidar坐标系的旋转向量,是相机与lidar坐标系的平移向量。

6.根据权利要求3所述的多模态3d目标检测方法,其特征在于,α,β,γ分别取1,1,0.5。

7.根据权利要求3所述的多模态3d目标检测方法,其特征在于,所述分别从所述3d区域提议和2d区域提议内提取特征并进行融合,生成最终的3d目标检测结果,包括:

分别从所述2d区域提议pro2d和3d区域提议pro3d内提取特征然后将特征融合后的特征作为3d区域提议pro3d的特征,作为3d目标检测结果;

对3d区域提议pro3d进行回归和分类,并计算回归损失l′reg和分类损失l′cls;

构建损失函数lrefinement=l′cls+l′reg,通过最小化该损失函数更新网络参数,直至网络收敛。

8.一种多模态3d目标检测系统,其特征在于,包括:

初始特征提取模块,该模块分别提取原始图像i和对应的lidar点云l的特征;

区域提议生成模块,该模块将所述原始图像i和对应的lidar点云l的特征进行点和像素的特征融合,形成lidar点云特征,将所述原始图像i的特征作为图像特征,分别生成3d区域提议和2d区域提议;

目标检测模块,该模块分别从所述3d区域提议和2d区域提议内提取特征并进行融合,生成最终的3d目标检测结果。

9.一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法。


技术总结
本发明提供了一种多模态3D目标检测方法及系统,分别提取原始图像I和对应的LiDAR点云L的特征;将所述原始图像I和对应的LiDAR点云L的特征进行点和像素的特征融合,形成LiDAR点云特征,将所述原始图像I的特征作为图像特征,分别生成3D区域提议和2D区域提议;分别从所述3D区域提议和2D区域提议内提取特征并进行融合,生成最终的3D目标检测结果。同时提供了一种相应的终端及介质。本发明利用模态之间的几何约束关系和特征关联性完成目标检测;通过第一阶段的点‑像素级别和第二阶段的区域提议级别的特征融合,完成了3D目标检测任务;利用图像和LiDAR点云之间的几何约束,生成高质量的区域提议。

技术研发人员:马超
受保护的技术使用者:上海交通大学
技术研发日:2021.03.11
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1