1.一种多模态3d目标检测方法,其特征在于,包括如下步骤:
分别提取原始图像i和对应的lidar点云l的特征;
将所述原始图像i和对应的lidar点云l的特征进行点和像素的特征融合,形成lidar点云特征,将所述原始图像i的特征作为图像特征,分别生成3d区域提议和2d区域提议;
分别从所述3d区域提议和2d区域提议内提取特征并进行融合,生成最终的3d目标检测结果。
2.根据权利要求1所述的多模态3d目标检测方法,其特征在于,所述分别提取原始图像i和对应的lidar点云l的特征,包括:
获取原始图像i、对应的lidar点云l、图像特征提取器fei以及lidar点云特征提取器fel;
将所述原始图像i输入到所述图像特征提取器fei,得到原始图像i的特征fi;
将所述lidar点云l输入到所述lidar点云特征提取器fel,得到lidar点云l的特征fl。
3.根据权利要求1所述的多模态3d目标检测方法,其特征在于,所述将所述原始图像i和对应的lidar点云l的特征进行点和像素的特征融合,形成lidar点云特征,将所述原始图像i的特征作为图像特征,分别生成3d区域提议和2d区域提议,包括:
根据提取得到的所述lidar点云l的特征fl,将所述lidar点云l分为前景点lf和背景点lb,对于所有前景点lf,以lf为中心设置3d锚框a3d;
将所述3d锚框a3d投影到图像平面上,得到对应的2d锚框a2d,形成lidar坐标系下的点与图像坐标系下的像素之间的投影关系;
根据所述投影关系,得到所述原始图像i的特征fi和所述lidar点云l的特征fl之间的对应关系,根据所述对应关系将所述原始图像i的特征fi和所述lidar点云l的特征fl进行点和像素的特征融合;
以融合得到的特征作为lidar点云特征f′l,对所述3d锚框a3d进行回归和分类任务,并计算回归误差
分别取得分最高的前t个2d锚框a′2d和3d锚框a′3d,分别作为2d区域提议pro2d和3d区域提议pro3d;
将所述3d锚框a′3d根据所述投影关系投影到图像平面生成2d锚框a″2d,并计算所述2d锚框a″2d与所述2d锚框a′2d的误差lpro;
构建损失函数
4.根据权利要求3所述的多模态3d目标检测方法,其特征在于,所述3d锚框a3d尺寸为:长3.9米、宽1.6米、高1.5米。
5.根据权利要求3所述的多模态3d目标检测方法,其特征在于,lidar坐标系下的点x与图像坐标系下的像素y之间的投影关系为:
其中,f(i),c(i),
6.根据权利要求3所述的多模态3d目标检测方法,其特征在于,α,β,γ分别取1,1,0.5。
7.根据权利要求3所述的多模态3d目标检测方法,其特征在于,所述分别从所述3d区域提议和2d区域提议内提取特征并进行融合,生成最终的3d目标检测结果,包括:
分别从所述2d区域提议pro2d和3d区域提议pro3d内提取特征
对3d区域提议pro3d进行回归和分类,并计算回归损失l′reg和分类损失l′cls;
构建损失函数lrefinement=l′cls+l′reg,通过最小化该损失函数更新网络参数,直至网络收敛。
8.一种多模态3d目标检测系统,其特征在于,包括:
初始特征提取模块,该模块分别提取原始图像i和对应的lidar点云l的特征;
区域提议生成模块,该模块将所述原始图像i和对应的lidar点云l的特征进行点和像素的特征融合,形成lidar点云特征,将所述原始图像i的特征作为图像特征,分别生成3d区域提议和2d区域提议;
目标检测模块,该模块分别从所述3d区域提议和2d区域提议内提取特征并进行融合,生成最终的3d目标检测结果。
9.一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法。