一种离线三维物体检测方法及系统与流程

本发明总的来说涉及三维物体检测。具体而言，本发明涉及一种离线三维物体检测方法及系统。

背景技术：

1、自动驾驶是指让汽车在没有人类干预的情况下，根据路况和目的地自主行驶的技术。为了实现这一目标，自动驾驶汽车需要能够感知周围的环境，识别出道路、车辆、行人、障碍物等物体，并根据它们的位置、速度、形状等信息做出合理的决策和控制。3d物体检测是指利用传感器(如相机、雷达、激光等)获取三维空间中物体的信息，如类别、位置、姿态、尺寸等。3d物体检测是自动驾驶感知的重要组成部分，它可以提供更丰富和准确的物体信息，有助于提高自动驾驶汽车的安全性和效率。

2、然而，在实际应用中，自动驾驶和3d物体检测面临着许多挑战和需求。一方面，由于道路环境复杂多变，物体种类繁多，物体间存在遮挡和交互等情况，3d物体检测需要具备高精度和鲁棒性。另一方面，由于自动驾驶汽车需要实时响应周围情况，3d物体检测需要具备高效率和低延迟。为了满足这些要求，自动驾驶感知模型需要不断地进行数据驱动的持续迭代。

3、现有的自动驾驶感知模型依赖数据驱动的持续迭代模式，为了提供足够多高质量的标注数据，昂贵的人工成本和缓慢的标注效率变得不容忽视。因此，离线3d物体检测算法通常遵循模块化的管道设计，利用来自传感器的整段序列数据(例如视频或序列点云数据)，致力于开发高质量的“自动标注”，旨在减少3d检测任务中点云标注的人力成本，促进自动驾驶感知模型性能发展。

4、随着技术的不断迭代发展，涌现出了许多专注于开发复杂的模块以更好地利用时序数据上下文特征的在线检测算法，这些算法大大优于此前的在线和离线3d检测算法，相较于这些算法，此前的离线3d检测算法的算法架构和模式太弱，无法学习长序列点云的复杂表征。然而，目前最先进的离线3d物体检测算法中仍存在下列问题阻碍其全部潜力：在线多目标跟踪器无法生成足够完整的目标轨迹；物体的运动状态对于以物体为中心的优化模型来说，提出了不可避免的如何利用长时序上下文表征的挑战。

技术实现思路

1、为至少部分解决现有技术中的上述问题，本发明提出一种离线三维物体检测方法及系统，包括：

2、对物体的多帧点云序列进行物体检测以生成物体边界框；

3、对所述物体边界框进行离线物体跟踪以生成物体轨迹；

4、从所述物体轨迹中提取物体序列数据；

5、根据所述物体序列数据通过物体属性预测生成优化边界框，其中物体属性预测包括物体的几何形状预测、位置预测以及置信度预测；以及

6、将所述优化边界框传输回物体出现的坐标系中。

7、在本发明一个实施例中规定，对物体的点云序列进行物体检测以生成物体边界框包括下列步骤：

8、将点云序列输入中心点检测器中，其中所述点云序列包括多个五帧点云的组合；

9、在物体检测的第一阶段将所述点云序列转化为体素表示，并且生成候选初始边界框；以及

10、在物体检测的第二阶段对所述候选初始边界框进行微调，以预测物体的更加精准的边界框和置信度，其中在物体检测的第二阶段使用所述物体的点云密度信息进行原始点云特征以及体素特征融合；

11、其中在上述步骤中进行推理阶段数据增强以及多模型结果融合。

12、在本发明一个实施例中规定，对所述物体边界框进行离线物体跟踪以生成物体轨迹包括下列步骤：

13、根据所述物体边界框的置信度得分将物体边界框分为高分组边界框以及低分组边界框；

14、在离线物体跟踪的第一阶段生成第一轨迹，其中包括：

15、将已存在的物体轨迹与高分组边界框进行数据关联；

16、根据成功关联的边界框更新已存在的物体轨迹；以及

17、将未更新的物体轨迹与低分组边界框进行数据关联以生成第一轨迹，其中将未成功关联的物体边界框去除，其中所述第一轨迹的默认生命周期是无限长(即整个点云序列的长度)，在关联过程结束后，选择最后一次实际关联到物体边界框的时刻作为该物体最终的第一轨迹长度，去除后续持续的虚假关联；

18、在离线物体跟踪的第二阶段按照第一阶段的反向时间顺序生成第二轨迹；

19、通过位置相关的相似性分数将所述第一轨迹与第二轨迹关联；以及

20、将关联成功的第一轨迹以及第二轨迹融合以生成物体轨迹。

21、在本发明一个实施例中规定，从物体轨迹中提取出物体序列数据包括：

22、在三个维度上放大物体边界框的感兴趣区域；

23、提取出放大后的物体边界框所包围区域内的点云序列；以及

24、保存放大后的物体边界框所包围区域内的点云序列及其跟踪框序列以及置信度得分。

25、在本发明一个实施例中规定，物体的几何形状预测包括：

26、从物体序列中随机选择n1个不同视角的候选物体，对每个候选物体随机选择p1个点，使用第一编码器提取对应的特征，生成n1个几何查询向量;

27、将整个物体序列中每个物体的点云叠加在一起，从中随机选择p2个点，并且使用第二编码器生成全局点云稠密特征；

28、将几何查询向量输入多头自注意力层中，以编码样本之间的上下文关系以及特征依赖关系，提取几何信息；

29、将更新后的几何查询向量以及全局点云稠密特征送入到多头交叉注意力层，以推断每一个几何查询向量与全局稠密点云特征的差异，进而补充所需要视角的特征；以及

30、将更新后的几何查询向量输入到预测头，输出n1个几何预测结果，并且对n1个几何预测结果进行平均以得到最终的几何预测结果。

31、在本发明一个实施例中规定，物体的位置预测包括：

32、对物体序列中的每个物体候选物体随机选择p3个点，使用第三编码器提取每个物体对应的特征，生成p3个位置查询向量；

33、使用第四编码器生成整个物体轨迹的点特征，其中整个物体轨迹的点特征作为交叉注意力机制计算中的键特征以及值特征；

34、将位置查询向量送入自注意力机制模块，以计算当前位置与其他位置之间的相对距离，其中在每个位置查询向量的位置附近使用一维掩码约束自注意力；

35、将局部的位置查询向量以及整个物体轨迹的点特征输入交叉注意力模块，以模拟局部到全局位置的上下文关系；以及

36、预测局部坐标系下每个真值中心与相应初始中心之间的偏移量以及航向角差异。

37、在本发明一个实施例中规定，物体的置信度预测包括：

38、在物体置信度预测的第一分支根据物体的跟踪框与真值框的重叠度将物体分为真阳例或者假阳例；以及

39、在物体置信度预测的第二分支预测一个物体在被优化后应具有的重叠度，并且将回归目标设置为真值框与经过几何、位置优化后的优化边界框之间的重叠度。

40、本发明还提出一种离线三维物体检测系统，包括：

41、物体检测模块，其被配置为对物体的多帧点云序列进行物体检测以生成物体边界框；

42、离线物体追踪跟踪模块，其被配置为对所述物体边界框进行离线物体跟踪以生成物体轨迹;

43、物体序列数据提取模块，其被配置为从所述物体轨迹中提取物体序列数据；

44、基于属性预测的物体优化模块，其被配置为根据所述物体序列数据通过物体属性预测生成优化边界框；以及

45、坐标转化模块，其被配置为将所述优化边界框传输回物体出现的每一帧的坐标系中。

46、本发明还提出一种离线三维物体检测系统一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时执行根据所述方法的步骤。

47、本发明还提出一种计算机系统，包括：

48、处理器，其被配置为执行机器可执行指令；以及

49、存储器，其上存储有机器可执行指令，所述机器可执行指令在被处理器执行时执行根据权所述方法的步骤。

50、本发明至少具有如下有益效果：本发明提出一种离线三维物体检测方法及系统，其可以生成准确、完整的物体追踪序列，并且可以充分考虑物体的几何属性、运动约束等特点，从而充分利用长时序点云的有效特征信息。本发明在应用于自动驾驶领域中时可以大大提升3d物体检测性能以及3d物体追踪性能，在现有的最大的自动驾驶公开数据集之一的waymo数据集上以85.15maph(l2)达到了最优的3d物体检测性能，以75.05m0ta(l2)达到了最优的3d物体追踪性能，两者都大幅超出了第二名的性能。使用本发明可以生成高质量的检测结果，其可以达到甚至超越人工标注的水平，可以替代人工标注进行其他在线模型训练的真值标注，进而可以大幅降低人力成本在自动驾驶感知模型训练中的投入，促进感知模型性能发展。