一种3D多目标跟踪方法、产品、介质及系统与流程

本发明主要涉及目标跟踪，具体涉及一种3d多目标跟踪方法、产品、介质及系统。

背景技术：

1、随着自动驾驶技术的迅猛发展，3d多目标跟踪（multi-object tracking, mot）已成为车辆感知系统中的关键任务之一。多目标跟踪旨在在复杂环境中对多个物体进行实时且准确的跟踪，其应用广泛涵盖自动驾驶、无人机飞行以及安防监控等多个领域。在自动驾驶场景中，车辆通常依赖多种传感器，如激光雷达（lidar）、摄像头和毫米波雷达，来获取周围环境的详细信息。其中，激光雷达由于能够精确获取高分辨率的3d点云数据，并具有较强的环境适应性，已被广泛应用于目标检测和跟踪。然而，现有的3d目标跟踪方法仍面临诸多挑战。首先，在复杂的交通环境中，目标的外观和运动特征多样且相互干扰，导致目标跟踪的精度不足，提高不同目标之间的分辨能力成为亟待解决的问题。其次，自动驾驶对跟踪系统的实时性要求极高，现有方法常因计算量大、处理速度慢而难以满足这一需求。此外，实际场景中目标之间常存在遮挡现象，尤其是在密集的交通环境中，多个目标的相互遮挡会导致跟踪失效。再者，车辆自身及目标车辆的运动给跟踪带来额外挑战，传统跟踪方法在处理运动补偿时往往不够精确，导致目标位置和方向的误差较大。现有的3d多目标跟踪方法主要依赖于激光雷达的点云数据，通过特征提取、目标检测以及轨迹管理来实现对目标的跟踪。尽管这些方法在理想环境下能够较好地完成任务，但在复杂环境中，其跟踪的精度和稳定性仍显不足。特别是对于具有不同运动模式的目标，现有方法在处理运动补偿时的能力有限，常导致目标位置的跟踪误差。此外，由于缺乏对目标置信度的有效评估，现有方法在应对遮挡和目标消失等复杂场景时表现不佳。因此，提升3d多目标跟踪的精度、实时性以及对复杂场景的适应能力，仍是当前自动驾驶技术研究中的重要课题。

技术实现思路

1、针对现有技术存在的技术问题，本发明提供一种提高目标跟踪精度的3d多目标跟踪方法、产品、介质及系统。

2、为解决上述技术问题，本发明提出的技术方案为：

3、一种3d多目标跟踪方法，包括步骤：

4、s1、获取车辆的原始点云数据并进行预处理，得到预处理后的点云数据；

5、s2、提取预处理后的点云数据中的特征，得到目标检测结果并生成热力图；

6、s3、通过关联多帧点云的热力图，对目标的空间位置和朝向进行运动补偿；

7、s4、对热力图中校正后的目标进行置信度评估，根据评估结果来调整检测跟踪策略。

8、优选地，在步骤s3中，根据检测头速度在lidar坐标系对目标空间位置进行运动补偿，具体为：在上一帧的跟踪结果中，通过下式进行目标空间位置补偿，得到补偿后的位置信息，作为当前帧点云热图的匹配对象；

9、

10、其中，代表上一帧经过运动补偿后更新的位置信息；表示目标在上一帧得到的检测跟踪结果的位置信息；代表两帧点云之间的时间差。

11、优选地，在步骤s3中，通过lidar坐标系下的跟踪速度对目标的空间位置进行运动补偿，具体为：在上一帧的跟踪结果中，通过下式进行目标空间位置补偿，得到补偿后的位置信息，作为当前帧点云热图的匹配对象；

12、

13、其中，代表上一帧经过运动补偿后更新的位置信息；表示目标在上一帧得到的检测跟踪结果的位置信息；代表两帧点云之间的时间差。

14、优选地，在步骤s3中，根据world坐标系下的跟踪速度对目标的空间位置进行运动补偿，具体为：

15、将lidar坐标系下的目标位置转移到world坐标系下，得到world下目标的速度信息位置补偿：

16、

17、式中，表示在 world 坐标系完成位置补偿后的上一帧目标位置信息；代表上一帧world坐标系下的目标坐标值；代表两帧点云之间的时间差；

18、在完成位置补偿后，更新后的 world 坐标系下的目标位置信息重新返回当前帧的lidar坐标系中。

19、优选地，在步骤s3中，通过lidar坐标系下基于置信度的检测头速度与跟踪速度对目标空间位置进行运动补偿，具体为：通过检测头速度与lidar坐标系下的跟踪速度进行结合，得到复合速度：

20、

21、式中，scores代表检测头速度的置信度值，较高的置信度则赋予检测头速度较高的权重值，较低的置信度则对lidar坐标系下的跟踪速度赋予较高的权重值；

22、通过下式将获取到的lidar坐标系下的复合速度作用在位移的补偿上，获得更新的位置坐标：

23、

24、其中，代表上一帧经过运动补偿后更新的位置信息；表示目标在上一帧得到的检测跟踪结果的位置信息；代表两帧点云之间的时间差。

25、优选地，在步骤s3中，对目标的朝向进行运动补偿的具体公式为：

26、

27、式中，表示上一帧目标朝向角经过朝向角偏移补偿后的结果；表示上一帧目标检测跟踪结果的朝向角信息；代表两帧点云之间的时间差；表示对应目标在时刻的角速度，其计算方式为：

28、

29、式中，表示第时刻的朝向角；

30、表示自车运动导致的旋转，通过前后两帧lidar坐标系到world坐标系的旋转矩阵得到，具体计算公式为：

31、

32、其中，、分别代表上一时刻lidar坐标系到当前帧lidar坐标系的旋转矩阵的元素值，通过这两个元素计算其反正切得到对应的角度信息，即得到由于自车产生的角度偏差值；

33、其中的计算则通过公式得到：

34、

35、式中，和分别表示当前帧lidar坐标系到world坐标系的旋转矩阵的逆、上一帧lidar坐标系到world坐标系的旋转矩阵。

36、优选地，在步骤s4中，根据评估结果来调整检测跟踪策略的具体过程为：

37、首先经过当前帧的特征提取得到t的热图信息，保留置信度高于阈值m的热图信息；

38、对输入的第t帧点云特征提取得到t的热图信息，通过运动补偿将其中障碍物补偿到当前帧t的lidar坐标系下与t帧高于阈值m的热图进行匹配；在匹配过程中，将前后两帧的热图对应位置置信度处理，得到加权后的热图信息；更新后的热图信息根据置信度分为当前帧t与上一帧t配准的热图信息、未配准的t热图信息和未配准的t帧热图信息；

39、其中当前帧t与上一帧t配准的热图信息表示当前帧与历史轨迹成功匹配获得id信息；

40、未配准的t热图信息表示在当前帧t缺少与历史轨迹能够匹配的目标，即未匹配航迹信息；对于未匹配航迹信息不会主动删除，而依据匹配权重半衰的特点对长期未匹配航迹信息进行消亡处理；

41、未配准的t帧热图信息表示在上一帧t缺少与当前帧能够匹配的航迹热图，即新生的目标信息；对于新生目标航迹的建立设定一个置信度n,认为在当前帧能够获得较高置信度的目标有着足够作为新生航迹的能力，因此对于高于阈值n的未配准的t帧热图直接新建航迹，对于低于阈值n的热图信息，认为未获得与历史的配准并且置信度分数较低，是特征不完整的较远目标或模型误检，选择作为需要丢弃的热图信息。

42、优选地，在步骤s2中，点云数据中的特征包括几何特征、运动特征、深度特征和空间特征。

43、优选地，在步骤s1中，所述预处理包括去噪、滤波和数据增强。

44、本发明还公开了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器运行时执行如上所述方法的步骤。

45、本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。

46、本发明还公开了一种3d多目标跟踪系统，包括相互连接的存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。

47、与现有技术相比，本发明的优点在于：

48、本发明从点云数据的预处理开始，通过深度学习模型提取特征并生成热力图（heatmap），然后通过高效的多目标跟踪和创新的位置、朝向补偿机制，确保系统在动态环境中的稳定性；最后，通过置信度分层关联和轨迹管理，进一步提高多目标跟踪的精度和鲁棒性。

49、本发明深度融合了时空交互联合检测的原理，通过精心设计的数据处理流程，实现了对原始点云数据的精细化处理与特征提取；不仅包含了高效的特征提取机制，能够准确捕捉目标的独特标识信息，还融入了运动补偿技术，以应对自车与目标车辆运动带来的挑战；此外，还采用了置信度分层关联策略，通过对目标跟踪结果的置信度进行多层次评估与关联，显著提升了跟踪的精度与稳定性。