三维多目标跟踪方法、装置、设备、车辆及介质与流程

本技术涉及自动驾驶领域，尤其涉及一种三维多目标跟踪方法、装置、设备、车辆及介质。

背景技术：

1、随着科技的发展，目标跟踪技术应用的领域越来越广泛，目标跟踪的目标数量也由一个达到了多个。多目标跟踪方法可在一段视频序列中定位多个目标，对每个目标分配一个编码，并记录目标的航迹。

2、现有技术中，在自动驾驶领域，实现多目标跟踪可以为车辆驾驶提供更加精准的控制，三维多目标跟踪更是进一步提高了目标跟踪的准确度。现有技术中通常采用激光雷达采集的数据，作为三维多目标跟踪方法的输入数据，这是因为激光雷达数据可更好的反映目标与车辆之间的距离。然而，对于不具备激光雷达，只有普通光学相机的自动驾驶车辆，使用现有的三维多目标跟踪方法，会使得跟踪结果不准确。

3、综上所述，现有的三维多目标跟踪方法使用普通光学相机拍摄的图像作为输入数据时，会导致跟踪结果的准确性较低。

技术实现思路

1、本技术实施例提供一种三维多目标跟踪方法、装置、设备、车辆及介质，用于解决现有的三维多目标跟踪方法使用普通相机拍摄的图像作为输入数据时，会导致跟踪结果的准确性较低的问题。

2、第一方面，本技术实施例提供一种三维多目标跟踪方法，包括：

3、获取当前帧图像和当前车辆位置；

4、根据所述当前车辆位置，对所述当前帧图像进行三维目标检测，得到检测结果数据，所述检测结果数据包括至少一个检测目标的置信度；

5、对所述当前帧图像的前一帧图像对应的每个航迹进行卡尔曼预测，得到预测数据，所述航迹为预测航迹或实际航迹；

6、根据每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有实际航迹和所有高质量检测目标进行匹配，得到匹配成功的第一航迹和第一检测目标，以及未匹配成功的第二航迹和第二检测目标，所述高质量检测目标为置信度大于预设高质量置信度阈值的检测目标；

7、根据所述当前车辆位置、每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有第二航迹、所有预测航迹、所有第二检测目标、所有低质量检测目标进行匹配，得到匹配成功的第三航迹和第三检测目标，以及未匹配成功的第四航迹和第四检测目标，所述低质量检测目标为置信度小于或等于所述预设高质量置信度阈值的检测目标；

8、根据所有第一航迹、所有第一检测目标、所有第三航迹、所有第三检测目标、所有第四航迹、所有第四检测目标，确定出所述当前帧图像对应的预测航迹和实际航迹，得到所述当前帧图像对应的跟踪结果。

9、在一种具体实施方式中，所述预测数据包括在每个航迹在当前时刻位于世界坐标系下的第一位置数据，所述检测结果数据还包括每个检测目标的第二目标类型、每个检测目标在当前时刻位于世界坐标系下的第二位置数据，所述根据每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有实际航迹和所有高质量检测目标进行匹配，得到匹配成功的第一航迹和第一检测目标，以及未匹配成功的第二航迹和第二检测目标，包括：

10、根据所有实际航迹的第一位置数据、第一目标类型，以及所有高质量检测目标的第二位置数据、第二目标类型，确定出第一关联矩阵，所述第一关联矩阵中的每个元素值用于指示实际航迹与高质量检测目标的关联程度；

11、根据所述第一关联矩阵和匈牙利方法，对所有实际航迹和所有高质量检测目标进行匹配，得到匹配成功的第一航迹和第一检测目标，以及未匹配成功的第二航迹和第二检测目标。

12、在一种具体实施方式中，所述根据所有实际航迹的第一位置数据、第一目标类型，以及所有高质量检测目标的第二位置数据、第二目标类型，确定出第一关联矩阵，包括：

13、对于每个实际航迹和每个高质量检测目标，根据所述实际航迹的第一位置数据和所述高质量检测目标的第二位置数据，判断所述实际航迹在所述当前时刻的位置与所述高质量检测目标的距离是否大于预设距离阈值；

14、若所述实际航迹在所述当前时刻的位置与所述高质量检测目标的距离大于所述预设距离阈值，则将所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值确定为无穷大；

15、若所述实际航迹在所述当前时刻的位置与所述高质量检测目标的距离小于或等于所述预设距离阈值，则判断所述实际航迹的第一目标类型与所述高质量检测目标的第二目标类型是否相同；

16、若所述实际航迹的第一目标类型与所述高质量检测目标的第二目标类型不相同，则将所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值确定为无穷大；

17、若所述实际航迹的第一目标类型与所述高质量检测目标的第二目标类型相同，则判断所述高质量检测目标的第二目标类型是否为行人；

18、若所述高质量检测目标的第二目标类型为行人，则获取所述实际航迹的行人重识别reid特征向量，以及从所述检测结果数据中获取所述高质量检测目标的reid特征向量；

19、根据所述实际航迹的reid特征向量、第一位置数据，以及所述高质量检测目标的reid特征向量、第二位置数据，计算所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值；

20、若所述高质量检测目标的第二目标类型不是行人，则根据所述实际航迹的第一位置数据、所述高质量检测目标的第二位置数据，计算交并比iou距离，将所述iou距离确定为所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值。

21、在一种具体实施方式中，所述根据所述实际航迹的reid特征向量、第一位置数据，以及所述高质量检测目标的reid特征向量、第二位置数据，计算所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值，包括：

22、计算所述实际航迹的reid特征向量与所述高质量检测目标的reid特征向量的第一余弦距离；

23、根据所述实际航迹的第一位置数据，所述高质量检测目标的第二位置数据，计算iou距离；

24、根据所述第一余弦距离、所述iou距离、预设权重，计算得到所述实际航迹与所述高质量检测目标在所述第一关联矩阵中对应的元素值。

25、在一种具体实施方式中，所述预测数据包括在每个航迹在当前时刻位于世界坐标系下的第一位置数据，所述检测结果数据还包括每个检测目标的第二目标类型、每个检测目标在当前时刻位于世界坐标系下的第二位置数据，所述根据所述当前车辆位置、每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有第二航迹、所有预测航迹、所有第二检测目标、所有低质量检测目标进行匹配，得到匹配成功的第三航迹和第三检测目标，以及未匹配成功的第四航迹和第四检测目标，包括：

26、将每个第二航迹和每个预测航迹确定为第五航迹，将每个第二检测目标和每个低质量检测目标，确定为第五检测目标；

27、根据所述当前车辆位置，所有第五航迹的第一位置数据、第一目标类型，以及所有第五检测目标的第二位置数据、第二目标类型，确定出第二关联矩阵，所述第二关联矩阵中的每个元素值用于指示第五航迹与第五检测目标的关联程度；

28、根据所述第二关联矩阵和匈牙利方法，对所有第五航迹、所有第五检测目标进行匹配，得到匹配成功的第三航迹和第三检测目标，以及未匹配成功的第四航迹和第四检测目标。

29、在一种具体实施方式中，所述根据所述当前车辆位置，所有第五航迹的第一位置数据、第一目标类型，以及所有第五检测目标的第二位置数据、第二目标类型，确定出第二关联矩阵，包括：

30、对于每个第五航迹和每个第五检测目标，根据所述第五航迹的第一位置数据和所述第五检测目标的第二位置数据，判断所述第五航迹在所述当前时刻的位置与所述第五检测目标的距离是否大于预设距离阈值；

31、若所述第五航迹在所述当前时刻的位置与所述第五检测目标的距离大于所述预设距离阈值，则将所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值确定为无穷大；

32、若所述第五航迹在所述当前时刻的位置与所述第五检测目标的距离小于或等于所述预设距离阈值，则判断所述第五航迹的第一目标类型与所述第五检测目标的第二目标类型是否相同；

33、若所述第五航迹的第一目标类型与所述第五检测目标的第二目标类型不相同，则将所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值确定为无穷大；

34、若所述第五航迹的第一目标类型与所述第五检测目标的第二目标类型相同，则判断所述第五检测目标的第二目标类型是否为行人；

35、若所述第五检测目标的第二目标类型为行人，则获取所述第五航迹的行人重识别reid特征向量，以及从所述检测结果数据中获取所述第五检测目标的reid特征向量；

36、根据所述当前车辆位置，所述第五航迹的reid特征向量、第一位置数据，以及所述第五检测目标的reid特征向量、第二位置数据，计算所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值；

37、若所述第五检测目标的第二目标类型不是行人，则根据所述当前车辆位置、所述第五航迹的第一位置数据、所述第五检测目标的第二位置数据，计算所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值。

38、在一种具体实施方式中，所述根据所述当前车辆位置，所述第五航迹的reid特征向量、第一位置数据，以及所述第五检测目标的reid特征向量、第二位置数据，计算所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值，包括：

39、计算所述第五航迹的reid特征向量与所述第五检测目标的reid特征向量的第二余弦距离；

40、根据所述第五航迹的第一位置数据，所述第五检测目标的第二位置数据，计算扩展版交并比giou距离；

41、根据第五检测目标的第二位置数据和所述当前车辆位置更新所述giou距离，得到更新后的giou距离；

42、根据所述第二余弦距离、更新后的giou距离、预设权重，计算得到所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值。

43、在一种具体实施方式中，所述根据所述当前车辆位置、所述第五航迹的第一位置数据、所述第五检测目标的第二位置数据，计算所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值，包括：

44、根据所述第五航迹的第一位置数据、所述第五检测目标的第二位置数据，计算giou距离；

45、根据第五检测目标的第二位置数据和所述当前车辆位置更新所述giou距离，得到更新后的giou距离；

46、将所述更新后的giou距离确定为所述第五航迹与所述第五检测目标在所述第二关联矩阵中对应的元素值。

47、在一种具体实施方式中，所述对所述当前帧图像的前一帧图像对应的每个航迹进行卡尔曼预测，得到预测数据，包括：

48、对于所述当前帧图像的前一帧图像对应的每个航迹，若所述航迹的第一目标类型属于静止类型，则采用恒定位置对应的卡尔曼预测模型，对所述航迹进行预测，得到所述航迹对应的预测数据；

49、若所述航迹的第一目标类型属于非静止类型，则采用恒定速度对应的卡尔曼预测模型，对所述航迹进行预测，得到所述航迹对应的预测数据。

50、在一种具体实施方式中，所述根据所有第一航迹、所有第一检测目标、所有第三航迹、所有第三检测目标、所有第四航迹、所有第四检测目标，确定出所述当前帧图像对应的预测航迹和实际航迹，包括：

51、对于每个置信度大于所述预设高质量置信度阈值的第四检测目标，生成新生航迹，并确定所述新生航迹在所述当前帧图像中对应的实际状态量，并将所述新生航迹作为所述当前帧图像对应的实际航迹，所述实际状态量包括所述检测结果数据中所述第四检测目标在当前时刻位于世界坐标系下的第二位置数据、所述第四检测目标在所述当前时刻的速度与朝向角；

52、更新每个新生航迹、每个第四航迹、每个第三航迹、每个第一航迹对应的连续未出现次数；

53、根据每个第一航迹、每个第一检测目标、每个置信度大于所述预设高质量置信度阈值的第三检测目标、与所述第三检测目标匹配的第三航迹，确定出所述当前帧图像对应的实际航迹；

54、根据每个置信度小于或等于所述预设高质量置信度阈值的第三检测目标、与所述第三检测目标匹配的第三航迹、每个更新后的连续未出现次数小于预设消亡次数阈值的第四航迹，确定出所述当前帧图像对应的预测航迹。

55、在一种具体实施方式中，所述根据每个第一航迹、每个第一检测目标、每个置信度大于所述预设高质量置信度阈值的第三检测目标、与所述第三检测目标匹配的第三航迹，确定出所述当前帧图像对应的实际航迹，包括：

56、对于每个第一航迹，根据所述预测数据中所述第一航迹对应的数据、所述检测结果数据中与所述第一航迹匹配的第一检测目标在所述当前时刻位于世界坐标系下的第二位置数据，以及所述第一检测目标在所述当前时刻的速度与朝向角，根据卡尔曼更新模型进行计算，得到所述第一航迹在所述当前帧图像中对应的实际状态量，更新所述第一航迹，并将更新后的第一航迹作为所述当前帧图像对应的实际航迹，所述卡尔曼更新模型中的观测噪声矩阵与置信度、车辆与检测目标之间的距离相关；

57、对于每个置信度大于所述预设高质量置信度阈值的第三检测目标，确定与所述第三检测目标匹配的第三航迹，根据所述第三航迹对应的实际状态量、更新前的连续未更新次数，所述检测结果数据中所述第三检测目标在所述当前时刻位于世界坐标系下的第二位置数据，以及所述第三检测目标在所述当前时刻的速度与朝向角，进行多次卡尔曼预测，以及根据所述卡尔曼更新模型进行多次计算，得到所述第三航迹在所述当前帧图像中对应的实际状态量，更新所述第三航迹，并将更新后的第三航迹作为所述当前帧图像对应的实际航迹。

58、在一种具体实施方式中，所述卡尔曼更新模型包括多个子卡尔曼更新模型，所述多个子卡尔曼更新模型包括三个位置与角度卡尔曼更新模型、大小卡尔曼更新模型、朝向角卡尔曼更新模型，所述三个位置与角度卡尔曼更新模型对应的方向相互垂直。

59、在一种具体实施方式中，所述根据每个置信度小于或等于所述预设高质量置信度阈值的第三检测目标、与所述第三检测目标匹配的第三航迹、每个更新后的连续未出现次数小于预设消亡次数阈值的第四航迹，确定出所述当前帧图像对应的预测航迹，包括：

60、对于每个更新后的连续未出现次数小于预设消亡次数阈值的第四航迹，确定所述第四航迹在所述当前帧图像中对应的预测状态量，更新所述第四航迹，并将更新后的第四航迹作为所述当前帧图像对应的预测航迹，所述预测状态量为所述预测数据中所述第四航迹对应的数据；

61、对于每个置信度小于或等于所述预设高质量置信度阈值的第三检测目标，确定与所述第三检测目标匹配的第三航迹，则确定所述第三航迹在所述当前帧图像中对应的预测状态量，更新所述第三航迹，并将更新后的第三航迹作为所述当前帧图像对应的预测航迹，所述预测状态量为所述预测数据中所述第三航迹对应的数据。

62、在一种具体实施方式中，所述方法还包括：

63、将每个更新后的连续未出现次数等于所述预设消亡次数阈值的第四航迹删除；

64、将每个置信度小于或等于所述预设高质量置信度阈值的第四检测目标删除。

65、第二方面，本技术实施例提供一种三维多目标跟踪装置，包括：

66、获取模块，用于获取当前帧图像和当前车辆位置；

67、处理模型，用于：

68、根据所述当前车辆位置，对所述当前帧图像进行三维目标检测，得到检测结果数据，所述检测结果数据包括至少一个检测目标的置信度；

69、对所述当前帧图像的前一帧图像对应的每个航迹进行卡尔曼预测，得到预测数据，所述航迹为预测航迹或实际航迹；

70、根据每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有实际航迹和所有高质量检测目标进行匹配，得到匹配成功的第一航迹和第一检测目标，以及未匹配成功的第二航迹和第二检测目标，所述高质量检测目标为置信度大于预设高质量置信度阈值的检测目标；

71、根据所述当前车辆位置、每个航迹的第一目标类型、所述预测数据和所述检测结果数据，对所有第二航迹、所有预测航迹、所有第二检测目标、所有低质量检测目标进行匹配，得到匹配成功的第三航迹和第三检测目标，以及未匹配成功的第四航迹和第四检测目标，所述低质量检测目标为置信度小于或等于所述预设高质量置信度阈值的检测目标；

72、根据所有第一航迹、所有第一检测目标、所有第三航迹、所有第三检测目标、所有第四航迹、所有第四检测目标，确定出所述当前帧图像对应的预测航迹和实际航迹，得到所述当前帧图像对应的跟踪结果。

73、第三方面，本技术实施例提供一种电子设备，包括：

74、处理器，存储器，通信接口；

75、所述存储器用于存储所述处理器的可执行指令；

76、其中，所述处理器配置为经由执行所述可执行指令来执行第一方面任一项所述的三维多目标跟踪方法。

77、第四方面，本技术实施例提供一种车辆，包括第三方面所述的电子设备，所述电子设备用于执行第一方面任一项所述的三维多目标跟踪方法。

78、第五方面，本技术实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的三维多目标跟踪方法。

79、第六方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现第一方面任一项所述的三维多目标跟踪方法。

80、本技术实施例提供的三维多目标跟踪方法、装置、设备、车辆及介质，通过对当前帧图像进行三维目标检测得到检测结果数据，对当前帧图像的前一帧图像中的航迹进行预测，得到预测数据。进而根据检测结果数据和预测数据，对实际航迹和高质量检测目标进行第一轮匹配，再对第一轮未匹配上的航迹和检测目标，以及预测航迹、低质量航迹进行第二轮匹配，最后根据第一轮匹配上的航迹与检测目标、第二轮匹配上的航迹与检测目标，以及两轮均未匹配上的航迹与目标，确定出当前帧图像中的预测航迹与实际航迹，得到跟踪结果。本方案通过先对实际航迹和高质量检测目标进行第一轮匹配，进而对于未匹配上的航迹与检测目标，以及剩余的航迹与目标进行第二轮匹配，有效提高了使用普通相机拍摄的图像作为输入数据时的跟踪结果的准确性。