在线多目标跟踪方法、系统、计算机设备及可读存储介质与流程

本发明涉及智能跟踪技术领域，尤其涉及一种基于成本函数的在线多目标跟踪方法、基于成本函数的在线多目标跟踪系统、计算机设备及计算机可读存储介质。

背景技术：

多目标跟踪方法一般分为在线和离线两种方法。其中，离线方法是通过分析所有帧的信息，来恢复视频序列中各个目标的轨迹信息，通常是在网络流的框架中解决数据关联的问题。而在线方法多是分析前后两帧的信息，将获得的检测轨迹与原有的轨迹关联起来，常用的方法是二分图匹配。

在智能车辆领域中，因跟踪需要保证实时性，所用的多目标跟踪方法是在线方法。其中，在线方法的基本跟踪算法是tracking-by-detection，整个过程分为两个阶段：第一阶段包括对象检测，在每帧中获得感兴趣对象的边界框视频序列；第二阶段是数据关联阶段，这是多目标跟踪中最为关键的一步。

多目标跟踪的数据关联中，可采用最近邻算法、联合概率数据互联(jpda)、多假设跟踪(mht)、成本函数等多种方法。其中，最近邻数据关联算法运算量小，易于硬件的实现，但是只能适用于稀疏目标和杂波环境的目标跟踪系统，当在目标或者杂波密度较大时，很容易出现误报和漏，同时算法跟踪性能不高；jpda能较好的适应杂波环境中的数据关联，但是在跟踪目标数量增多时会出现组合爆炸现象，导致计算量大增；mht结合了jpda和最近邻算法的优点，但是过多依赖了先验信息，在路况、天气环境经常变换的智能汽车上进行障碍物跟踪时存在限制；而成本函数设计上，通常会结合障碍物的包围框在图像中的位置和图像中的各种统计量，或者结合全局信息来解决跟踪期间目标被长期的遮挡问题，此外，可以结合道路场景具有独特的几何特点并用此先验信息来设计成本函数，根据从场景几何特点产生的三维信息和车辆的外观信息对多个目标进行跟踪，因此，成本函数方法设计得简单而高效，但是只能用于跟踪车辆，不能应用于其他类型目标的跟踪，灵活性差。

技术实现要素：

本发明所要解决的技术问题在于，提供一种基于成本函数的在线多目标跟踪方法、系统、计算机设备及计算机可读存储介质，可对数据进行关联优化，跟踪不同类型的目标，提高跟踪的稳定性和准确度。

为了解决上述技术问题，本发明提供了一种基于成本函数的在线多目标跟踪方法，包括：s1，获取当前帧的场景信息及检测的目标包围框信息；s2，判断是否已存在轨迹，判断为否时，为所述检测的目标包围框信息分配跟踪标识及卡尔曼滤波器以构成新的轨迹，并返回步骤s1；判断为是时，根据已存在轨迹所对应的卡尔曼滤波器预测当前帧的包围框位置信息；s3，根据场景信息，构建检测的目标包围框信息与预测的目标包围框信息之间的相似度矩阵；s4，根据匈牙利算法对所述相似度矩阵进行分配，以生成数据关联结果；s5，根据所述数据关联结果进行轨迹更新，并返回步骤s1。

作为上述方案的改进，所述目标包围框信息的检测方法包括：根据预先训练的检测器模型检测当前帧中的目标包围框信息。

作为上述方案的改进，所述步骤s3包括：计算预测的目标包围框信息与检测的目标包围框信息之间的相似度特征cost，其中，cost＝env×appearance+(1-env)×cls×bbox，env为场景信息的影响因子，appearance为目标的外观特征，cls为类别信息，bbox为目标包围框的重叠度；根据所述相似度特征构建相似度矩阵。

作为上述方案的改进，所述影响因子的值根据场景信息进行确定。

作为上述方案的改进，所述步骤s5包括：当所述预测的目标包围框信息匹配到检测的目标包围框信息时，将所述检测的目标包围框信息通过卡尔曼滤波器更新到已存在的轨迹中；当所述预测的目标包围框信息没有匹配到检测的目标包围框信息时，删除所述预测的目标包围框信息；当所述检测的目标包围框信息没有匹配到预测的目标包围框信息时，为所述检测的目标包围框信息分配跟踪标识及卡尔曼滤波器以构成新的轨迹。

相应地，本发明还提供了一种基于成本函数的在线多目标跟踪系统，包括：获取模块，用于获取当前帧的场景信息及检测的目标包围框信息；判断模块，用于判断是否已存在轨迹，当判断为否时，为所述检测的目标包围框信息分配跟踪标识及卡尔曼滤波器以构成新的轨迹，当判断为是时，根据已存在轨迹所对应的卡尔曼滤波器预测当前帧的包围框位置信息；构建模块，用于根据场景信息，构建检测的目标包围框信息与预测的目标包围框信息之间的相似度矩阵；关联模块，用于根据匈牙利算法对所述相似度矩阵进行分配，以生成数据关联结果；更新模块，根据所述数据关联结果进行轨迹更新。

作为上述方案的改进，所述构建模块包括：计算单元，用于计算预测的目标包围框信息与检测的目标包围框信息之间的相似度特征cost，其中，cost＝env×appearance+(1-env)×cls×bbox，env为场景信息的影响因子，appearance为目标的外观特征，cls为类别信息，bbox为目标包围框的重叠度；构建单元，用于根据所述相似度特征构建相似度矩阵。

作为上述方案的改进，所述更新模块包括：第一匹配单元，用于当所述预测的目标包围框信息匹配到检测的目标包围框信息时，将所述检测的目标包围框信息通过卡尔曼滤波器更新到已存在的轨迹中；第二匹配单元，用于当所述预测的目标包围框信息没有匹配到检测的目标包围框信息时，删除所述预测的目标包围框信息；第三匹配单元，用于当所述检测的目标包围框信息没有匹配到预测的目标包围框信息时，为所述检测的目标包围框信息分配跟踪标识及卡尔曼滤波器以构成新的轨迹。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述在线多目标跟踪方法的步骤。

相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现在线多目标跟踪方法的步骤。

实施本发明，具有如下有益效果：

本发明结合目标的场景信息及目标包围框等二维特征，设计了独特的成本函数来计算跟踪目标的相似度，并通过对数据进行关联优化，大大地简化了运算，实现了不同的类别计算不同的相似度，可用于跟踪人、非机动车、车辆等不同类型的目标，提高了跟踪的稳定性和准确度，减少了跟踪标识的变化，为决策提高了准确的障碍物态势。

附图说明

图1是本发明基于成本函数的在线多目标跟踪方法的流程图；

图2是本发明基于成本函数的在线多目标跟踪系统的结构示意图；

图3时本发明基于成本函数的在线多目标跟踪系统中构建模块的结构示意图；

图4时本发明基于成本函数的在线多目标跟踪系统中更新模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

参见图1，图1显示了本发明基于成本函数的在线多目标跟踪方法的流程图，其包括：

s1，获取当前帧的场景信息及检测的目标包围框信息。

所述场景信息由地图进行采集。具体地，所述地图可提供当前道路情况，用于判断当前帧所处的场景信息，所述场景信息包括城区、高速、快速路及其他，但不以此为限制。

所述目标包围框信息由摄像头进行检测。具体地，所述目标包围框信息的检测方法包括：根据预先训练的检测器模型检测当前帧中的目标包围框信息。其中，所述检测器模型可以为yolov3检测模型，但不以此为限制。

s2，判断是否已存在轨迹，判断为否时，为所述检测的目标包围框信息分配跟踪标识及卡尔曼滤波器以构成新的轨迹，并返回步骤s1以接收下一帧的场景信息及检测的目标包围框信息；判断为是时，根据已存在轨迹所对应的卡尔曼滤波器预测当前帧的包围框位置信息，并进入步骤s3。

需要说明的是，卡尔曼滤波器是一种用于时变线性系统的递归滤波器。其中，时变线性系统可用包含正交状态变量的微分方程模型来描述，卡尔曼滤波器是将过去的测量估计误差合并到新的测量误差中来估计将来的误差。

由于运动物体(如行人、车辆)在两帧(当前帧与下一帧)之间的运动模型为恒速运动模型。因此，通过卡尔曼滤波器有效简化计算，提升效率。

s3，根据场景信息，构建检测的目标包围框信息与预测的目标包围框信息之间的相似度矩阵。

具体地，所述步骤s3包括：

(1)根据公式cost＝env×appearance+(1-env)×cls×bbox，计算预测的目标包围框信息与检测的目标包围框信息之间的相似度特征cost。

其中，env为场景信息的影响因子；需要说明的是，所述影响因子的值是根据场景信息进行确定。例如，当场景信息为城区时，影响因子的值为0.7；当场景信息为高速时，影响因子的值为0.2；当场景信息为快速路时，影响因子的值为0.2；当场景信息为其他时，影响因子的值为0.5。但不以此为限制，技术人员可根据实际情况进行调整。

appearance为目标的外观特征，可用于比较同一类物体的外观相似度。本发明分别基于人、非机动车、车辆的re-id数据集，训练出3个类别的余弦度量，用于计算同类物体的相似度；

cls为类别信息，所述类别信息包括人、非机动车及车辆；

bbox为目标包围框的重叠度，用于表示检测的目标包围框信息与预测的目标包围框信息之间的iou重叠度。

(2)根据所述相似度特征构建相似度矩阵。

需要说明的是，所述相似度矩阵是通过计算所述检测的目标包围框信息与预测的目标包围框信息之间的相似度特征而获得的。

s4，根据匈牙利算法对所述相似度矩阵进行分配，以生成数据关联结果。

s5，根据所述数据关联结果进行轨迹更新，并返回步骤s1以接收下一帧的场景信息及检测的目标包围框信息。

具体地，所述步骤s5包括：

(1)当所述预测的目标包围框信息匹配到检测的目标包围框信息时，将所述检测的目标包围框信息通过卡尔曼滤波器更新到已存在的轨迹中；

(2)当所述预测的目标包围框信息没有匹配到检测的目标包围框信息时，删除所述预测的目标包围框信息；

(3)当所述检测的目标包围框信息没有匹配到预测的目标包围框信息时，为所述检测的目标包围框信息分配跟踪标识及卡尔曼滤波器以构成新的轨迹。

由上可知，本发明取消了对三维特征的依赖，仅结合目标的场景信息、类别信息、外观特征、目标包围框等二维特征，设计了独特的成本函数(即cost＝env×appearance+(1-env)×cls×bbox)，来计算跟踪目标的相似度，大大地简化了运算，提高了跟踪的稳定性和准确度，减少了跟踪标识的变化，为决策提高了准确的障碍物态势。

参见图2，图2显示了本发明基于成本函数的在线多目标跟踪系统100的具体结构，其包括：

获取模块1，用于获取当前帧的场景信息及检测的目标包围框信息。其中，所述场景信息由地图进行采集；所述目标包围框信息由摄像头根据预先训练的检测器模型进行检测，所述检测器模型可以为yolov3检测模型，但不以此为限制。

判断模块2，用于判断是否已存在轨迹，当判断为否时，为所述检测的目标包围框信息分配跟踪标识及卡尔曼滤波器以构成新的轨迹，当判断为是时，根据已存在轨迹所对应的卡尔曼滤波器预测当前帧的包围框位置信息。需要说明的是，当判断模块2判断出不存在轨迹时，则重新构建新的轨迹，并驱动获取模块1进行新一轮的处理；当判断模块2判断出已存在轨迹时，则根据已存在的轨迹预测当前帧的轨迹，并驱动构建模块进行下一步处理。

构建模块3，用于根据场景信息，构建检测的目标包围框信息与预测的目标包围框信息之间的相似度矩阵。

关联模块4，用于根据匈牙利算法对所述相似度矩阵进行分配，以生成数据关联结果。

更新模块5，根据所述数据关联结果进行轨迹更新。当更新模块5完成轨迹更新操作后，再次驱动获取模块1进行新一轮的处理。

因此，本发明根据场景信息及目标包围框信息等二维数据进行相似度的计算，并通过对数据进行关联优化，提高了跟踪的稳定性。

如图3所示，所述构建模块3包括：

计算单元31，用于计算预测的目标包围框信息与检测的目标包围框信息之间的相似度特征cost。

其中，cost＝env×appearance+(1-env)×cls×bbox；

env为场景信息的影响因子；需要说明的是，所述影响因子的值是根据场景信息进行确定。例如，当场景信息为城区时，影响因子的值为0.7；当场景信息为高速时，影响因子的值为0.2；当场景信息为快速路时，影响因子的值为0.2；当场景信息为其他时，影响因子的值为0.5。但不以此为限制，技术人员可根据实际情况进行调整。

appearance为目标的外观特征，可用于比较同一类物体的外观相似度。本发明分别基于人、非机动车、车辆的re-id数据集，训练出3个类别的余弦度量，用于计算同类物体的相似度；

cls为类别信息，所述类别信息包括人、非机动车及车辆；

bbox为目标包围框的重叠度，用于表示检测的目标包围框信息与预测的目标包围框信息之间的iou重叠度。

构建单元32，用于根据所述相似度特征构建相似度矩阵。

因此，构建模块3中取消了对三维特征的依赖，仅结合目标的场景信息、类别信息、外观特征、目标包围框等二维特征，设计了独特的成本函数(即cost＝env×appearance+(1-env)×cls×bbox)，来计算跟踪目标的相似度，大大地简化了运算。

如图4所示，所述更新模块5包括：

第一匹配单元51，用于当所述预测的目标包围框信息匹配到检测的目标包围框信息时，将所述检测的目标包围框信息通过卡尔曼滤波器更新到已存在的轨迹中；

第二匹配单元52，用于当所述预测的目标包围框信息没有匹配到检测的目标包围框信息时，删除所述预测的目标包围框信息；

第三匹配单元53，用于当所述检测的目标包围框信息没有匹配到预测的目标包围框信息时，为所述检测的目标包围框信息分配跟踪标识及卡尔曼滤波器以构成新的轨迹。

由上可知，本发明结合目标的场景信息、类别信息、外观特征、目标包围框等二维特征，设计了独特的成本函数来计算跟踪目标的相似度，大大地简化了运算，可用于跟踪人、非机动车、车辆等不同类型的目标，为决策提高了准确的障碍物态势。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述在线多目标跟踪方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述在线多目标跟踪方法的步骤。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。