一种基于改进网络流图的多目标跟踪方法
【专利摘要】本发明提供一种基于改进网络流图的多目标跟踪方法，该方法通过改进了网络流图模型，充分利用了临近目标对的信息，对每条假设轨迹内部的所有关联值求和来构建秩一张量，通过张量迭代确定所有单位向量，把单位向量作为代价消耗，并用匈牙利算法进行二值化处理，得到多目标跟踪的结果，减少了计算时间，提高了目标跟踪准确率。
【专利说明】
-种基于改进网络流图的多目标跟踪方法
技术领域
[0001] 本发明设及图像处理领域，更具体地，设及一种基于改进网络流图的多目标跟踪 方法。
【背景技术】
[0002] 在多目标跟踪器的设计过程中，对标的运动过程进行较为完整的建模成为一种常 用且有效的解决方法。例如，伦敦大学的化OStow副教授通过对单个目标的特征点进行聚类 概率建模来获得目标的运行轨迹。利用滤波器针对性地设计统计轨迹模型，对跟踪过程的 每个位置进行先验概率统计计算，获得目标在大概率下的跟踪似然轨迹等。然而，运类方法 大多需要许多的限定假设条件来满足模型环境，有些还会出现NP完全问题。将运种策略与 进化算法相结合构造出一种基于分解的多目标进化算法(Multiobjective Evolutionary Algorithm Based on Decomposition，MOEA/D)。该算法将逼近整个化reto前沿面的问题分 解为一定数量的单目标跟踪优化问题，然后用进化算法同时求解运些单目标跟踪优化问 题。利用K最短路径算法化化ortest Path,KSP)松她多目标跟踪问题的整数规划，并获得 全局最优解。上述方法存在W下缺陷：
[0003] (1)对于复杂背景和高密度人群的场景，多目标跟踪的准确率不高；（2)计算速度 慢，上述方法大都在整个视频集中确定目标运动轨迹，需要较长的计算时间，对于一些对时 间要求高的应用不能达到要求。
【发明内容】
[0004] 本发明为提供一种基于改进网络流图的多目标跟踪方法，该方法可减少检测多个 运动目标的计算时间，提高目标跟踪准确率。
[0005] 为了达到上述技术效果，本发明的技术方案如下：
[0006] -种基于改进网络流图的多目标跟踪方法，包括W下步骤：
[0007] Sl:用DPM算法在视频的每帖中检测出运动目标，并保留每个运动目标的检测准确 率.
[000引S2:构建整个视频的改进的网络流图模型，在时间域内计算视频的每帖中相邻运 动目标对的关联值；
[0009] S3:对每个运动目标的每条假设轨迹的所有关联值求和来构建秩一张量，秩一张 量的每一元素对应一条轨迹的关联值和；
[0010] S4:用若干个单位向量相乘近似秩一张量，通过张量迭代确定所有单位向量；
[0011] S5:把单位向量作为代价消耗，并用匈牙利算法进行二值化处理，得到多目标跟踪 的结果。
[0012] 进一步地，所述步骤S2中改进的网络流图的计算过程如下：
[001引
山
[0014]
(包》
[0015] 其中，表示一条假设轨迹的关系值的和八,心,表示一种关系假设，也是一条 轨迹的假设，要确定:的值，式(2)是约束条件，一个目标至多属于一个人，轨迹假设的 值为0或1，关系值和.k_,作为张量中的元素，则可W引用K-2阶张量S中的元素表示所有的 轨迹假设结果。
[0016] 进一步地，K-2阶秩一张量可W表示为K-2个单位向量的乘积，对于步骤S3中的秩 一张量S，寻找K-2个单位向量集n = {n W，n W，...，n 巧日常数A最小化F范数：
[0017]
[0018] 其中，< 表示单位向量nw中的第k个元素，上式可W用拉格朗日算法或最小二乘 法处理，将式（3)转化成如下形式：
[0019]
[0020] 式(3)的最小值等价于求下面g(口）的最大值：
[0021]
[0022] 通过张量能量迭代可W快速确定K-2个单位向量，单位向量反应的是轨迹的选择 结果。
[0023] 与现有技术相比，本发明技术方案的有益效果是：
[0024] 本发明通过改进了网络流图模型，充分利用了临近目标对的信息，对每个运动目 标的每条假设轨迹的所有关联值求和来构建秩一张量，通过张量迭代确定所有单位向量， 把单位向量作为代价消耗，并用匈牙利算法进行二值化处理，得到多目标跟踪的结果，减少 了计算时间，提高了目标跟踪准确率。
【附图说明】
[0025] 图1为改进的网络流图；
[0026] 图2为现有的网络流图；
[0027] 图3为本发多目标跟踪方法的流程图。
【具体实施方式】
[0028] 附图仅用于示例性说明，不能理解为对本专利的限制；
[0029] 为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品 的尺寸；
[0030] 对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可W理解 的。
[0031] 下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0032] 实施例1
[0033] 本发明方法采用改进的网络流图模型做多目标跟踪运动目标，改进的网络流图如 图1所示，有4列点，表示连续=帖图片中的运动目标，左右两列点各表示第一帖和第=帖图 片中的运动目标，中间两列的点都表示第二帖图片中的运动目标。虚线框为一个基本单位， 是一个目标对的关联假设，圆点是输入点，正方形点是输出点。计算时间轴上相邻虚线框的 关联值，对一条轨迹假设的关联值求和，作为秩一张量的一个元素，秩一张量中的元素涵盖 了所有轨迹假设情况。用若干个单位向量相乘近似逼近秩一张量，通过张量能量迭代确定 单位向量的值，再用匈牙利算法进一步确定所有目标的运动轨迹。
[0034] 如图3,本发明基于改进网络流图的多目标跟踪方法的流程为：
[0035] (1)用DPM算法在视频的每帖中检测出运动目标，并保留每个检测目标的准确率。
[0036] (2)构建改进的网络流图模型，在时间域内计算相邻目标对的关联值。
[0037] (3)构建秩一张量，对每条假设轨迹的所有关联值求和，秩一张量的元素对应一条 轨迹的关联值和。
[0038] (4)用若干个单位向量相乘近似秩一张量，通过张量迭代确定所有单位向量。
[0039] (5)把单位向量作为代价消耗，转化为二值问题，用匈牙利算法求二值结果，即是 多目标跟踪的结果。
[0040] 下面详细介绍（2)至(5)步骤：
[0041] 步骤(2):如图2所示，在传统的网络流图中，S列圆点代表连续S帖图片的运动目 标，运些目标的关系式未知的，需要确定哪些目标属于同一个人。在步骤(2)中改进了网络 流图模型，图1把图2中的所有匹配假设作为一个基本点，例如图2中的点1和点4对应图1中 包含点1和点2的虚线框(匹配假设）。蓝色点代表输入点，红色点代表输出点。在时间域上计 算相邻的两个匹配假设的关系值，关系值基于外貌相似性和动作平滑性。
[0042] 步骤(3):假设有视频中有K帖图片，每帖图片有N个目标，改进的网络流图的计算 公式如下：
[0043]
[0044]
[0045] 其中，0" .<1_^表示一条假设轨迹的关系值的和，听^_,表示一种关系假设，也是一条 轨迹的假设，要确定X,,...,,-:的值。式(2)是约束条件，一个目标至多属于一个人，轨迹假设的 值为0或1。为了减少计算时间，本发明引用秩一张量解决上述问题。把关系值和A,...:作为 张量中的元素，则可W用K-2阶张量S中的元素表示所有的轨迹假设结果。
[0046] 步骤(4) :K-2阶秩一张量可W表示层K-2个单位向量的乘积，对于步骤(3)中的张 量5，寻找1(-2个单位向量集口 = {n W，n W，...，n 巧日常数A最小化F范数：
[0047]
[004引其中，兩J表示单位向量nw中的第k个元素，上式可W用拉格朗日算法或者最小二 乘法解决，经过推倒，式(3)转化成如下形式：
[0049]
[0050] 运样，求式(3)的最小值等价于求下面g(n)的最大值：
[0化1 ]
[0052] 式巧)与式（1)的表达方式相同，通过张量能量迭代可W快速确定K-2个单位向量， 单位向量反应的是轨迹的选择结果。但得到的单位向量不是二值结果，确定轨迹需要明确 的而直接过
[0053] 步骤(5):在上步中得到K-2个单位向量，把单位向量的元素作为代价消耗，转化为 二值分布问题，用匈牙利算法确定最后的解，得到所有的运动轨迹。
[0054] 相同或相似的标号对应相同或相似的部件；
[0055] 附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
[0056] 显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对 本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可 W做出其它不同形式的变化或变动。运里无需也无法对所有的实施方式予W穷举。凡在本 发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求 的保护范围之内。
【主权项】
1. 一种基于改进网络流图的多目标跟踪方法，其特征在于，包括以下步骤： S1:用DPM算法在视频的每帧中检测出运动目标，并保留每个运动目标的检测准确率； S2:构建整个视频的改进的网络流图模型，在时间域内计算视频的每帧中相邻运动目 标对的关联值； S3:对每个运动目标的每条假设轨迹的所有关联值求和来构建秩一张量，秩一张量的 每一元素对应一条轨迹的关联值和； S4:用若干个单位向量相乘近似秩一张量，通过张量迭代确定所有单位向量； S5:把单位向量作为代价消耗，并用匈牙利算法进行二值化处理，得到多目标跟踪的结 果。2. 根据权利要求1所述的基于改进网络流图的多目标跟踪方法，其特征在于，所述步骤 S2中改进的网络流图的计算过程如下：其中，表示一条假设轨迹的关系值的和表示一种关系假设，也是一条轨迹 的假设，要确定的值，式(2)是约束条件，一个目标至多属于一个人，轨迹假设的值为0 或1，关系值和气％作为张量中的元素，则可以引用K-2阶张量S中的元素表示所有的轨迹 假设结果。3. 根据权利要求2所述的基于改进网络流图的多目标跟踪方法，其特征在于，K-2阶秩 一张量可以表示为K-2个单位向量的乘积，对于步骤S3中的秩一张量S，寻找K-2个单位向量 集Π = {Π(1)，Π(2)，...，Π (κ_2)}和常数λ最小化F范数： Μ 'K-2其中，< 表示单位向量n(k)中的第k个元素，上式可以用拉格朗日算法或最小二乘法处 理，将式(3)转化成如下形式：式(3)的最小值等价于求下面g (Π)的最大值：通过张量能量迭代可以快速确定K-2个单位向量，单位向量反应的是轨迹的选择结果。
【文档编号】G06T7/20GK105957104SQ201610255448
【公开日】2016年9月21日
【申请日】2016年4月22日
【发明人】胡海峰, 潘瑜, 曹向前, 肖翔, 顾建权, 张伟, 胡伟鹏, 李昊曦
【申请人】广东顺德中山大学卡内基梅隆大学国际联合研究院