基于目标引导显著性检测的对象跟踪方法
【技术领域】
[0001] 本发明属于计算机视觉对象跟踪技术领域，特别涉及计算机图形图像处理技术领 域。
【背景技术】
[0002] 视觉对象跟踪是许多计算机视觉应用的基本和关键问题，如视频分析，智能监控， 人机交互，行为识别等，尽管研宄人员对此做出了大量的工作，但要在复杂的环境中实现实 时稳定的对象跟踪仍然是极具挑战性的任务。
[0003] 目前依赖检测或者学习的对象跟踪方法（如 TLD, Tracking-Learning-Detection)受到越来越广泛的关注。这些方法通过学习某种分类 器，如支持向量机、自举、随机森林，或者随机蕨等来发掘未知的数据和信息，进而增强其对 目标及其场景变化的适应能力。在基础（短时）跟踪（如KLT、均值漂移、粒子滤波等）失 败时，这些分类器则被用作检测器进行目标检测，以达到恢复跟踪的目的。为了保证分类器 学习的准确性，同时又能尽可能的适应目标的变化，Babenko等提出了袋学习的思想和OMB 方法（Online-MILBoost)，Kalal 等提出了 P-N(Positive-Negative)正负样例学习的方法。 然而，这些方法仍然难以处理非刚性运动变化以及遮挡等问题。对此，霍夫森林提供了一种 可能的解决方法。霍夫森林是一种融合霍夫变换的随机森林，它由多个决策树组成，每棵树 将图像或者视频中的局部表观映射到它的叶节点中，而每个叶节点则包含在霍夫空间中的 概率投票。由此，对象的定位或者检测被看作是寻求在霍夫图像中的概率极大值点。然而 这样的检测过程十分耗时，因此基于霍夫森林的对象跟踪方法在实时性上远不及基于随机 蕨的方法。此外，基于稀疏表示和学习的对象跟踪方法，由于其较稳定的跟踪性能受到越来 越多的关注和研宄，然而这些方法十分依赖样例模板，同样存在不小的失败风险，且计算结 构复杂而难以满足实际实时性的要求。
[0004] 一般情况下，场景越复杂，跟踪或者检测就变得越困难，由于计算资源的局限和效 率的要求，对象表观模型不能过于复杂。实际上，除了目标本身以外，背景信息也是十分有 用且重要的信息。Yang等采用图像分割融合方法，通过时空分析发掘辅助对象作为跟踪协 助，其对应实现的CAT跟踪系统表现出较稳定的跟踪结果。然而该辅助对象的获取基于一 定的运动假设，因而难以适应更复杂的跟踪环境，且计算效率有待进一步的提高。Grabner 等提出通过获取目标周围有价值的特征点，借此预测目标的位置，增强了跟踪的稳定性，然 而检测和匹配所有这些局部特征点的方法在计算上十分耗时。Thang等通过将PNT作为基 础跟踪和同时增加对误匹配项的跟踪来改进Grabner等的算法，能够在一定程度上区分与 目标相似的对象，从而表现出更好的跟踪性能。Fan等提出学习具有较强区别性的关注区 域用以辅助跟踪，然而在场景出现剧烈运动时，受这些局部区域的限制，其计算效率依然不 高。Godec等通过对场景进行聚类学习，将背景分类为多个虚拟的类型，取得了较为满意的 跟踪效果，但是该方法假设背景只是逐步而细微的改变，这在很多跟踪场合并不成立，因此 其应用有限。
[0005] 因此，本发明提出一种新的对象跟踪方法。该方法利用灰度直方图将目标和场景 的信息融合到显著性计算中，在短时跟踪失败的情况下首先根据这种显著性计算方法得到 显著图，该显著图突出了更可能属于目标的图像区域，然后通过搜索计算最大目标置信度 值对目标进行定位，并据此更新目标图像块及其归一化灰度直方图。
【发明内容】
[0006] 本发明的目的是提供一种基于目标引导显著性检测的对象跟踪方法，它能有效地 解决对刚性和非刚性目标对象长时间实时稳定的跟踪问题。
[0007] 本发明的目的是通过以下技术方案来实现的：具体包括如下步骤：
[0008] (1)目标选取
[0009] 从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检 测方法自动提取，也可以通过人机交互方法手动指定。设為'-(i3I5 fl2，···，α?，···，^^^表 示目标图像块Zt的归一化灰度直方图，其中M A ^勺总量化级数，a k表示A τ中第k个量 化级数对应的直方图取值。
[0010] (2)图像输入
[0011] 在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进 行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序 列，按照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则跟踪结束。
[0012] (3)执行短时跟踪
[0013] 这里，短时跟踪采用基于归一化交叉互相关（NCC，Normalized Cross-Correlation)的方法。设候选图像块Z。与目标图像块Z τ的归一化交叉互相关值为 VNCC(Zc，Zt)，短时跟踪过程为：在以上次确定的目标位置为中心的搜索区域内选择候选图像 块并计算其与目标图像块的v N。。值，搜索使V Ν。。值最大的位置作为当前预测的目标位置。设 阈值θΕ=〇. 8,如果最大的vNrc>0Nrc，则目标定位成功，当前跟踪完成，跳转到⑵；否则， 跳转到（4)。
[0014] (4)目标引导显著性检测
[0015] 设Λ= (4, 4，…，込，…，~s)表示整个图像的归一化灰度直方图，其中魄为 Ab的总量化级数，且MB=MT，bk表示A b中第k个量化级数对应的直方图取值，则位置为（i，j) 的像素的显著性值S (i，j)计算为：
[0016]
【主权项】
1. 一种基于目标引导显著性检测的对象跟踪方法，包括如下步骤： (1) 目标选取 从初始图像中选择并确定要跟踪的目标对象，目标选取过程可以通过运动目标检测方 法自动提取，也可以通过人机交互方法手动指定，设七，…，4表示目 标图像块Zt的归一化灰度直方图，其中M A #勺总量化级数，a k表示A τ中第k个量化级 数对应的直方图取值； (2) 图像输入 在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟 踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按 照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则跟踪结束； (3) 执行短时跟踪 这里短时跟踪采用基于归一化交叉互相关的方法，设候选图像块Z。与目标图像块Z 4勺 归一化交叉互相关值为Vicc(Zc^Zt)，短时跟踪过程为：在以上次确定的目标位置为中心的搜 索区域内选择候选图像块并计算其与目标图像块的v N。。值，搜索使vN。。值最大的位置作为 当前预测的目标位置；设阈值Θ 0. 8,如果最大的V Ν。。〉Θ ，则目标定位成功，当前跟 踪完成，跳转到（2);否则，跳转到（4); (4) 目标引导显著性检测 设(《，/?，…，/?，…，表不整个图像的归一化灰度直方图，其中魄为八^勺 总量化级数，且MB=MT，bk表示Ab中第k个量化级数对应的直方图取值，则位置为（i，j)的 像素的显著性值S(i，j)计算为：
其中，W和H分别表示图像的宽和高；I(i，j)表示位置为（i，j)的像素的灰度值， I (m，η)表示位置为（m，η)的像素的灰度值；δ (I (i，j))表示灰度值为I (i，j)在灰度直方 图中对应的级数；C为归一化因亏
根据以上公式，计算图像中每个像素的显著性值，得到显著图G，在上面的显著性计 算公式中，乘积项&6(1(^)是根据目标的归一化灰度直方图得到的属于目标的概率，而 α-buu?)则是根据整个图像的归一化灰度直方图计算得到的属于目标的概率，因此在 这里的显著性计算中融合了目标的信息，即目标的信息实际上引导了显著性的计算； (5) 目标定位 设目标的宽和高分别为WJPHt，则位置为（i，j)对应的目标置信度值p (i，j)计算为：
其中，G(m，η)表示位置为（m，η)对应的显著性值，设ρ(ΛΓ)表示最大的目标置信度 值，则κ=, 1'将当前目标的位置设置为（λ _r)，从而完成对目标的定 位，并据此更新目标图像块及其归一化灰度直方图；当前跟踪完成，跳转到（2)。
【专利摘要】本发明提供了一种基于目标引导显著性检测的对象跟踪方法，属于计算机视觉技术领域。它能解决对刚性和非刚性目标对象长时间实时稳定的跟踪问题。主要步骤为：目标选取，从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。图像输入：在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像。再分别执行执行短时跟踪：目标引导显著性检测和目标定位。该方法利用灰度直方图将目标和场景的信息融合到显著性计算中，在短时跟踪失败的情况下首先根据这种显著性计算方法得到显著图，然后通过搜索计算最大目标置信度值对目标进行定位。
【IPC分类】G06T7-00, G06T7-20
【公开号】CN104637052
【申请号】CN201510031269
【发明人】权伟, 张卫华, 陈锦雄, 林国松, 何武, 江永全
【申请人】西南交通大学
【公开日】2015年5月20日
【申请日】2015年1月22日