基于多细胞块状态融合的对象跟踪方法
【专利摘要】本发明提供了一种基于多细胞块状态融合的对象跟踪方法，属于视觉对象跟踪【技术领域】。它能有效地解决对象旋转、扭曲、缩放等非刚性运动变化以及遮挡下的跟踪问题。包括以下步骤：从初始图像中选择并确定要跟踪的目标对象。可以通过运动目标检测方法自动提取或人机交互方法手动指定。在目标对象区域内按照随机生成的中心点位置、设置目标细胞块。在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的视频文件分解为多个帧组成的图像序列，逐个提取帧图像作为输入图像。如果输入图像为空，则整个流程中止。配置中各个细胞块的状态，根据其对应的目标细胞块确定最佳配置。目标定位用于估计当前目标的状态。
【专利说明】基于多细胞块状态融合的对象跟踪方法
【技术领域】
[0001] 本发明属于计算机视觉对象跟踪【技术领域】，特别涉及计算机图形图像处理技术领 域。
【背景技术】
[0002] 视觉对象跟踪是许多计算机视觉应用的基本和关键问题，如视频分析，智能监控， 人机交互，行为识别等，尽管研究人员对此做出了大量的工作，但要在复杂的环境中实现实 时稳定的对象跟踪仍然是极具挑战性的任务。
[0003]目前依赖检测或者学习的对象跟踪方法（如 TLD,Tracking-Learning-Detection)受到越来越广泛的关注。这些方法通过学习某种分类 器，如支持向量机、自举、随机森林，或者随机蕨等来发掘未知的数据和信息，进而增强其对 目标及其场景变化的适应能力。在基础（短时）跟踪（如KLT、均值漂移、粒子滤波等）失 败时，这些分类器则被用作检测器进行目标检测，以达到恢复跟踪的目的。为了保证分类器 学习的准确性，同时又能尽可能的适应目标的变化，Babenko等提出了袋学习的思想和0MB 方法（Online_MILBoost)，Kalal等提出了P_N(Positive-Negative)正负样例学习的方法。 然而，这些方法仍然难以处理非刚性运动变化以及遮挡等问题。对此，霍夫森林提供了一种 可能的解决方法。霍夫森林是一种融合霍夫变换的随机森林，它由多个决策树组成，每棵树 将图像或者视频中的局部表观映射到它的叶节点中，而每个叶节点则包含在霍夫空间中的 概率投票。由此，对象的定位或者检测被看作是寻求在霍夫图像中的概率极大值点。然而 这样的检测过程十分耗时，因此基于霍夫森林的对象跟踪方法在实时性上远不及基于随机 蕨的方法。此外，基于稀疏表示和学习的对象跟踪方法，由于其较稳定的跟踪性能受到越来 越多的关注和研究，然而这些方法十分依赖样例模板，同样存在不小的失败风险，且计算结 构复杂而难以满足实际实时性的要求。
[0004]一般情况下，场景越复杂，跟踪或者检测就变得越困难，由于计算资源的局限和效 率的要求，对象表观模型不能过于复杂。实际上，除了目标本身以外，背景信息也是十分有 用且重要的信息。Yang等采用图像分割融合方法，通过时空分析发掘辅助对象作为跟踪协 助，其对应实现的CAT跟踪系统表现出较稳定的跟踪结果。然而该辅助对象的获取基于一 定的运动假设，因而难以适应更复杂的跟踪环境，且计算效率有待进一步的提高。Grabner 等提出通过获取目标周围有价值的特征点，借此预测目标的位置，增强了跟踪的稳定性，然 而检测和匹配所有这些局部特征点的方法在计算上十分耗时。Thang等通过将PNT作为基 础跟踪和同时增加对误匹配项的跟踪来改进Grabner等的算法，能够在一定程度上区分与 目标相似的对象，从而表现出更好的跟踪性能。Fan等提出学习具有较强区别性的关注区 域用以辅助跟踪，然而在场景出现剧烈运动时，受这些局部区域的限制，其计算效率依然不 高。Godec等通过对场景进行聚类学习，将背景分类为多个虚拟的类型，取得了较为满意的 跟踪效果，但是该方法假设背景只是逐步而细微的改变，这在很多跟踪场合并不成立，因此 其应用有限。
[0005] 因此，本发明提出一种基于多细胞块状态融合的对象跟踪方法。该方法根据目标 对象设置多个细胞块，每个细胞块具有其独立的运动状态，所有细胞块的一种状态构成一 个配置，即通过配置将这些细胞块的状态信息进行融合，而一个配置对应了一种可能的目 标状态。该方法通过产生多个配置，并计算其中最优的配置（置信度最高）进而估计得到 目标状态，从而实现目标定位。由于目标状态估计不依赖其整体表观，构成目标的各个细 胞块独立运动，且配置的置信度计算简单、快速，因此本发明方法可实现实时稳定的对象跟 踪，能够处理目标旋转、扭曲、缩放等非刚性运动变化以及遮挡等问题。此外，本发明方法不 仅可以用于单目标跟踪，通过在配置中包含多个目标的细胞块，还可以扩展用于多目标的 跟踪。
【发明内容】
[0006] 本发明的目的是提供一种基于多细胞块状态融合的对象跟踪方法，它能有效地实 现实时稳定的对象跟踪，解决对象旋转、扭曲、缩放等非刚性运动变化以及遮挡下的跟踪问 题。
[0007] 本发明的目的通过以下技术方案来实现：该技术方案包括如下步骤：
[0008] (1)目标选取
[0009] 从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检 测方法自动提取，也可以通过人机交互方法手动指定。
[0010] ⑵设置目标细胞块
[0011] 在目标对象区域内按照随机生成的中心点位置、宽和高提取图像块作为目 标细胞块，用I表示图像，T表示目标，Q，C2,C3表示细胞块。设，/，八^分别 表示目标的中心点横坐标，中心点纵坐标，以及宽和高，而目标细胞块的数目N= (wTXhT)/10 ;设Q= (XiJi,Vi，x，ViwWphi，Aw。AhpAi)为第i个目标细胞块，i〈N，其中 xi，Yi，'x，vi，y，wi，hi,Awi,Ahi,Ai分别表示第i个目标细胞块的中心点横坐标，中心点纵坐 标，横轴方向的速度，纵轴方向的速度，宽，高，宽变化值，高变化值，以及对应的图像块。每 个目标细胞块的中心点横坐标，中心点纵坐标，以及宽和高的值均随机产生，只要满足该细 胞块包含在目标区域内即可，而其横轴方向的速度，纵轴方向的速度，以及宽变化值和高变 化值此时均等于0。
[0012] (3)图像输入
[0013] 在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进 行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序 列，按照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则整个流程中止。
[0014] (4)产生配置
[0015] 配置由细胞块构成，配置中各个细胞块的状态根据其对应的目标细胞块随 机生成确定，不同的配置其细胞块的状态不同，一个配置对应了一种可能的目标状 态。设Sk ={Cf} 为第k个配置，k〈M，其中M为配置的总数，这里M= 500，
【权利要求】
1.基于多细胞块状态融合的对象跟踪方法，所述方法包括如下步骤： (1) 目标选取 从初始图像中选择并确定要跟踪的目标对象，目标选取过程可以通过运动目标检测方 法自动提取，也可以通过人机交互方法手动指定； (2) 设置目标细胞块 在目标对象区域内按照随机生成的中心点位置、宽和高提取图像块作为目标细胞块， 用I表示图像，T表示目标，C1, C2, C3表示细胞块，设xT，yT，wT，h T分别表示目标的中心点横坐 标，中心点纵坐标，以及宽和高，而目标细胞块的数目N= (wTXhT)/10,设Ci= (Xi，yi，Vi，x， ViJW^hi, Awi, Δ Iii, Ai)为第 i 个目标细胞块，i〈N，其中 XiΑ,ν。，ViJWi, Iii, Awi, AhilAi 分别表示第i个目标细胞块的中心点横坐标，中心点纵坐标，横轴方向的速度，纵轴方向的 速度，宽，高，宽变化值，高变化值，以及对应的图像块；每个目标细胞块的中心点横坐标，中 心点纵坐标，以及宽和高的值均随机产生，只要满足该细胞块包含在目标区域内即可，而其 横轴方向的速度，纵轴方向的速度，以及宽变化值和高变化值此时均等于〇 ; (3) 图像输入 在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟 踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按 照时间顺序，逐个提取帧图像作为输入图像；如果输入图像为空，则整个流程中止； (4) 产生配置 配置由细胞块构成，配置中各个细胞块的状态根据其对应的目标细胞块随机 生成确定，不同的配置其细胞块的状态不同，一个配置对应了一种可能的目标状 态；设Sk =.丨G丨.i=l.,.N为第k个配置，k〈M,其中M为配置的总数，这里M = 500, G Z % W V 4 )为第k个配置中的第i个细胞块； v 5 5 5 5 9 9 5 9 κ ?4的计算方法为：首先初始化cf，即使得然后随机生成<中的<，<v，Awf， 以及接着更新Cf，即使得彳=Χ?+ <，父=乃+ Wf= w;+ Awf，以及 V= Λ,_ + △<;最后根据Cf在当前的图像中提取对应的图像块更新4;对每个配置及其 包含的所有细胞块进行上述的计算，即可生成所需的所有配置； (5) 确定最佳配置 最佳配置即所有配置中置信度值最高的那个配置；设
为 第k个配置的置信度，其中§ΑΓ?.(4\4)为第k个配置中的第i个细胞块所对应 的图像块与第i个目标细胞块所对应的图像块之间的规则化交叉互相关值；设 (彳父vL < AwX 表示最佳配置，则nrx/k. v99 5 999 5 9 y ? (6) 目标定位 最佳配置/T用于估计当前目标的状态；目标的中心点横坐标和纵坐标分别计算为：
而目标的宽Wt为前一时刻目标的宽 ，
加上 目标的尚hT为如一时刻目标的尚加上 ， 其中
由此计算得到目标的位置和大小，完成对目标的定位；跟踪完成， 跳转到（2)。
【文档编号】G06T7/20GK104392437SQ201410633195
【公开日】2015年3月4日 申请日期:2014年11月11日 优先权日:2014年11月11日
【发明者】权伟, 陈锦雄, 张卫华, 江永全, 何武 申请人:西南交通大学