对象跟踪方法和装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理，更具体地涉及计算机视觉技术中的对象跟踪方法和装置。
【背景技术】
[0002] 目前，在计算机视觉技术领域，对象跟踪是很多应用非常重要，例如，人机交互控 制系统，用户监视系统，车辆辅助驾驶系统等，这里涉及到手势跟踪、行人跟踪、车辆跟踪 等。
[0003] 以手势跟踪为例，手势控制系统对用户来说，尤其方便。一个有效的手势识别系统 将能提供自然且有效的交互方式。而在手势识别系统中，非常重要且关键的一部分就是手 的跟踪。
[0004] 为了方便用户操作，手跟踪系统不应该要求用户穿戴任何特殊的设备，如特殊手 套，彩色标志物等。同时，手是非刚性物体，具有运动快、易变形、自遮挡等特点，因此手跟踪 技术是一项非常具有挑战性的工作。。
[0005] 目前，手跟踪技术主要采用颜色特征进行跟踪。众所周知，颜色信息容易受到光照 变化和背景颜色的影响，从而降低跟踪系统的鲁棒性。另外，跟踪系统还容易因受到部分遮 挡或跟踪物体形态变化的影响而造成跟踪性能下降。为了提高跟踪系统的鲁棒性，目前已 有很多专利和文章针对这方面进行了研究改进。
[0006] 美国专利申请公开US20110211754A1公开了一种跟踪方法，该跟踪方法通过结合 彩色图像和深度图像进行物体跟踪。在该发明中，分别在彩色图像和深度图像上进行物体 跟踪，最终跟踪结果由彩色图像和深度图像上的跟踪结果共同决定。跟踪过程中所用的特 征主要有深度信息，颜色信息和颜色运动信息，跟踪核则是融合多种特征形成，其中包括a) 形状模型，如采用椭圆模型代表手的形状；b)根据手的最新位置生成相应的颜色直方图； c)采用平均深度值信息对跟踪手当前的深度值进行预测；d)更新背景模型。在该技术，由 于彩色图像上的跟踪结果仍然容易受到光照条件的影响，因此在光照条件较差的情况下， 跟踪结果主要取决于深度图像上的跟踪，另外，深度图上的跟踪结果主要依靠深度阈值进 行判定，鲁棒性可能较差。
[0007] 在作者为QIAOBing,LIZhicheng,HUPeng的、发表于期刊informationand control的标题为"ObjectTrackingAlgorithmBasedonCamshiftwithDualROIand VelocityInformationFusion"的文章中，提出了一种技术，其中为了防止跟踪物体受周 围背景色的影响而导致跟踪失败，将单个ROI区域划分为两个ROI子区域，一个区域作为主 要跟踪区域，而另一个区域作为附加跟踪区域。在该文章中，两个camshift跟踪器分别进 行跟踪。该文章当跟踪物体与周围背景颜色完全相似时，该跟踪方法可能出现错误。
【发明内容】
[0008] 根据本发明的一个方面，提供了一种对象跟踪方法，可以包括：获得灰度图像序列 和获得相关联的深度图像序列；在当前灰度图像和深度图像的至少一个中预测被跟踪对象 的候选目标区域；确定候选目标区域的深度加权图，该深度加权图包括各个像素的深度加 权信息，每个像素的深度加权信息表示基于该像素的深度信息、该像素属于被跟踪对象的 概率；获得目标模板，其中目标模板用特征的概率密度分布表示；对位置在候选目标区域 中滑动的候选目标，用特征的概率密度分布表示，其中，在估计候选目标的特征的概率密度 过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加权；基 于目标模板的概率密度表示和候选目标的概率密度表示，计算目标模板和候选目标之间的 相似度，从而得到候选目标区域的置信度图；基于候选目标区域的置信度图，定位被跟踪对 象在当前图像中的位置。
[0009] 根据本发明的另一方面，提供了一种对象跟踪装置，可以包括：图像获得部件，获 得灰度图像序列和获得相关联的深度图像序列；候选目标区域预测部件，在当前灰度图像 和深度图像的至少一个中预测被跟踪对象的候选目标区域；深度加权确定部件，确定候选 目标区域的深度加权图，该深度加权图包括各个像素的深度加权信息，每个像素的深度加 权信息表示基于该像素的深度信息、该像素属于被跟踪对象的概率；目标模板获得部件，用 于获得部件模板，其中目标模板用特征的概率密度表示；候选目标表示部件，对位置在候选 目标区域中滑动的候选目标，用特征的概率密度来表示，其中，在估计候选目标的特征的概 率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加权信息加 权；置信度图获得部件，基于目标模板和候选目标的概率密度表示，计算目标模板和候选目 标之间的相似度，从而得到候选目标区域的置信度图；以及对象定位部件，基于候选目标区 域的置信度图，定位被跟踪对象在当前图像中的位置。
[0010] 利用根据本发明实施例的对象跟踪方法和对象跟踪装置，在估计候选目标的各个 特征的概率密度过程中，对各个像素既基于像素的颜色空间信息加权也基于像素的深度加 权信息加权，与现有技术中分离地单独考虑深度信息或仅仅将深度信息用作阈值来进行不 适当目标候选的过滤相比，能够在整个跟踪过程中自然地而且紧密地将深度信息结合到对 象跟踪中，从而提1?彳目息的利用率，提1?跟踪的准确性。
【附图说明】
[0011] 从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和 优点将变得更加清楚并更容易理解，其中：
[0012] 图1示意性地示出了根据本发明一个实施例的手跟踪技术用于人机交互的情景 的示意图。
[0013] 图2示出了根据本发明实施例的对象跟踪装置100的配置框图。
[0014] 图3示出了根据本发明一个实施例的对象跟踪方法200的总体流程图。
[0015] 图4示意性示出了针对候选目标空间区域计算得到的深度加权图的示意图。
[0016] 图5 (a)和（b)示意性示出了对于为分块示例图，如何根据跟踪子模板对候选跟踪 区域进行划分。
[0017] 图6(a)_(g)示意性地示出了基于分块和深度加权的对象跟踪方法的示意图。
[0018] 图7(a)示意地示出了目标模板的划分以及目标模板与子目标模板之间的关系， 图7(b)示意性地示出了子目标模板的独立更新。
[0019] 图8示出了适于用来实现本发明实施方式的示例性计算系统600的框图。
【具体实施方式】
[0020] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0021] 将以下述顺序进行描述
[0022] 1、应用情景示例
[0023] 2、对象跟踪装置配置示例
[0024] 3、对象跟踪方法的第一实施例
[0025] 4、对象跟踪方法的第二实施例
[0026] 5、对象跟踪方法的第三实施例
[0027]6、用于进行对象跟踪的计算系统
[0028] 在下面的描述中，以跟踪对象为手进行说明，不过这仅为示例，实际上，本发明可 以应用于跟踪任何对象。
[0029] 1、应用情景示例
[0030] 图1示意性地示出了根据本发明一个实施例的手跟踪技术用于人机交互的情景 的示意图。如图1所示，一部摄像机放置于计算机上方，用户站立于摄像机范围内。当用户 在摄像机范围内移动他/她的手时，计算机能计算出手的真实位置信息，以达到对手实时 跟踪的目的，手在不同时刻的位置点如图1中的圆点所示。
[0031] 优选地，该摄像机能进行彩色图和深度图的采集，例如为双目相机。如本领域人员 公知的，深度图像（Depthimage)是图像中的像素点的值为深度的图像。相比于灰度图像， 深度图像具有物体的深度(距离)信息，因此特别适合于需要立体信息的各种应用。另外，如 公知的，一个像素点的深度值和视差值之间具有简单的换算关系，因此本发明的深度信息 的含义是广义的，包括视差信息。
[0032] 需要说明的是，图1只是一个示意性示例，用于跟踪手的设备不限于计算机，可以 是例如游戏机，投影仪，电视机等等。
[0033] 2、对象跟踪装置配置示例
[0034] 下面参考图2描述根据本发明实施例的对象跟踪装置的配置示例。
[0035] 图2示出了根据本发明实施例的对象跟踪装置100的配置框图。
[0036] 如图2所示，对象跟踪装置100可以包括图像获得部件110、候选目标区域预测部 件120、深度加权确定部件130、目标模板获得部件140、候选目标表示部件150、置信度图获 得部件160、对象定位部件170。
[0037] 图像获得部件110用于获得灰度图像序列和获得相关联的深度图像序列，例如接 收来自双目相机的彩色图像和深度图像。
[0038] 候选目标区域预测部件120用于在当前灰度图像和深度图像的至少一个中预测 被跟踪对象的候选目标区域。
[0039] 深度加权确定部件130用于确定候选目标区域的深度加权图，该深度加权图包括 各个像素的深度加权信息，每个像素的深度加权信息表示基于该像素的深度信息、该像素 属于被跟踪对象的概率。
[0040] 目标模板获得部件140用于获得目标模板，其中目标模板是用特征的概率密度表 示的。
[0041] 候选目标表示部件150用于对位置在候选目标区域中滑动的候选目标，用特征的 概率密度来表示，其中，在估计候选目标的特征的概率密度过程中，对各个像素既基于像素 的颜色空间信息加权也基于像素的深度加权信息加权。
[0042] 置信度图获得部件160用于基于目标模板和候选目标的概率密度表示，计算目标 模板和候选目标之间的相似度，从而得到候选目标区域的置信度图。
[0043] 对象定位部件170用于基于候选目标区域的置信度图，定位被跟踪对象在当前图 像中的位置。
[0044] 可选地而非必需地，对象跟踪装置100还可以包括目标模板更新部件，用于评估 对象定位部件170的跟踪结果，并在适当时进行目标模板更新。
[0045] 需要说明的是，上述对象跟踪装置100的部件可以用软件程序来实现，例如通过 通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以 存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM 上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来 实现。所述集成电路包括通过例如MPU(微处理单元)、DSP(数字信号处理器)、FPGA(现场 可编程门阵列)、ASIC(专用集成电路）等中的至少一个来实现。这样的通用计算机或者专 用集成电路等例如可以与成像设备例如照相机来通信，以便对照相机拍摄获得的彩色图像 和/或立体图像进行处理来得到对象跟踪结果，以及可选地还可以根据对象跟踪结果对所 运行的