专利名称：一种跟踪视频数据中的目标的方法
技术领域：
本发明涉及跟踪视频数据中的目标的方法。目标可以是视频中任何被跟踪的对象。目标的例子包括，但不局限于，CCTV (闭路电视)镜头中记录的人，以及通过显微镜观察在样品液体里移动的细胞。
背景技术：
本发明涉及跟踪视频或者可视数据中的目标，例如跟踪视频中记录的对象。例如，视频数据可以是预先录制的视频片段，或者实时视频传送。视频的每一帧是一个图像，图像中的一个或多个目标可能是可视的。本发明涉及一种分析这种视频中的帧的方法，从而当目标在视频捕获的区域内移动时，识别目标并跟踪它们。跟踪视频数据中的目标的一个特别的特征是出现在视频中的任何具体的帧的目 标数是未知的，并且随时间而改变(例如，像细胞在显微镜捕获的液体区域内进进出出)。在2003 年第 25 届 IEEE EMBS 国际会议年刊上，Taboada, Poggio, Camarena 和Corkidi,在Automatic tracking and analysis system for free-swimming bacteria(用于自由游动细菌的自动跟踪和分析系统)一文中描述了一种跟踪细胞的方法。该方法识别视频的帧中的任何可能的细胞为色彩和/或亮度鲜明的区域，例如细胞可以识别为每一帧中的“亮斑”。然后细胞的轨迹可以利用帧与帧之间的那些区域交迭来识别。这个方法会伴随一些问题。视频帧会包含噪音，该噪音可能会导致某区域被错误地识别为细胞，相反地，可能导致细胞未能被识别出。这样会导致识别轨迹时产生误差，一个具体的问题是破坏轨迹(也就是，单个细胞的轨迹可能会被识别为许多更短的，分离的轨迹)。另一个问题是，细胞可能移动得非常快，例如快到每秒移动它们身体长度的200倍。这意味着为了细胞在帧中交迭，需要一个非常高的帧频，这样导致的缺点是需要非常大的视频文件而且大大地限制了可以分析视频的持续时间。还有一个问题就是这种方法难以区分和正确跟踪非常靠近或有重叠轨迹的细胞，使得当有大量细胞时，这种方法变得不可靠。已知其它各种跟踪细胞的方法，但是这些方法普遍只能跟踪单个或者非常少数的细胞。已知一种模拟随机数量的移动目标的方法是概率假设密度(PHD)滤波，PHD滤波通常用于模拟从雷达或者声波定位仪获取的数据中的移动目标。但是，Wang，Wu,Kassim 和Huang,在Data-Driven Probability Hypothesis Density Filter for VisualTracking, IEEE Transactions on Circuits and Systems for Video Technology, 2008—文中，还有Maggio，Taj and Cavallaroj 在Efficient multi-target visual trackingusing Random Finite Sets, IEEE Transactions on Circuits and Systems for VideoTechnology, 2008 —文中描述了用PHD滤波在CCTV数据中跟踪目标的方法。这些文献中描述的方法采用PHD滤波器，称为“微粒”滤波器或连续的蒙特卡洛方法的算法。这些文献中描述的方法有许多问题。当数据是嘈杂的，导致破碎的和错误地被宣告的轨迹时，这些方法可能不可靠。此外，它们不能考虑哪里可能出现新目标的优先信息。这些方法在计算上也是非常昂贵的。本发明寻求提供一种改进的跟踪目标的方法，该方法避免或者减轻上述中的一些或者所有的问题。
发明内容
根据本发明的第一方面，提供一种跟踪视频数据中的目标的方法，其中，在每一系列的时间步中获得一组加权概率分布要素，该方法在每个时间步中包括步骤
根据针对目标的预定义的运动模型，由先前时间步的要素获得一组新的要素；
分析当前时间步的视频从而获得一组测量方法； 利用根据预定义的测量模型的测量结果更新一组新的要素；
分析每个时间步获得的一组要素，从而获得目标的一组轨迹。此方法利用加权概率分布要素模拟潜在的目标；要素的权重代表表明目标确实存在于该要素指示的位置的证据的数量。在每个时间步，要素利用它们预期怎样行动的模型(预定义的运动模型)，以及根据从目标的视频数据中获得的测量结果(利用预先确定的测量模型)来更新。分析每一时间步得到的要素从而获得目标轨迹，换句话说就是跟踪目标。采用该方法，多个目标可以更可靠地识别和跟踪，特别是在视频中包含导致测量不可靠的噪音的情况下。该方法在跟踪目标整个轨迹上特别有效，换句话说，不会返回破碎的轨迹，也不会把截然不同的目标错判为相同的目标，例如，当他们的轨迹交叉时。此外，该方法不要求视频中的帧之间目标交迭。此方法特别适合跟踪微小对象的运动，比如液体样品中的细胞。有利地，此概率分布要素为高斯分布。高斯分布提供一个有效的计算模型，因为它们易于描述并具有简单的特性，而且还提供有效的方法。优选地，该预定义的运动模型包括
模拟在先前时间步残留下来的目标的预期行为的残留模型；
模拟在先前时间步中没有出现的目标的预期行为的出现模型。这使得目标的预期行为可以有效地被模拟。有利地，出现模型指示目标预期出现在视频捕获的区域的边缘。这提供一种更可靠的方法，避免在边缘内的测量结果(可能是噪声或者是已经存在的目标)被错判为新目标。该预定义的运动模型可能进一步包括分支模型，该分支模型模拟展现从先前时间步中产生另外的目标的目标的预期行为。这有助于有效地跟踪产生新细胞的目标，例如，分裂成两个或者更多个细胞的细胞。优选地，该方法进一步包括在每个时间步中删除任何权重低于预先确定的数值的要素的步骤。这有助于防止要素的数量变得大到难以处理，从而提供有效的计算模型。优选地，该方法进一步包括在每个时间步中合并任何在预先确定的阈值内的要素的步骤。该方法可能进一步包括在每个时间步中删除除了预先确定数量的、由具有最高权重的要素组成的要素之外的要素的步骤。优选地，该方法进一步包括在每一个时间步中标记在该时间步中获得的该组要素。这能利用施加至要素的标记来获得轨迹。优选地，从运动模型获得的要素被标上与它们的来源要素相同的标记。有利地，该运动模型包括残留模型，其中，从残留模型中获得的要素被标上与它的来源要素相同的标记。有利地，该运动模型包括出现模型，其中，从出现模型中获得的要素被标上新的唯一的标记。该运动模型可能包括分支模型，从分支模型获得的具有最高权重的要素被标上与它的来源要素相同的标记。有利地，从连续的时间步中具有相同标记的一系列要素中获得轨迹。这使得轨迹可通过识别在连续的连贯的时间步中保持同样标记的要素来获得。有利地，如果获得轨迹的要素的权重低于预先确定的阈值，那么该轨迹将被排除。这样有助于防止在不大可能从真实目标获得的要素的基础上识别轨迹。 有利地，如果第二轨迹的起点在第一轨迹的终点的预先确定的时间和距离内，第一轨迹和第二轨迹连接形成单个的轨迹。这有助于减少该方法识别的破碎轨迹。有利地，该运动模型在目标的轨迹的基础上进行更新。由于该运动模型更精确地预测被跟踪的特定的目标的运动，使得该方法能更精确地跟踪目标。根据本发明的第二方面，提供计算机编程产品，用于执行上文所述的任何方法的步骤。
以下结合附图，描述本发明的实施例，其中
图I为展示了根据本发明的第一实施例，一种跟踪细胞的方法的流程 图2为更详细地展示了以图I的方法修正/合并要素的流程 图3为展示了以图I的方法标记要素的流程 图4为展示了以图I的方法公布和连接轨迹的流程图。
具体实施例方式参见图I至4，描述本发明的一个实施例。如上文所述，PHD滤波是一种已知的模拟运动目标的方法。PHD滤波的综合概念如下所述。PHD是众所周知的用于概率论的概率密度函数(PDF)的概括。连续随机变量的HF是指随机变量可能会出现在该函数的值域内的一个给定点的函数。该随机变量出现在一组特定的值内的概率由那些值的PDF的积分确定。该概率函数的值域是该随机变量的可能值的全部集合，因此其整个区域的概率密度函数的积分是I (反映的事实是随机变量在实际中一定会在值域内的某点出现)。联系本实施例的上下文，该随机变量可能是图像内的细胞的位置。其次，该随机变量的概率密度函数在其值域具有整个图像，并且对图像的特定区域的概率密度函数的积分表示细胞在该特定区域的概率。但是，如上所述，对整个图像的概率密度函数的积分一定是1，因此这只适合正好包含一个细胞的图像。PHD是可用于模拟随机数量(可能是0，I或者多于I)的细胞的位置的概率密度函数的概括。更一般地，PHD表示出现在特定位置的随机数量的目标的可能性。PHD的一个特性是对特定区域的积分表示该区域中的目标的预期数量，所以特别地，整个区域的积分不一定等于1，因为可能少于或者多于一个目标。如下所述，利用连续的PHD，PHD滤波表示一种模拟随机数量的移动目标的运动的方法。PHD滤波的底层是一组目标状态Xi,目标状态Xi是一组表示时间t中每个目标的状态(例如它们的位置和速度)的向量。目标随着时间的预期行为通过底层运动模型表示，该模型可为如下所示
权利要求
1.一种跟踪视频数据中的目标的方法，其特征在于在一系列时间步的每一个时间步处获取一组加权概率分布要素，所述方法在每个时间步包括以下步骤 根据针对目标的预定义的运动模型，从前一时间步的要素获得一组新的要素； 分析当前时间步的视频，从而获得一组测量结果； 根据预定义的测量模型，利用所述测量结果更新该组新的要素 分析每个时间步中获得的一组要素，从而获得目标的一组轨迹。
2.根据权利要求I所述的方法，其特征在于，所述概率分布要素为高斯分布。
3.根据权利要求I或者权利要求2所述的方法，其特征在于，所述预定义的运动模型包括 模拟前一时间步残留的目标的预期行为的残留模型； 模拟前一时间步中没有出现的目标的预期行为的出现模型。
4.根据权利要求3所述的方法，其特征在于，所述出现模型指示目标预期出现在由视频数据捕获的区域的边缘。
5.根据权利要求3或者权利要求4所述的方法，其特征在于，预定义的运动模型进一步包括分支模型，所述分支模型模拟从前一时间步中产生另外的目标的目标预期行为。
6.根据前面任何一项权利要求所述的方法，其特征在于，所述方法进一步包括在每个时间步删除任何权重低于预先确定的值的要素的步骤。
7.根据前面任何一项权利要求所述的方法，其特征在于，所述方法进一步包括在每个时间步合并任何在预先确定的阈值内的要素的步骤。
8.根据前面任何一项权利要求所述的方法，其特征在于，所述方法进一步包括在每个时间步删除除了由具有最高权重要素组成的预先确定数量的要素之外的要素的步骤。
9.根据前面任何一项权利要求所述的方法，其特征在于，所述方法进一步包括在每个时间步标记在该时间步获得的一组要素的步骤。
10.根据权利要求9所述的方法，其特征在于，从所述运动模型获得的要素被标上与其来源要素相同的标记。
11.根据权利要求10所述的方法，其特征在于，所述运动模型包括残留模型，并且其中从残留模型获得的要素被标上与其来源要素相同的标记。
12.根据权利要求10或者权利要求11所述的方法，其特征在于，所述运动模型包括出现模型，并且其中从出现模型获得的要素被标上新的唯一的标记。
13.根据权利要求10至12中任何一项权利要求所述的方法，其特征在于，所述运动模型包括分支模型，并且其中从分支模型获得的具有最高权重的要素被标上与其来源要素相同的标记。
14.据权利要求10至13中任何一项权利要求所述的方法，其特征在于，从连续的时间步中具有相同的标记的一系列要素中获得轨迹。
15.根据权利要求14所述的方法，其特征在于，如果获得轨迹的要素的权重低于预先确定的阈值，那么所述轨迹将被排除。
16.根据前面任何一项权利要求所述的方法，其特征在于，如果第二轨迹的起点在第一轨迹的终点的预先确定的时间和距离内，第一轨迹和第二轨迹被连接形成单个的轨迹。
17.根据前面任何一项权利要求所述的方法，其特征在于，基于目标的轨迹更新所述运动模型。
18.一种计算机程序产品，用于执行权利要求1-17的任何方法的步骤。
全文摘要
一种跟踪视频数据中的目标的方法。在每一系列时间步，获得一组加权概率分布要素。在每个时间步执行下列步骤。首先，根据针对目标的预定义的运动模型，由前一的要素获得一组新的要素。然后，分析当前时间步的视频从而获得一组测量结果，并且根据预定义的测量模型，利用测量结果更新该组新的要素。最后，分析每个时间步获得的一组要素从而获得目标的一组轨迹。
文档编号G06T7/20GK102971767SQ201180014282
公开日2013年3月13日 申请日期2011年2月3日 优先权日2010年3月17日
发明者特雷弗·迈克尔·沃德 申请人:Isis创新有限公司