用于跟踪图像序列中的多个对象的方法和系统与流程

本发明涉及跟踪视频中的对象的领域。特别地，本发明涉及一种用于跟踪图像序列中的多个对象的方法和系统。

背景技术：

在视频监控中，经常引起兴趣的是从摄像机捕获的视频序列中自动跟踪静态背景中的对象。在这样的应用中，可以使用状态空间模型来对对象可能处在其中的可能状态进行建模。例如，状态可以与对象可能具有的可能位置相对应。状态空间模型可以进一步通过描述如何允许对象的状态从视频序列的一帧移动到下一帧的概率运动模型来增强。举例来说，在仅跟踪第一对象的情况下，状态空间可以由描述第一对象的可能位置的n个位置的集合来限定。这样限定的状态空间因此具有n个状态。当要跟踪第一对象和第二对象时，每个状态限定第一对象的n个可能位置之中的位置以及第二对象的n个可能位置之中的位置。对于两个对象，状态空间将因此具有n²个状态。一般来说，如果要跟踪k个对象，相应的状态空间将具有n^k个状态。因此，状态空间的维度随着要跟踪的对象的数量而迅速增长。

当跟踪视频序列中的对象时，问题是找到导致所观察的视频序列的对象的最有可能的状态序列。解决此问题的一个已知算法是所谓的维特比(viterbi)算法。在视频序列中跟踪对象的背景下，维特比算法在的、名称为“使用在线维特比优化和随机建模的多目标跟踪(multi-targettrackingusingon-lineviterbioptimisationandstochasticmodelling)”的博士论文中被进一步探讨，见2009年期刊编号为isbn978-628-7685-2的朗德大学数学科学中心(centreformathematicalsciences)。简言之，维特比算法是针对每个状态和每个观察的视频帧用于递归地更新多个对象在视频帧中的状态中的联合概率的计算方案。在这篇论文中提出的方法在跟踪一个或几个对象的计算上是可行的。然而，随着对象数量的增加，状态空间如上所述呈指数增长。这导致计算负担在许多应用中是不可行的，例如，如果要在相机本身中进行计算。因此存在改进的余地。

技术实现要素：

鉴于上述，因此本发明的目的在于减轻上述问题，并提供一种跟踪图像序列中的多个对象的方法，该方法计算效率更高。

根据本发明的第一方面，上述目标通过跟踪图像序列中的多个对象的方法来实现，包括：

接收来自图像序列的图像，

基于所接收的图像而计算检测概率图，该检测概率图针对对象的预定状态集合中的每个状态在所接收的图像中指定在该状态中检测到多个对象中的任何一个对象的概率，

基于所计算的检测概率图，从与图像序列中的先前接收的图像相对应的前一对象身份图和前一累积概率图递归地更新对象身份图和累积概率图，

其中，针对预定状态集合中的每个状态，对象身份图在所接收的图像中识别最有可能处于该状态的对象，并且累积概率图在所接收的图像中指定具有该状态的、在对象身份图中针对该状态被识别的对象的概率，以及

基于更新后的对象身份图和更新后的累积概率图而跟踪所接收的图像中的每个对象。

如上面所解释的，由于状态空间的大小随要跟踪的对象的数量呈指数增长，因此对多个对象的跟踪变得具有计算上的需要。为了减少计算负担，本发明提出了近似全状态空间模型的降维状态空间模型。更具体地，所提出的状态空间模型相对于预定状态集合来限定。预定状态集合与一个对象的可能的状态的集合相对应。因此，如果对象具有n个可能的状态，则预定状态集合包括那些n个状态。以这种方式，状态空间模型具有相同数量的状态，而不管对象的数量。为了处理存在多个对象的事实，状态空间模型与对象身份图相关联。对象身份图针对预定状态集合中的每个状态识别当前最有可能处于该状态的对象。因此，将这样的对象身份图与简化的状态空间模型一起使用使得可以显著地减少问题的维度，从而减少所需的计算工作。具体地，代替递归地更新k个对象处于k维状态中的联合概率(如使用全状态空间模型的现有技术中所要求的)，递归地更新由对象身份图所识别的一个对象在一维状态中的边际概率就足够了。

如本文所使用的，检测概率图、对象身份图和累积概率图，是相对于与预定状态集合相对应的一组网格点或一组单元限定的图。

针对每个网格点，即针对每个状态，检测概率图在接收的图像中指定在该状态中检测到(即观察到)多个对象中的任何一个对象的概率。如果状态是空间位置，则概率可以是在该状态中检测到多个对象中的任何一个对象的中心的概率。因此，检测概率图不区分不同的对象，而是在接收的图像中指定每个状态中检测到多个对象中的任何一个对象的概率。检测概率图针对每个接收的图像计算，并且独立于先前接收的图像的检测概率图来计算。因此，检测概率图仅依赖于当前接收的图像中的图像数据。

对象身份图的作用是跟踪在每个时间点处(即针对每个接收的图像)最有可能处于每个状态的对象。更具体地，针对当前接收的图像和针对每个网格点(即针对每个状态)，对象身份图识别当前最有可能处于该状态的对象。

累积概率图的作用是根据对象身份图，针对每个状态跟踪最有可能处于该状态中(实际上在每个时间点处具有该状态，即针对每个接收的图像)的对象的概率。因此，对象身份图将每个状态与最有可能的对象相关联，并且累积概率图进一步将最有可能的对象与处于该状态的概率相关联。为了针对每个状态跟踪最有可能的对象和在每个时间点(即针对每个接收的图像)处于该状态的关联的概率，基于检测概率图(即基于在当前接收的图像中所检测到的对象的位置的信息)，从对象身份图和累积概率图的前一值递归地更新对象身份图和累积概率图。

该方法可以在在线设定中运行，这意味着只要接收到新图像，就执行该方法的步骤。在这样的在线设定中，可以通过在更新后的对象身份图中查找被识别的对象的一个或多个状态并且在所查找到的一个或多个状态之中选择具有在更新后的累积概率图中指定的最高概率的状态，来完成在所接收的图像中每个对象的跟踪。这针对每个接收的图像重复。

该方法也可以在离线设定中运行，这意味着在已经接收到序列的所有图像之后，相对于序列的每个图像执行该方法的步骤。在这样的离线设定中，可以通过以下操作来执行图像序列中的对象的跟踪：

1)针对每个接收的图像和每个状态，跟踪前一累积概率图中的状态，该状态给出前一累积概率图中指定的概率与转移概率的乘积的最大值(将在后面更详细地描述)。

2)针对序列中的最后一个图像，并且针对每个对象，在更新后的对象身份图中查找被识别的对象的一个或多个状态并且在所查找到的一个或多个状态之中选择具有在更新后的累积概率图中指定的最高概率的状态。

3)通过从步骤2)中选择的状态开始对每个对象进行回溯，并且利用步骤1)中跟踪的状态在时间上向后跟踪到第一图像。这样形成的路径是物体的轨迹。

该方法可以进一步作为在线设定和离线设定之间的中间体来运行。在上述这种中间体设定步骤1)-3)中，使用下述修改，即不仅对最后图像执行步骤2)，而且对在某一时间间隔接收的序列中的图像执行步骤2)，并且步骤3)的回溯被限制到与该某一时间间隔相对应的时间窗中的图像。可以动态地调整时间间隔。

因此，在在线、离线和中间设定中的每一个设定中，通过在更新后的对象身份图中查找被识别的对象的一个或多个状态并且在所查找到的一个或多个状态之中选择具有在更新后的累积概率图中指定的最高概率的状态，其可以针对图像序列中的至少一个图像，基于更新后的对象身份图和累积概率图而跟踪图像中的每个对象。

在更新累积概率图时，维特比算法不能直接使用，而是需要通过简化的状态空间模型和关联的对象身份图来适应特殊情况。进一步，不仅需要更新累积概率图，而且还需要更新对象身份图。

可以从前一对象身份图和前一累积概率图更新对象身份图。首先，针对每个状态，可以识别对应的最有可能的前一状态。当这样做时，使用概率运动模型，其描述如何允许对象的状态从图像序列中的一个图像移动到下一个图像。其次，一旦最有可能的前一状态已经被识别，对象身份图就可以被更新为针对所识别的最有可能的前一状态获取前一对象身份图的值。更具体地，对象身份图可以通过以下操作而针对预定状态集合中的每个状态被更新：

识别前一累积概率图中的状态，该状态给出前一累积概率图中指定的概率与转移概率的乘积的最大值，

其中，转移概率限定对象从前一累积概率图中的状态移动到当前被更新的对象身份图的状态的概率，以及

更新对象身份图，以识别与由前一对象身份图针对所识别的状态识别的对象相同的对象。

可以通过进一步考虑检测概率图(即来自接收的图像的信息)来更新累积概率。更详细地，累积概率图可以通过以下操作被更新：

针对预定状态集合中的每个状态，计算最大值(上述前一累积概率图中指定的概率与转移概率的乘积)和由检测概率图针对该状态指定的概率的乘积，以及

对与由更新后的对象身份图识别为与相同的对象相关联的状态归一化所形成的乘积。

这些步骤中的第一个步骤将前一累积概率向前传播到当前时间点。然而，传播概率的总和将不再为一，因此需要被归一化。通过假设对象的状态是当前最有可能的对象的状态中的一个(如对象身份图中所示)，可以通过相对于那些状态归一化传播概率来形成概率分布，那些状态与根据对象身份图的相同对象相关联。这个假设是一个近似，对于远距离的对象是微不足道的，但对于附近的对象可能会影响结果。

如上面所解释的，通过更新对象身份图和累积概率图，对多个对象的跟踪的最终结果将与将维特比算法应用于全状态空间模型所提供的结果很好地近似，但是计算复杂度更低。唯一的假设是两个不同的对象不能同时处于相同的状态，这是有意义的，因为对象的位置通常是其状态的一部分。

上面限定的转移概率描述了如何允许对象的状态从一个图像移动到下一个图像。更详细地，给定在前一时间点处、与先前接收的图像相对应的对象的状态，转移概率可以由在当前时间点处的、与当前接收的图像相对应的状态上的概率分布来限定。原则上，可以使用任何这样的模型。然而，在实践中，根据手头的应用，某些运动比其他运动更有可能。

例如，与在预定状态子集之外的状态相比，在前一累积概率图中的、预定状态子集内的状态的转移概率可能更高。换句话说，在前一个时间点处可能存在状态的区域，该区域比其他区域更有可能在当前时间点处最终到达特定状态。例如，如果对象是在高速公路上以某一速度限制行驶的汽车，并且状态与汽车的可能空间位置相对应，那么在前一个时间点处将会存在汽车的位置区域，从该位置区域开始，汽车可能会在当前时间点处最终到达当前位置处。通过以这种方式建模转移概率，可以将关于手边应用的现有信息构建到模型中，从而进一步改善对象跟踪的结果。

预定状态子集是预定状态集合的严格子集。此外，预定状态子集可以是相邻状态的子集，例如，具有根据某些范数(诸如l2-范数)彼此相邻的值的状态。

根据一些示例实施例，仅在前一累积概率图中的、预定状态子集中的状态的转移概率可以是非0的。以这种方式，对于预定状态子集之外的所有状态，转移概率将变为0。这将简化对象身份图和累积概率图的更新，因为识别前一累积概率图中的状态需要较少的评估，该状态给出前一累积概率图中指定的概率与转移概率的上述乘积的最大值。以这种方式，进一步降低了计算复杂度。

根据一些示例实施例，在前一累积概率图中的、预定状态子集中的每个状态的转移概率可以是相同的。这将进一步降低在识别前一累积概率图中的状态时的计算复杂度，该状态给出在前一累积概率图中指定的概率和转移概率的上述乘积的最大值。当非0转移概率相同时，在前一累积概率图中的、预定状态子集中具有最大概率的状态可以直接识别为产生最大值，而无需评估任何乘积。

在许多应用程序中，对象很可能从前一时间点保持其状态，或者移动到相邻状态。因此，预定状态子集可以在当前被更新的对象身份图的状态的邻域中。

对象的状态通常可以包括对象的空间位置，即对象在接收图像中的空间位置。因此，预定状态集合可以包括对象可能具有的空间位置集合。空间位置集合可以与所接收的图像中的像素的位置相对应。然而，通常，空间位置集合是相对于所接收的图像中稍微粗糙的空间网格限定的。状态还可以包括关于对象的进一步信息。例如，对象的状态可以进一步包括对象的方向、对象的速度、对象的加速度、对象的颜色和对象的纹理中的至少一个。因此，本文提出的方法不局限于跟踪图像序列中的多个对象的位置，而且还可以同时跟踪例如对象的方向。

如上所述，在更新累积概率图时，使用检测概率图形式的来自所接收图像的信息。可以使用卷积神经网络而从所接收到的图像计算检测概率图。因此，所接收的图像可以被输入到输出期望的检测概率图的卷积神经网络。卷积神经网络一旦被训练，就是获得检测概率的有效方法。

如上进一步所述，预定状态集合可以与所接收的图像中对象的可能空间位置相关联。更详细地，预定状态集合可以与形成所接收的图像中的空间位置的二维网格的空间位置相关联。以这种方式，该方法可以允许在二维中进行跟踪。

该方法不限于在二维中进行跟踪，还可以用于例如跟踪被限制为在所接收的图像中沿着一个或多个特定路径移动的对象。更具体地，预定状态集合可以与所接收的图像中沿着一个或多个一维路径的空间位置相关联。例如，当对被限制沿着接收的图像中描绘的道路行驶的汽车进行跟踪时，可能会出现这种情况。将空间位置(状态)限制为所接收的图像中的一个或多个一维路径的可替代方案是使用空间位置的二维网格工作，并且相反，仅对于空间位置沿着一维或二维路径定位的空间位置而言，将上面描述的转移概率限制为非0。这最终会导致一种类似的跟踪方法。

该方法可以进一步包括在接收图像序列中的第一图像之前初始化对象身份图和累积概率图。初始化可以基于针对每个对象的起始状态(例如起始位置)指定的用户输入。更具体地，该方法可以进一步包括在接收图像序列中的第一图像之前，基于针对多个对象中的每个对象在预定状态集合中指定起始状态的输入而初始化对象身份图和累积概率图。

一旦已经接收到输入，就可以因此初始化对象身份图和累积概率图。例如，可以初始化对象身份图以识别在其对应起始状态中的每个对象，并且可以初始化累积概率图以针对与多个对象相对应的每个起始状态指定概率为1并且指定其它为0。

根据本发明的第二方面，通过用于跟踪图像序列中的多个对象的系统来实现上述目标，包括：

接收器，被配置成接收来自图像序列的图像；

计算部件，被配置成基于所接收的图像而计算检测概率图，检测概率图针对对象的预定状态集合中的每个状态在所接收的图像中指定在该状态中检测到多个对象中的任何一个对象的概率，

更新部件，被配置成基于所计算的检测概率图，从与图像序列中的先前接收的图像相对应的前一对象身份图和前一累积概率图递归地更新对象身份图和累积概率图，

其中，针对预定状态集合中的每个状态，对象身份图在所接收的图像中识别最有可能处于该状态的对象，并且累积概率图在所接收的图像中指定具有该状态的、在对象身份图中针对该状态被识别的对象的概率，以及

跟踪部件，被配置成通过在更新后的对象身份图中查找被识别的对象的一个或多个状态并且在所查找到的一个或多个状态之中选择具有在更新后的累积概率图中指定的最高概率的状态，来跟踪所接收的图像中的每个对象。

根据本发明的第三方面，通过具有存储在其上的计算机代码指令的计算机可读介质来实现上述目的，计算机代码指令适于在由具有处理能力的设备执行时执行根据第一方面的方法。

第二方面和第三方面通常具有与第一方面相同的特征和优点。进一步注意到，本发明涉及特征的所有可能组合，除非另有明确说明。

附图说明

参照附图，通过以下对本发明的优选实施例的说明性和非限制性详细描述，将更好地理解本发明的上述以及附加目的、特征和优点，其中相同的附图标记将用于相似的元件，其中：

图1a示意性地图示序列的图像，其中可以根据第一场景执行多个对象的跟踪。

图1b示意性地图示序列的图像，其中可以根据第二场景执行多个对象的跟踪。

图2示意性地图示根据实施例的用于跟踪图像序列中的多个对象的系统。

图3是根据实施例的跟踪图像序列中的多个对象的方法的流程图。

图4示意性地图示根据实施例的为了跟踪图像序列中的多个对象而执行的步骤。

具体实施方式

现在，在下文中将参照附图更全面地描述本发明，其中示出了本发明的实施例。将描述在操作期间本文公开的系统和设备。

跟踪视频中的多个对象(即跟踪图像序列中的多个对象)，可能在各种应用中引起兴趣。例如，摄像机可用于监视房间中的多个对象。来自这种应用的图像可以示意性地类似于在图1a中从上面成像的三个对象(这里是人)。在图1a的场景中，对象可以在图像的两个维度中自由移动。另一种跟踪场景是监视交通，诸如在道路上行驶的汽车。来自这样的场景的图像可以示意性地类似于图1b中所示出的图像，其中示出四个对象(这里是汽车)，它们正在通过路口。在图1b的场景中，对象被限制为沿着图像中的一条或多条路径移动，即沿着道路移动。

图2示出可以用于跟踪图像序列中的多个对象的系统200。例如，系统200可以用于参照图1a和图1b描述的跟踪场景中。系统200包括接收器202、计算部件204、更新部件206和跟踪部件208。接收器202通常被设置成从摄像机接收视频流，即图像序列。虽然在不同的时间点，但图像序列中的图像描绘相同的场景。在一些实施例中，系统200可以包括在摄像机中，使得所有部件202、204、206、208都包括在摄像机中。在其他实施例中，系统200包括在远离摄像机的设备中，诸如在服务器中。在别的其他实施例中，部件202、204、206、208可以分布在几种物理设备上。例如，计算部件204可以具有基于云的实现方式，而更新部件206和跟踪部件208位于摄像机中或位于服务器中。

因此，系统200包括各种部件202、204、206、208，这些部件被配置成实现系统200的功能。特别地，每个图示的部件与系统200的功能相对应。通常，控制器200可以包括被配置成实现部件202、204、206、208以及更具体地说实现它们的功能的电路。

在硬件实现方式中，部件202、204、206、208中的每一个部件可以与专用于并且具体地说专门设计成提供部件的功能的电路相对应。该电路可以采取一个或多个集成电路的形式，诸如一个或多个专用集成电路。举例来说，计算部件204因此可以包括电路，当使用时，该电路计算检测概率图，如下面将更详细地描述的。

在软件实现方式中，电路可以采用处理器(诸如微处理器)的形式取代，其与存储在(非瞬态)计算机可读介质(诸如非易失性存储器)上的计算机代码指令相关联，使得系统200执行本文公开的任何方法。在这种情况下，部件202、204、206、208因此每个可以与存储在计算机可读介质上的计算机代码指令的一部分相对应，当指令由处理器执行时，使得系统200执行部件的功能。

要理解的是，还可以具有硬件和软件实现方式的组合，这意味着部件202、204、206、208中的一些部件的功能采取硬件实现，而其他部件采取软件实现。

现在将参照图4和图3的流程图更详细地描述系统200的操作。

在步骤s02中，接收器202接收来自图像序列的图像。尽管在不同的时间点，但序列的图像描绘了相同的场景。图4分别图示与时间点t-1、t和t+1相对应的三个连续图像402、404、406。

图像402、404、406每个描绘了多个对象408，这里由标记为a、b和c的三个对象图示。然而，要理解的是，该方法适用于任何数量的对象。在图4的示例中，对象408可以在由图像402、404、406描绘的两个维度中自由移动，类似于参照图1描述的场景。例如，对象a和对象b在图像402、404和406之间改变它们的位置，而对象c在图像402、404、406之间保持其位置。

每个对象408可以处于不同的状态其中是对象可能具有的预定的离散状态集合。换言之，是对象的预定的可能的状态的集合。因此，限定对象408的状态空间。状态空间本身对于所有图像是相同的，即它不随时间改变。然而，随着时间的推移，对象408可以改变状态，如在下面将更详细地解释的。

状态s通常可以(但不一定)包括对象408在图像中的空间位置。状态可以另外地或者可替代地包括对象408的方向、对象408的速度、对象408的加速度、对象408的颜色和对象408的纹理中的一个或多个。如果状态仅包括对象408的空间位置，那么状态由限定对象408的空间位置的值限定，诸如图像中的坐标(x，y)。如果状态与对象408的几种属性相关，那么该状态由限定与该状态相关的对象408的属性的值的组合来限定。例如，如果状态包括对象的空间位置和方向，则其可以由图像中的坐标(x，y)和方向α，即通过(x，y，α)来限定。

在图4的示例中，假设状态s仅包括空间位置。更具体地，在图4中，预定状态集合包括空间位置，空间位置形成所接收的图像402、404、406中的空间位置的二维网格410。这通过虚线网格410来图示，虚线网格410将所接收的图像402、404、406划分成区域。这里示出了16个区域，尽管在实践中，根据应用通常使用更大数量的区域。每个区域可以对应于状态，即在这个例子中的空间位置。例如，每个区域的中心点的坐标可以限定对应状态的空间位置。

如果跟踪场景替代地已经成为对象被限制沿着图像的某些路径或在某些区域中移动的场景，则预定状态集合可以替代地被限定为仅包括属于那些路径或那些区域的空间位置。

状态空间本身对于所有图像是相同的，即它不随时间改变。然而，随着时间的推移，对象408可以改变状态，如下面更详细地解释的。

系统200执行的方法是针对图像序列中的每个接收的图像402、404、406执行的迭代方法。因此，针对序列中的每个图像，重复图3中所示的步骤s02、s04、s06、s08。以下描述使用在时间t处接收的图像404作为示例，描述每次接收图像时发生了什么。

在步骤s04中，计算部件204基于所接收的图像404而计算检测概率图412。检测概率图412相对于预定状态集合被限定。概率图412在时间t处接收的图像404中指定在每个可能的状态中检测到对象408的概率ds，t。在检测概率图412中示出了检测概率ds，t的示例性值。

为了计算检测概率图412，计算部件204可以包括为此目的而专门训练的卷积神经网络。换句话说，所接收的图像404可以被输入到计算并且输出检测概率图412的卷积神经网络。例如，在等人的“基于cnn的奶牛交互监视(acnn-basedcowinteractionwatchdog)”的第4.2部分(iet计算机视觉，doi:：10.1049/iet-cvi.2017.0077)中描述了卷积神经网络，并且通过引用并入本文，其可以用于此目的。

针对每个状态更新部件206保持os，t以及ps，t，os，t是当前(在时间t处)最有可能具有状态s的对象的身份，ps，t是对象os，t在时间t处接收的图像中具有状态s的概率。在每个时间点，更新部件206将每个状态的对象身份os，t存储在图中，本文称为对象身份图，并且将每个对象的概率ps，t存储在图中，本文称为累积概率图。因此，对象身份图与时间点相关联，并且相对于所有状态限定。针对对象身份图中的每个状态，指定对象os，t。类似地，累积概率图与时间点相关联，并且相对于所有状态限定。针对累积概率图中的每个状态，指定概率ps，t。对象身份图和累积概率图是相关的，因为针对每个状态，在累积概率图中指定的概率与在对象身份图中识别的对象相关。

图4示出分别与时间点t-1、t和t+1相对应的三个对象身份图431、432、433。使用上述符号，与时间t-1相对应的对象身份图431因此包括对象身份与时间t相对应的对象身份图432包括对象身份并且与时间t+1相对应的对象身份图432包括对象身份进一步，图4示出分别与时间点t-1、t和t+1相对应的累积概率图421、422、423。利用上述符号，与时间t-1相对应的累积概率图421因此包括概率与时间t相对应的累积概率图422包括概率并且与时间t+1相对应的累积概率身份图423包括概率要理解的是，尽管在图4中分开示出，但是对象身份图和累积概率图可以存储在公共数据结构中。

更新部件206在步骤s06中更新对象身份图和累积概率图。更详细地，更新部件206通过假设在时间t-1处的对象身份图431的对象身份os，t-1和累积概率图421的关联的概率ps，t-1是已知的，在时间t处递归地更新对象身份图432中的对象身份os，t以及累积概率图422中的关联的概率ps，t。换句话说，更新部件206从前一对象身份图431和前一累积概率图421递归地计算对象身份图432和累积概率图422。

为了执行更新，更新部件206可以根据

而针对每个状态s计算最有可能的前一状态es，其中，是描述对象从在时间t-1处的状态移动到在时间t处的状态s的概率的转移概率。用文字表示，更新部件206因此可以针对每个状态s，识别在前一累积概率图431中的状态es，状态es给出了在前一累积概率图431中指定的概率与转移概率的乘积的最大值。为了计算效率，可以优选在对数尺度上工作，而不是直接计算乘积，而是替代地计算相关概率的对数之和。

转移概率可以是预定的并且表示对象如何从一个图像移动到下一个图像的先验知识。因此，可以说转移概率限定概率运动模型。与从时间t-1处的特定状态子集之外的状态移动到在时间t处的状态s相比，典型的运动模型可以赋予在时间t-1处从特定状态子集移动到在时间t处的状态s的更高的概率。例如，仅在特定状态子集中的状态可以与非0概率相关联。在某些情况下，预定状态子集可以限定相邻状态的子集。特别地，预定状态子集可以被限定为处于当前被估计的状态s的邻居中的那些状态，这意味着对象更可能保持其状态或移动到相邻状态，而不是移动到更远的状态。不同状态之间的转移概率可能不同。例如，根据在时间t处的目标状态s，预定状态子集的大小可能不同。以这种方式，例如，可以考虑对象可以在图像的不同部分中不同地移动。

在图4的示例中，运动模型假设对象或者保持它们的位置或者移动到最近的相邻状态。这由在时间t-1处的累积概率图421中的邻域424指示，邻域424示出了在时间t处具有移动到状态425的非0概率的那些状态。为了阐释的目的，将进一步假设，领域424中的所有状态的转移概率是相同的。然而，要理解的是，可以根据应用不同地选择邻域的大小和形状。此外，要理解的是，根据对象如何趋向移动的先验知识，可以在邻域内以不同的方式选择转移概率。

此外，在不同的跟踪场景中，诸如在图1b中所示的场景中，对象可能更可能在两个图像之间移动得更远，并且可能适合于在时间t-1处选择预定状态子集，该状态子集以远离当前被估计的状态s的状态为中心。在图1b的场景中，例如，可以基于对象的平均速度和方向来选择距离。

在一些实施例中，转移概率不是预定的，而是可由图像的图像数据按顺序自适应地估计。以这种方式，转移概率变得随时间变化。例如，基于序列中的两个后续图像，可以针对累积概率图中的每个状态来估计转移概率。因此，等式1中使用的从在时间t-1处的状态移动到在时间t处的状态的转移概率可以从在时间t-1处捕获的图像402和在时间t处捕获的图像404来估计。例如，这可以通过估计两个后续图像之间的光流，或通过使用专门为此目的训练的卷积神经网络来实现。

返回到最有可能的前一状态es的计算，在时间t处的累积概率图422中状态425的最有可能的前一状态是在时间t-1处的累积概率图421中的状态426。这是因为，在邻域424中具有相等的转移概率的情况下，在累积概率图中，邻域424中的具有最高值的状态将使等式1的乘积最大化。

一旦识别了最有可能的前一状态es，每个状态的对象身份os，t可以根据：

来更新。换句话说，更新部件206可以针对状态s更新对象身份图432，以识别与由前一对象身份图431针对最有可能的前一状态es识别的对象相同的对象。为了举例说明，在时间t处的对象身份图432针对状态425将识别与在时间t-1处由对象身份图431针对最有可能的前一状态426所识别的对象相同的对象。针对每个状态执行更新，并且将结果存储在对象身份图432中。

为了更新累积概率图，更新部件206利用在时间t处的检测概率图412的检测概率ds，t。更详细地，更新部件206可以通过计算以下乘积：

针对每个状态s传播在时间t-1处的累积概率图421的概率。换句话说，更新部件206可以计算用于从最有可能的前一状态es移动到状态s的转移概率、在时间t-1处针对最有可能的前一状态es在累积概率图421中指定的概率以及在时间t处的检测概率图412中指定的概率的乘积。基本原理是，来自累积概率图412的概率指定了最有可能处于状态es的对象实际处于状态es的可能性。转移概率然后指定对象从状态es移动到状态s的可能性，并且来自检测概率图412的检测概率指定在状态s中检测到对象的概率。特别地，的乘积与在评估等式1时发现的最大值相对应。同样在这种情况下，为了计算效率，可以优选在对数尺度上工作，而不是计算等式3中的乘积，而是替代地计算相关概率的对数之和。然而，为了执行接下来描述的归一化，需要再次从对数尺度转换回结果。

等式3的传播概率的总和将不再等于1。通过假设传播概率相关的对象具有如更新后的对象身份图432中所指示的针对当前最有可能的对象的状态中的一种状态，可以通过根据

对传播概率进行归一化来形成概率分布。换句话说，传播概率与对象相关联，该对象即在更新后的对象身份图432中针对状态s识别的对象。因此，传播概率对被更新后的对象身份图432识别为与相同的对象相关联的状态归一化。为了举例说明，对象a是根据对象身份图432在时间t处状态425的最有可能的对象。当针对状态425执行传播概率的归一化时，将因此相对于对象身份图432中对象a被识别的所有状态执行归一化。

在步骤s08中，跟踪部件208继续跟踪所接收的图像404中的每个对象408。当跟踪每个对象408时，估计每个对象的当前状态。为此，跟踪部件208在更新后的对象身份图432中查找被识别的对象的所有状态。然后，跟踪部件208继续在所查找到的状态之中选择具有在更新后的累积概率图422中指定的最高概率的状态。用不同的方式表示，在时间t处每个对象o的当前状态so可以被估计为：

举例来说，在时间t处对象a的当前状态会因此被估计为状态428，因为累积概率图中的对应概率在与对象a相关联的累积概率图中的概率之中是最高的。类似地，在时间t处，对象b的当前状态会因此被估计为在时间t处的状态429，并且在时间t处的对象c的当前状态会因此被估计为在时间t处的状态430。因此，从时间t-1到时间t，方法已经跟踪了对象a的位置中的向下变化，同时对象c和对象b被估计为具有他们的保持的位置。

然后，当接收新图像406时，可以重复步骤s02、s04、s06和s08。如图4中所图示，从时间t到时间t+1，该方法跟踪对象b的位置变化，而对象a和对象c被估计为保持它们的位置。在每个时间点处，每个对象的估计状态可用于形成对象随时间状态变化的路径，即轨迹。在图4中，在每个时间点处每个对象的估计状态由对象身份图431、432、433中的圆表示。

在接收序列中的第一图像之前，对象身份图和累积概率图可以被初始化，例如，通过更新部件206。初始化可以基于指定每个对象的起始状态的输入。例如，起始状态可以通过用户查看序列中的第一图像并且人工指示对象的起始状态来推断。基于这样的输入，可以初始化累积概率图，以针对被指示为对象的起始状态的每个状态指定为1的概率以及针对所有其他状态指定为0的概率。可以初始化对象身份图，以识别在其对应的起始状态中的每个对象。对象身份图中的剩余状态(将与累积概率图中的0概率相关联)可以保留为空，或者可以用任何对象初始化。无论如何，当在累积概率图中出现更多的非0概率时，该方法将连续地填充对象身份图。

可替代的初始化方法是为对象身份图中的每个状态设定唯一的对象身份，并且将累积概率图中的所有值设定为相同的值，诸如等于1。然后，可以将上述方法的步骤s02、s04、s06应用于序列的第一图像，尽管没有执行结合上述等式4描述的归一化步骤。这将导致多余的对象身份在一段时间后被淘汰掉，并且只有存在于场景中的对象的对象身份将保留。例如，可以重复步骤s02、s04、s06，直到对象身份图中的对象身份的数量与已知存在于场景中的对象的数量相对应。

上述方法和系统还可以处理对象进入图像和对象离开图像的情况。例如，图像序列可以描绘诸如房间的场景，其中对象可以通过一个或多个门进入和离开。在这种情况下，对象可以提供诸如rfid标签的身份标签，当对象通过门进入房间，并且经过一段时间后，通过同一个或另一个门离开房间时，对象被注册。当对象被注册为已经进入房间时，对象身份图可以被更新为针对最靠近对象通过的门的状态而识别新对象。同时，累积概率图可以被更新，以指定该状态的概率为1。类似地，当对象被注册为已经通过门离开房间时，对象身份图可以被更新为针对最靠近对象离开的门的状态而删除对象身份图中识别的对象。累积概率图可以被更新以针对与已经离开的对象相关联的那些状态指定概率为0。

将理解的是，本领域技术人员能够以多种方式修改上述实施例并且仍然使用在上述实施例中示出的本发明的优点。因此，本发明不应局限于所示的实施例，而应仅由附加的权利要求来限定。此外，如技术人员所理解的，所示的实施例可以组合。