可适用多重追踪的目标追踪方法与系统与流程

本发明有关一种影像追踪，特别是关于一种可适用多重追踪的目标追踪方法与系统。

背景技术：

影像追踪(videotracking)是一种使用相机以找出移动物件的位置的技术，可使用于多种应用，例如人机互动(human-computerinteraction)、保全与监视(security&surveillance)、交通管制(trafficcontrol)、扩增实境(augmentedreality或ar)等。

于传统的影像追踪方法中，对第一张影像执行全图搜寻(globalsearch)的侦测，用以找到追踪目标(例如人或车辆等特定物件)。接着，从第二张影像开始，根据前一张影像的追踪目标的位置，于当前影像的相应位置附近执行局部搜寻(localsearch)的侦测，找出相似度高者定义为当前影像的追踪目标。接下来每一张影像仅执行局部搜寻的侦测，找到每张影像的追踪目标。

对于前述的传统影像追踪方法，只要其中一张影像追踪错误，则后面的影像就会跟着一直错误，无法复原(recovery)。此外，由于仅有第一张影像执行全图搜寻的侦测，如果是从第二张影像之后才出现的人，就无法作为追踪目标以进行后续追踪。因此，必须在第一张影像开始时就出现有多个追踪目标，才能进行多重追踪，造成使用上相当不便。

因此亟需提出一种可适用多重追踪的目标追踪方法，用以改善传统影像追踪方法的缺失，提高影像追踪的准确度并能增进便利。

技术实现要素：

鉴于上述，本发明实施例的目的之一在于提出一种可适用多重追踪的目标追踪方法与系统，可于目标追踪过程中新增或移除追踪目标，且可复原前一张影像的错误追踪。

根据本发明实施例的目标追踪方法，对当前影像进行全图搜寻的侦测，以得到当前影像的候选物。执行候选物与追踪目标之间的关联，以决定两者之间的相似度，并给予候选物相应的相似值。选择最大相似值所对应的候选物，作为追踪目标的关联候选物。过滤关联候选物以外具非零相似值的其他候选物，以找出分类为主物件的候选物，作为过滤候选物。根据关联候选物与过滤候选物，以产生新追踪目标。

附图说明

图1a显示本发明实施例的可适用多重追踪的目标追踪方法的流程图。

图1b显示本发明实施例的可适用多重追踪的目标追踪系统的方块图。

图2显示图1a的目标追踪方法其中一个分支的流程图，用以说明前一张影像没有追踪目标的情形。

图3显示图1a的目标追踪方法其中一个分支的流程图，用以说明前一张影像有追踪目标，当前影像有候选物，且可以找到追踪目标的关联候选物的情形。

图4显示图1a/图3的步骤13的细部流程图，用以决定候选物的相似值。

图5显示图1a的目标追踪方法其中一个分支的流程图，用以说明前一张影像有追踪目标，当前影像有候选物，但未能找到追踪目标的关联候选物的情形。

图6显示图1a的目标追踪方法其中一个分支的流程图，用以说明前一张影像有追踪目标，但是当前影像没有候选物的情形。

符号说明

100可适用多重追踪的目标追踪方法

10开始

11前一张影像是否有追踪目标

12当前影像是否有候选物

13关联候选物与追踪目标

131坐标差值是否小于阈值

132重叠率是否大于阈值

133比例差值是否小于阈值

134影像特征差值是否小于阈值

135决定相似值

14关联是否成功

15过滤以找出分类为人物件的候选物

16指派新追踪目标

17更新追踪目标

18下一张影像

21当前影像的候选物的分类是否为人物件

22产生新追踪目标

31产生第一新候选物

32第一新候选物是否匹配于追踪目标

33改变感兴趣区域并产生第二新候选物

34第二新候选物是否匹配于追踪目标

35放弃追踪目标的信息

200可适用多重追踪的目标追踪系统

101影像撷取设备

102影像侦测单元

103关联单元

104过滤单元

105追踪目标更新单元

201新追踪目标产生单元

301新候选物产生单元

302匹配单元

具体实施方式

图1a显示本发明实施例的可适用多重追踪的目标追踪方法100的流程图，图1b显示本发明实施例的可适用多重追踪的目标追踪系统200的方块图，可用以追踪单一或者多重目标。图1a所示的步骤以及图1b所示的方块可使用硬件、软件或其组合来实施。例如，使用计算机指令以执行于处理器(例如数字图像处理器)。以下主要使用图1a及图1b所示实施例来说明本发明如何执行目标的追踪。

在本实施例中，影像撷取设备101可为二维(2d)影像撷取设备(例如二维相机)或者三维(3d)影像撷取设备(例如三维相机)。影像撷取设备101所撷取的影像被馈至影像侦测单元102，对影像进行侦测以取得影像的前景物件，作为候选物(candidate)。影像侦测可使用传统技术，其技术细节因此省略不予赘述。

根据本实施例的特征之一，影像侦测单元102对影像撷取设备101所撷取影像进行全图搜寻(globalsearch)的侦测。如果是二维影像撷取设备，可使用背景相减(backgroundsubtraction)技术找出候选物；如果是三维影像撷取设备，可使用深度(depth)信息找出候选物。在本实施例中，候选物的信息可包含分类、坐标、感兴趣区域(regionofinterest(roi)或称重点区域)、影像特征(imagedescriptor)。在其他实施例中，候选物的信息可包含较少或更多的项目。

在本实施例中，分类可分为人(people)物件及非人物件。一般来说，分类可分为主物件与副物件，其中主物件为所要追踪的对象，而副物件则为主物件以外的物件。在其他实施例中，分类的数目可为三个或以上。感兴趣区域(roi)可包含其位置与尺寸。例如，感兴趣区域为矩形，可使用矩形的一个端点(例如左上端点)及其长、宽来表示。在本实施例，影像特征以颜色直方图(colorhistogram)来表示颜色分布，但也可使用其他的方法，例如方向梯度直方图(histogramoforientedgradient,hog)、局部二值模式(localbinarypattern,lbp)、haar等。如果是三维影像撷取设备，候选物的信息还可包含深度。

以下将针对图1a所示流程图当中的各个分支(branch)流程，并配合图1b所示系统方块图，分别详细说明本发明实施例的目标追踪。

图2显示图1a的可适用多重追踪的目标追踪方法(简称目标追踪方法)100其中一个分支的流程图，用以说明前一张影像没有追踪目标的情形。举例而言，系统刚启动时，因为不存在前一张影像，所以就没有追踪目标。如图2所示，首先，于步骤10，影像侦测单元102接收影像撷取设备101所撷取的当前影像，以产生当前影像的候选物的信息(例如分类、坐标、感兴趣区域(roi)、影像特征)。接着，于步骤11，判断前一张影像是否有追踪目标(trackedtarget)。如果经判断前一张影像没有追踪目标(例如系统刚启动时)，则进入步骤21，根据当前影像的候选物的信息，判断候选物的分类是否为人物件。如果判断的结果是肯定的，则进入步骤22，新追踪目标产生单元201将分类为人物件的候选物定义为新追踪目标，并给予相应的目标编号。如果分类为人物件的候选物不只一个，则可产生多重新追踪目标，并分别给予相应的目标编号。接着，进入步骤17，追踪目标更新单元105根据新追踪目标以更新追踪目标的信息(例如坐标、感兴趣区域(roi)、影像特征及目标编号)。在本实施例中，追踪目标更新单元105可包含存储器存储器装置(例如动态随机存取存储器或dram)，用以储存追踪目标与新追踪目标的信息。接着，处理下一张影像(步骤18)，并重新进入目标追踪方法100的步骤10，进行下一张影像的目标追踪。

如果步骤21经判断当前影像的候选物的分类没有人物件(例如所有的分类都是非人物件)，或者根本没有候选物，则直接进入步骤18以处理下一张影像。

图3显示图1a的目标追踪方法100其中一个分支的流程图，用以说明前一张影像有追踪目标，当前影像有候选物，且可以找到追踪目标的关联候选物的情形。如前所述，首先于步骤10，取得当前影像的候选物的信息(例如分类、坐标、感兴趣区域(roi)、影像特征)。接着，于步骤11，判断前一张影像是否有追踪目标。如果经判断前一张影像有追踪目标，则进入步骤12。

于步骤12，判断当前影像是否有候选物。如果经判断当前影像有候选物(不论候选物的分类是人物件或者非人物件)，则进入步骤13。于步骤13，关联单元103执行候选物与追踪目标之间的关联(association)，以决定两者之间的相似度(similarity)，并给予候选物一个相应的相似值(similarityvalue)。如果候选物为多个，则分别执行步骤13以决定各个候选物的相似度。

图4显示图1a/图3的步骤13的细部流程图，用以决定候选物的相似值。在本实施例中，相似值为介于0与1之间的数值，且使用四个关联参数来决定候选物与追踪目标之间的相似度。在本实施例中，使用以下一或多个关联参数：(1)距离参数，(2)重叠(overlapping)参数，(3)比例(scale)参数，(4)影像特征参数。在其他实施例中，关联参数的优先级或/且关联参数的数目可异于图4所示。

在本实施例中，如图4所示，于步骤131，比较候选物与追踪目标的坐标差值是否小于预设阈值。如果为否(亦即，坐标差值超过阈值)，则直接进入步骤135，设相似值为0；如果为是(亦即，坐标差值小于阈值)，则进入步骤132。于步骤132，比较候选物与追踪目标的感兴趣区域(roi)的重叠率是否大于预设阈值。如果为否(亦即，重叠率小于阈值)，则直接进入步骤135，设相似值为0；如果为是(亦即，重叠率大于阈值)，则进入步骤133。于步骤133，比较候选物与追踪目标的比例差值(例如长宽比值)是否小于预设阈值。如果为否(亦即，比例差值超过阈值)，则直接进入步骤135，设相似值为0；如果为是(亦即，比例差值小于阈值)，则进入步骤134。于步骤134，比较候选物与追踪目标的影像特征差值(例如颜色直方图)是否小于预设阈值。如果为否(亦即，影像特征差值超过阈值)，则直接进入步骤135，设相似值为0；如果为是(亦即，影像特征差值小于阈值)，则进入步骤135，根据步骤131至步骤134对于四个参数的比较结果，产生一个(非零的)相似值。

接着，于步骤14，关联单元103根据前一步骤所得到各候选物的相似值，选择最大相似值所对应的候选物，作为追踪目标的关联(associated)候选物。如果所有候选物的相应相似值皆为0(或者小于一个默认值)，因而未得到追踪目标的关联候选物，此种情形将于图5的流程图另做说明。

继续参阅图3，步骤14所得到的关联候选物被馈至追踪目标更新单元105，据以更新追踪目标的信息(例如坐标、感兴趣区域(roi)、影像特征及目标编号)，用以产生新追踪目标。接着，于步骤15，过滤单元104过滤关联候选物以外具非零相似值(或相似值大于默认值)的其他候选物，以找出分类为人物件的候选物，作为过滤(filtered)候选物，其可能为刚进入影像撷取范围的人物件。于步骤16，追踪目标更新单元105将过滤候选物指派(assign)为新追踪目标，且给予新的目标编号。如果过滤后找到多个分类为人物件的候选物，则可指派多重新追踪目标，并分别给予新的目标编号。接着，进入步骤17，追踪目标更新单元105根据关联候选物与过滤候选物以更新追踪目标的信息(例如坐标、感兴趣区域(roi)、影像特征及目标编号)以产生新追踪目标，接着处理下一张影像(步骤18)。

图5显示图1a的目标追踪方法100其中一个分支的流程图，用以说明前一张影像有追踪目标，当前影像有候选物，但未能找到追踪目标的关联候选物的情形。步骤10至步骤14相同于图3，但是于步骤14未能找到追踪目标的关联候选物，其原因有可能是追踪目标离开影像的撷取范围；另一原因有可能是因为影像侦测出错，因此执行以下步骤31至步骤35，于追踪目标的附近重新搜寻是否有候选物。

于步骤31，新候选物产生单元301将前一张影像的追踪目标的感兴趣区域(roi)的信息投射到当前影像，接着，将当前影像的该投射感兴趣区域内部定义为第一新候选物，且取得第一新候选物的相应影像特征(例如颜色直方图)。接着，于步骤32，匹配单元302执行第一新候选物与追踪目标之间的匹配(match)，以决定两者是否相似。在本实施例中，比较第一新候选物与追踪目标的影像特征差值(例如颜色直方图)是否小于预设阈值，做法类似于图4的步骤134。如果为是(亦即，影像特征差值小于阈值)，表示匹配成功，则将匹配的第一新候选物馈至追踪目标更新单元105，将其定义为新追踪目标。接着，进入步骤17，追踪目标更新单元105更新追踪目标的信息(例如坐标、感兴趣区域(roi)、影像特征及目标编号)，接着处理下一张影像(步骤18)。

如果步骤32经比较新候选物与追踪目标的影像特征差值(例如颜色直方图)并未小于预设阈值，表示匹配失败，则进入步骤33。于步骤33，新候选物产生单元301改变当前影像的该投射感兴趣区域，将改变的该投射感兴趣区域内部定义为第二新候选物，且取得第二新候选物的相应影像特征(例如颜色直方图)。在本实施例中，改变当前影像的该投射感兴趣区(roi)的做法是等比例放大(例如放大四分之一)该投射感兴趣区(roi)。在另一实施例中，改变当前影像的该投射感兴趣区(roi)的做法是移动该投射感兴趣区(roi)。

接着，于步骤34，匹配单元302执行第二新候选物与追踪目标之间的匹配(match)，以决定两者是否相似。在本实施例中，比较第二新候选物与追踪目标的影像特征差值(例如颜色直方图)是否小于预设阈值的做法类似于步骤32。如果为是(亦即，影像特征差值小于阈值)，表示匹配成功，则将匹配的第二新候选物馈至追踪目标更新单元105，将其定义为新追踪目标。接着，进入步骤17，追踪目标更新单元105更新追踪目标的信息(例如坐标、感兴趣区域(roi)、影像特征及目标编号)，接着处理下一张影像(步骤18)。如果为否(亦即，影像特征差值大于阈值)，表示匹配失败，代表追踪目标已离开影像撷取范围。因此，进入步骤35，舍弃追踪目标的信息。接着，进入步骤17，追踪目标更新单元105更新追踪目标的信息(例如坐标、感兴趣区域(roi)、影像特征及目标编号)，接着处理下一张影像(步骤18)。

图6显示图1a的目标追踪方法100其中一个分支的流程图，用以说明前一张影像有追踪目标，但是当前影像没有候选物的情形。步骤10至步骤12相同于图3或图5，但是于步骤12经判断当前影像没有候选物，因此执行以下步骤31至步骤35，于追踪目标的附近重新搜寻是否有候选物。步骤31至步骤35相同于图5，简单说明如下。

首先，于步骤31，新候选物产生单元301产生第一新候选物，且取得新候选物的相应影像特征(例如颜色直方图)。接着，于步骤32，匹配单元302执行新候选物与追踪目标之间的匹配(match)，以决定两者是否相似。如果为是，表示匹配成功，则将匹配的新候选物定义为新追踪目标。接着，进入步骤17，追踪目标更新单元105更新追踪目标的信息，接着处理下一张影像(步骤18)。

如果步骤32的结果为否，表示匹配失败，则进入步骤33。于步骤33，新候选物产生单元301改变当前影像的感兴趣区(roi)，定义为第二新候选物，且取得新候选物的相应影像特征(例如颜色直方图)。

接着，于步骤34，匹配单元302执行新候选物与追踪目标之间的匹配(match)，以决定两者是否相似。如果为是，表示匹配成功，则将匹配的新候选物馈至追踪目标更新单元105，将其定义为新追踪目标。接着，进入步骤17，追踪目标更新单元105更新追踪目标的信息，接着处理下一张影像(步骤18)。如果步骤34的结果为否，表示匹配失败，代表追踪目标已离开影像撷取范围。因此，进入步骤35，舍弃追踪目标的信息。接着，进入步骤17，追踪目标更新单元105更新追踪目标的信息，接着处理下一张影像(步骤18)。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的权利要求范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在所附权利要求范围内。