目标跟踪方法、目标跟踪装置、电子设备及存储介质与流程

文档序号:24241820发布日期:2021-03-12 13:16阅读:109来源:国知局
目标跟踪方法、目标跟踪装置、电子设备及存储介质与流程

本发明涉及计算机视觉技术领域,尤其涉及一种目标跟踪方法、目标跟踪装置、电子设备及存储介质。



背景技术:

目标跟踪问题是计算机视觉领域的重要研究方向。目标跟踪问题根据待跟踪目标数量可分为单目标跟踪和多目标跟踪。根据跟踪过程中的复杂程度,可分为短时间目标跟踪和长时间目标跟踪等。目前目标跟踪问题的研究已经取得诸多进展和突破,但依然存在诸多难题有待解决。例如,长时间目标跟踪过程中,容易出现目标丢失的现象。



技术实现要素:

有鉴于此,本公开实施例期望提供一种目标跟踪方法、目标跟踪装置、电子设备及存储介质。

本公开的技术方案是这样实现的:

一方面,本公开提供一种目标跟踪方法。

本公开实施例提供的目标跟踪方法,包括:

确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域;

确定所述第一局部区域与整个所述待跟踪目标之间的关联关系;

基于所述第一局部区域,在多个图像帧之间进行局部跟踪,得到局部跟踪信息;

根据所述局部跟踪信息及所述关联关系,得到所述待跟踪目标在不同所述图像帧中的全局跟踪信息。

在一些实施例中,所述确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域,包括:

确定用于目标跟踪的至少一个备选局部区域;

根据各所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足第一条件的至少一个备选局部区域作为所述第一局部区域。

在一些实施例中,所述确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域,还包括:

基于被遮挡的统计概率满足第一条件的所述第一局部区域,确定所述待跟踪目标的局部跟踪信息的跟踪质量;

选择跟踪质量不低于预设质量阈值的局部区域作为更新后的所述第一局部区域。

在一些实施例中,所述确定用于目标跟踪的至少一个备选局部区域,包括:

根据所述待跟踪目标不同局部区域的特征属性,确定用于目标跟踪的至少一个备选局部区域,其中,所述特征属性包括:特征数量和/或单个特征的显著性参数。

在一些实施例中,所述根据各所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足第一条件的至少一个备选局部区域作为所述第一局部区域,包括:

根据所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足所述第一条件且在多个所述图像帧中初始图像帧未被遮挡的备选局部区域作为所述第一局部区域。

在一些实施例中,所述第一局部区域为n个,其中,所述n为等于或大于2且小于p的正整数;p为所述待跟踪目标包含的局部区域的数量;

所述基于所述第一局部区域,在多个图像帧之间进行局部跟踪,得到局部跟踪信息,包括:

在多个所述图像帧中,基于在第m-1图像帧中未被遮挡的所述第一局部区域,在第m图像帧中进行局部跟踪,得到所述待跟踪目标在第m图像帧中的局部跟踪信息,其中,所述第m图像帧为所述第m-1图像帧的后一个图像帧,所述m为大于1的正整数。

在一些实施例中,所述方法还包括:

在检测到部分所述第一局部区域在一个或多个所述图像帧中被遮挡时,根据遮挡情况,选择未被遮挡的局部区域作为更新后的n个所述第一局部区域。

在一些实施例中,所述选择未被遮挡的局部区域作为更新后的n个所述第一局部区域,包括:

确定各所述图像帧中不同目标之间的透视关系;其中,所述目标至少包含所述待跟踪目标;

根据所述透视关系,确定所述待跟踪目标的前景目标;

确定所述前景目标中是否存在遮挡所述待跟踪目标中所述备选局部区域的干扰物;

选择未被遮挡的备选局部区域作为更新后的n个所述第一局部区域。

在一些实施例中,所述确定所述前景目标中是否存在遮挡所述待跟踪目标中所述备选局部区域的干扰物,包括:

确定所述前景目标的位置是否与所述待跟踪目标中所述备选局部区域的位置重叠;

若是,则确定所述备选局部区域在所述图像帧中被所述干扰物遮挡。

在一些实施例中,所述确定各所述图像帧中不同目标之间的透视关系,以及根据所述透视关系,确定所述待跟踪目标的前景目标,包括:

确定所述不同目标的外接框;

确定所述待跟踪目标的外接框的下边缘与所述图像帧的下边缘之间的第一距离,并确定所述待跟踪目标以外的目标的外接框的下边缘与所述图像帧的下边缘之间的第二距离;

若所述第一距离大于所述第二距离,则确定所述第二距离对应的目标为所述待跟踪目标的前景目标。

在一些实施例中,所述根据所述局部跟踪信息及所述关联关系,得到所述待跟踪目标在不同所述图像帧中的全局跟踪信息,包括:

根据所述第一局部区域的位置信息及所述待跟踪目标的外接框的位置信息,确定出所述第一局部区域在所述待跟踪目标中的相对位置关系;

根据所述相对位置关系,将所述第一局部区域在各所述图像帧中的局部跟踪信息转换为所述待跟踪目标在各所述图像帧中的全局跟踪信息。

另一方面,本公开提供一种目标跟踪装置。本公开实施例提供的目标跟踪装置,包括:

第一处理单元,用于确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域;

第二处理单元,用于确定所述第一局部区域与整个所述待跟踪目标之间的关联关系;

第三处理单元,用于基于所述第一局部区域,在多个图像帧之间进行局部跟踪,得到局部跟踪信息;

第四处理单元,用于根据所述局部跟踪信息及所述关联关系,得到所述待跟踪目标在不同所述图像帧中的全局跟踪信息。

在一些实施例中,所述第一处理单元,用于确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域,包括:

所述第一处理单元,具体用于确定用于目标跟踪的至少一个备选局部区域;

根据各所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足第一条件的至少一个备选局部区域作为所述第一局部区域。

在一些实施例中,所述第一处理单元,用于确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域,还包括:

所述第一处理单元,具体用于基于被遮挡的统计概率满足第一条件的所述第一局部区域,确定所述待跟踪目标的局部跟踪信息的跟踪质量;

选择跟踪质量不低于预设质量阈值的局部区域作为更新后的所述第一局部区域。

在一些实施例中,所述第一处理单元,用于确定用于目标跟踪的至少一个备选局部区域,包括:

所述第一处理单元,具体用于根据所述待跟踪目标不同局部区域的特征属性,确定用于目标跟踪的至少一个备选局部区域,其中,所述特征属性包括:特征数量和/或单个特征的显著性参数。

在一些实施例中,所述第一处理单元,用于根据各所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足第一条件的至少一个备选局部区域作为所述第一局部区域,包括:

所述第一处理单元,具体用于根据所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足所述第一条件且在多个所述图像帧中初始图像帧未被遮挡的备选局部区域作为所述第一局部区域。

在一些实施例中,所述第一局部区域为n个,其中,所述n为等于或大于2且小于p的正整数;p为所述待跟踪目标包含的局部区域的数量;

所述第三处理单元,用于基于所述第一局部区域,在多个图像帧之间进行局部跟踪,得到局部跟踪信息,包括:

所述第三处理单元,具体用于在多个所述图像帧中,基于在第m-1图像帧中未被遮挡的所述第一局部区域,在第m图像帧中进行局部跟踪,得到所述待跟踪目标在第m图像帧中的局部跟踪信息,其中,所述第m图像帧为所述第m-1图像帧的后一个图像帧,所述m为大于1的正整数。

在一些实施例中,还包括第五处理单元,用于在检测到部分所述第一局部区域在一个或多个所述图像帧中被遮挡时,根据遮挡情况,选择未被遮挡的局部区域作为更新后的n个所述第一局部区域。

在一些实施例中,所述第五处理单元,用于选择未被遮挡的局部区域作为更新后的n个所述第一局部区域,包括:

所述第五处理单元,具体用于确定各所述图像帧中不同目标之间的透视关系;其中,所述目标至少包含所述待跟踪目标;

根据所述透视关系,确定所述待跟踪目标的前景目标;

确定所述前景目标中是否存在遮挡所述待跟踪目标中所述备选局部区域的干扰物;

选择未被遮挡的备选局部区域作为更新后的n个所述第一局部区域。

在一些实施例中,所述确定所述前景目标中是否存在遮挡所述待跟踪目标中所述备选局部区域的干扰物,包括:

确定所述前景目标的位置是否与所述待跟踪目标中所述备选局部区域的位置重叠;

若是,则确定所述备选局部区域在所述图像帧中被所述干扰物遮挡。

在一些实施例中,所述第一处理单元,用于确定各所述图像帧中不同目标之间的透视关系,以及根据所述透视关系,确定所述待跟踪目标的前景目标,包括:

所述第一处理单元,具体用于确定所述不同目标的外接框;

确定所述待跟踪目标的外接框的下边缘与所述图像帧的下边缘之间的第一距离,并确定所述待跟踪目标以外的目标的外接框的下边缘与所述图像帧的下边缘之间的第二距离;

若所述第一距离大于所述第二距离,则确定所述第二距离对应的目标为所述待跟踪目标的前景目标。

在一些实施例中,所述第四处理单元,用于根据所述局部跟踪信息及所述关联关系,得到所述待跟踪目标在不同所述图像帧中的全局跟踪信息,包括:

所述第四处理单元,具体用于根据所述第一局部区域的位置信息及所述待跟踪目标的外接框的位置信息,确定出所述第一局部区域在所述待跟踪目标中的相对位置关系;

根据所述相对位置关系,将所述第一局部区域在各所述图像帧中的局部跟踪信息转换为所述待跟踪目标在各所述图像帧中的全局跟踪信息。

又一方面,本公开还提供一种电子设备。

本公开实施例提供的电子设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器用于运行所述计算机程序时,执行一方面本公开实施例提供的目标跟踪方法的步骤。

再一方面,本公开还提供一种计算机可读存储介质。

本公开实施例提供的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现一方面本公开实施例提供的目标跟踪方法的步骤。

本公开实施例通过至少一个第一局部区域在多个图像帧之间对待跟踪目标进行局部跟踪,并根据获得的局部跟踪信息和第一局部区域与整个待跟踪目标之间的关联关系,得到目标在不同图像帧的全局跟踪信息。如此通过一个或多个第一局部区域进行局部跟踪获取局部跟踪信息,基于局部跟踪信息获取全局跟踪信息,相对于直接对目标整体进行全局跟踪,可减少能够跟踪到目标时所需要识别的特征数量。同时在对待跟踪目标整体进行全局跟踪时,需要识别并匹配待跟踪目标的整个区域,一旦出现部分区域被遮挡,可能会出现因无法匹配整个区域,造成目标无法识别,进而造成目标丢失。而待跟踪目标这一个整体相对于待跟踪目标中的一个局部区域,由于其面积大,其被部分遮挡的概率比局部区域更高。相对而言,通过第一局部区域进行局部跟踪,需要识别并匹配的区域较小。对同一个障碍物而言,局部区域相对于全局区域被遮挡的概率也较小。因此,通过第一局部区域进行局部跟踪,来获取全局跟踪信息,相对于直接对待跟踪目标整体进行全局跟踪而言,能够更加稳健地进行目标跟踪,以提高目标跟踪成功率。

附图说明

图1是根据一示例性实施例示出的目标跟踪方法流程图;

图2是根据一示例性实施例示出的遮挡关系判断示意图;

图3是待跟踪目标丢失过程示意图;

图4是待跟踪目标被遮挡的可能情况示意图;

图5是根据一示例性实施例示出的目标跟踪学习示意图;

图6是根据一示例性实施例示出的目标跟踪方法整体流程图;

图7是根据一示例性实施例示出的目标跟踪装置结构示意图;

图8是根据一示例性实施例示出的电子设备结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

目前基于神经网络的目标跟踪算法对待跟踪目标进行整体跟踪时,需要处理大量图像中待跟踪目标的所有像素和图像特征,计算量过大,这对处理器的性能提出了很高要求。

本公开提供一种目标跟踪方法。图1是根据一示例性实施例示出的目标跟踪方法流程图。如图1所示,该目标跟踪方法,包括:

步骤10、确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域;

步骤11、确定所述第一局部区域与整个所述待跟踪目标之间的关联关系;

步骤12、基于所述第一局部区域,在多个图像帧之间进行局部跟踪,得到局部跟踪信息;

步骤13、根据所述局部跟踪信息及所述关联关系,得到所述待跟踪目标在不同所述图像帧中的全局跟踪信息。

在本示例性实施例中,待跟踪目标可以是人体、动物或车辆等可以移动的目标。具体待跟踪目标并不局限于任一种。

在本示例性实施例中,第一局部区域可以是图像帧中待跟踪目标整体的局部区域,包括了跟踪装置进行跟踪识别的识别特征(例如,待跟踪目标是人体的时候,第一局部区域可以是图像中人体的某个器官组织,包括头部、四肢、躯体等)。

在本示例性实施例中,第一局部区域与整个待跟踪目标之间的关联关系,包括第一局部区域与整个待跟踪目标之间在图像中的位置关系和相对局部区域关系等。其中,位置关系可以包括第一局部区域的区域中心坐标与整个待跟踪目标的区域中心坐标之间的坐标关系;相对局部区域关系可以包括第一局部区域的轮廓、面积与整体待跟踪目标的轮廓、面积之间的相对关系,例如第一局部区域为整体待跟踪目标的哪个位置的哪块区域。

在本示例性实施例中,多个图像帧可为来自同一个视频,而该视频可为来自道路监控设备和/或安防监控设备等。当然此处仅是对视频的来自设备进行举例说明,具体实现时不局限于这些举例的道路监控设备和/或安防监控设备。该安防监控设备包括但不限于:小区内监控摄像头、写字楼的监控摄像头、商场的监控设备和/或公园等非道路的公共场所监控设备。

在本示例性实施例中,全局跟踪为跟踪装置根据待跟踪目标的整体特征(即,把待跟踪目标作为一个整体)进行识别、定位。例如,待跟踪目标是一个人的时候,则把这个人的全部特征(包括头部、四肢、躯体等)看出一个整体进行识别、定位。局部跟踪为跟踪装置根据待跟踪目标的部分特征对目标进行识别、定位。例如,待跟踪目标是一个人的时候,则可仅对这个人的头部进行识别、定位,从而判断待跟踪目标的位置。

在本示例性实施例中,局部跟踪信息可以是基于目标局部特征跟踪获得的被跟踪的局部特征在图像中的位置信息(包括坐标信息)和/或局部特征的区域信息(包括由局部特征构成的形态轮廓、面积等)。

全局跟踪信息可以是基于目标整体特征跟踪获得的待跟踪目标整体在图像中的位置信息(包括坐标信息)和/或目标整体的区域信息(包括由整体特征构成的形态轮廓、面积等)。

在本示例性实施例中,在待追踪目标具有特征明显的易于跟踪识别的特征时,可以对至少一个第一局部区域(具有明显的易于跟踪识别的特征)在多个图像帧中进行局部跟踪,获取此第一局部区域的局部跟踪信息,然后基于此局部跟踪信息获取待追踪目标的全局跟踪信息。

在本示例性实施例中,在待追踪目标不具有特征明显的易于跟踪识别的特征时,可以对多个不同的第一局部区域进行同步跟踪,获取多个第一局部区域的局部跟踪信息,然后基于多个第一局部区域的局部跟踪信息去获取待追踪目标的全局跟踪信息,提高跟踪成功率。

本公开实施例通过至少一个第一局部区域在多个图像帧之间对待追踪目标进行局部跟踪,并根据获得的局部跟踪信息和第一局部区域与整个待追踪目标之间的关联关系,得到待追踪目标在不同图像帧的全局跟踪信息。如此通过一个或多个第一局部区域进行局部跟踪获取局部跟踪信息,基于局部跟踪信息获取全局跟踪信息,相对于直接对待跟踪目标整体进行全局跟踪,可减少能够跟踪到目标时所需要识别的特征数量。同时在对待追踪目标整体进行全局跟踪时,需要识别并匹配待追踪目标的整个区域,一旦出现部分区域被遮挡,可能会出现因无法匹配整个区域,造成待追踪目标无法识别,进而造成目标丢失。而目标这一个整体相对于待追踪目标中的一个局部区域,由于其面积大,其被部分遮挡的概率比局部区域更高。相对而言,通过第一局部区域进行局部跟踪,需要识别并匹配的区域较小。对同一个障碍物而言,局部区域相对于全局区域被遮挡的概率也较小。因此,通过第一局部区域进行局部跟踪,来获取全局跟踪信息,相对于直接对待追踪目标整体进行全局跟踪而言,能够更加稳健地进行目标跟踪,以提高目标跟踪成功率。

在一些实施例中,所述确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域,包括:

确定用于目标跟踪的至少一个备选局部区域;

根据各所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足第一条件的至少一个备选局部区域作为所述第一局部区域。

在本示例性实施例中,备选局部区域均为图像帧中目标全局区域中的局部区域。在本示例性实施例中,可以事先确定多个用于局部跟踪的一个或多个备选局部区域。

在一个实施例中,可以基于大数据统计,选择被遮挡概率较低的多个局部区域作为备选局部区域。

在本示例性实施例中,第一条件可以是局部区域被遮挡的概率小于预设概率值。由于待追踪目标在移动过程中,各个局部被遮挡的概率不同,因此可以确定出小于预设概率值的备选局部区域作为第一局部区域进行局部跟踪。例如,待追踪目标为人体时,人体腿部被遮挡的概率一般会比头部被遮挡的概率大。人体腿部作为备选局部区域被遮挡的概率大于头部作为备选局部区域被遮挡的概率。显然头部作为备选局部区域更容易满足第一条件。

在一个实施例中,若该待追踪目标已经被持续跟踪了一段时间。这段时间超过了预设时长,则可以根据该待追踪目标自身被遮挡的统计情况,选择未被遮挡过或者遮挡次数少的一个或多个局部区域作为所述备选局部区域。如此,可确定出在当下环境中更适合作为备选局部区域的区域,从而提高跟踪成功率。

在一个实施例中,根据待跟踪目标在初始图像帧中的全局跟踪信息,确定所述待追踪目标的尺寸;其中所述初始图像帧为获取的多个图像帧中的第一帧图像;

若所述待追踪目标的尺寸大于预设尺寸阈值,则在所述多个所述图像帧中基于第一局部区域进行局部跟踪;

若所述待追踪目标的尺寸不大于预设尺寸阈值,则在所述多个所述图像帧中基于所述待追踪目标的整体进行全局跟踪。

在本示例性实施例中,通过在初始图像帧中对待追踪目标的尺寸与预设尺寸阈值的比较,可初步获取待追踪目标的整体大小,估算出对待追踪目标进行全局跟踪时,目标丢失的可能性或概率大小。当待追踪目标的尺寸大于预设尺寸阈值时,待追踪目标整体尺寸较大,跟踪过程中被遮挡的概率越大,丢失的可能性就越大,从而选择局部跟踪比较合适,以提高目标跟踪成功率。当待追踪目标的尺寸不大于预设尺寸阈值时,说明待追踪目标整体尺寸较小,对待追踪目标进行全局跟踪时,目标丢失的可能性较小,可直接选择全局跟踪。

在一些实施例中,所述确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域,还包括:

基于被遮挡的统计概率满足第一条件的所述第一局部区域,确定所述待跟踪目标的局部跟踪信息的跟踪质量;

选择跟踪质量不低于预设质量阈值的局部区域作为更新后的所述第一局部区域。

在本示例性实施例中,在进行局部跟踪的同时,可同步分析基于被遮挡的统计概率满足第一条件的第一局部区域的跟踪质量。跟踪质量可以是评估跟踪效果的评估量值。该评估量值可以用于指示目标的跟踪成功率和/或置信度。同时跟踪成功率和置信度,都与跟踪质量正相关。即跟踪成功率越高,跟踪质量越高;置信度越高,跟踪质量越高。跟踪成功率可以用成功跟踪到目标的图像帧数与图像总帧数的比值表示。例如图像总帧数为100帧,跟踪到目标的图像帧数为80,则基于第一局部区域跟踪目标的成功率为80%等。

如果跟踪质量不好,例如出现特征识别不明显,容易识别错误等情况时,造成跟踪质量低于预设质量阈值,可从备选局部区域中重新选择跟踪质量不低于预设质量阈值的局部区域作为更新后的第一局部区域。然后对更新后的第一局部区域继续跟踪。预设质量阈值为系统内设置的用于评价目标跟踪质量的预设参数值。例如预设参数值为50。当跟踪质量好,例如选用的局部区域特征明显,容易识别,跟踪装置很容易捕捉到,目标不易丢失。此时跟踪质量可以评价为80,大于预设质量阈值50,则不用重新选择第一局部区域。若跟踪质量评价为20,小于预设质量阈值50,则此时需要重新选择备选局部区域作为第一局部区域进行局部跟踪。

在一些实施例中,所述确定用于目标跟踪的至少一个备选局部区域,包括:

根据所述待跟踪目标不同局部区域的特征属性,确定用于目标跟踪的至少一个备选局部区域,其中,所述特征属性包括:特征数量和/或单个特征的显著性参数。

在本示例性实施例中,可以根据目标不同局部区域的特征属性,确定备选局部区域。特征属性包括:特征数量和/或单个特征的显著性参数。特征数量指局部区域中包含的特征的数量,不同数量的特征使得局部区域更容易识别。例如待跟踪目标为人体时,局部区域可以是头部和腰部。头部作为局部区域时,所包含的特征有五官本身的特征、五官的分别特征、头型特征、发型特征等。相对而言,腰部作为局部区域时,所包含的特征仅有腰部尺寸、腰部形状。单个特征的显著性参数指单个特征中具有一些明显的不同,这些不同均可以作为显著性参数。例如人体的面部特征中具有明显的易于区分的伤疤、色斑等。特征的显著性越高,被识别的程度就越高。通过这些特征属性的识别,使得跟踪变得更加容易、准确。

在一些实施例中,所述根据各所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足第一条件的至少一个备选局部区域作为所述第一局部区域,包括:

根据所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足所述第一条件且在多个所述图像帧中初始图像帧未被遮挡的备选局部区域作为所述第一局部区域。

在本示例性实施例中,第一条件可以是局部区域被遮挡的概率小于预设概率值。由于目标在移动过程中,各个局部区域被遮挡的概率不同,因此可以确定出小于预设概率值的备选局部区域作为第一局部区域进行局部跟踪。例如,待跟踪目标为人体时,人体腿部被遮挡的概率一般会比头部被遮挡的概率大。人体腿部作为备选局部区域被遮挡的概率大于头部作为备选局部区域被遮挡的概率。显然头部作为备选局部区域更容易满足第一条件。在统计概率满足满足第一条件的同时,在多个图像帧中初始图像帧未被遮挡的备选局部区域作为第一局部区域进行局部跟踪,能够提高对目标跟踪的准确性。

在一些实施例中,所述第一局部区域为n个,其中,所述n为等于或大于2且小于p的正整数;p为所述待跟踪目标包含的局部区域的数量;

所述基于所述第一局部区域,在多个图像帧之间进行局部跟踪,得到局部跟踪信息,包括:

在多个所述图像帧中,基于在第m-1图像帧中未被遮挡的所述第一局部区域,在第m图像帧中进行局部跟踪,得到所述待跟踪目标在第m图像帧中的局部跟踪信息,其中,所述第m图像帧为所述第m-1图像帧的后一个图像帧,所述m为大于1的正整数。

在本示例性实施例中,第一局部区域为多个,可通过对多个第一局部区域进行同步跟踪,来提高目标跟踪的准确性。

在一些实施例中,所述方法还包括:

在检测到部分所述第一局部区域在一个或多个所述图像帧中被遮挡时,根据遮挡情况,选择未被遮挡的局部区域作为更新后的n个所述第一局部区域。

在本示例性实施例中,在目标跟踪过程中,出现第一局部区域在一个或多个图像帧中被遮挡,此时继续以此第一局部区域跟踪,容易出现目标丢失的情况。基于此,可从目标未被遮挡的局部区域中选择一个或多个局部区域,更新第一局部区域,以提高目标跟踪的成功率。当第一局部区域为多个时,可对应同步更新多个第一局部区域。

在一些实施例中,所述选择未被遮挡的局部区域作为更新后的n个所述第一局部区域,包括:

确定各所述图像帧中不同目标之间的透视关系;其中,所述目标至少包含所述待跟踪目标;

根据所述透视关系,确定所述待跟踪目标的前景目标;

确定所述前景目标中是否存在遮挡所述待跟踪目标中所述备选局部区域的干扰物;

选择未被遮挡的备选局部区域作为更新后的n个所述第一局部区域。

在本示例性实施例中,可通过摄像机、雷达检测等方式获取目标跟踪的各个图像。通过对图像中各个目标的透视关系分析,确认跟踪目标中的备选局部区域是否被干扰物遮挡。干扰物为图像中除所述目标外的目标,包括:被跟踪人以外的人、移动的车辆、固定装置(包括栅栏等)等。

在本示例性实施例中,透视关系指在视野范围内显示各个目标的空间位置、轮廓和投影,包括近大远小、近高远低、近疏远密、近宽远窄等相对关系。在本示例性实施例中,可通过跟踪装置(例如,摄像装置等)摄像、拍照来捕捉视野范围内各个目标以及目标中各个备选局部区域的空间位置、轮廓等信息。

在一些实施例中,所述确定所述前景目标中是否存在遮挡所述待跟踪目标中所述备选局部区域的干扰物,包括:

确定所述前景目标的位置是否与所述待跟踪目标中所述备选局部区域的位置重叠;

若是,则确定所述备选局部区域在所述图像帧中被所述干扰物遮挡。

在本示例性实施例中,前景目标指的是以跟踪装置为标准,距离跟踪装置比跟待踪目标距离跟踪装置近的目标。前景目标为干扰物中的一个或多个。即任意干扰物都可能成为前景目标。

在本示例性实施例中,当前景目标的位置与待跟踪目标中备选局部区域的位置重叠,则前景目标位置的干扰物便阻挡了跟踪装置获取备选局部区域的视野。此时备选局部区域在图像帧中被该干扰物遮挡。

在一些实施例中,所述确定各所述图像帧中不同目标之间的透视关系,以及根据所述透视关系,确定所述待跟踪目标的前景目标,包括:

确定所述不同目标的外接框;

确定所述待跟踪目标的外接框的下边缘与所述图像帧的下边缘之间的第一距离,并确定所述待跟踪目标以外的目标的外接框的下边缘与所述图像帧的下边缘之间的第二距离;

若所述第一距离大于所述第二距离,则确定所述第二距离对应的目标为所述待跟踪目标的前景目标。

在本示例性实施例中,图2是根据一示例性实施例示出的遮挡关系判断示意图。如图2所示,在获取的帧图像中,当第一距离大于第二距离时,说明干扰物与跟踪装置的距离小于待跟踪目标(图示中的被遮挡目标)与跟踪装置的距离。此时,该干扰物便是目标的前景目标。同时该前景目标的位置与待跟踪目标的位置发送重叠,则该干扰物遮挡了待跟踪目标。在本示例性实施例中,外接框为跟踪装置捕捉目标时,根据跟踪的特征(全局特征或局部特征)圈定的特征捕捉框。外接框可以是矩形、圆形等任意形状。

在一些实施例中,所述根据所述局部跟踪信息及所述关联关系,得到所述待跟踪目标在不同所述图像帧中的全局跟踪信息,包括:

根据所述第一局部区域的位置信息及所述待跟踪目标的外接框的位置信息,确定出所述第一局部区域在所述待跟踪目标中的相对位置关系;

根据所述相对位置关系,将所述第一局部区域在各所述图像帧中的局部跟踪信息转换为所述待跟踪目标在各所述图像帧中的全局跟踪信息。

在本示例性实施例中,基于第一局部区域跟踪获取局部跟踪信息后,根据局部跟踪信息及第一局部区域与目标整体的关联关系,得到目标在不同所述图像帧的全局跟踪信息。

例如,跟踪第一局部区域在第m帧图像中的局部跟踪信息,包括第一局部区域的特征在第m帧图像中的位置坐标(例如,确定圈定局部特征的外接框的左上角在第m帧图像中的位置坐标:x’局、y’局;其中x’局为圈定局部特征的外接框的左上角在第m帧图像中的x轴方向的坐标,其中y’局为圈定局部特征的外接框的左上角在第m帧图像中的y轴方向的坐标);

确定圈定待跟踪目标整体特征的外接框的左上角在第m-1帧图像中的位置坐标:x整、y整;其中,x整为圈定待跟踪目标整体特征的外接框的左上角在第m-1帧图像中的x轴方向的坐标,y整为圈定待跟踪目标整体特征的外接框的左上角在第m-1帧图像中的y轴方向的坐标;

确定圈定第一局部区域的外接框的左上角在第m-1帧图像中的位置坐标:x局、y局;其中,x局为圈定第一局部区域的外接框的左上角在第m-1帧图像中的x轴方向的坐标,y局为圈定第一局部区域的外接框的左上角在第m-1帧图像中的y轴方向的坐标;

确定在第m-1帧图像中未被遮挡的第一局部区域在目标中的相对位置关系:x差=x整-x局,y差=y整-y局;其中,x差为第m-1帧图像中圈定待跟踪目标整体特征的外接框的左上角与圈定第一局部区域的外接框的左上角在x轴方向的坐标差,y差为第m-1帧图像中圈定待跟踪目标整体特征的外接框的左上角与圈定第一局部区域的外接框的左上角在y轴方向的坐标差;

确定待跟踪目标在第m帧图像中的全局跟踪信息x’整=x’局+x差、y’整=y’局+y差;其中x’整为圈定待跟踪目标整体特征的外接框的左上角在第m帧图像中的x轴方向的坐标,y’整为圈定待跟踪目标整体特征的外接框的左上角在第m帧图像中的y轴方向的坐标。

确定圈定待跟踪目标整体特征的外接框在第m-1帧图像中的宽w整和高h整,同时圈定待跟踪目标整体特征的外接框在第m帧图像中的宽w’整和高h’整与在第m-1帧图像中的宽w整和高h整分别相同。

在本示例性实施例中,还可以使用雷达、双目视觉等方法确定目标之间或者目标与环境之间的遮挡关系。结合背景建模、光流等算法,更为精确的确定未被遮挡的目标区域。跟踪算法变更使用其他特征模型、深度学习等。

同时在计算机视觉领域,对目标进行整体跟踪时,容易出现跟踪目标因遮挡造成跟踪目标丢失的情况。图3是跟踪目标丢失过程示意图。如图3所示,包括初始状态、遮挡状态和跟踪失败状态。初始状态中跟踪装置可以跟踪到待跟踪目标,此时待跟踪目标没有被遮挡。遮挡状态中跟踪装置发现待跟踪目标被遮挡,然后待跟踪目标丢失,待跟踪目标的目标框(外接框)留在前景目标上,导致跟踪失败。图4是待跟踪目标被遮挡的可能情况示意图。如图4所示,待跟踪目标可能被人体遮挡,可能被固定障碍物遮挡,也可能被车辆遮挡等。

本公开可通过选择未被遮挡的备选局部区域作为第一局部区域对目标进行局部跟踪,并根据获得的局部跟踪信息和第一局部区域与整个待跟踪目标之间的关联关系,得到目标在不同图像帧的全局跟踪信息。如此可减少目标被局部遮挡的时候,继续对目标进行整体跟踪,所出现目标丢失的情况。因为待跟踪目标被局部遮挡的时候,如果继续对待跟踪目标进行整体跟踪,会造成由于局部被遮挡使得跟踪装置无法对待跟踪目标进行整体识别,从而造成跟踪结果判断为在下一帧图像中不存在目标,进而会造成目标丢失。

图5是根据一示例性实施例示出的目标跟踪学习示意图。如图5所示,对待跟踪目标进行跟踪的跟踪学习区域权重包括全身和上身两种。原始跟踪以待跟踪学习目标整体特征,核心学习区域在目标的中心位置,即中心位置获得的特征学习权重最高,边缘位置学习权重最弱。当跟踪学习区域权重为待跟踪目标全身时,跟踪核心区域被遮挡,待跟踪目标容易丢失。当跟踪学习区域权重为待跟踪目标上半身时,由于待跟踪目标一般下半身遮挡的几率较大,因此跟踪核心区域不易被遮挡,待跟踪目标不会容易丢失。如果进行人体的整体跟踪,则学习权重核心区域在腰腹部,下半身由于双腿交替运动、低矮物体的遮挡等情况会使得双腿区域容易被遮挡、且变化较大对跟踪情况不利。所以使用上半身进行跟踪,将学习权重核心区域移动到胸膛部分,则更容易稳定跟踪。即可以改善双腿的快速变化不利于跟踪,又可以解决一些常见物体的遮挡,比如栅栏、非机动车、低矮轿车等。

图6是根据一示例性实施例示出的目标跟踪方法整体流程图。如图6所示,目标跟踪方法包括:

视频帧解析:获取第m-1帧图像(检测帧图像)和第m帧图像(跟踪帧图像)。

检测帧图像分析:在第m-1帧图像中,获取待跟踪目标的外接框位置(例如,外接框左上角的坐标),并判断遮挡关系;选择进行局部跟踪的局部区域(获取局部区域的外接框的左上角坐标);目标跟踪模型学习对局部区域进行跟踪。

跟踪帧图像分析:根据局部区域模型跟踪局部区域新位置;根据局部区域的新位置以及在检测帧图像中局部区域与全局的位置和缩放关系,获得全局位置。

帧图像处理完成,则结束任务,否则继续视频帧解析。

其中,上述方法中所用的各模型可以为本领域常用或已有的各常规模型,如目标追踪模型、局部区域模型均可以分别为本领域现有的各种目标追踪模型、局部区域模型,相关模型的更新也为现有的更新方法,在此均不作具体赘述。

另一方面,本公开提供一种目标跟踪装置。图7是根据一示例性实施例示出的目标跟踪装置结构示意图。如图7所示,本公开实施例提供的目标跟踪装置,包括:

第一处理单元71,用于确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域;

第二处理单元72,用于确定确定所述第一局部区域与整个所述待跟踪目标之间的关联关系;

第三处理单元73,用于基于所述第一局部区域,在多个图像帧之间进行局部跟踪,得到局部跟踪信息;

第四处理单元74,用于根据所述局部跟踪信息及所述关联关系,得到所述待跟踪目标在不同所述图像帧中的全局跟踪信息。

在本示例性实施例中,待跟踪目标可以是人体、动物或车辆等可以移动的目标。具体待跟踪目标并不局限于任一种。

在本示例性实施例中,第一局部区域可以是图像帧中目标整体的局部区域,包括了跟踪装置进行跟踪识别的识别特征(例如,目标是人体的时候,第一局部区域可以是图像中人体的某个器官组织,包括头部、四肢、躯体等)。

在本示例性实施例中,第一局部区域与整个待跟踪目标之间的关联关系,包括第一局部区域与整个待跟踪目标之间在图像中的位置关系和相对局部区域关系等。其中,位置关系可以包括第一局部区域的区域中心坐标与整个待跟踪目标的区域中心坐标之间的坐标关系;相对局部区域关系可以包括第一局部区域的轮廓、面积与整体待跟踪目标的轮廓、面积之间的相对关系,例如第一局部区域为整体目标的哪个位置的哪块区域。

在本示例性实施例中,多个图像帧可为来自同一个视频,而该视频可为来自道路监控设备和/或安防监控设备等。当然此处仅是对视频的来自设备进行举例说明,具体实现时不局限于这些举例的道路监控设备和/或安防监控设备。该安防监控设备包括但不限于:小区内监控摄像头、写字楼的监控摄像头、商场的监控设备和/或公园等非道路的公共场所监控设备。

在本示例性实施例中,全局跟踪为跟踪装置根据目标的整体特征(即,把待跟踪目标作为一个整体)进行识别、定位。例如,待跟踪目标是一个人的时候,则把这个人的全部特征(包括头部、四肢、躯体等)看出一个整体进行识别、定位。局部跟踪为跟踪装置根据目标的部分特征对目标进行识别、定位。例如,待跟踪目标是一个人的时候,则可仅对这个人的头部进行识别、定位,从而判断目标的位置。

在本示例性实施例中,局部跟踪信息可以是基于目标局部特征跟踪获得的被跟踪的局部特征在图像中的位置信息(包括坐标信息)和/或局部特征的区域信息(包括由局部特征构成的形态轮廓、面积等)。

全局跟踪信息可以是基于目标整体特征跟踪获得的目标整体在图像中的位置信息(包括坐标信息)和/或目标整体的区域信息(包括由整体特征构成的形态轮廓、面积等)。

在本示例性实施例中,在目标具有特征明显的易于跟踪识别的特征时,可以对至少一个第一局部区域(具有明显的易于跟踪识别的特征)在多个图像帧中进行局部跟踪,获取此第一局部区域的局部跟踪信息,然后基于此局部跟踪信息获取目标的全局跟踪信息。

在本示例性实施例中,在目标不具有特征明显的易于跟踪识别的特征时,可以对多个不同的第一局部区域进行同步跟踪,获取多个第一局部区域的局部跟踪信息,然后基于多个第一局部区域的局部跟踪信息去获取目标的全局跟踪信息,提高跟踪成功率。

本公开实施例通过至少一个第一局部区域在多个图像帧之间对待跟踪目标进行局部跟踪,并根据获得的局部跟踪信息和第一局部区域与整个待跟踪目标之间的关联关系,得到待跟踪目标在不同图像帧的全局跟踪信息。如此通过一个或多个第一局部区域进行局部跟踪获取局部跟踪信息,基于局部跟踪信息获取全局跟踪信息,相对于直接对待跟踪目标整体进行全局跟踪,可减少能够跟踪到目标时所需要识别的特征数量。同时在对待跟踪目标整体进行全局跟踪时,需要识别并匹配目标的整个区域,一旦出现部分区域被遮挡,可能会出现因无法匹配整个区域,造成目标无法识别,进而造成目标丢失。而待跟踪目标这一个整体相对于待跟踪目标中的一个局部,由于其面积大,其被部分遮挡的概率比局部更高。相对而言,通过第一局部区域进行局部跟踪,需要识别并匹配的区域较小。对同一个障碍物而言,局部区域相对于全局区域被遮挡的概率也较小。因此,通过第一局部区域进行局部跟踪,来获取全局跟踪信息,相对于直接对目标整体进行全局跟踪而言,能够更加稳健地进行目标跟踪,以提高目标跟踪成功率。

在一些实施例中,所述第一处理单元,用于确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域,包括:

所述第一处理单元,具体用于确定用于目标跟踪的至少一个备选局部区域;

根据各所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足第一条件的至少一个备选局部区域作为所述第一局部区域。

在本示例性实施例中,备选局部区域均为图像帧中待跟踪目标全局区域中的局部区域。在本示例性实施例中,可以事先确定多个用于局部跟踪的一个或多个备选局部区域。

在一个实施例中,可以基于大数据统计,选择被遮挡概率较低的多个局部作为备选局部区域。

在本示例性实施例中,第一条件可以是局部被遮挡的概率小于预设概率值。由于目标在移动过程中,各个局部被遮挡的概率不同,因此可以确定出小于预设概率值的备选局部区域作为第一局部区域进行局部跟踪。例如,待跟踪目标为人体时,人体腿部被遮挡的概率一般会比头部被遮挡的概率大。人体腿部作为备选局部区域被遮挡的概率大于头部作为备选局部区域被遮挡的概率。显然头部作为备选局部区域更容易满足第一条件。

在一个实施例中,若该待跟踪目标已经被持续跟踪了一段时间。这段时间超过了预设时长,则可以根据该待跟踪目标自身被遮挡的统计情况,选择未被遮挡过或者遮挡次数少的一个或多个局部作为所述备选局部区域。如此,可确定出在当下环境中更适合作为备选局部区域的区域,从而提高跟踪成功率。

在一些实施例中,所述第一处理单元,用于确定对待跟踪目标进行跟踪时使用的至少一个第一局部区域,还包括:

所述第一处理单元,具体用于基于被遮挡的统计概率满足第一条件的所述第一局部区域,确定所述待跟踪目标的局部跟踪信息的跟踪质量;

选择跟踪质量不低于预设质量阈值的局部区域作为更新后的所述第一局部区域。

在本示例性实施例中,在进行局部跟踪的同时,可同步分析基于被遮挡的统计概率满足第一条件的第一局部区域的跟踪质量。跟踪质量可以是评估跟踪效果的评估量值。该评估量值可以用于指示目标的跟踪成功率和/或置信度。同时跟踪成功率和置信度,都与跟踪质量正相关。即跟踪成功率越高,跟踪质量越高;置信度越高,跟踪质量越高。跟踪成功率可以用成功跟踪到目标的图像帧数与图像总帧数的比值表示。例如图像总帧数为100帧,跟踪到目标的图像帧数为80,则基于第一局部区域跟踪目标的成功率为80%等。

如果跟踪质量不好,例如出现特征识别不明显,容易识别错误等情况时,造成跟踪质量低于预设质量阈值,可从备选局部区域中重新选择跟踪质量不低于预设质量阈值的局部区域作为更新后的第一局部区域。然后对更新后的第一局部区域继续跟踪。预设质量阈值为系统内设置的用于评价目标跟踪质量的预设参数值。例如预设参数值为50。当跟踪质量好,例如选用的局部特征明显,容易识别,跟踪装置很容易捕捉到,目标不易丢失。此时跟踪质量可以评价为80,大于预设质量阈值50,则不用重新选择第一局部区域。若跟踪质量评价为20,小于预设质量阈值50,则此时需要重新选择备选局部区域作为第一局部区域进行局部跟踪。

在一些实施例中,所述第一处理单元,用于确定用于目标跟踪的至少一个备选局部区域,包括:

所述第一处理单元,具体用于根据所述待跟踪目标不同局部区域的特征属性,确定用于目标跟踪的至少一个备选局部区域,其中,所述特征属性包括:特征数量和/或单个特征的显著性参数。

在本示例性实施例中,可以根据目标不同局部的特征属性,确定备选局部区域。特征属性包括:特征数量和/或单个特征的显著性参数。特征数量指局部中包含的特征的数量,不同数量的特征使得局部更容易识别。例如待跟踪目标为人体时,局部区域可以是头部和腰部。头部作为局部区域时,所包含的特征有五官本身的特征、五官的分别特征、头型特征、发型特征等。相对而言,腰部作为局部时,所包含的特征仅有腰部尺寸、腰部形状。单个特征的显著性参数指单个特征中具有一些明显的不同,这些不同均可以作为显著性参数。例如人体的面部特征中具有明显的易于区分的伤疤、色斑等。特征的显著性越高,被识别的程度就越高。通过这些特征属性的识别,使得跟踪变得更加容易、准确。

在一些实施例中,所述第一处理单元,用于根据各所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足第一条件的至少一个备选局部区域作为所述第一局部区域,包括:

所述第一处理单元,具体用于根据所述备选局部区域被遮挡的统计概率,选择被遮挡的统计概率满足所述第一条件且在多个所述图像帧中初始图像帧未被遮挡的备选局部区域作为所述第一局部区域。

在本示例性实施例中,第一条件可以是局部区域被遮挡的概率小于预设概率值。由于待跟踪目标在移动过程中,各个局部区域被遮挡的概率不同,因此可以确定出小于预设概率值的备选局部区域作为第一局部区域进行局部跟踪。例如,待跟踪目标为人体时,人体腿部被遮挡的概率一般会比头部被遮挡的概率大。人体腿部作为备选局部区域被遮挡的概率大于头部作为备选局部区域被遮挡的概率。显然头部作为备选局部区域更容易满足第一条件。在统计概率满足满足第一条件的同时,在多个图像帧中初始图像帧未被遮挡的备选局部区域作为第一局部区域进行局部跟踪,能够提高对目标跟踪的准确性。

在一些实施例中,所述第一局部区域为n个,其中,所述n为等于或大于2且小于p的正整数;p为所述待跟踪目标包含的局部区域的数量;

所述第三处理单元,用于基于所述第一局部区域,在多个图像帧之间进行局部跟踪,得到局部跟踪信息,包括:

所述第三处理单元,具体用于在多个所述图像帧中,基于在第m-1图像帧中未被遮挡的所述第一局部区域,在第m图像帧中进行局部跟踪,得到所述待跟踪目标在第m图像帧中的局部跟踪信息,其中,所述第m图像帧为所述第m-1图像帧的后一个图像帧,所述m为大于1的正整数。

在本示例性实施例中,第一局部区域为多个,可通过对多个第一局部区域进行同步跟踪,来提高目标跟踪的准确性。

在一些实施例中,还包括第五处理单元,用于在检测到部分所述第一局部区域在一个或多个所述图像帧中被遮挡时,根据遮挡情况,选择未被遮挡的局部区域作为更新后的n个所述第一局部区域。

在本示例性实施例中,在目标跟踪过程中,出现第一局部区域在一个或多个图像帧中被遮挡,此时继续以此第一局部区域跟踪,容易出现目标丢失的情况。基于此,可从目标未被遮挡局部中选择一个或多个局部区域,更新第一局部区域,以提高目标跟踪的成功率。当第一局部区域为多个时,可对应同步更新多个第一局部区域。

在一些实施例中,所述第五处理单元,用于选择未被遮挡的局部区域作为更新后的n个所述第一局部区域,包括:

所述第五处理单元,具体用于确定各所述图像帧中不同目标之间的透视关系;其中,所述目标至少包含所述待跟踪目标;

根据所述透视关系,确定所述待跟踪目标的前景目标;

确定所述前景目标中是否存在遮挡所述待跟踪目标中所述备选局部区域的干扰物;

选择未被遮挡的备选局部区域作为更新后的n个所述第一局部区域。

在本示例性实施例中,可通过摄像机、雷达检测等方式获取目标跟踪的各个图像。通过对图像中各个目标的透视关系分析,确认跟踪目标中的备选局部区域是否被干扰物遮挡。干扰物为图像中除所述目标外的目标,包括:被跟踪人以外的人、移动的车辆、固定装置(包括栅栏等)等。

在本示例性实施例中,透视关系指在视野范围内显示各个目标的空间位置、轮廓和投影,包括近大远小、近高远低、近疏远密、近宽远窄等相对关系。在本示例性实施例中,可通过跟踪装置(例如,摄像装置等)摄像、拍照来捕捉视野范围内各个目标以及目标中各个备选局部区域的空间位置、轮廓等信息。

在一些实施例中,所述确定所述前景目标中是否存在遮挡所述待跟踪目标中所述备选局部区域的干扰物,包括:

确定所述前景目标的位置是否与所述待跟踪目标中所述备选局部区域的位置重叠;

若是,则确定所述备选局部区域在所述图像帧中被所述干扰物遮挡。

在本示例性实施例中,前景目标指的是以跟踪装置为标准,距离跟踪装置比跟踪目标距离跟踪装置近的目标。前景目标为干扰物中的一个或多个。即任意干扰物都可能成为前景目标。

在本示例性实施例中,当前景目标的位置与目标中备选局部区域的位置重叠,则前景目标位置的干扰物便阻挡了跟踪装置获取备选局部区域的视野。此时备选局部区域在图像帧中被该干扰物遮挡。

在一些实施例中,所述第一处理单元,用于确定各所述图像帧中不同目标之间的透视关系,以及根据所述透视关系,确定所述待跟踪目标的前景目标,包括:

所述第一处理单元,具体用于确定所述不同目标的外接框;

确定所述待跟踪目标的外接框的下边缘与所述图像帧的下边缘之间的第一距离,并确定所述待跟踪目标以外的目标的外接框的下边缘与所述图像帧的下边缘之间的第二距离;

若所述第一距离大于所述第二距离,则确定所述第二距离对应的目标为所述待跟踪目标的前景目标。

在本示例性实施例中,图2是根据一示例性实施例示出的遮挡关系判断示意图。如图2所示,在获取的帧图像中,当第一距离大于第二距离时,说明干扰物与跟踪装置的距离小于跟踪目标(图示中的被遮挡目标)与跟踪装置的距离。此时,该干扰物便是目标的前景目标。同时该前景目标的位置与目标的位置发送重叠,则该干扰物遮挡了跟踪目标。在本示例性实施例中,外接框为跟踪装置捕捉目标时,根据跟踪的特征(全局特征或局部特征)圈定的特征捕捉框。外接框可以是矩形、圆形等任意形状。

在一些实施例中,所述第四处理单元,用于根据所述局部跟踪信息及所述关联关系,得到所述待跟踪目标在不同所述图像帧中的全局跟踪信息,包括:

所述第四处理单元,具体用于根据所述第一局部区域的位置信息及所述待跟踪目标的外接框的位置信息,确定出所述第一局部区域在所述待跟踪目标中的相对位置关系;

根据所述相对位置关系,将所述第一局部区域在各所述图像帧中的局部跟踪信息转换为所述待跟踪目标在各所述图像帧中的全局跟踪信息。

在本示例性实施例中,基于第一局部区域跟踪获取局部跟踪信息后,根据局部跟踪信息及第一局部区域与待跟踪整体的关联关系,得到待跟踪目标在不同所述图像帧的全局跟踪信息。

例如,跟踪第一局部区域在第m帧图像中的局部跟踪信息,包括第一局部区域的特征在第m帧图像中的位置坐标(例如,确定圈定局部特征的外接框的左上角在第m帧图像中的位置坐标:x’局、y’局;其中x’局为圈定局部特征的外接框的左上角在第m帧图像中的x轴方向的坐标,其中y’局为圈定局部特征的外接框的左上角在第m帧图像中的y轴方向的坐标);

确定圈定待跟踪目标整体特征的外接框的左上角在第m-1帧图像中的位置坐标:x整、y整;其中,x整为圈定待跟踪目标整体特征的外接框的左上角在第m-1帧图像中的x轴方向的坐标,y整为圈定待跟踪目标整体特征的外接框的左上角在第m-1帧图像中的y轴方向的坐标;

确定圈定第一局部区域的外接框的左上角在第m-1帧图像中的位置坐标:x局、y局;其中,x局为圈定第一局部区域的外接框的左上角在第m-1帧图像中的x轴方向的坐标,y局为圈定第一局部区域的外接框的左上角在第m-1帧图像中的y轴方向的坐标;

确定在第m-1帧图像中未被遮挡的第一局部区域在目标中的相对位置关系:x差=x整-x局,y差=y整-y局;其中,x差为第m-1帧图像中圈定待跟踪目标整体特征的外接框的左上角与圈定第一局部区域的外接框的左上角在x轴方向的坐标差,y差为第m-1帧图像中圈定待跟踪目标整体特征的外接框的左上角与圈定第一局部区域的外接框的左上角在y轴方向的坐标差;

确定待跟踪目标在第m帧图像中的全局跟踪信息x’整=x’局+x差、y’整=y’局+y差;其中x’整为圈定待跟踪目标整体特征的外接框的左上角在第m帧图像中的x轴方向的坐标,y’整为圈定待跟踪目标整体特征的外接框的左上角在第m帧图像中的y轴方向的坐标。

确定圈定待跟踪目标整体特征的外接框在第m-1帧图像中的宽w整和高h整,同时圈定待跟踪目标整体特征的外接框在第m帧图像中的宽w’整和高h’整与在第m-1帧图像中的宽w整和高h整分别相同。

在本示例性实施例中,还可以使用雷达、双目视觉等方法确定目标之间或者目标与环境之间的遮挡关系。结合背景建模、光流等算法,更为精确的确定未被遮挡的目标区域。跟踪算法变更使用其他特征模型、深度学习等。

本公开还提供一种电子设备。图8是根据一示例性实施例示出的电子设备结构示意图。如图8所示,本公开实施例提供的电子设备,包括:处理器830和用于存储能够在处理器上运行的计算机程序的存储器820,其中,所述处理器830用于运行所述计算机程序时,执行上述各实施例提供所述方法的步骤。

本公开还提供一种计算机可读存储介质。本公开实施例提供的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各实施例提供所述方法的步骤。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

在一些情况下,上述任一两个技术特征不冲突的情况下,可以组合成新的方法技术方案。在一些情况下,上述任一两个技术特征不冲突的情况下,可以组合成新的设备技术方案。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1