目标跟踪方法、计算机设备及计算机可读存储介质与流程

本发明涉及目标跟踪领域，具体地，涉及一种目标跟踪方法、计算机设备及计算机可读存储介质。

背景技术：

目标跟踪是计算机视觉领域的一个重要的研究方向，其有着广泛的应用。随着技术的不断发展，目标跟踪的相关方法越来越广泛地应用于人机交互、车辆导航、电视监控、航天航空等众多领域。

现有的目标跟踪方法，例如adasr目标跟踪算法在目标与环境变化速度较快的情况下跟踪结果会收敛于目标的部分区域，且对目标面积变化不敏感。如在摄像头移动时，目标和背景都会随时间改变，此类算法的可靠性较低。又例如基于判别的稀疏分类目标跟踪算法在遇到背景中含有与目标相似特征的情况下，跟踪性能不佳。

因此，在目标跟踪时如何有效区分目标与背景是本领域技术人员亟待解决的技术问题。

技术实现要素：

为解决上述现有技术存在的问题，本发明提供了一种有效区分背景和目标的目标跟踪方法、计算机设备及计算机可读存储介质。

为了达到上述发明目的，本发明采用了如下的技术方案：

根据本发明的一方面，提供了一种目标跟踪方法，所述目标跟踪方法包括：

s100、获取待测视频的第一帧的图像；

s200、获取第一帧的图像中目标框所框选区域的目标图像，根据目标图像获取跟踪目标的特征集合和目标基；所述特征集合包括目标特征的集合和背景特征的集合；

s300、获取待测视频的下一帧的图像；

s400、计算当前帧的图像的初始目标区域；

s500、获取初始目标区域的抽样图像；

s600、计算特征集合的时空约束权值；

s700、根据时空约束权值计算抽样图像与目标基的相似距离；相似距离大于第一距离且小于第二距离的抽样图像包含有跟踪目标；其中第二距离大于第一距离；

s800、根据包含有跟踪目标的抽样图像更新特征集合和目标基；

s900、判断当前帧是否为最后一帧，若否，返回步骤s300。

进一步地，所述计算特征集合的时空约束权值的方法具体包括：

根据式子1计算特征集合中每个特征的空间约束权值；式子1中，表示第t帧的第f个特征的空间约束权值；表示第t帧的第f个特征的特征映射值；t≥1，t为正整数；1≤f≤n，n、f为正整数；

根据式子2计算特征集合中每个特征的时序特征权值；式子2中，表示第t帧的第f个特征的时序特征权值；表示第i帧的第f个特征在第t帧的变化速率；表示第t帧的第f个特征的一阶绝对变化值；

根据式子3和每个特征的空间约束权值和时序特征权值获得每个特征的时空约束权值；式子3中，代表第t帧的第f个特征的时空约束权值，α为特征融合变量；0＜α＜1；

进一步地，采用核相关滤波算法计算当前帧的图像的初始目标区域。

进一步地，步骤s700还包括：

和/或，若抽样图像与目标基的相似距离小于第一距离，并且经过预设的第一时间，该抽样图像与目标基的相似距离大于第一距离且小于第二距离，则该抽样图像包含有跟踪目标；

和/或，若抽样图像与目标基的相似距离大于第二距离，并且经过预设的第一时间，该抽样图像与目标基的相似距离大于第一距离且小于第二距离，则该抽样图像包含有跟踪目标。

进一步地，所述更新特征集合的方法包括：

获取包含有跟踪目标的抽样图像中的目标特征，将包含有跟踪目标的抽样图像中的目标特征加入目标特征的集合；

获取包含有跟踪目标的抽样图像中的背景特征，将包含有跟踪目标的抽样图像中的背景特征加入背景特征的集合。

进一步地，所述将包含有跟踪目标的抽样图像中的目标特征加入目标特征的集合之后还包括步骤：

根据下面的式子对目标特征的集合中保存时间超过预设时间的目标特征去除；

其中，κ表示遗忘因子，0＜κ＜1，表示第t-r帧的时序特征；表示第t帧的去除了保存时间超过预设时间的目标特征的目标特征的集合；g表示最长的保存帧数；m表示的目标特征的数量；

进一步地，所述更新目标基的方法包括：

将包括有跟踪目标的抽样图像转换为目标基；其中有n个抽样图像包括有跟踪目标，n≥0，n为正整数；

计算所有目标基的权值系数向量；

依次将目标基中权值系数向量最小的n个目标基去除。

进一步地，所述根据时空约束权值分别计算抽样图像与目标基的相似距离的方法包括：

根据时空约束权值计算抽样图像的稀疏分解系数；

根据稀疏分解系数采用下面的式子计算抽样图像与目标基之间的相似距离

其中，表示第t帧的第i个抽样图像的稀疏分解稀疏，i＞0，i为正整数；t≥1，t为正整数。

根据本发明的另一方面，还提供了一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的目标跟踪程序，所述目标跟踪算法被所述处理器执行时实现如上述的目标跟踪方法的步骤。

根据本发明的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有目标跟踪程序，所述目标跟踪程序被处理器执行时实现如上述的目标跟踪方法的步骤。

本发明的有益效果：本发明通过计算特征集合的时空约束权值，增强目标与背景之间的区分度，同时保证目标模板的时序连贯性与完整性，并定时更新特征集合和目标基，可有效提升跟踪鲁棒性。

附图说明

通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：

图1是根据本发明的实施例的目标跟踪方法的流程示意图；

图2是根据本发明的实施例的不同抽样图像与目标基的相似距离分布图；

图3是根据本发明的实施例的采用3种不同方法进行目标跟踪的平均错误率；

图4根据本发明的实施例的实验1中采用3种不同方法进行目标跟踪时第35帧、第46帧、第51帧以及第350帧的目标跟踪情况。

具体实施方式

以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。在附图中，为了清楚起见，可以夸大元件的形状和尺寸，并且相同的标号将始终被用于表示相同或相似的元件。

将理解的是，尽管在这里可使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一个元件区分开来。

实施例一

图1是根据本发明的实施例的目标跟踪方法的流程示意图。根据图1所示，本发明的实施例的目标跟踪方法包括：

s100、获取待测视频的第一帧的图像；

s200、获取第一帧的图像中目标框所框选区域的目标图像，根据目标图像获取跟踪目标的特征集合和目标基；所述特征集合包括目标特征的集合和背景特征的集合；

s300、获取待测视频的下一帧的图像；

s400、计算当前帧的图像的初始目标区域；

s500、获取多个初始目标区域的抽样图像；

s600、计算特征集合的时空约束权值；

s700、根据时空约束权值分别计算每个抽样图像与目标基的相似距离；相似距离大于第一距离且小于第二距离的抽样图像包含有跟踪目标；其中第二距离大于第一距离；

s800、根据包含有跟踪目标的抽样图像更新特征集合和目标基；

s900、判断当前帧是否为最后一帧，若否，返回步骤s300。

本发明的实施例通过计算特征集合的时空约束权值，增强目标与背景之间的区分度，同时保证目标模板的时序连贯性与完整性，并定时更新特征集合和目标基，可有效提升跟踪鲁棒性。

将目标跟踪考虑为基于在线学习的2类分类问题，本发明的实施例计算特征集合的时空约束权值的本质是在跟踪过程中收集训练样本，并利用这些样本的时间和空间信息，训练一种在线分类器。此分类器具有线性大边界分类属性，通过对完备基(稀疏表示框架)所包括的特征进行加权，一方面增加目标与北京之间的空间区分度，另一方面保证目标模型的时序连贯性。

在本发明的实施例中，追踪目标是确定的，在第一帧的图像中通过目标框选择追踪目标所在区域以获得包括目标的目标图像。然后通过目标图像获取特征集合和目标基。其中特征集合包括目标特征的集合和背景特征的集合。由获取的特征集合和目标基追踪对下一帧图像中是否包含追踪目标。

作为本发明的一种实施方式，步骤s400中采用核相关滤波算法计算当前帧的图像的初始目标区域。采用核相关滤波算法计算当前帧的图像的初始目标区域可以获取当前帧的图像中目标所在的大概区域，为后续的进一步跟踪缩小的区域，极大地减小计算量。

作为本发明的一种实施方式，步骤s500中在初始目标区域进行随机抽样，获取初始目标区域的多个抽样图像，接下去对获取的抽样图像进行处理，以追踪跟踪目标。

作为本发明的一种实施方式，所述计算特征集合的时空约束权值的方法具体包括：

首先，根据式子1计算特征集合中每个特征的空间约束权值；式子1中，表示第t帧的第f个特征的空间约束权值；表示第t帧的第f个特征的特征映射值；t≥1，t为正整数；1≤f≤n，n、f为正整数；

具体地，目标模板和背景之间有一些特征是相似的，另一些特征不相似。为了增强目标跟踪方法的跟踪精度，应对不相似的特征赋予较大的权值，对相似的特征赋予较小的权值。对于特征集合中的第f个特征，用对数似然方法计算器在第t帧的特征集合中的第f个特征的目标背景间区分度

具体地，其中，δ为一个趋近于零的整数，优选地，δ取值0.01。目标背景间区分度越大，则代表第t帧的特征集合中的第f个特征中目标所占的比较越大。

进一步地，采用下述式子获取第t帧的特征集合中的第f个特征的特征映射值。

通过上述式子将区分度较低的特征的特征映射值设置为负值，将区分度较高的特征的特征映射值设置为正值。

本发明的实施例计算每个特征的空间约束权值，空间约束权值的大小与特征的区分度成正比，可以增大目标与背景之间的区分度，扩大分类边界，增强系统的鲁棒性。

依次计算第t帧的特征集合中每个特征的空间约束权值可以得到第t帧的特征集合的空间约束权值

根据式子2计算特征集合中每个特征的时序特征权值；式子2中，表示第t帧的第f个特征的时序特征权值；表示第i帧的第f个特征在第t帧的变化速率；表示第t帧的第f个特征的一阶绝对变化值；

仅考虑特征的空间约束有可能会只跟踪跟踪目标的一部分，忽略跟踪目标的面积变化，从而导致跟踪精度降低甚至跟踪失败。所以本发明的实施例通过在连续时间特征状态空间中变化速率

原则上，当第t帧的第f个特征的时间约束权值与其变化速率成反比，则

其中c表示学习率，需人工设定。ft^f表示第t帧的第f个特征，且0≤vf≤1。

依次计算第t帧的特征集合中每个特征的时间约束权值可以得到第t帧的特征集合的时间约束权值

根据式子3和每个特征的空间约束权值和时序特征权值获得每个特征的时空约束权值；式子3中，代表第t帧的第f个特征的时空约束权值，α为特征融合变量；0＜α＜1；

在获取了特征的空间约束权值和时间约束权值之后，需要将两类权值通过特征融合变化进行有效融合。依次将第t帧的特征集合的每个特征的空间约束权值和时间约束权值进行融合获得第t帧的特征集合的时空约束权值w^t＝α·w^1,t+(1-α)·w^2,t。

作为本发明的一种实施方式，所述根据时空约束权值分别计算抽样图像与目标基的相似距离的方法包括：

根据时空约束权值计算抽样图像的稀疏分解系数；其中，通过下述式子可以获得稀疏分解系数；

其中d表示图像字典，常用图像字典有傅里叶基，离散余弦基以及小波基。

根据稀疏分解系数采用下面的式子计算抽样图像与目标基之间的相似距离

其中，表示第t帧的第i个抽样图像的稀疏分解系数，0＜i，i为正整数；1≤t，t为正整数。

图2是根据本发明的实施例的不同抽样图像与目标基的相似距离分布图。

参照图2所示，抽样图像与目标基的相似距离的可能情况有：相似距离小于第一距离、相似距离大于第二距离；相似距离大于第一距离且小于第二距离。但是经过第一时间的变化，相似距离小于第一距离的抽样图像与目标基的相似距离可能变为大于第一距离且小于第二距离或者相似距离大于第二距离的抽样图像与目标基的相似距离可能变为大于第一距离且小于第二距离。

作为本发明的一种实施方式，相似距离大于第一距离且小于第二距离的抽样图像包含有跟踪目标，例如图2中的3、4、7、9所标记的情况。但是跟踪目标外观变化程度既大，速度也快的情况下，无法保证目标基的完备性。对此问题，本发明的实施例采用基于时序信号更新方法，将在第一时间内，抽样图像与目标基的相似距离由小于第一距离变化为大于第一距离且小于第二距离，则说明该抽样图像包含有跟踪目标，例如图2中的2、8所标记的情况。此外，对此问题，本发明的实施例的方法还在第一时间内，抽样图像与目标基的相似距离由大于第二距离变化为大于第一距离且小于第二距离，则说明该抽样图像包含有跟踪目标，例如图2中的5、6所标注的情况。如果第一时间内，抽样图像与目标基的相似距离保持小于第一距离或保持大于第二距离，则该抽样图像不包含有跟踪目标。

作为本发明的一种实施方式，所述更新特征集合的方法包括：

获取包含有跟踪目标的抽样图像中的目标特征，将包含有跟踪目标的抽样图像中的目标特征加入目标特征的集合以形成更新后的目标特征的集合；

获取包含有跟踪目标的抽样图像中的背景特征，将包含有跟踪目标的抽样图像中的背景特征加入背景特征的集合以形成更新后的背景特征的集合。

每一帧都会更新目标特征的集合和背景特征的集合，以使目标特征的集合和背景特征的集合更有效地代表了跟踪目标的所有可能情况。

作为本发明的一种实施方式，所述将包含有跟踪目标的抽样图像中的目标特征加入目标特征的集合之后还包括步骤：

根据下面的式子对目标特征的集合中保存时间超过预设时间的目标特征去除；

其中，κ表示遗忘因子，0＜κ＜1，表示第t-i帧的时序特征；表示第t帧的去除了保存时间超过预设时间的目标特征的目标特征的集合；g表示最长的保存帧数；m表示的目标特征的数量；

对于目标的集合，应该保证其具有时间连续性。在实验中发现，越新的目标基的有效性越高，因此根据遗忘因子仅保留特定数量的最新的目标特征可以保证目标特征的有效性和时间连续性。

作为本发明的一种实施方式，所述更新目标基的方法包括：

将包括有跟踪目标的抽样图像转换为目标基；其中有n个抽样图像包括有跟踪目标，n≥0，n为正整数；

计算所有目标基的稀疏系数向量；

依次将目标基中权值系数向量最小的n个目标基去除。

具体地，根据下述式子计算目标基的权值系数向量，

其中c^t表示第t帧的目标基的稀疏系数向量；a为归一化系数，a＝∑(c^t-1+ψc^t)，其中ψ表示阈值的权值系数，0≤ψ≤1。

为了检测本发明的实施例的目标跟踪方法的跟踪效果，下面结合具体的实验进行说明。

实验1：测试视频为openvisor：videoforindoorpeopletrackingwithocclusions，选用其中具有代表性的360帧。选择此视频作为测试视频的原因是该视频中跟踪目标与背景含有大量相似特征，跟踪目标多次被部分或完全遮挡。另外，跟踪目标的形变较大，能够考验目标跟踪方法的性能。

图3根据本发明的实施例的采用3种不同方法进行目标跟踪的平均错误率。图4根据本发明的实施例的实验1中采用3种不同方法进行目标跟踪时第35帧、第46帧、第51帧以及第350帧的目标跟踪情况。

图3中，曲线a表示本发明的实施例的目标跟踪方法对测试视频进行目标跟踪的平均错误率。曲线b表示现有技术中没有计算时空约束权值的目标跟踪方法对测试视频进行目标跟踪的平均错误率。曲线c表示现有技术中没有对目标基进行更新的目标跟踪方法对测试视频进行目标跟踪的平均错误率。由图3可知，本发明的实施例的目标跟踪方法相对于现有技术中没有计算时空约束权值的目标跟踪方法和现有技术中没有对目标基进行更新的目标跟踪方法平均错误率较小，且波动较小。

图4中，a组图像帧表示采用本发明的实施例的目标跟踪方法对测试视频进行目标跟踪时在第35帧、第46帧、第51帧、第57帧以及第350帧的目标跟踪情况。由a组图像帧可以知道，本发明的实施例的目标跟踪方法在跟踪目标被遮挡或者跟踪目标外形发生变化时仍能精确跟踪目标。b组图像帧表示采用现有技术中没有计算时空约束权值的目标跟踪方法对测试视频进行目标跟踪时在第35帧、第46帧、第51帧以及第350帧的目标跟踪情况。由b组图像帧可以知道，在第51帧图像中，跟踪目标被遮挡之后，没有计算时空约束权值的目标跟踪方法无法区分目标和背景，导致跟踪失败。c组图像帧表示采用现有技术中没有对目标基进行更新的目标跟踪方法对测试视频进行目标跟踪时在第35帧、第46帧、第51帧、第57帧以及第350帧的目标跟踪情况。图像中，图像框所框出的图像为对应的目标跟踪方法所识别的追踪目标。由c组图像帧可以知道在第35帧和第46帧时，跟踪目标的外形未发生较大变化，采用现有技术中没有对目标基进行更新的目标跟踪方法能够保持较好的跟踪精度，但第51帧、第57帧以及第350帧，由于跟踪目标外形发生变化，采用现有技术中没有对目标基进行更新的目标跟踪方法无法识别形变后的跟踪目标，导致跟踪失败。

实验2：将本发明的实施例的目标跟踪方法跟现有技术中采用无迹粒子滤波的目标跟踪方法(upf)、采用粒子滤波的目标跟踪方法(pf)、adasr的目标跟踪方法和采用标准对冲稀疏表示的目标跟踪方法的跟踪结果进行比较。在本实验中使用三种视频进行测试。在第一种视频(pets-2009)中目标和背景具有相似特征。在第二种视频(pets-2009)中跟踪目标被部分遮挡。在第三种视频(karl-wilhelm-stabe)人工加上了10db高斯白噪声。在本实验中，采用综合评价指数对目标跟踪方法的跟踪性能进行评价。具体地，采用下面的式子计算不同目标跟踪方法的综合评价指数：

其中cei(xk)表示待评价的目标跟踪方法xk的综合评价指数；wi'表示各评价指标的权重，ci'表示不同的评价指标，其中，1≤i’≤m’。综合评价指数越低表明算法的综合性能越好。

表1表示不同的目标跟踪方法对第一种视频进行目标跟踪的跟踪效果比较。

由表1可知，本发明的实施例的目标跟踪方法在对目标和背景具有相似特征的第一种视频进行目标追踪中比其他的目标跟踪方法具有更好的跟踪效果。

表2表示不同的目标跟踪方法对第二种视频进行目标跟踪的跟踪效果比较。

由表2可知，本发明的实施例的目标跟踪方法在对跟踪目标被部分遮挡的第二种视频进行目标追踪中比其他的目标跟踪方法具有更好的跟踪效果。

表3表示不同的目标跟踪方法对第三种视频进行目标跟踪的跟踪小姑比较。

由表3可知，本发明的实施例的目标跟踪方法在对人工加上了10db高斯白噪声的第三种视频进行目标追踪中比其他的目标跟踪方法具有更好的跟踪效果。

综上可知，本发明的实施例的目标跟踪方法相对于现有技术的目标跟踪方法，在跟踪目标与背景的特征相似、目标形变和遮挡的情况下，具有更稳定的跟踪进度。

实施例二

本发明还提供了另一种实施方式，即提供一种存储介质，所述存储介质存储有目标跟踪程序，所述目标跟踪程序可被至少一个处理器执行，以使所述至少一个处理器执行如下步骤：

s100、获取待测视频的第一帧的图像；

s200、获取第一帧的图像中目标框所框选区域的目标图像，根据目标图像获取跟踪目标的特征集合和目标基；所述特征集合包括目标特征的集合和背景特征的集合；

s300、获取待测视频的下一帧的图像；

s400、计算当前帧的图像的初始目标区域；

s500、获取多个初始目标区域的抽样图像；

s600、计算特征集合的时空约束权值；

s700、根据时空约束权值分别计算每个抽样图像与目标基的相似距离；相似距离大于预设的第一距离且小于预设的第二距离的抽样图像包含有跟踪目标；其中第二距离大于第一距离；

s800、根据包含有跟踪目标的抽样图像更新特征集合和目标基；

s900、判断当前帧是否为最后一帧，若否，返回步骤s300。

上述步骤的详细说明请参阅上述第一实施例，在此不再赘述。

实施例三

本发明还提供了另一种实施方式，即提高一种计算机设备。所述计算机设备可以是笔记本电脑等计算机设备。所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的目标跟踪程序。

其中，所述存储器至少包括一种类型的计算机可读存储介质，用于存储安装于所述计算机设备的操作系统和各类应用软件，例如目标跟踪程序的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述移动终端的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行目标跟踪程序等。

所述目标跟踪程序用于追踪待测视频中的跟踪目标，所述目标跟踪程序被所述处理器执行时，实现如下步骤：

s100、获取待测视频的第一帧的图像；

s200、获取第一帧的图像中目标框所框选区域的目标图像，根据目标图像获取跟踪目标的特征集合和目标基；所述特征集合包括目标特征的集合和背景特征的集合；

s300、获取待测视频的下一帧的图像；

s400、计算当前帧的图像的初始目标区域；

s500、获取多个初始目标区域的抽样图像；

s600、计算特征集合的时空约束权值；

s700、根据时空约束权值分别计算每个抽样图像与目标基的相似距离；相似距离大于预设的第一距离且小于预设的第二距离的抽样图像包含有跟踪目标；其中第二距离大于第一距离；

s800、根据包含有跟踪目标的抽样图像更新特征集合和目标基；

s900、判断当前帧是否为最后一帧，若否，返回步骤s300。

上述步骤的详细说明请参阅上述第一实施例，在此不再赘述。

本领域技术人员可以理解，所述计算机设备还可以包括其他必要部件，或者组合某些部件，或者不同的部件布置。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

虽然已经参照特定实施例示出并描述了本发明，但是本领域的技术人员将理解：在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在此进行形式和细节上的各种变化。