本发明属于计算机视觉、数字图像处理领域,特别涉及了一种视频序列的目标跟踪方法。
背景技术:
目标跟踪是机器视觉领域的热门研究课题之一,被广泛应用于人机交互、视频跟踪、导航等领域,同时也是视频内目标识别、行为识别等后续工作的基础,因此目标跟踪有着广阔的应用前景和实用价值,受到了世界各地研究者的高度关注。
当前,由于复杂背景、光照等外部因素以及目标旋转、遮挡等内部因素的影响,使得跟踪过程通常处在一个不受控的环境下,因此目标跟踪仍然是一个具有挑战性的问题。
技术实现要素:
为了解决上述背景技术提出的技术问题,本发明旨在提供一种视频序列的目标跟踪方法,利用时空信息出发,结合遮挡处理机制和时空显著性对目标进行跟踪,可以有效提高目标跟踪鲁棒性与实时性。
为了实现上述技术目的,本发明的技术方案为:
一种视频序列的目标跟踪方法,包括以下步骤:
(1)对目标图像进行归一化处理,减少光照干扰;
(2)根据初始帧的目标位置,提取目标的时空上下文信息,构建时空上下文模型,建立时空上下文模型与目标位置置信图的关系,从而进行目标跟踪;
(3)采用遮挡机制判定是否更新时空上下文模型的学习率,利用更新的学习率更新时空上下文模型;
(4)根据目标跟踪过程中前后帧之间的时空显著性建立尺度更新过程。
进一步地,步骤(2)的具体过程如下:
(a)建立空间上下文模型与目标位置置信图的关系:
式(1)中,P(x|m(z),o)是空间上下文模型,表示目标与周围上下文特征的空间关系,x是目标上某点位置坐标,z表示目标的上下文位置坐标,o为跟踪目标,Xc为上下文特征,定义Xc={m(z)=(I(z),z)|∈Ωc(x*)},I(z)为图像中z处的灰度值,Ωc(x*)是目标周围的上下文区域,P(m(z)|o)表示目标局部上下文先验概率;
(b)令P(x|m(z),o)=hsc(x-z) (2)
P(m(z)|o)=I(z)ωσ(z-x*) (3)
式(2)、(3)中,hsc(x-z)是关于目标和局部上下文位置z的相对距离和方向的函数,x*为目标中心位置,ωσ(z-x*)是加权高斯函数,定义为:
式(4)中,a代表归一化常数,σ代表尺度参数;
将式(2)-(4)代入式(1),得
式(5)中,下标t表示第t帧;
(c)根据空间上下文模型得到时空上下文模型:
式(6)中,是空间上下文模型的傅里叶变换,是时空上下文模型的傅里叶变换,ρt代表学习率;
(d)根据式(5)建立时空上下文模型与目标位置置信图的关系:
式(7)中,F表示傅里叶变换;
(e)目标中心通过求目标位置置信图mt+1(x)的极值得到:
进一步地,步骤(3)的具体过程如下:
定义第t帧的峰值旁瓣比:
式(9)中,μsl-t和σsl-t分别是置信图mt(x)峰值周围12×12邻域内的均值和标准差;
令
Δm=mt-mt-1 (11)
当且ppsr-t≥pth,Δm<Mtol,表示目标处于逐渐走出遮挡,此时应对模型进行更新;当且ppsr-t≥pth,Δm>Mtol,表示目标跟踪状态良好,此时应对模型进行更新;当或ppsr-t<pth时,表示目标处于遮挡严重或全遮挡状态,此时不进行模型更新;其中,pth为峰值旁瓣比的设定阈值,Mtol为目标置信图的变化量的设定阈值;
更新时空上下文模型的学习率ρt:
根据更新的学习率更新时空上下文模型:
进一步地,pth的取值为2.5×10-3。
进一步地,步骤(4)的具体过程如下:
式(14)中,η代表衰落因子,n表示每n帧内计算目标尺度,st表示第t帧目标尺度,σt表示第t帧尺度参数。
进一步地,η=0.51,n=5。
采用上述技术方案带来的有益效果:
(1)本发明利用贝叶斯框架对要跟踪的目标和它的局部上下文区域的时空关系进行建模,得到目标和其周围区域低级特征的统计相关性,具有较高的鲁棒性;
(2)本发明采用遮挡处理机制,能够应对复杂场景,对遮挡情况有判断能力,能够根据目标变化过程进行判断,因此应用遮挡处理机制在一定程度上减少了误差的积累,并可以对目标的漂移有一定的抑制作用,提高了对于复杂情况下目标跟踪的鲁棒性;
(3)本发明在目标跟踪过程中对学习率进行实时更新,能够有效减少误差积累,在目标模型更新和目标尺度更新过程均涉及学习率,学习率的更新能够使模型进行有选择的更新更为准确,尺度的正确更新对目标特征的提取也有重大影响,错误特征的提取会影响目标的跟踪,造成漂移或丢失;
(4)本发明对时空显著性度量的应用是利用目标前后帧的联系,对目标尺度更新具有重要影响,提高了目标跟踪过程中尺度更新的实时性,减少了干扰信息的影响。
附图说明
图1是本发明的流程图。
具体实施方式
以下将结合附图,对本发明的技术方案进行详细说明。
如图1所示,一种视频序列的目标跟踪方法,包括以下步骤:
步骤1:对目标图像进行归一化处理,减少光照干扰,提高运行效率。
步骤2:根据初始帧的目标位置,提取目标的时空上下文信息,构建时空上下文模型,建立时空上下文模型与目标位置置信图的关系,从而进行目标跟踪。具体过程如下:
a、建立空间上下文模型与目标位置置信图的关系:
式(1)中,P(x|m(z),o)是空间上下文模型,表示目标与周围上下文特征的空间关系,x是目标上某点位置坐标,z表示目标的上下文位置坐标,o为跟踪目标,Xc为上下文特征,定义Xc={m(z)=(I(z),z)|∈Ωc(x*)},I(z)为图像中z处的灰度值,Ωc(x*)是目标周围的上下文区域,P(m(z)|o)表示目标局部上下文先验概率。
b、令P(x|m(z),o)=hsc(x-z) (2)
P(m(z)|o)=I(z)ωσ(z-x*) (3)
式(2)、(3)中,hsc(x-z)是关于目标和局部上下文位置z的相对距离和方向的函数,x*为目标中心位置,ωσ(z-x*)是加权高斯函数,定义为:
式(4)中,a代表归一化常数,σ代表尺度参数。
将式(2)-(4)代入式(1),得
式(5)中,下标t表示第t帧。
c、根据空间上下文模型得到时空上下文模型:
式(6)中,是空间上下文模型的傅里叶变换,是时空上下文模型的傅里叶变换,ρt代表学习率。
d、根据式(5)建立时空上下文模型与目标位置置信图的关系:
式(7)中,F表示傅里叶变换。
e、目标中心通过求目标位置置信图mt+1(x)的极值得到:
步骤3:采用遮挡机制判定是否更新时空上下文模型的学习率,利用更新的学习率更新时空上下文模型。具体过程如下:
定义第t帧的峰值旁瓣比:
式(9)中,μsl-t和σsl-t分别是置信图mt(x)峰值周围12×12邻域内的均值和标准差;
令
Δm=mt-mt-1 (11)
如表1所示,当且ppsr-t≥pth,Δm<Mtol,表示目标处于逐渐走出遮挡,此时应对模型进行更新;当且ppsr-t≥pth,Δm>Mtol,表示目标跟踪状态良好,此时应对模型进行更新;当或ppsr-t<pth时,表示目标处于遮挡严重或全遮挡状态,此时不进行模型更新;其中,pth为峰值旁瓣比的设定阈值,Mtol为目标置信图的变化量的设定阈值。
更新时空上下文模型的学习率ρt:
根据更新的学习率更新时空上下文模型:
表1
步骤4:根据目标跟踪过程中前后帧之间的时空显著性建立尺度更新过程,其目的在于提高目标跟踪过程中尺度更新的实时性,减少干扰信息的影响。具体过程如下:
式(14)中,η代表衰落因子,ηi随i的增大而减少,表示历史帧对当前帧的影响随时间变化,在本实施例中,η=0.51;n表示每n帧内计算目标尺度,在本实施例中,n=5,因为在5帧内,目标尺度变化不会较大,可减少计算量并提高该专利的实时性;,st表示第t帧目标尺度,σt表示第t帧尺度参数。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。