一种基于改进Staple的长期目标跟踪方法及系统

一种基于改进staple的长期目标跟踪方法及系统
技术领域
1.本发明涉及目标跟踪技术领域，具体涉及一种基于改进staple的长期目标跟踪方法及系统。


背景技术：

2.视觉目标跟踪技术作为计算机视觉中重点研究方向之一，已被广泛应用于智能交通、人机交互、航空航天、医疗诊断等各个领域。跟踪算法的主要任务是根据第一帧中选定的目标，在后续帧中自动给出目标位置等信息。在实际跟踪任务中，受复杂环境影响，算法往往面临运动模糊、目标旋转变化、目标受遮挡等挑战，这都是目标跟踪领域需要解决的难题。
3.当前目标跟踪领域的算法主要可以分为基于相关滤波和基于深度学习两大类。相比于低帧率的基于深度学习类目标跟踪算法，基于相关滤波的目标跟踪算法由于出色的综合性能表现被国内外学者广泛研究。相关滤波算法通过滤波模板与搜索区域特征间的相关运算逼近期望响应，来学习用于分类目标和背景的相关滤波器，由于将运算过程映射到了频域，所以该算法能够以很低的计算复杂度在不断检测和更新。比较出名的算法有mosse(minimum output sum of squared error最小均方误差和)、csk、kcf(核化相关滤波器)和staple(sum of template and pixel-wise learners互补学习模型)。
4.staple采用互补学习的方法提高算法对场景的适应性，在基于相关滤波的目标跟踪方法中有着出色的表现，不断吸引着后人对其进一步的研究，但最近的研究往往从响应融合角度来增强staple算法的判别能力，有研究提出使用局部敏感直方图和基于相对置信度的融合方法，有研究提出基于最大响应峰和平均峰值相关能量的自适应融合方法。但在长期跟踪任务场景下原算法仍存在以下问题：(1)staple使用的基于颜色特征的模型在提取目标特征时容易引入部分背景信息。(2)staple在目标发生遮挡时模型容易漂移至目标消失处造成跟踪失败。因此，需要有针对性的对staple算法进行改进，提高算法在长期跟踪任务中的稳定性。


技术实现要素：

5.有鉴于此，本发明提供了一种基于改进staple的长期目标跟踪方法及系统，能够高稳定性地长期跟踪目标，解决了目标在长期遮挡情况下容易跟踪失败的问题。
6.本发明采用的具体技术方案如下：
7.一种基于改进staple的长期目标跟踪方法，包括：
8.步骤一、获取当前帧图像的颜色滤波器h
color
、梯度滤波器h
hog
、最小均方误差和滤波器h
mosse
；
9.步骤二、提取下一帧图像中目标的颜色特征和方向梯度直方图特征，将方向梯度直方图特征的响应和颜色特征的响应进行融合，根据融合结果获得目标位置；
10.步骤三、根据步骤二所述的方向梯度直方图特征的响应的峰值max
hog
和颜色特征
的响应的峰值max
color
，结合步骤一所述的最小均方误差和滤波器h
mosse
对目标进行二次检测，判断目标是否受到遮挡；
11.步骤四、若目标没有受到遮挡，则更新所述颜色滤波器h
color
、梯度滤波器h
hog
和最小均方误差和滤波器h
mosse
，进入下一帧图像；若目标受到遮挡，则重新搜索目标并跟踪，进入下一帧图像；
12.步骤五、重复步骤一至步骤四，直至最后一帧图像完成目标跟踪。
13.进一步地，所述步骤一中，根据当前帧图像中目标的颜色特征训练获得所述颜色滤波器h
color
和所述最小均方误差和滤波器h
mosse
；根据方向梯度直方图特征训练获得所述梯度滤波器h
hog
；
14.根据不同尺度的方向梯度直方图特征训练获得尺度相关滤波器h
scale
；所述尺度相关滤波器h
scale
获得最佳尺度的目标跟踪框。
15.进一步地，所述步骤二中，所述用于融合的颜色特征为通过掩膜提取获得增强的颜色特征；所述掩膜提取的方式为：先求取目标区域的任一像素点相对于目标区域的先验概率p(b
x
|l∈o)和目标区域的先验概率p(l∈o)，之后根据贝叶斯公式可得像素空间可靠性：
[0016][0017]
其中，x＝l表示检测区域内某一像素点，b
x
表示该像素点的像素值，m为目标模型，o为目标区域，b为背景区域；
[0018]
根据所述像素空间可靠性获得目标可靠区域，进而获得目标的掩膜，根据掩膜提取获得增强的颜色特征。
[0019]
进一步地，所述步骤二中，根据融合结果获得目标位置为：将方向梯度直方图特征的响应和增强的颜色特征的响应进行加权融合，将加权融合结果的峰值对应的位置作为目标位置。
[0020]
进一步地，所述步骤三中，所述对目标进行二次检测，判断目标是否受到遮挡为：
[0021]
根据所述方向梯度直方图特征的响应的峰值max
hog
和所述增强的颜色特征的响应的峰值max
color
，计算获得交叉峰值旁瓣比cpsr1和cpsr2；若cpsr1小于1.5且cpsr2小于3.5，则认为目标受到遮挡；否则，目标没有受到遮挡。
[0022]
进一步地，所述步骤四中，所述重新搜索目标并跟踪为：
[0023]
利用粒子滤波的方法，采用像素点的颜色特征表征粒子特征，根据每一粒子的所述颜色特征结合最小均方误差和滤波器h
mosse
确定每一粒子的权重，根据所述粒子的权重进行状态预测进而获得目标位置并跟踪。
[0024]
一种基于改进staple的长期目标跟踪系统，包括：滤波器训练模块、特征提取模块、融合模块、判断模块、更新模块和迭代模块；
[0025]
所述滤波器训练模块用于获取当前帧图像的颜色滤波器h
color
、梯度滤波器h
hog
和最小均方误差和滤波器h
mosse
；
[0026]
所述特征提取模块用于提取下一帧图像中目标的颜色特征和方向梯度直方图特征；
[0027]
所述融合模块用于将方向梯度直方图特征的响应和颜色特征的响应进行融合，根
据融合结果获得目标位置；
[0028]
所述判断模块用于根据特征提取模块的方向梯度直方图特征的响应的峰值max
hog
和增强的颜色特征的响应的峰值max
color
，以及滤波器训练模块的最小均方误差和滤波器h
mosse
对目标进行二次检测，判断目标是否受到遮挡，并将判断结果发送至更新模块；
[0029]
所述更新模块包括更新单元和重检测单元；所述更新单元用于在目标没有受到遮挡的时候，更新所述颜色滤波器h
color
、梯度滤波器h
hog
和最小均方误差和滤波器h
mosse
，进入下一帧图像；所述重检测单元用于在目标受到遮挡的时候，重新搜索目标并跟踪，进入下一帧图像；
[0030]
所述迭代模块用于判断是否完成最后一帧图像的目标跟踪，若没有完成，则发送迭代指令至所述滤波器训练模块，重复上述过程直至最后一帧图像完成目标跟踪。
[0031]
进一步地，所述特征提取模块提取的目标的颜色特征和方向梯度直方图特征发送至所述滤波器训练模块；在所述滤波器训练模块中，根据当前帧图像中目标的颜色特征训练获得所述颜色滤波器h
color
和所述最小均方误差和滤波器h
mosse
；根据方向梯度直方图特征训练获得所述梯度滤波器h
hog
；
[0032]
根据不同尺度的方向梯度直方图特征训练获得尺度相关滤波器h
scale
；所述尺度相关滤波器h
scale
获得最佳尺度的目标跟踪框。
[0033]
进一步地，在所述融合模块中，所述用于融合的颜色特征为通过掩膜提取获得增强的颜色特征；所述掩膜提取的方式为：先求取目标区域的任一像素点相对于目标区域的先验概率p(b
x
|l∈o)和目标区域的先验概率p(l∈o)，之后根据贝叶斯公式可得像素空间可靠性：
[0034][0035]
其中，x＝l表示检测区域内某一像素点，b
x
表示该像素点的像素值，m为目标模型，o为目标区域，b为背景区域；
[0036]
根据所述像素空间可靠性获得目标可靠区域，进而获得目标的掩膜，根据掩膜提取获得增强的颜色特征。
[0037]
进一步地，在所述判断模块中，对目标进行二次检测，判断目标是否受到遮挡为：根据所述方向梯度直方图特征的响应的峰值max
hog
和所述增强的颜色特征的响应的峰值max
color
，计算获得交叉峰值旁瓣比cpsr1和cpsr2；若cpsr1小于1.5且cpsr2小于3.5，则认为目标受到遮挡；否则，目标没有受到遮挡；
[0038]
在所述重检测单元中，利用粒子滤波重新搜索目标并跟踪，具体为：采用像素点的颜色特征表征粒子特征，根据每一粒子的所述颜色特征结合最小均方误差和滤波器h
mosse
确定每一粒子的权重，根据所述粒子的权重进行状态预测进而获得目标位置并跟踪。
[0039]
有益效果：
[0040]
(1)一种基于改进staple的长期目标跟踪方法，通过训练尺度相关滤波器h
scale
使得目标的跟踪保持在最佳范围为内，有利于提高目标跟踪的稳定性。通过掩膜提取获得增强的颜色特征，有利于提高在形变和运动模糊场景下的跟踪准确率。通过最小均方误差和滤波器h
mosse
对目标进行二次检测，得出更准确的遮挡状态判断。当前目标受到遮挡时，采用粒子滤波的运动估计方法实现目标的重定位，从而提高目标被遮挡时的跟踪成功率。
[0041]
(2)利用粒子滤波重新搜索目标并跟踪，粒子特征抽取方式仍选用颜色直方图，从而可以复用最小均方误差和滤波器h
mosse
，且由于使用了最小均方误差和滤波器h
mosse
引导粒子位移，一般仅需3-5次迭代便可得到准确的重检测结果。提高了目标的检测效率，进而提高了目标跟踪效率。
附图说明
[0042]
图1为本发明一种基于改进staple的长期目标跟踪方法的流程图。
[0043]
图2为空间可靠性计算结果图。
[0044]
图3为掩膜提取结果图。
[0045]
图4为未加入掩膜提取时目标的响应图。
[0046]
图5为加入掩膜提取后目标的响应图。
[0047]
图6为在响应峰值处进行二次检测后的响应结果图。
[0048]
图7为使用粒子滤波在目标被判定为遮挡后进行重检测的示意图。
具体实施方式
[0049]
一种基于改进staple的长期目标跟踪方法，先根据提取的当前图像中的目标的颜色特征和方向梯度直方图特征训练获得颜色滤波器h
color
、梯度滤波器h
hog
、尺度相关滤波器h
scale
和最小均方误差和滤波器h
mosse
，之后通过特征融合获取目标位置，根据尺度相关滤波器h
scale
获得最佳尺度的目标跟踪框即锁定跟踪范围，之后判断目标是否发生遮挡，如果没有发生遮挡，则采用线性方式更新所述颜色滤波器h
color
、梯度滤波器h
hog
和最小均方误差和滤波器h
mosse
，进入下一帧图像；若目标受到遮挡，则利用粒子滤波重新搜索目标并跟踪，进入下一帧图像。之后重复上述过程，直至最后一帧图像完成目标跟踪。
[0050]
下面结合附图并举实施例，对本发明进行详细描述。
[0051]
如图1所示，本发明的一种基于改进staple的长期目标跟踪方法包括以下步骤：
[0052]
步骤一、获取当前帧图像的颜色滤波器h
color
、梯度滤波器h
hog
、尺度相关滤波器h
scale
和最小均方误差和滤波器h
mosse
。根据当前帧图像中目标的颜色特征训练获得颜色滤波器h
color
和最小均方误差和滤波器h
mosse
；根据方向梯度直方图特征训练获得梯度滤波器h
hog
；根据不同尺度的方向梯度直方图特征训练获得尺度相关滤波器h
scale
。
[0053]
首先需要提取当前帧图像的目标的颜色特征和方向梯度直方图特征。根据观察者在第一帧中框选的目标，先提取目标的颜色特征和方向梯度直方图hog特征，分别训练两个独立的相关滤波器h
color
和h
hog
。其中，g为期望输出即高斯函数，符号h为共轭转置，
⊙
为逐元素乘法，ρ为区域内像素个数统计，λ
hog
和λ
color
分别为h
hog
和h
color
的正则惩罚常数，一般为0.001。
[0054][0055][0056]
然后采样目标的多尺度hog特征[f1,f2,...fd]，训练一个一维的尺度相关滤波器hscale
，训练方法同h
hog
。最后利用目标的颜色直方图特征f
hist
，训练一个最小均方误差和mosse滤波器h
mosse
：
[0057][0058]
步骤二、提取下一帧图像中目标的颜色特征和方向梯度直方图特征，并通过掩膜提取获得增强的颜色特征；将方向梯度直方图特征的响应和增强的颜色特征的响应进行融合获得目标位置即完成了图1中的位置预测；同时根据尺度相关滤波器h
scale
获得最佳尺度的目标跟踪框。
[0059]
先从上一帧图像中的搜索区域中分别提取目标的颜色特征f
color
和hog特征f
hog
，对hog特征，直接计算其响应y
hog
：
[0060][0061]
对颜色特征，各像素位置关于目标的空间先验概率可由伊万科尼可夫核函数表示为p(b
x
|l∈o)，令目标区域先验概率表示为：
[0062]
p(l∈o)＝|o|/(|o|+|b|)
[0063]
根据贝叶斯公式可得像素空间可靠性：
[0064][0065]
根据所述像素空间可靠性获得目标可靠区域，进而获得目标的掩膜，根据掩膜提取获得增强的颜色特征。对结果进行截断，就可得到图2所示的目标可靠区域，最后使用形态学滤波操作消除面积较小的干扰区域，便可得到图3所示的目标最终掩膜。根据掩膜重新提取目标的颜色特征，可计算得到图5所示的关于颜色特征的响应y
color
，对比图4所示的未加入掩膜的响应，可见响应范围被明显约束。
[0066]
最后将两个响应图进行加权融合：
[0067]
y＝λy
color
+(1-λ)y
hog
[0068]
取融合结果的峰值作为目标位置。
[0069]
步骤三、根据步骤二的方向梯度直方图特征的响应的峰值max
hog
和增强的颜色特征的响应的峰值max
color
，结合步骤一的最小均方误差和滤波器h
mosse
对目标进行二次检测，即可判断目标是否受到遮挡，对应图(1)中的响应质量评估。
[0070]
根据方向梯度直方图特征的响应的峰值max
hog
和增强的颜色特征的响应的峰值max
color
，计算获得交叉峰值旁瓣比cpsr1和cpsr2；若cpsr1小于1.5且cpsr2小于3.5，则认为目标受到遮挡；否则，目标没有受到遮挡。
[0071]
利用h
mosse
计算交叉峰值旁瓣比：
[0072][0073][0074]
使用常见指标如psr、apce的计算结果如图6所示，使用本文指标计算结果如图7所示，可见本文指标对目标的跟踪状态更具判别性。
[0075]
psr为峰值比，根据经验，当cpsr1小于1.5且cpsr2小于3.5时可判断目标受到遮挡。
[0076]
步骤四、根据步骤三获得的目标受遮挡情况，若目标没有受到遮挡，则采用线性方
式更新颜色滤波器h
color
、梯度滤波器h
hog
和最小均方误差和滤波器h
mosse
，进入下一帧图像；若目标受到遮挡，则利用粒子滤波重新搜索目标并跟踪，进入下一帧图像。
[0077]
如果判断目标未受遮挡，在线性更新滤波器的基础上，继续以预测位置为中心，截取不同尺度的样本构成尺度金字塔进行图(1)所诉的尺度预测，设目标所在图像块大小为m
×
n，则可根据尺度变化的一般性规律将尺度预设为：
[0078][0079]
其中a为预设尺度因子，n为尺度系数，s为尺度范围。然后，将所有不同尺寸样本放缩到原尺寸(m
×
n)，分别提取其j维的快速梯度直方图fhog特征，并将各个尺度的特征串成一个一维向量d＝m
×n×
j。最后利用计算尺度响应，并取响应极值处系数，结合目标的长宽比便可确定最佳目标框。
[0080]
如果判断目标受遮挡，采用像素点的颜色直方图特征表征粒子特征，根据每一粒子的所述颜色特征结合最小均方误差和滤波器h
mosse
确定每一粒子的权重，根据所述粒子的权重进行状态预测进而获得目标位置并跟踪。
[0081]
具体步骤为：
[0082]
(1)假设粒子集合可以表示为s＝{sn,wn|n＝1,...,n}，其中，s＝{x,y,v
x
,vy}代表粒子的状态，w代表粒子权重，则t-1时刻粒子的累计概率为：
[0083][0084]
先利用这个累计概率生成一个[0,1]范围内的累加数组，再使用均匀分布采样得到新的粒子集合s
′
t-1
。
[0085]
(2)使用设定的状态方程更新粒子集合s
t
＝as
′
t-1
+bg
t-1
得到当前时刻的粒子集合s
t
，其中a、b为常数矩阵，g
t-1
为高斯扰动。
[0086]
(3)对s
t
集合中的每一个粒子以其对应的为中心提取候选区域并计算分布直方图，再利用mosse滤波器关于每个粒子计算响应，可得到t时刻每个粒子的权重为：
[0087][0088]
对粒子集合s
t
中所有粒子状态进行加权平均，可得到重检测模块的最终的目标位置预测：
[0089][0090]
步骤五、重复步骤一至步骤四，直至最后一帧图像完成目标跟踪。
[0091]
根据上述一种基于改进staple的长期目标跟踪方法，本发明还提供了一种基于改进staple的长期目标跟踪系统，包括：滤波器训练模块、特征提取模块、融合模块、判断模块、更新模块和迭代模块。
[0092]
滤波器训练模块用于获取当前帧图像的颜色滤波器h
color
、梯度滤波器h
hog
、尺度相关滤波器h
scale
和最小均方误差和滤波器h
mosse
。
[0093]
特征提取模块用于提取下一帧图像中目标的颜色特征和方向梯度直方图特征。
[0094]
融合模块用于将方向梯度直方图特征的响应和颜色特征的响应进行融合获得目标位置。
[0095]
判断模块用于根据特征提取模块的方向梯度直方图特征的响应的峰值max
hog
和增强的颜色特征的响应的峰值max
color
，以及滤波器训练模块的最小均方误差和滤波器h
mosse
对目标进行二次检测，判断目标是否受到遮挡，并将判断结果发送至更新模块。
[0096]
更新模块包括更新单元和重检测单元；更新单元用于在目标没有受到遮挡的时候，采用线性方式更新所述颜色滤波器h
color
、梯度滤波器h
hog
和最小均方误差和滤波器h
mosse
，进入下一帧图像；重检测单元用于在目标受到遮挡的时候，重新搜索目标并跟踪，进入下一帧图像。
[0097]
迭代模块用于判断是否完成最后一帧图像的目标跟踪，若没有完成，则发送迭代指令至滤波器训练模块，重复上述过程直至最后一帧图像完成目标跟踪。
[0098]
特征提取模块提取的目标的颜色特征和方向梯度直方图特征发送至滤波器训练模块；在滤波器训练模块中，根据当前帧图像中目标的颜色特征训练获得颜色滤波器h
color
和最小均方误差和滤波器h
mosse
；根据方向梯度直方图特征训练获得梯度滤波器h
hog
；根据不同尺度的方向梯度直方图特征训练获得尺度相关滤波器h
scale
。
[0099]
用于融合的颜色特征为通过掩膜提取获得的增强的颜色特征，掩膜提取的方式为：先求取目标区域的任一像素点相对于目标区域的先验概率p(b
x
|l∈o)和目标区域的先验概率p(l∈o)，之后根据贝叶斯公式可得像素空间可靠性：
[0100][0101]
其中，x＝l表示检测区域内某一像素点，b
x
表示该像素点的像素值，m为目标模型，o为目标区域，b为背景区域；
[0102]
根据像素空间可靠性获得目标可靠区域，进而获得目标的掩膜，根据掩膜提取获得增强的颜色特征。
[0103]
判断模块中，对目标进行二次检测，判断目标是否受到遮挡为：根据方向梯度直方图特征的响应的峰值max
hog
和增强的颜色特征的响应的峰值max
hist
，计算获得交叉峰值旁瓣比cpsr1和cpsr2；若cpsr1小于1.5且cpsr2小于3.5，则认为目标受到遮挡；否则，目标没有受到遮挡。
[0104]
在重检测单元中，利用粒子滤波重新搜索目标并跟踪为：采用像素点的颜色特征表征粒子特征，根据每一粒子的颜色特征结合最小均方误差和滤波器h
mosse
确定每一粒子的权重，根据粒子的权重进行状态预测进而获得目标位置并跟踪。
[0105]
在上述一种基于改进staple的长期目标跟踪系统的各个模块、单元中，涉及具体的计算过程与本发明的一种基于改进staple的长期目标跟踪方法中对应的计算过程相同，这里不再展开描述。
[0106]
以上的具体实施例仅描述了本发明的设计原理，该描述中的部件形状，名称可以不同，不受限制。所以，本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换；而这些修改和替换未脱离本发明创造宗旨和技术方案，均应属于本发明的保护范围。