基于相关滤波的长时目标跟踪方法

1.本发明涉及图像处理技术领域，尤其涉及一种基于相关滤波的长时目标跟踪方法。


背景技术：

2.随着计算机视觉技术的发展，视觉目标跟踪技术在视频监控、目标检测、视觉导航等领域的应用越来越广泛。但由于目标跟踪中存在目标形变、目标尺度变化、目标被遮挡等跟踪难点因素，目标跟踪容易发生漂移，导致不能对目标进行长时间跟踪。


技术实现要素：

3.本发明的目的在于提供一种基于相关滤波的长时目标跟踪方法，旨在解决现有技术中的视觉目标跟踪技术不能对目标进行长时间跟踪的技术问题。
4.为实现上述目的，本发明采用一种基于相关滤波的长时目标跟踪方法，包括下列步骤：
5.步骤1、输入目标跟踪图像序列；
6.步骤2、采用自适应特征融合方法训练滤波器模板；
7.步骤3、根据目标图像位置和尺度大小训练结构化支持向量机；
8.步骤4、初步确定目标位置；
9.步骤5、目标位置重确定；
10.步骤6、自适应目标尺度估计；
11.步骤7、所述滤波器模板更新检测；
12.步骤8、模型更新；
13.步骤9、阈值更新；
14.步骤10、确定结果输出。
15.其中，所述目标跟踪图像序列为已知目标图像序列，输入时获取目标在首帧的中心位置与尺度大小。
16.其中，在采用自适应特征融合方法训练滤波器模板的过程中，提取目标融合特征，将融合特征降维处理，并训练目标融合特征的滤波器模板。
17.通过融合目标多种特征来获得目标更全面的特征表征，以此增强目标复杂情况下的特征辨别力，但快速傅里叶变换增加了操作时间。因此在融合目标的基础上，为加快目标跟踪的速度，通过对融合特征进行降维来实现快速稳健的目标跟踪。
18.其中，所述目标融合特征为多特征融合，基于相关滤波提取多层卷积特征作为深层特征，梯度直方图特征和颜色提名特征作为浅层特征。
19.其中，在初步确定目标位置的过程中，根据训练好的目标滤波器模板，计算目标响应，响应最大值处即为目标预测位置。
20.其中，在目标位置重确定的过程中，判断步骤4中的目标响应最大值是否满足目标
检测阈值条件，如果大于阈值继续执行步骤6，如果小于阈值则进行目标检测重新确定目标位置。
21.其中，在自适应目标尺度估计的过程中，将lpt尺度估计法作为独立模块，再与常规相关滤波构成的位置滤波器并联，组成自适应尺度变化的快速相关滤波器。
22.其中，在所述滤波器模板更新检测的过程中，当图像序列为3的整数倍时对所述滤波器模板进行更新。
23.由于目标在图像序列中的变化在连续帧中较小，为提高目标跟踪的速度，降低滤波模板训练的过拟合程度，因此采用间隔2帧更新模板的方式。
24.其中，在模型更新的过程中，在目标预测位置以目标尺度估计大小提取目标融合特征，并更新目标特征，然后按照特征融合方法训练目标滤波器模板，当目标响应最大值大于分类器更新阈值时，更新所述训练结构化支持向量机。
25.其中，在确定结果输出的过程中，包括下列步骤：
26.检测所述目标跟踪图像序列是否最后一帧，
27.若检测为最后一帧，则输出结果；
28.若检测为否，则转回步骤4继续执行。
29.本发明的一种基于相关滤波的长时目标跟踪方法，首先，基于相关滤波提取多层卷积特征作为深层特征，颜色直方图特征作为浅层特征，采用深、浅层特自适应融合策略来增强算法在复杂情况下的特征判别力，提高目标跟踪的稳健性，并对融合特征进行降维来提高目标跟踪的速度；然后，提出一种简单快速的自适应尺度的相关滤波跟踪算法，通过对目标模板进行对数极坐标变换，把目标的尺度变化转化为位移信号，对目标模板变换前后分别提取方向梯度直方图特征，并建立位移与尺度的滤波模型，再在相关滤波框架下同步跟踪目标的位移和尺度因子，将二者融合得到目标跟踪框；最后，自适应确定目标检测阈值，在目标遮挡或出现目标丢失时，通过edgeboxs方法提取目标候选区域，利用结构化支持向量机重新检测目标位置达到长时跟踪的目的。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本发明的一种基于相关滤波的长时目标跟踪方法的流程示意图。
32.图2是本发明的一种基于相关滤波的长时目标跟踪方法的具体执行流程图。
具体实施方式
33.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
34.在本发明中，相应术语还有对应的英文名称，如结构化支持向量机(ssvm)，方向梯度直方图(hog)。
35.请参阅图1，本发明提出了一种基于相关滤波的长时目标跟踪方法，包括下列步骤：
36.s1、输入目标跟踪图像序列；
37.s2、采用自适应特征融合方法训练滤波器模板；
38.s3、根据目标图像位置和尺度大小训练结构化支持向量机；
39.s4、初步确定目标位置；
40.s5、目标位置重确定；
41.s6、自适应目标尺度估计；
42.s7、所述滤波器模板更新检测；
43.s8、模型更新；
44.s9、阈值更新；
45.s10、确定结果输出。
46.所述目标跟踪图像序列为已知目标图像序列，输入时获取目标在首帧的中心位置与尺度大小。
47.在采用自适应特征融合方法训练滤波器模板的过程中，提取目标融合特征，将融合特征降维处理，并训练目标融合特征的滤波器模板。
48.所述目标融合特征为多特征融合，基于相关滤波提取多层卷积特征作为深层特征，梯度直方图特征和颜色提名特征作为浅层特征。
49.在初步确定目标位置的过程中，根据训练好的目标滤波器模板，计算目标响应，响应最大值处即为目标预测位置。
50.在目标位置重确定的过程中，判断s4中的目标响应最大值是否满足目标检测阈值条件，如果大于阈值继续执行s6，如果小于阈值则进行目标检测重新确定目标位置。
51.在自适应目标尺度估计的过程中，将lpt尺度估计法作为独立模块，再与常规相关滤波构成的位置滤波器并联，组成自适应尺度变化的快速相关滤波器。
52.在所述滤波器模板更新检测的过程中，当图像序列为3的整数倍时对所述滤波器模板进行更新。
53.在模型更新的过程中，在目标预测位置以目标尺度估计大小提取目标融合特征，并更新目标特征，然后按照特征融合方法训练目标滤波器模板，当目标响应最大值大于分类器更新阈值时，更新所述训练结构化支持向量机。
54.在确定结果输出的过程中，包括下列步骤：
55.检测所述目标跟踪图像序列是否最后一帧，
56.若检测为最后一帧，则输出结果；
57.若检测为否，则转回s4继续执行。
58.所述基于相关滤波的长时目标跟踪方法的具体执行步骤流程请参阅图2，进一步地，本发明结合各个特征以及具体实施例进行说明：
59.背景感知相关滤波框架：相关滤波目标跟踪算法通过目标特征与模板矩阵相关来构造目标函数，使得目标响应与目标函数风险最小化来训练目标跟踪滤波器模板，达到跟踪的目的。
[0060][0061]
式中：h∈r
t
表示滤波器模板，t为滤波器模板维数；x∈r
t
表示目标特征；y∈r
t
表示目标期望响应；*表示循环卷积操作；d表示目标特征通道数；λ表示正则化系数。
[0062]
滤波器模板训练时将上式时域的卷积运算转换到频域中的点积来降低算法复杂度，但时域的循环卷积导致相关滤波器目标跟踪存在边界效应问题。通常，通过对目标特征加窗可减小边界效应，但会导致计算量增加，同时搜索区域受到限制。过大的搜索区域由于引入过多背景因素，导致训练的滤波器分辨力不够；但不足的搜索区域会导致训练的滤波器对目标的运动适应性不强，同时滤波器模板训练不足。背景感知相关滤波器算法(bacf)在相关滤波算法的基础上对目标特征进行裁剪操作，即，通过裁剪搜索区域图像特征获得多个完整真实的训练样本，并通过扩大搜索区域降低滤波器模板的过拟合程度，得到稳健性较好的滤波器模板，同时避免了循环移位样本导致的边界效率问题。
[0063]
深度特征：本方法使用vgg-net-19进行深度特征提取，以otb100数据集中的motorrolling序列为例，选择特征图里带有更多语义信息的conv5-4和带有更多细节信息的conv3-4、conv4-4来描述目标外观。因为池化操作，空间分辨率会随着卷积神经网络深度的增加而逐渐降低，这样无法准确定位目标。为了解决这个问题，采用双线性插值将特征图调整为固定大小，假设m代表特征图，x为上采样的特征图，插值的权重β
ik
取决于位置i和k相邻的特征映射，位置i的特征向量就表示为：
[0064][0065]
将conv3-4、conv4-4和conv5-4卷积层的特征图经过双线性插值和可视化处理后，conv3-4和conv4-4等浅层特征映射具有更高的分辨率，可以更加准确地描述目标的轮廓。随着深度的增加，conv5-4深层特征描述的是目标所在的区域范围，且亮度更高。通过序列比较发现，当跟踪目标的外形和背景同时变化，提取的深度特征依然能够区分目标。
[0066]
浅层特征：浅层特征主要是手工特征，包括rgb像素,hog,cn等，包含纹理、颜色等细节信息且空间分辨率高，适合高精度定位。本方法提取颜色直方图特征作为浅层特征，颜色直方图响应值由一个m-channel的特征图像计算得到，定义在有限的网格g上。
[0067]
response
hist
(x)＝g(ψ
x
)
ꢀꢀꢀ
(3)
[0068]
自适应特征融合：深度特征编码高层语义信息，对外形变化不敏感，可以用于粗定位，而浅层特征具有更高的细节分辨率，适合精确定位。将两种特征分开对待，深度特征负责鲁棒性，浅层特征强调准确性，两种特征自适应融合，实现特性互补。算法采集三层卷积特征作为深度特征，颜色直方图特征作为浅层特征，两种特征分别训练相关滤波器，构建两个独立的外观模型，采用自适应特征融合策略来结合两种特征的响应图：
[0069]yβ
(t)＝βdyd(t)+β
sys
(t)
ꢀꢀꢀ
(4)
[0070]
其中，yd表示深层特征分数，ys表示浅层特征分数，y
β
表示两种分数加权得到的总分，β＝(βd,βs)表示深、浅分数的权重。
[0071]
响应图能反映目标定位的准确性和鲁棒性，准确性与预测目标周围的响应锐利程
度有关，主峰越尖表示准确性越强；鲁棒性与主峰到干扰峰的间隔有关，主峰到次峰的距离越大表示鲁棒性越强。为了评估预测目标的可靠性，采用了一种预测质量评估方法：
[0072][0073]
其中y表示图像搜索区域的检测分数函数，是位置的目标预测分数，t
*
表示候选预测目标。δ距离函数定义为：
[0074][0075]
引入松弛变量基于等式(4)，共同估计分数权重β和目标状态t
*
，最大化质量评估(5)，通过最小化损失函数得到：
[0076][0077]
在实际操作中，可以从深层和浅层分数中分别寻找局部极大值，将局部极大值按照响应值大小进行排序筛选后作为有限候选状态ω，通过等式(7)优化每个状态t
*
∈ω，然后选择具有最低总体损失的候选状态t
*
作为最终的预测结果，并得到相应的权重系数β＝(βd,βs)。
[0078]
尺度自适应：傅里叶梅林变换是图像配准领域中的经典算法，使用lpt与相位相关法相结合，实现对图像尺度与旋转角度的配准工作，由于相位相关法响应函数为冲击响应，其很难鲁棒地处理目标跟踪中面临的运动模糊、噪声干扰等问题。从图像配准的角度看，相关滤波跟踪算法解决了目标的位置配准问题，可以看做是相位相关法的替代方法，且比后者更鲁棒。在目标位置已配准的前提下，只需要对目标尺度进行一次配准即可实现目标尺度的自适应。
[0079]
通过对目标模板进行lpt，目标在笛卡尔坐标系下的尺度变化与旋转角度映射到对数极坐标下则变为2个相互正交的位移信号，借用相关滤波跟踪算法检测该位移信号，即可反向计算出目标的尺度变化与旋转角度，这里只讨论尺度变化问题。lpt的基本公式为：
[0080][0081]
其中，(x,y)表示目标图像在笛卡儿坐标系下的像素坐标，(x0,y0)表示目标图像的中心，即目
[0082]
标当前的位置，(ρ,θ)表示目标图像在对数极坐标系下的像素坐标。
[0083]
通过对目标图像进行lpt发现：笛卡儿坐标系下靠近中心坐标的像素往往会在对数极坐标系下
[0084]
产生大面积的渐变模式，这是由对数极坐标系下产生大面积的渐变模式，这是由对数函数f(x)＝ln(x)的曲线特征所决定的。该部分模式没有明显的描述特征，而且还将大量的有效信息压缩在极小的区间范围内，这对尺度估计非常不利，这里称为冗余信息。为去
掉冗余信息，这里引入最小极径系数β，即仅仅变化与中心坐标距离在[βr,r]之间的像素，其中r表示最大极径，0＜β＜1，在跟踪过程中，对首帧初始化的目标进行一次lpt处理，对变换后的图像提取hog特征，并在相关滤波框架下建立目标的全局尺度模型，在后续帧中，不断地对当前目标建立尺度模型，并与全局尺度模型进行相关滤波，通过检测滤波响应峰值的位置，可反向计算目标当前的尺度，即实现了目标尺度的自适应，该方法称为“lpt尺度估计法”。本发明打算将lpt尺度估计法作为独立模块，简称尺度滤波器，将其与常规相关滤波构成的位置滤波器并联，组成自适应尺度变化的快速相关滤波器。
[0085]
目标检测：通过对目标跟踪状态进行判断，在目标受到遮挡时结合目标检测方法重新确定目标位置是一种较好的解决目标跟踪中由于目标遮挡、出视野等因素造成目标丢失的方法。支持向量机具有小样本、易训练且分类性能良好的特性。将目标跟踪作为分类任务，基于支持向量机进行跟踪已经取得了比较好的效果。传统支持向量机将目标跟踪作为二分类问题，在选择训练样本时仅利用二进制样本，而没有考虑空间结构信息，因此在跟踪过程中的样本不准确会降低分类器的准确度。文献将结构化支持向量机运用到目标跟踪中，结构化输出向量机直接使用样本位置作为结构化标签，将目标位置信息引入训练过程，并通过预测函数来直接输出连续值确定目标，提高了svm跟踪的准确性。
[0086]
目标检测过程中，通常采用滑动窗方法暴力搜索目标，但基于滑动窗方式的计算量较大，降低了目标跟踪的实时性。文献提出通过edgeboxes提取候选区域方式实现目标跟踪的方法，通过图像边缘特征提取目标候选区域，然后确定真实目标。该方法可实现全局目标搜索，速度快，但对背景干扰判别力不强，跟踪精度不高。本发明将背景感知相关滤波跟踪与edgeboxes提取候选框方法相结合，通过相关滤波跟踪方法精确预测目标位置，当目标被遮挡或因快速移动而丢失时进行判断，当目标丢失时，通过采用目标检测方法重新确定目标位置来完成长时目标跟踪任务。
[0087]
模型更新策略：相关滤波目标跟踪算法通过目标响应来确定目标坐标位置，因此通过目标响应值可对目标跟踪中是否发生目标丢失等问题进行判断。通过历史响应信息与当前帧响应信息来自适应判断目标遮挡、出视野等跟踪困难情况可提高阈值设定的广适性。目标阈值设置如下：
[0088]
ts＝(1-δ)
·
ts+δ
·gmax
ꢀꢀꢀ
(9)
[0089]
式中：ts表示置信度阈值，δ表示阈值更新率，g
max
表示目标最大响应值。通过历史帧跟踪响应信息与当前帧目标响应信息即可判断是否发生目标遮挡、出视野等情况，采用目标检测机制来重新定位目标位置：
[0090][0091]
式中t0表示目标检测阈值，由自适应阈值计算得到。
[0092]
当目标响应值小于一定的历史加权值则进行目标检测，由于目标跟踪在帧间目标位移变化具有连续性，因此通过最大化检测器输出与最小化空间位置变化来重新确定目标位置：
[0093][0094]
s.t.f(x)＞t
p
[0095]
式中：f(x)表示检测器输出；(x,y)为目标在相关帧的坐标位置，α用来调节检测置信度与目标位置置信度，t
p
表示检测器输出阈值，用来矫正检测器的输出，如果小于阈值，则输出为0。
[0096]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。