基于时空正则项的连续卷积算子目标跟踪方法

1.本发明涉及计算机视觉与图像处理技术领域，特别涉及一种基于时空正则项的连续卷积算子目标跟踪方法。


背景技术：

2.运动目标跟踪的主要任务是，通过第一帧图像中给出的目标信息，从连续的视频图像序列中检测出运动目标，进而在每一帧图像中确定出运动目标的位置。随着人们对目标跟踪领域的不断深入认识，运动目标跟踪在该领域得到广泛应用和发展，目前已经存在大量的跟踪算法来实现运动目标跟踪。但是，由于遮挡、旋转、外观形变、光照变化、视角变化等客观因素的影响，使得准确地跟踪目标仍然面临极大挑战。
3.近年来，相关滤波算法由于其高精度与运算速率快的特点成为了目标跟踪领域的热门研究方向。算法在不断改进，相继有学者提出最小化平方误差滤波器(minimum output sum of squared error filter,mosse)、多特征尺度自适应滤波器(scale adaptive multiple feature,samf)以及空间正则项相关滤波器(spatially regularized discriminative correlation filter)等，这期间，基于快速连续卷积相关滤波跟踪算法(efficient convolution operators,eco)与基于时空正则项的跟踪器(spatial temporal regularized correlation filters,strcf)取得了较高的跟踪性能，但在严重或完全遮挡下无法准确跟踪目标，并且目标在旋转时尺度估计不准确。
4.虽然eco使用多个样本来训练滤波器，避免在更相似的样本中过度拟合。但是主成分分析需要设置一个阈值，特征会将维数降低到这个阈值。在不同的场景中，能够表达目标的特征维度是不同的。不能设置一个合适的阈值来满足所有的目标和场景。并且示例的更新方法也没有充分利用帧间信息。strcf充分利用了在线pa的优势，充分利用了帧间的有用信息。但是eco和strcf都没有解决特征的干扰问题，在目标受到遮挡和旋转干扰时易发生错误更新导致丢失目标。可以有效应对跟踪过程中目标受到遮挡和旋转时的定位不准确问题。


技术实现要素：

5.本发明提供一种基于时空正则项的连续卷积算子目标跟踪方法，以克服目标跟踪过程中存在的目标遮挡和旋转导致的定位不准确问题。
6.为了达到本发明的目的，本发明提出的方案如下：一种基于时空正则项的连续卷积算子目标跟踪方法，包括如下步骤：
7.步骤1、确定跟踪目标的初始位置：通过给定第一帧图像中目标的确切位置信息，对目标进行框选；
8.步骤2、提取第一帧图像的特征：提取框选好的目标的hog和cn特征，为相关滤波算法的预测做准备；
9.步骤3、构建滤波器模型获取目标响应：在损失函数中加入了基于在线概率分布的
时间正则化因子，并结合eco框架构造了一个新的损失函数。
10.步骤4、计算通道可靠性系数与获取目标定位：采用响应图最大值、峰值旁瓣比(psr)和第二和第一主峰之间的比率(rsfmp)三种算法获取最终响应图，获取响应图后，采用用牛顿迭代法求最终响应图的最大值，并设置了阈值中断迭代，当相邻两次迭代的结果之差小于阈值时，将中断迭代以减少计算负担，最终响应图中最大值的位置将被视为目标位置；
11.步骤5、构建尺度滤波器获取尺度大小：构建独立的尺度滤波器预测目标的尺度信息，提取目标的hog特征进行尺度滤波，设置尺度数目在5至10个，目标定位与尺度估计分别计算得到最优解，直至测试序列结束。
12.上述步骤1具体是：已知一段视频序列中第一帧存在目标，规定用矩形框表示目标，矩形的中心点的横纵坐标表示目标的中心点位置，矩形框的长宽表示目标的尺度大小，框选区域为特征提取做准备，该训练区域完全包含目标以及部分背景区域。
13.上述步骤5中设置尺度数为7。
14.与现有技术相比，本发明的有益效果是：
15.1)本发明充分考虑在跟踪过程中目标模型在时间和空间上的相关性，在损失函数中结合卷积算子和时间正则化，保证模型在时间上的连续性，并利用预条件共轭梯度法得到滤波器系数。
16.2)本发明提出新的目标响应判别方法，采用通道可靠性来估计学习滤波器的质量，并将三种不同的可靠性系数融合到对应位置的权重响应图中，通过设置阈值，减少滤波器求解过程中的牛顿迭代法的迭代次数，提高算法的计算速度。
17.3)本发明将目标的定位和尺度估计分别求解，使用两个独立相关滤波器分别估计目标的位置和尺度，分别得到最优解。
18.4)所提出的方法的auc比eco-hc和strcf分别提高了33.2％和41.5％，定位误差比eco-hc下降21.66，重叠比eco-hc提高12％，显著提升了目标跟踪的性能。
19.5)本发明可用于对视频监控、机器人导航和定位、无人驾驶等需要对目标进行跟踪的领域。
附图说明
20.图1为本发明实施例的方法流程图；
21.图2为本方法所提的跟踪器与eco的跟踪器比较图；
22.图3为遮挡情况下三个系数的变化图；
23.图4为5种算法在5个视频序列中的定性分析结果图；
24.图5为5个视频序列中5个跟踪算法的位置误差结果图；
25.图6为5个视频序列中5个跟踪算法的重叠率结果图；
26.图7为5个跟踪算法在otb数据集上的成功率结果图。
具体实施方式
27.下面通过具体实施方式结合附图对本发明作进一步详细说明。
28.本发明提供一种基于时空正则项的连续卷积算子目标跟踪方法，包括如下步骤：
29.步骤1、获取待跟踪目标的初始位置：通过给定第一帧图像中目标的确切位置信息，对目标进行框选，详细说明如下：
30.已知一段视频序列中第一帧存在目标，规定用矩形框表示目标，矩形的中心点的横纵坐标表示目标的中心点位置，矩形框的长宽表示目标的尺度大小，框选区域为特征提取做准备，该训练区域完全包含目标以及部分背景区域。
31.步骤2、提取第一帧图像的特征：提取框选好的目标的hog和cn特征，为相关滤波算法的预测做准备，详细说明如下：
32.特征提取采用的是两个手工特征，分别是方向梯度直方图特征(hog)与颜色特征(cn)，二者结合有利于跟踪过程中的目标定位；
33.步骤3、构建滤波器模型获取目标响应：在损失函数中加入了基于在线概率分布的时间正则化因子，并结合eco框架构造了一个新的损失函数。一方面，算法可以像eco算法一样被动地更新滤波器；另一方面，算法能够主动更新滤波器以适应目标的外观变化；
34.步骤4、计算通道可靠性系数与获取目标定位：提出通道可靠性来估计学习滤波器的质量，并将三种不同的可靠性系数融合到对应位置的权重响应图中，并通过牛顿迭代法获取目标定位，详细说明如下：
35.在整个视频序列运动过程中，目标的变形和旋转会降低响应图的峰值。背景中的相似物体和遮挡也会大大增加响应图中的噪声，所以需要估计所有特征通道的可靠性。结合不同评判通道可靠性方法的优势，采用响应图最大值、峰值旁瓣比(psr)和第二和第一主峰之间的比率(rsfmp)三种算法获取最终响应图。获取响应图后，采用用牛顿迭代法求最终响应图的最大值，最终响应图中最大值的位置将被视为目标位置；
36.步骤5、构建尺度滤波器获取尺度大小：构建独立的尺度滤波器预测目标的尺度信息，提取目标的hog特征进行尺度滤波，设置尺度数目为5至10个，目标定位与尺度估计分别计算得到最优解，直至测试序列结束。
37.实施例：
38.如图1所示，该方法通过以下步骤实现：
39.s1：确定待跟踪目标的初始位置。
40.具体的，输入含有待跟踪目标的彩色视频图像序列中的第一帧视频图像，本发明的实施例中，所输入的一段待跟踪视频图像序列的第一帧图像，用第一帧视频图像中待跟踪目标的初始位置和初始位置对应目标的长度和宽度确定一个跟踪目标矩形框，用该矩形框标出第一帧视频图像中的待跟踪目标。矩形的中心点的横纵坐标表示目标的中心点位置，矩形框的长和宽将目标框选，框选区域为特征提取做准备，因为框选区域较比目标大小所占面积大，所以，该训练区域完全包含目标以及部分背景区域。
41.s2：提取第一帧图像的特征：在视频第一帧提取目标的方向梯度直方图特征和颜色特征作为目标的特征表示，并且将两种特征进行融合，用于训练目标定位滤波器。
42.s3：构建滤波器模型获取目标响应：在损失函数中结合卷积算子和时间正则项，并使用预处理共轭梯度算法来获得滤波器系数，保证了模型在时间上的连续性。
43.具体的，损失函数如下式所示：
44.45.其中，f
t-1
表示前一帧中的滤波器。λ表示正则化参数。||f-f
t-1
||2表示时间正则项。将本方法所提的跟踪器与eco的跟踪器进行比较，如图2所示。从图2来看，eco只使用历史样本来更新当前帧中的滤波器。引入时间正则化后的跟踪器不仅使用历史样本，而且还将当前帧的滤波器f
t
约束到上一帧滤波器f
t-1
。在图2的中间，展示了eco的结果和所提出算法的跟踪结果，绿色的是所提出算法的结果，受益于在线概率分布的时间正则化因子，所提的跟踪器可以被动更新过滤器并成功跟踪目标。
46.将损失函数转化为频域式，利用隐含的帕塞瓦尔的公式简化求解：
[0047][0048]
其中，是的离散傅立叶变换。m表示滤波器系数的个数，为了减少内存消耗，设置了为了简化上式，定义l表示中非零系数的数量，并定义一个大小为(2md+2l+1)
×
(2md+1)的托普利兹(toeplitz)矩阵wd。因此，卷积算子可以表示为最后，定义一个块对角矩阵w，令则上式可以简化如下。
[0049][0050]
其中，矩阵和每个对角块有2md+1列。中的元素是命和则上式的最小化可以简化如下：
[0051][0052]
其中，
·h表示矩阵的共轭转置。矩阵p是对角权重矩阵，且令a＝bhpb+whw+λi，矩阵a是一个对称正定矩阵。因此，可以使用预处理共轭梯度算法求解上式。设pcg中第/次迭代的搜索方向为f
(l)
。因此滤波器系数f的更新过程如下：
[0053][0054]
其中，α，s，r，z，β是中间变量，没有实际意义。
[0055]
s4：计算通道可靠性系数与获取目标定位：为了提升特征通道的可靠性，采用响应图最大值、峰值旁瓣比(psr)和第二和第一主峰之间的比率(rsfmp)三种算法估计特征信道
中响应图的可靠性，进一步反映了学习滤波器的质量。
[0056]
具体的，首先获取到响应图最大值，公式如下：
[0057][0058]
其中，xd表示训练集中样本的第d个通道。是估计信道学习可靠性的直接方法。较大的表示相应特征通道的学习可靠性高于其他特征通道。在遮挡和旋转的情况下，由于目标特征的缺失或改变，将显著下降，但是当相似物体出现在背景中并且目标被部分遮挡时，响应图中相似物体的值可能高于目标。
[0059]
其次，是峰值旁瓣比(psr)，公式如下：
[0060][0061]
其中，xn表示检测样本的第n个通道，μ(fd*xd)表示响应图的平均值，σ(fd*xd)表示响应图的标准偏差。当目标被遮挡时，响应图将显示多个峰值，将显著下降。当目标在一段时间内被持续遮挡时，会发生明显跳跃变化，不能代表可靠性。
[0062]
最后，是第二和第一主峰之间的比率(rsfmp)，公式如下：
[0063][0064]
其中，r
peak1
和r
peak2
分别表示置信度得分中的主峰和次峰的值。反映了各通道响应图中主要模式的表现力。当目标被遮挡时，将明显下降。当多个相似对象出现在目标附近时，即使主模式准确地描述了目标位置，这些对象也将导致多个相等的表达模式。
[0065]
在图3中显示了遮挡情况下三个系数的变化。当目标被遮挡时，响应图出现多个峰值。这三个系数都取得了更优的表现。
[0066]
需要在训练滤波阶段计算，和可以在检测阶段计算。三种方法各有优势和不足，将三种方法整合在一起，以评估信道可靠性，可以相互弥补三种方法不足。csr-dcf以和的乘积作为对应特征通道的权重，但是实验发现这种方式不适合本章的跟踪框架，将三个系数的乘积作为权重会降低基准测试的性能。由于不同的信道可靠性系数在不同的滤波模型下有不同的评估结果，所以为三个系数设置不同的权重，如下所示：
[0067]
ω＝θ
max
ω
max
+θ
psr
ω
psr
+θ
rsfmp
ω
rsfmp
[0068]
因此，特征通道权重ω将通过求解上式获得，最终响应图可以通过下式获得：
[0069][0070]
目标定位的方法和其他离散余弦变换一样，使用牛顿迭代法求最终响应图的最大值。最终响应图中最大值的位置将被视为目标位置。在eco中，牛顿迭代法的次数设置为5，但不是每帧都必须迭代5次，所以本方法设置了一个阈值来中断迭代。当前一次迭代的结果与当前迭代的结果之差小于阈值时，将中断迭代以减少计算负担。
[0071]
s5：构建尺度滤波器获取尺度大小：训练两种不同的相关滤波模型，分别估计目标
的位置和尺度。许多算法在定位阶段提取多尺度样本，这种方法有助于提高目标定位的准确性。但是提取多尺度特征非常耗时，许多算法不仅使用一个特征来估计目标位置，还会提取颜色特征表示目标，但是颜色特征对估计目标尺度没有贡献，所以对于目标尺度估计，本方法只使用hog特征，并且设置尺度数为7。
[0072]
具体的，在估计目标位置时提取多个尺度样本训练尺度滤波器尺度f
scale
。尺度滤波器尺度f
scale
通过最小化以下函数来训练。
[0073]
||x
scale
*f
scale-y
scale
||2+η||h
scale
||2[0074]
其中，x
scale
表示尺度样本，y
scale
表示期望的卷积输出，加权η是正则化惩罚系数。类似于目标定位滤波器，帕塞瓦尔公式适用于上式可得：
[0075][0076]
上式具有封闭形式的解。因此，可以利用下式得到
[0077][0078]
因此，可以通过下式获得尺度估计的响应图。
[0079][0080]
其中，表示在检测阶段要提取的样本，尺度响应图最大值对应的尺度为估计的目标尺度。
[0081]
本发明实施例能够对视频图像序列中目标受到遮挡和旋转的运动场景下，有效提升目标的精确度和鲁棒性。通过在otb100数据集中选择了5个视频序列，它们都包含遮挡和旋转视频属性。表1显示了5个视频序列的名称和视频属性。
[0082]
表1
[0083][0084]
在表1中，视频属性中的英文缩写的具体含义如下：iv表示光照变化；occ表示目标模糊；def表示目标形变；opr表示平面外旋转；bc表示复杂背景；sv表示尺度变化；fm表示快速移动；ipr表示平面内旋转；ov表示超出视野；mb表示运动模糊；lr表示低分辨率。
[0085]
评估指标遵循一次通过评估(ope)协议评估所有跟踪器的性能。评估中使用定位误差、重叠率和成功率(auc)作为评价标准。并计算定位误差和重叠的平均值，直接将所提出跟踪器与其他跟踪算法进行比较。跟踪算法的速度以每秒帧数(fps)衡量。
[0086]
图4展示了5种算法在5个视频序列中的定性分析结果。
[0087]
在basketball序列中，在第21帧中，目标被其他人遮挡。每个跟踪器都可以成功跟踪目标，但本方法所提出的跟踪器的结果精度高于其他跟踪器。在第84帧中，当目标旋转时，strcf和bacf的估计尺度小于目标。在目标经过多个旋转后，bacf无法正确跟踪目标。在
第659帧中，旋转后目标被部分遮挡，背景中出现类似的物体，只有所提出跟踪器才能准确跟踪目标。在第724帧中，目标有较大的变形，srdcf的结果出现位误差。所提出的跟踪器受益于在线概率分布的时间正则化因子，可以被动地更新滤波器，并将当前的滤波器限制到上一帧滤波器，做到了当目标被部分遮挡时，仍然可以准确跟踪目标。strcf和bacf在定位阶段使用多尺度样本，同时估计目标尺度。所提出的跟踪器训练一个尺度滤波器来估计目标尺度，避免了位置和尺度不能同时达到最优解的问题。
[0088]
在bird2序列中，在第50帧，目标旋转180度，只有所提出的跟踪器能准确追踪目标。srdcf和eco跟踪目标的部分主体。strcf和bacf跟踪到了错误的目标。6帧后，eco-hc可以再次跟踪目标。第60帧，目标保持前进，只有所提出的跟踪器才能追踪整个目标，eco-hc仅仅再次跟踪目标的部分身体。在第99帧，srdcf和bacf可以再次跟踪目标，只有所提出的跟踪器才能在整个序列中精确跟踪目标。strcf也在损失函数中加入了时间正则化，但当目标大角度旋转时，并不能准确跟踪目标。所提出的跟踪器使用多个样本来训练滤波器。同时跟踪器使用插值函数构造卷积算子，所以可以得到比strcf更好的性能，并且所提出的跟踪器可以被动更新滤波器，因此所提出的跟踪器的性能也优于eco-hc。
[0089]
在dragonbaby序列中，第29帧，目标产生大角度旋转，bacf和eco-hc跟踪失败。12帧后，eco-hc再次跟踪目标。在第44帧，目标撤退速度过快，bacf和eco-hc再次追踪失败。在第65帧，bacf再次追踪目标。eco-hc和strcf跟踪失败。在第99帧，只有所提出的跟踪器才能准确跟踪目标，bacf、strcf和eco-hc产生一些漂移，当目标大角度快速旋转时，strcf将跟踪失败。eco-hc将在目标旋转和快速移动的情况下跟踪失败。所提出的跟踪器将eco-hc与strcf相结合，因此在上述情况下，所提出的跟踪器不会跟踪失败，并且通道可靠性系数可以估计所有特征信道的可靠性以突出响应图中的目标，进一步了提升目标跟踪的准确性。
[0090]
在kitesurf序列中，在第29帧，目标以小角度旋转，所有的追踪器都能追踪目标。第34帧，目标是旋转体和遮挡部分体，eco-hc、strcf和所提出的跟踪器可以跟踪目标，但eco-hc跟踪结果的准确性高于其他算法。在第39帧，大部分目标被遮挡，srdcf、strcf和所提出的跟踪器可以跟踪目标，但所提出的跟踪器跟踪结果的精度高于其他跟踪器。第45帧，目标在遮挡后重新出现，只有所提出的跟踪器才能追踪目标，bacf可以追踪哪些目标属于人，eco-hc、srdcf和strcf跟踪失败。在第84帧，bacf再次追踪目标，所提出的跟踪器受益于在线概率分布的时间正则项和信道可靠性系数，跟踪器可以在大部分目标被遮挡后跟踪目标。
[0091]
在skating2序列中，在第46帧中，目标已经发生变形，所有的跟踪器都能跟踪目标，但所提出的跟踪器的尺度估计精度高于strcf，srdcf在跟踪目标时发生少量漂移。第85帧，目标完全遮挡，所有追踪器都能追踪目标。第115帧，目标完全遮挡后出现，srdcf跟踪故障，没有再跟踪目标，strcf只能跟踪一半的目标。在第246帧中，strcf的尺度估计仍然小于目标。在第422帧中，strcf、eco-hc和所提出的跟踪器可以跟踪目标，bacf跟踪失败。由于所提出跟踪器训练了一个不同的相关滤波器来估计目标尺度，其精度高于该序列中的strcf。当目标被部分遮挡时，所提出的跟踪器可以被动更新滤波器，使滤波器不受遮挡的影响，通道可靠性系数有助于所提出的跟踪器比其他跟踪器更快地恢复跟踪目标。
[0092]
图5展示了5个视频序列中5个跟踪算法的定位误差。所提出的跟踪器的定位误差在大部分时间内都低于其他跟踪器。但可以发现，在一定时间内，定位误差将高于eco-hc或
strcf。在dragonbaby序列中，目标是序列开始时的人脸。当目标大角度旋转身体，人脸出现一点点时，所提出的跟踪器会立即跟踪人脸，strcf仍然会跟踪婴儿的头部，与此同时eco-hc跟踪失败。由于所提出的跟踪器在多个样本被动学习滤波器，当目标变化太快时，所提出的跟踪器将跟踪与上一帧最相似的目标部分，并且所提出的跟踪器也克服了目标大角度旋转时strcf定位误差会增大的问题。当大部分目标在一段时间内被遮挡时，strcf和eco-hc无法跟踪目标。所提出的跟踪器使用通道可靠性系数来估计所有特征信道的可靠性，并改善目标的突出特征。因此，在大部分目标被遮挡后，所提出的跟踪器可以成功地跟踪目标。为了直接比较所提出的跟踪器和其他跟踪器，表2计算了所有5个视频序列的定位误差的平均值。
[0093]
表2中，所提出的跟踪器在5个跟踪器中获得了最低的平均位置误差。strcf的定位误差高于所提出的算法，所提出的跟踪器的所有序列的平均值比eco-hc下降21.66个像素点，比strcf下降28.65个像素点。通过设置阈值减少牛顿迭代中的迭代次数，将在实践中获得较好的精度并提高fps，测试结果将在下面进行介绍。
[0094]
表2
[0095][0096]
图6中，所提出的跟踪器在大多数时间比其他跟踪器获得更高的重叠率。目标旋转时，strcf和bacf的估计尺度有一点误差。与eco-hc相比，所提出的跟踪器和eco-hc中的尺度跟踪器使用相同的框架，但是所提出的尺度跟踪器的参数对于eco-hc是不同的，可以看到，在所提出的跟踪器和eco-hc可以精确跟踪目标的情况下，eco-hc会比所提出的跟踪器获得更高的重叠。因为所提跟踪器中设置了较低的缩放比例来提高fps，但是eco-hc在某些情况下跟踪失败，所提出的跟踪器跟踪成功。所提出的跟踪器也可以在大多数时间内获得比eco-hc更高的重叠。
[0097]
表3中，所提出的跟踪器得到了5个序列中重叠的最佳平均值。在skating2中，eco-hc获得了相同的重叠平均值。所提出的跟踪器的所有序列的平均值比eco-hc增加了12％，比strcf增加了24％。
[0098]
表3
[0099][0100]
表4中可以看出，由于提高了计算的复杂度，所提出的跟踪器的所有序列的平均速度比eco-hc下降了34.33，比strcf下降了4.75。但是在实验中改进了其他指标。
[0101]
表4
[0102][0103]
图7展示了otb数据集的标准来评估所有跟踪器的性能可以看出，所提出的跟踪器跟踪性能更好，所得的曲线下面积比eco-hc和strcf分别提高了33.2％和41.5％。
[0104]
表5、表6和表7展示了牛顿迭代法中阈值对位置误差、重叠率和fps的影响：
[0105]
表5
[0106][0107]
表6
[0108][0109]
表7
[0110][0111][0112]
注意，proposed-n表示在训练尺度滤波器的过程中使用33个尺度，在位置上不设置阈值。proposed-s表示在训练尺度滤波的过程中使用了33个尺度，在定位时设置了阈值。
[0113]
从表5来看，将proposed和proposed-s进行比较，所有序列中的定位误差都非常大。但是在表6中，proposed-s的重叠并不总是高于proposed。在目标尺度变化不大的情况下，尺度滤波器中的尺度数目较少可以改善跟踪的重叠率，在所有序列的平均值上，proposed-s高于proposed。在表7中，proposed-s的速度将比proposed的慢。proposed-s的速度达到了1.44fps，定位误差比proposed值降低了0.76，重叠比proposed提高了1％。性能还不够好，算法速度也不够快。
[0114]
为了比较proposed-n和proposed-s，分析了阈值在定位中的影响。在表5和表6中，proposed-n在定位误差和重叠方面的性能优于proposed-s，但proposed-n的速度比proposed-s下降了2.48fps，proposed-n的定位误差下降了0.36。proposed-n的重叠增加了3％，性能不够好，算法速度也不够快，通过将阈值设置得更大，跟踪性能将大大提升。
[0115]
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。