基于手工特征融合的多尺度抗遮挡目标跟踪方法

1.本发明涉及数字图像处理技术领域，具体涉及一种基于手工特征融合的多尺度抗遮挡目标跟踪方法。


背景技术：

2.在计算机视觉技术的日常生产生活应用中，经常需要对视频图像中特定目标进行稳定跟踪，实时获得特定目标在画面中的位置、尺寸等信息。
3.当前主流的目标跟踪算法可以分为两类：第一类是基于相关滤波的目标跟踪算法，该类方法具有较高的计算速度和良好的跟踪效果。其基本原理是在初始帧训练滤波器模板，在后续帧中计算候选样本和滤波器模板的相似度，输出响应图，取响应最大值所在位置为目标位置。第二类是基于深度学习的目标跟踪算法，该类方法出现时间相对较晚，但是发展非常迅速。该类方法的基本思想是利用卷积神经网络提取出的具有强大表征能力的深度特征，实现目标和背景的分离。早期的深度学习跟踪算法采用预训练的卷积神经网络提取深度特征，然后与相关滤波方法相结合训练跟踪器，由于深度特征具有较多的抽象语义信息，跟踪器区分目标和背景的性能非常突出，但是使用高维深度特征带来了巨大的计算量，算法难以满足实时性要求。孪生网络跟踪算法是近年来兴起的深度学习类跟踪方法，主要是进行目标和后续帧中候选框的相似度匹配，选择相似度最高的候选框位置为目标位置，在鲁棒性和实时性方面都有良好的表现。但是基于深度学习的跟踪方法往往需要gpu支持，对硬件性能提出了较高的要求，难以运行在功耗和成本较为受限的平台，这限制了其应用范围。
4.在常见的跟踪任务中，经常会出现形变、尺度变化、遮挡等情况，这要求跟踪算法需要具备较强的鲁棒性，同时为了实时地获取跟踪目标信息，跟踪算法的复杂度不能过高，要能满足实时性要求。传统相关滤波跟踪算法虽然在速度上有较大的优势，但是在常见复杂场景中的表现仍有待提高。为了提升算法的鲁棒性，近年来人们在其基础上提出了许多改良方法，但是往往都是以牺牲算法的实时性为代价，让相关滤波跟踪方法失去了本身最基本的优势，这也限制了算法的应用范围。


技术实现要素：

5.有鉴于此，本发明提供了一种基于手工特征融合的多尺度抗遮挡目标跟踪方法，能够实现鲁棒性较强并且计算量不大，可以运行在大多数跟踪平台上。
6.为实现上述目的，本发明提供了一种基于手工特征融合的多尺度抗遮挡目标跟踪方法，基于相关滤波模型，利用方向梯度直方图特征和颜色命名特征训练两个独立的滤波器，通过多分辨率采样确定目标尺度，对两种响应结果进行评估并进行自适应融合，对最终融合结果进行遮挡判断，若判定发生遮挡则启动重检测器进行重检测，若判定未发生遮挡则根据融合后的响应结果确定目标的位置，依据两种滤波器响应结果的apce值进行各自学习率的调整，进行模型更新，然后判断是否为最后一帧，若为最后一帧则结束，否则返回重
新进行多分辨率采样确定目标尺度；重检测时进入下一帧，若未检测到目标再进入下一帧，直至检测到目标，更新目标的位置，然后判断是否为最后一帧，若为最后一帧则结束，否则返回重新进行多分辨率采样确定目标尺度。
7.其中，包括以下步骤：
8.步骤1，根据初始信息，依据核相关滤波原理，进行hog特征滤波器与cn特征滤波器的初始化；
9.步骤2，多分辨率采样，提取hog特征，利用hog特征滤波器计算响应确定当前尺度；
10.步骤3，根据步骤2确定的尺寸，提取cn特征，计算cn滤波器的响应结果；
11.步骤4，对步骤2和步骤3的响应结果进行自适应融合；
12.步骤5，利用apce指标对融合后的响应结果进行评估，指标低于设定阈值时判定目标被遮挡，启动重检测器进行重检测，进入下一帧，若未检测到目标再进入下一帧，直至检测到目标，更新目标的位置，判断是否为最后一帧，若为最后一帧则结束，否则返回执行步骤2；指标高于或等于阈值时判定目标未被遮挡，执行步骤6；
13.步骤6，根据融合后的响应结果确定目标的位置，依据两种滤波器响应结果的apce值进行各自学习率的调整，进行模型更新；判断是否为最后一帧，若为最后一帧则结束，否则返回执行步骤2。
14.其中，依据各响应的apce指标调整学习率时，设定阈值a和阈值b，a＞b，当评估指标高于阈值a时，学习率固定为0.01，在阈值a与阈值b之间时，根据指标进行学习率的动态调整，在0-0.01间变化，低于阈值b时，不进行更新。
15.其中，通过多分辨率采样确定目标尺度具体为：
16.使用步骤1中训练得到的hog特征滤波器，在原尺度的基础上，设计尺度池为[1.05,1,0.95]，分别对应原尺寸的1.05倍、原尺寸以及原尺寸的0.95倍，以三种分辨率采样提取hog特征，计算响应，以最大响应值对应的尺度为当前尺度。
[0017]
其中，所述步骤4中，对步骤2与步骤3计算得到的响应结果根据相关峰平均能量指标进行评估，依据评估指标，进行两种响应结果的自适应融合，当两者指标的差异较大时，选择更可靠的响应结果作为最终的响应结果，差异较小时，进行线性加权融合。
[0018]
其中，所述重检测器是根据线性软间隔支持向量机原理设计。
[0019]
有益效果
[0020]
本发明通过设计尺度池进行多分辨率采样，能够快速处理目标在运动过程中发生的尺度变化；提出的依据相关峰平均能量指标进行两种特征滤波器响应结果融合的方法实现了hog特征与cn特征优势的综合，提升了跟踪器的辨别能力；通过对每一帧的跟踪结果进行遮挡判断评估，另外设计了svm重检测器，在目标丢失后在丢失前的附近区域进行重检测，提高了跟踪器的抗遮挡能力。独立地对两个跟踪器的跟踪结果进行评估，根据apce指标调整学习率，实现各自的自适应更新。
附图说明
[0021]
图1为本发明实施例中的基于手工特征融合的多尺度抗遮挡目标跟踪算法的流程示意图。
[0022]
图2(a)为本发明实施例中的某帧输入图像。
[0023]
图2(b)(c)(d)为本发明实施例中的多分辨率采样示意图。
[0024]
图3(a)为本发明实施例中正常跟踪情况下的某帧画面
[0025]
图3(b)为本发明实施例中的hog特征滤波器响应结果。
[0026]
图3(c)为本发明实施例中的cn特征滤波器响应结果。
[0027]
图3(d)为本发明实施例中的融合后的响应结果。
[0028]
图4(a)为本发明实施例中发生遮挡时的某帧画面。
[0029]
图4(b)为本发明实施例中发生遮挡时的hog特征滤波器响应结果。
[0030]
图4(c)为本发明实施例中发生遮挡时的cn特征滤波器响应结果。
[0031]
图4(d)为本发明实施例中发生遮挡时的融合后的响应结果。
[0032]
图4(e)为svm重检测器的重检测示意图。
具体实施方式
[0033]
下面结合附图并举实施例，对本发明进行详细描述。
[0034]
本发明以相关滤波类方法为基础，采用基于手工特征融合的抗遮挡目标跟踪算法，综合了形态类特征和颜色类特征的优势；采用了一种简洁高效的尺度处理方法，实现尺度变化的准确预测；对每一帧的跟踪结果进行评估，判定目标丢失后启动重检测对目标进行重新搜索，根据两种滤波器的各自的响应结果进行独立更新，自适应调整学习率，提升了跟踪算法的抗干扰能力，适用于解决计算机视觉应用中的目标跟踪问题，可广泛应用于智能监控系统、人机交互、自动驾驶等领域。
[0035]
本发明的基于手工特征融合的多尺度抗遮挡目标跟踪方法，在初始帧，根据手动框选的跟踪目标信息，基于核相关滤波方法原理，进行方向梯度直方图(hog)特征滤波器与颜色命名(cn)特征滤波器的初始化。在后续每一帧，该方法先利用方向梯度直方图特征滤波器进行多分辨率采样确定最佳尺度，然后求取颜色命名特征滤波器响应，使用相关峰平均能量(apce)指标对两种滤波器的响应进行评估，并进行自适应融合。对最终融合结果再进行评估，若判定发生遮挡则启动支持向量机进行重检测。对方向梯度直方图特征滤波器和颜色命名特征滤波器进行独立更新，依据各响应的apce指标调整学习率，根据经验设计了两个阈值,高阈值a，低阈值b，当评估指标高于阈值a时，学习率固定为0.01，在阈值a与阈值b之间时，根据指标进行学习率的动态调整，在0-0.01间变化，低于阈值b时，不进行模型更新。本实施例的实现流程图如图1所示，具体步骤包括：
[0036]
步骤1，滤波器初始化：
[0037]
在视频序列第一帧，首先进行方向梯度直方图特征滤波器与颜色命名特征滤波器的初始化。在初始帧，通过手动框选目标，确定目标的初始位置和尺寸。根据初始帧目标信息，依据kcf跟踪器的原理，分别提取hog特征与cn特征独立地训练两个滤波器。
[0038]
其中，滤波器的优化问题为其中x表示样本，y表示标签，w为权重向量，λ是正则化参数，用于控制系统复杂性，防止过拟合，将上式写为矩阵形式，得到其中x＝[x1，x2，
…
xn]
t
，y是一个样本标签组成的列向量，上式解在复数域下的表达为w＝(xhx+λi)xhy。利用高斯核函数将样本投射到高维空间。
高斯核函数的表达为滤波器优化问题的解为α＝(k+λi)-1
y。利用循环矩阵可以对角化的性质得到滤波器参数在傅里叶域的表达为用循环矩阵可以对角化的性质得到滤波器参数在傅里叶域的表达为是样本标签的傅里叶变换，其中k
xx
是核矩阵k＝c(k
xx
)的第一行。
[0039]
步骤2，多分辨率采样，提取hog特征，利用hog特征滤波器计算响应确定当前尺度：
[0040]
本发明设计了尺度池处理尺度问题，尺度池设计为[0.95,1,1.05]，分别对应略微变小、尺度不变、略微变大三种情况。为了减少计算量，多分辨率采样时，只提取方向梯度直方图特征,利用方向梯度直方图滤波器计算响应，将最大响应值对应的尺度作为当前尺度。
[0041]
图2(a)为跟踪过程中的某帧输入图像，图2(b)为多分辨率采样示意图，本发明在上一帧确定的位置处，以上一帧确定的搜索尺寸为基础尺寸，以三种分辨率进行采样，分辨率分别为0.95倍基础尺寸，1倍基础尺寸，1.05倍基础尺寸，提取hog特征后，计算hog特征滤波器的响应结果，依据最大响应值的对应的尺寸作为目标的当前尺寸。这里要另外指出，相关滤波器的搜索区域包括目标本身和背景区域，所以在图2(b)中，搜索区域的尺寸要大于跟踪目标的尺寸。
[0042]
步骤3，根据步骤2确定的尺寸，提取cn特征，计算cn滤波器的响应结果。
[0043]
其中，方向梯度直方图(hog)特征主要表征了目标的外形轮廓，颜色命名(cn)特征将rgb图像的3通道颜色特征映射到黑、蓝、棕、灰、绿、橙、粉、紫、红、白、黄等11个颜色通道，对目标的颜色有较好的表达。在图像序列的初始帧，本发明根据核相关滤波器原理，利用hog特征与cn特征训练独立训练了两个滤波器。在跟踪过程中，求取两个滤波器的响应。
[0044]
步骤4，对步骤2和步骤3的响应结果进行自适应融合。
[0045]
本发明使用相关峰平均能量(apce)指标对方向梯度直方图特征滤波器与颜色命名特征滤波器的响应结果进行评估。apce指标的定义如下：
[0046][0047]
其中y
max
指最大响应值，y
min
指最小响应值，y
w,h
指(w,h)处的响应值，apce指标反映了跟踪结果的可靠程度，跟踪结果越可靠，响应图越接近理想的二维高斯分布，apce指标则越大。当两种滤波器响应结果的apce指标相差较大时，选择最可靠的响应结果作为最终的响应结果，两者差距不大时，进行线性加权融合。融合采用的公式如下：
[0048][0049]
其中apce_hog指hog特征滤波器响应结果的apce值，apce_cn指cn特征滤波器响应结果的apce值。图3(a)为本发明实施例中正常跟踪情况下的某帧画面。图3(b)为本发明实施例中当前帧的hog特征滤波器响应结果，对应的apce指标为45.30。图3(c)为本发明实施
例中当前帧的cn特征滤波器响应结果，对应的apce指标为54.12。依据融合公式，对两种特征滤波器的响应结果进行融合。图3(d)为本发明实施例中的融合后的响应结果，对应的apce指标为64.76。
[0050]
步骤5，对最终的响应结果进行遮挡判断以确定是否进行重检测。
[0051]
在目标的运动过程中，目标的外观会发生变化，重检测器需要具备适应目标外观变化的能力，采取的策略是：利用apce指标对融合后的响应结果进行评估，根据经验设置阈值为20，指标低于阈值时判定目标被遮挡，启动支持向量机进行重检测，进入下一帧，若未检测到目标再进入下一帧，直至检测到目标，更新目标的位置，判断是否为最后一帧，若为最后一帧则结束，否则返回执行步骤2；指标高于或等于阈值时判定目标未被遮挡，执行步骤6。
[0052]
图4(a)为本发明实施例中发生遮挡时的某帧画面。此时跟踪目标发生了完全遮挡。图4(b)为本发明实施例中发生遮挡时的hog特征滤波器响应结果。此时最大响应值为0.21，apce值为12.54。图4(c)为本发明实施例中发生遮挡时的cn特征滤波器响应结果。此时最大值为0.26，apce值为9.92。图4(d)为本发明实施例中发生遮挡时的融合后的响应结果。对应的最大值为0.21，apce值为17.14。
[0053]
图4(e)为svm重检测器的重检测示意图。根据经验对apce指标设置阈值为20，当最终的响应结果的apce值低于经验阈值时，判定目标发生遮挡，此时启动svm检测器，在目标丢失前的附近区域进行搜索，直到检测到目标。
[0054]
步骤6，根据融合后的响应结果确定目标的位置，依据两种滤波器响应结果的apce值进行各自学习率的调整，进行模型更新。
[0055]
其中，方向梯度直方图特征滤波器和颜色命名特征滤波器的更新独立进行，依据各响应的相关峰平均能量指标调整学习率，根据经验设计了两个阈值,高阈值a为33，低阈值b为25，当评估指标高于阈值a时，学习率固定为0.01，在阈值a与阈值b之间时，根据指标进行学习率的动态调整，在0-0.01间变化，低于阈值b时，不进行模型更新。学习率η调整规则为：
[0056][0057]
本发明还训练了一种软间隔支持向量机用于目标的重检测，使用hog特征来表征目标。该支持向量机的优化问题为：
[0058][0059]
s.t.yi(w
t
xi+b)≥1-ξi，i＝1,2,
…
,m
[0060]
ξi≥0,i＝1,2,
…
,m
[0061]
其中ξ为松弛变量，w为超平面法向量，b为位移项，c为惩罚参数，通过拉格朗日乘子法得到上式的拉格朗日函数，αi≥0，βi≥0为拉格朗日乘子。
[0062]
[0063]
令上式对w、b、ξ的偏导为0，得到下式。
[0064][0065][0066][0067]
得到对偶问题。
[0068][0069][0070]
0≤αi≤c,i＝1,2,...,m
[0071]
求解上式得到α，得到软间隔svm模型，如下式。
[0072][0073]
目标在运动过程中，外观可能发生变化，svm重检测器需要适应这种变化，评估指标较高时，对svm重检测器进行更新，其更新公式如下。
[0074]wt+1
＝w
t
+τiyixi[0075]
τ
t
＝l
t
(||x||2+1/2c)
[0076]
其中，w
t+1
表示更新后的权重向量，(xi,yi)表示样本和标签，l
t
表示损失函数，c为攻击性参数。
[0077]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。