基于多核融合的视频中目标跟踪方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，特别是一种基于多核融合的视频中目标跟踪方法。
【背景技术】
[0002] 目标跟踪的主要任务是从视频序列中对目标状态进行估计。它在实际生活中的很 多领域，如：智能视频监控、智能交通控制、无人机驾驶与导航、体感人机交互以及机器人控 制等，有着重要的应用前景和潜在的商业价值。同时，目标跟踪在军事国防领域，如：智能安 防、反恐等方面也有着重要的应用前景。
[0003] 目标跟踪的主要难点集中在如下几个方面。第一个问题是光照，主要包括光照不 稳定（随场景变化）、光强过高或过低和阴影等难点。第二个问题是姿态变化，主要有大尺 度缩放、大角度旋转以及非刚体运动等难点。第三个问题是背景干扰，主要包括背景的复杂 多变以及背景与目标的相似。第四个问题是遮挡。为了处理上述难点，国内外研究者提出 了非常多算法。近年来，基于分类或检测的跟踪算法因其能有效地处理上述难点而备受关 注。在所有基于分类的目标跟踪算法中，基于在线支持向量机（Online SVM)的目标跟踪算 法是最经典算法之一。
[0004] 在目标跟踪中，很难得到某种通用的特征能处理上述所有的难点。例如，RGB颜色 特征对光照或相似背景相对敏感；边缘特征通常容易受复杂的背景的干扰。因此，在目标跟 踪中使用多特征，并且自适应地融合多特征使之能互相弥补非常重要。
【发明内容】
[0005] (一）要解决的技术问题
[0006] 本发明的目的在于，提供一种基于多核融合的视频中目标跟踪方法，有效地使用 多特征融合策略解决目标跟踪中的主要难题。
[0007] (二）技术方案
[0008] 本发明提供一种基于多核融合的视频中目标跟踪方法，包括：
[0009] 步骤S1，在视频的初始帧，根据目标初始状态，初始化所有粒子；
[0010] 步骤S2,通过改变目标状态，获得正样本，通过在目标周围进行随机采样，获得负 样本；
[0011] 步骤S3,采用正样本和负样本训练支持向量机；
[0012] 步骤S4,在视频的随后帧，以支持向量机的分类结果为观测模型，通过粒子滤波来 跟踪目标。
[0013] (三）有益效果
[0014] 本发明通过使用理想核指导的多核学习方法，自适应地将多特征融合起来用于目 标跟踪，多特征融合能有效地处理目标跟踪中光照、姿态变化以及背景复杂等难点；同时， 本发明使用在线SVM分类作为跟踪方法，能有效地处理背景与目标相似的难点。
【附图说明】
[0015] 图1是本发明实施例提供的基于理想核指导的多核融合目标跟踪方法的流程图；
[0016] 图2是本发明实施例提供的SVM训练的流程图；
[0017] 图3是本发明实施例提供的粒子滤波跟踪的流程图；
[0018] 图4是本发明实施例提供的正负样本获取的示意图；
[0019] 图5是本发明实施例提供的跟踪效果对比的示意图。
【具体实施方式】
[0020] 本发明提供一种基于多核融合的视频中目标跟踪方法，在视频初始帧，通过手工 标注目标的初始状态，生成粒子的初始状态以及权重，通过正负样本训练基于多核融合后 的核的SVM，在随后帧，利用粒子滤波跟踪目标；其中，每个粒子的观测由分类结果定义，在 得到目标的最终估计位置后，每隔一定帧，获得正负样本并替换部分非支持向量的样本。
[0021] 根据本发明的一种实施方式，目标跟踪方法具体包括：
[0022] 步骤S1，在视频的初始帧，根据目标初始状态，初始化所有粒子；
[0023] 步骤S2,通过微小地改变目标状态，获得正样本，通过在目标周围进行随机采样， 获得负样本，其中，正样本是指跟踪目标样本，负样本是指目标附近的背景样本，正负样本 的数量可根据实际需要来设定；
[0024] 步骤S3,采用正样本和负样本训练支持向量机；
[0025] 步骤S4,在视频的随后帧，以支持向量机的分类结果为观测模型，通过粒子滤波来 跟踪目标。
[0026] 根据本发明的一种实施方式，在步骤Sl中，目标初始状态s定义如下：
[0027] s = [x, y, h, w],
[0028] 其中，x表示目标的中心位置的横坐标，y表示目标的中心位置的纵坐标，h表示目 标的高度，w表示目标的宽度，X，y，h，w的单位均为像素；
[0029] 所有粒子在初始化后的初始状态及其对应的权重定义如下：
[0031] 其中，S0表示第i个粒子的状态，N表示粒子的个数（一般可设定为600)。
[0032] 根据本发明的一种实施方式，步骤S3包括：
[0033] 步骤S31，对每一个样本提取多个特征，针对每个特征，计算核矩阵；
[0034] 步骤S32,构造理想核矩阵，并利用理想核矩阵进行多核融合；
[0035] 步骤S33,利用融合后的矩阵，进行支持向量机训练。
[0036] 根据本发明的一种实施方式，多个特征包括RGB颜色特征、梯度方向特征及HUE颜 色特征，其对应的核矩阵为：
[0041] 其中，&为RGB颜色特征对应的核矩阵，K2为梯度方向特征对应的核矩阵，K 3为 HUE颜色特征对应的核矩阵，民和Hk分别表示第j和k个样本的特征直方图，B表示直方图 的总Bin数，Rnxn表示nXn的矩阵，η为样本数量。
[0042] 根据本发明的一种实施方式，理想核矩阵Kldeal的表达式为：
[0044] 根据本发明的一种实施方式，多核融合的定义如下：
[0046] 其中，K_b表示融合后的核矩阵，β i表示非负组合系数，非负组合系数β i通过优 化多核融合目标得到，其目标函数定义如下：
[0049] 其中，λ表示加权系数，在本实施例中λ = 〇. 01，#为均匀加权系数，在本实施 例中万二[I / 3,1 / 3,1 / 3]，K1为第i个特征对应的核矩阵。
[0050] 根据本发明的一种实施方式，训练所述支持向量机的目标函数为：
[0053] a ^ C, i = I, 2, . . . ,n
[0054] 其中，a种α廣示对偶变量，C为正则化参数，y满y』分别为第i个和j个粒 子的标签（标签取1或者〇)。
[0055] 根据本发明的一种实施方式，支持向量机f的定义如下：
[0057] 其中，K(i,)表不样本与第i个样本形成的核，b表不分类器的偏置项。
[0058] 根据本发明的一种实施方式，步骤S4包括：
[0059] 步骤S41，对所述粒子进行状态转移；
[0060] 步骤S42,基于所述支持向量机的分类结果，将所述粒子的权重更新；
[0061] 步骤S43,根据新的权重计算目标的位置；
[0062] 步骤S44,根据新的权重，重采样得到新粒子。
[0063] 根据本发明的一种实施方式，采用状态转移函数对所述粒子进行状态转移，所述 状态转移函数P定义如下：
[0065] 其中，GauDist (·)表示以S丨_丨为均值、Σ为协方差的高斯随机函数，Sh表示第t-1 时刻第i个粒子的状态。
[0066] 根据本发明的一种实施方式，粒子的权重更新的定义如下：
[0068] 其中，表示第t-Ι时刻第i个粒子的权重，f为SVM分类器的输出结果，仁表 示第t帧图像，A和B是系数。
[0069] 根据本发明的一种实施方式，目标位置计算表达式为：
[0071 ] 其中，<和％分别表示第t时刻第i个粒子的状态和权重。
[0072] 根据本发明的一种实施方式，在随后帧中进行目标跟踪时，通过替换非支持向量 的样本来对所述样本进行更新。
[0073] 本发明通过使用理想核指导的多核学习方法，自适应地将多特征融合起来用于目 标跟踪，多特征融合能有效地处理目标跟踪中光照、姿态变化以及背景复杂等难点；同时， 本发明使用在线SVM分类作为跟踪方法，能有效地处理背景与目标相似的难点。
[0074] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0075] 图1是本发明实施例提供的基于理想核指导的多核融合目标跟踪方法的流程图， 如图1所示，方法包括：
[0076] 步骤Sl，在视频的初始帧，根据目标初始状态，初始化所有粒子。其中，目标初始状 态s定义如下：
[0077] s = [x, y, h, w],
[0078] 其中，x表示目标的中心位置的横坐标，y表示目标的中心位置的纵坐标，h表示目 标的高度，W表示目标的宽度，X，y，h，W的单位均为像