基于多特征和组稀疏的视觉目标跟踪方法与流程

本发明属于视觉目标跟踪领域，尤其是一种基于多特征和组稀疏的视觉目标跟踪方法。
背景技术：
：基于视频的运动目标跟踪技术作为计算机视觉领域的核心研究课题之一，主要目的是模仿生理视觉系统的运动感知功能，通过对摄像头捕捉到的图像序列进行分析，计算出运动目标在每一帧图像中的二维坐标位置；然后，根据运动目标相关的特征值，将图像序列中连续帧间的同一运动目标关联起来，得到每帧图像中目标的运动参数以及相邻帧图像间运动目标的对应关系，从而得到各个运动目标完整的运动轨迹，即在连续的视频序列中建立运动目标的对应关系。基于稀疏表示和字典学习的视觉目标跟踪方法核心是构建目标的稀疏表示模型。XueMei(XueMeiandHaibinLing,“Robustvisualtrackingusingl1minimization,”inComputerVision,2009IEEE12thInternationalConferenceon.IEEE,2009,pp.1436-1443.)等人提出了一种基于L1范数最优化的稀疏表示模型。其核心是用第一帧和最近几帧得到的图像(特征)作为字典，在新的候选目标中，利用L1最小二乘准则投影到这一组字典上，找出实际目标。TianzhuZhang等人(TianzhuZhang,BernardGhanem,SiLiu,andNarendraAhuja,“Robustvisualtrackingviamulti-tasksparselearning,”inComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012,pp.2042–2049.)在此基础上通过引入多任务稀疏学习，进一步优化了候选粒子和稀疏求解结果。XiangyuanLan等人(XiangyuanLan,AndyJinhuaMa,andPongChiYuen,“Multi-cuevisualtrackingusingrobustfeature-levelfusionbasedonjointsparserepresentation,”inComputerVisionandPatternRecognition(CVPR),2014IEEE.Conferenceon.IEEE,2014,pp.1194–1201.)提出了一种多特征融合的目标跟踪方法，通过引入多特征以及特征融合，增加了目标跟踪的精度。虽然上述方法在一定程度上可以进行目标跟踪，但是，也均存在精确度不高、稳定性差等问题。技术实现要素：本发明的目的在于克服现有技术的不足，提供一种设计合理、精度高且稳定性强的基于多特征和组稀疏的视觉目标跟踪方法。本发明解决其技术问题是采取以下技术方案实现的：一种基于多特征和组稀疏的视觉目标跟踪方法，包括以下步骤：步骤1、在视频当前帧中对目标进行多特征提取，所提取特征包括灰度特征、颜色特征和LBP特征；步骤2、利用多特征信息构造不同特征下的学习字典，利用二维仿射变换对目标图像进行映射，转换成一个固定大小的矩形区域；步骤3、在新视频帧中进行粒子采样，采样按照高斯分布：在上一帧的目标附近放置更多的粒子，远离目标的区域放置较少的粒子；步骤4、采用边界粒子重采样以去除不合格的粒子，然后对剩下的粒子求解稀疏优化方程；步骤5、更新模板，考察本帧结果和最大系数模板的余弦相似度，如果相似度低于某一个值，则用当前模板替换系数最小的模板；步骤6、若视频未结束，则重采样，生成下一帧跟踪所需的n个粒子，返回步骤3。所述步骤2中构造不同特征下的学习字典包含目标模板和琐碎模板，该学习字典的构建方法包括以下步骤：⑴通过仿射变换将高维的原始目标图像特征转换为低维的图像特征，同时目标区域发生形变时，不同形状的区域目标进行统一性测量计算；仿射变换通过平移、缩放、翻转、旋转和错切方法实现，矩阵运算表示为：x′y′1=a11a12a13a21a22a23001xy1]]>其中x，y为原始点的坐标，x′，y′为变换后的点坐标，a11，a12，a13，a21，a22，a23是仿射变换的六个系数；⑵对经过仿射变换后的目标图像区域进行特征提取，每一个特征的学习字典构成为：D＝(TI)，其中目标模板集T＝t1，t2，…，tl，I是琐碎模板。所述步骤3的具体实现方法为：计算样本状态xt的观测似然概率p(zt|xt)，对于样本状态集S＝x1，x2，…，xn，以及候选目标集O＝y1，y2，…，yn，稀疏优化表示为：yti=TtaTi+IaIj,∀yti∈Ot]]>其中i表示第i个粒子，a＝aTaI表示稀疏系数。所述步骤4边界粒子重采样采用t测试方法实现，包括以下步骤：(1)计算所有粒子观测概率上界：p(z|x)=1Γexp-α||yi-TaTi||22=q(z|xi)]]>并对它们进行排序：q1≥q2≥…≥qn，i＝1；(2)如果i≤n，根据每个样本状态的观测似然概率：p(z|x)=1Γexp-α||yi-TaTi||22]]>利用计算出τi+1，如果i>n，则跳到步骤(4)；(3)如果qi≥τi，则i＝i+1，并且返回步骤(2)继续求解；如果qi≤τi，则qi，qi+1，…，qn对应的粒子都将被舍弃；(4)对剩下的粒子进行重采样。所述步骤4求解稀疏优化方程的方法包括以下步骤：(1)构造分组字典：D＝D1，D2，…Dg，在多特征下，加入琐碎模板后的字典表示为：Xk＝Dk，I，K表示采用了k种描述特征；(2)建立组稀疏数学优化模型：其中，分组系数优化表示为：Ωak=||||a1k||2,||a2k||,...,||agk||||=Σi=1g||aik||2]]>将权重q分配到各组中，联合表示为：minw12Σk=1K||yk-Xkak||22+λΩa,s.t.a=z||zk||θ,2,1:=Σi=1gθi||zik||2.]]>所述稀疏模型采用交替方向乘子法实现，其实现方法包括以下步骤：(1)初始化向量z，λ1，λ2以及大于零的系数β1，β2，γ1，γ2；(2)式子未收敛或循环次数未达到时，进行如下计算：a←β1I+β2XTXβ1z-λ1+β2XTy+XTλ2Z←Shrink(a+1β1λ1,θβ1)]]>λ1←λ1-γ1β1z-aλ2←λ2-γ2β2Xa-y。所述步骤5中模板更新采用实时更新的策略，更新步骤如下：(1)y是在新的帧内找到的目标，ak表示在第k个特征下目标模板的系数，特征选择根据观测概率方程决定：pyt|xt=1βΣk=1Kexp-α||ytk-Dtkatk||]]>选取能使该方程取值最大的特征作为当前有效特征；(2)计算新目标y与各个模板T＝t1，t2，…，tl的相似度，其相似度使用余弦相似度来度量：cosy,ti=y·ti|y||ti|,i=1,2,...l]]>计算平均相似度：1lΣi=1lcosy,ti]]>并设一个经验阈值η，当平均相似度低于η时把相似度最低的模板替换。所述步骤6中重采样采用序贯重要性采样算法，其方法如下：以状态转移变量的转移概率密度函数pxk|xk-1作为重要性概率密度函数，粒子的权值为：wti=wt-1ipyt|xti]]>在重采样时，忽略低权重的粒子，对高权重的粒子不断复制。本发明的优点和积极效果是：本发明融合了多特征、粒子滤波、组稀疏学习技术，其通过跟踪物体的多种特征使得构造的字典中含有更丰富的目标信息；其运用了一种新的组稀疏求解方法，该方法能够更精确的匹配潜在目标，增加了整体算法的跟踪精度；并且在粒子滤波框架下跟踪结果有很大的稳定性，利用交替方向乘子法解决算法构成的数学模型，获得了很好的视觉目标跟踪结果。附图说明图1是本发明与其他不同算法获得的跟踪结果AUC曲线对比图；图2是本发明与其他不同算法的跟踪结果对比图。具体实施方式以下结合附图对本发明实施例做进一步详述：一种基于多特征和组稀疏的视觉目标跟踪方法，包括以下步骤：步骤1、在视频当前帧中对目标进行多特征提取，提取的特征有灰度特征、颜色特征、LBP特征。本发明利用多特征对跟踪目标进行描述，使用的特征包括：灰度特征、颜色特征和LBP特征。灰度特征是最常用的全局特征，灰度化之后的图片所含信息量大大减小，所需的计算量也相应的大幅减小。颜色特征描述了图像或图像区域所对应的景物的表面性质，在彩色图像的目标跟踪中发挥着重要作用。LBP特征是一种用来描述局部纹理特征的算子，具有旋转不变性和灰度不变性等优点，所提取的是局部纹理特征。步骤2、利用多特征信息构造学习字典，利用二维仿射变换对目标图像进行映射，转换成一个固定大小的矩形区域，以降低特征的维度。所述构造学习字典构成包括以下步骤：(1)通过仿射变换可以将高维的原始目标图像特征转换为低维的图像特征，同时目标区域发生形变时，不同形状的区域目标进行统一性测量计算。仿射变换通过一系列的原子变换的复合实现，包括：平移(Translation)，缩放(Scale)，翻转(Flip)，旋转(Rotation)和错切(Shear)。矩阵运算表示为：x′y′1=a11a12a13a21a22a23001xy1]]>其中x，y为原始点的坐标，x′，y′为变换后的点坐标，a11，a12，a13，a21，a22，a23是仿射变换的六个系数。(2)对经过仿射变换后的目标图像区域进行特征提取，每一个特征其学习字典构成为：D＝(TI)。其中目标模板集T＝t1，t2，…，tl，I是单位矩阵，即琐碎模板。步骤3、在新的视频帧中进行粒子采样，采样按照高斯分布：在上一帧的目标附近放置更多的粒子，远离目标的区域放置较少的粒子。其中，每一个粒子代表一个候选目标。具体处理方法为：目标搜索在整幅图像进行，并由粒子分布决定。在本文跟踪算法中，稀疏表示的作用就是计算样本状态xt的观测似然概率p(zt|xt)。对于样本状态集S＝x1，x2，…，xn，以及候选目标集O＝y1，y2，…，yn，稀疏优化思想可以表示为：yti=TtaTi+IaIi,∀yti∈Ot]]>其中i表示第i个粒子，a＝aTaI表示稀疏系数。步骤4、边界粒子重采样，去除一些不合格的粒子，对剩下的粒子求解稀疏优化方程，采用组稀疏的优化策略：将目标模板(targettemplate)赋予更高的统一权重；将琐碎模板(trivialtemplate)赋予更低的统一权重。重采样可用t测试方法，步骤如下：(1)计算所有粒子观测概率上界：p(z|xi)≤1Γexp-α||Ta-yi||22=q(z|xi)]]>并对它们进行排序：q1≥q2≥…≥qn，i＝1。(2)如果i≤n，根据每个样本状态的观测似然概率：p(z|x)=1Γexp-α||yi-TaTi||22]]>利用计算出τi+1，如果i>n，则跳到步骤4.(3)如果qi≥τi，则i＝i+1，并且返回步骤2继续求解；如果qi≤τi，则qi，qi+1，…，qn对应的粒子都将被舍弃。(4)对剩下的粒子进行重采样。为了更精确的匹配潜在目标，本发明构造了一种基于组稀疏学习的优化策略。步骤如下：(1)构造分组字典：D＝D1，D2，…Ｄg。在多特征下，加入琐碎模板后的字典表示为：Xk＝Dk，I，K表示采用了k种描述特征。(2)建立组稀疏数学优化模型：minw12Σk=1K||yk-Xkak||22+λΩa]]>其中分组系数优化表示为：Ωak=||||a1k||2,||a2k||,...,||agk||||=Σi=1g||aik||2]]>将权重q分配到各组中，联合表示为：minw12Σk=1K||yk-Xkak||22+λΩa,s.t.a=z||zk||θ,2,1:=Σi=1gθi||zik||2]]>本专利采用交替方向乘子法解决多特征的组稀疏模型，交替方向乘子法步骤如下：初始化向量z，λ1，λ2；以及大于零的系数β1，β2，γ1，γ2。式子未收敛或循环次数未达到时计算下面式子：a←β1I+β2XTXβ1z-λ1+β2XTy+XTλ2Z←Shrink(a+1β1λ1,θβ1)]]>λ1←λ1-γ1β1z-aλ2←λ2-γ2β2Xa-y。步骤5、更新模板，每次计算都可得到每一个目标模板的系数，系数越大模板权重越大。考察本帧结果和最大系数模板的余弦相似度，如果相似度低于某一个值，则用当前模板替换系数最小的模板。模板更新采用实时更新的策略，更新步骤如下：(1)y是在新的帧内找到的目标，ak表示在第k个特征下目标模板的系数，特征选择根据观测概率方程决定：pyt|xt=1βΣk=1Kexp-α||ytk-Dtkatk||]]>选取能使该方程取值最大的特征作为当前有效特征。(2)计算新目标y与各个模板T＝t1，t2，…，tl的相似度，其中它们的相似度使用余弦相似度来度量：cosy,ti=y·ti|y||ti|,i=1,2,...1]]>为了避免频繁替换模板带来的抖动问题，我们计算平均相似度：1lΣi=1lcosy,ti]]>并设一个经验阈值η，当平均相似度低于η时把相似度最低的模板替换。步骤6、若视频未结束，则重采样，生成下一帧跟踪所需的n个粒子，返回步骤3。具体方法为：重采样采用了序贯重要性采样算法。以状态转移变量的转移概率密度函数pxk|xk-1作为重要性概率密度函数，粒子的权值为：wti=xt-1ipyt|xti]]>重采样算法忽略低权重的粒子，对高权重的粒子不断复制。为了克服权值退化问题，即数次迭代后只有少数粒子的权值较大，需要再给粒子加一个随机量，在附近分散一下粒子。下面按照本发明方法进行实验，说明本实验的实验效果。测试环境：VisualStudio2010,MATLAB2013b测试序列：所选序列和其对应标准跟踪位置图(GroundTruth)来自OTB(Y.Wu,J.Lim,andM.-H.Yang.Onlineobjecttracking:Abenchmark.InProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,2013),测试序列分别为：测试指标：本文使用了两种评价指标，分别为CLE和VOR。其中CLE是中心位置误差，表示跟踪到的目标位置和真实的标注位置的中心位置像素距离。CLE忽略了目标大小的影响，作为补充考虑VOR准则，VOR定义为跟踪的目标区域和真实区域的交集和并集的比值。测试结果如图一所示，曲线与坐标轴下面围成的面积越大，说明跟踪效果越好。通过上表及图1、图2可以看出，采用本发明进行目标跟踪相对于其他方法具有一定的优越性。在图1中，算法越靠上说明其鲁棒性越好，该图可以直观的看出每一个算法的综合能力。本发明所提出的算法相对于较有名的Struck、DLT和SCM算法在这些测试序列上都取得更好效果。在图2中，所测试的序列包含了快速运动目标，如Deer序列；以及复杂背景下的目标的跟踪，如Football、singer2序列；并且在行人场景的跟踪也取得了很好的效果，如Walking、Couple、Jogging和Subway序列。在发生部分遮挡的情况下也有较好的表现，如Coke、David3序列；在图像分辨率较低、跟踪目标信息量较少的情况下也能准确跟踪目标，如Skiing、Girl序列。需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。当前第1页1 2 3