一种基于可靠性的多层深度特征目标跟踪方法

本发明涉及一种基于可靠性的多层深度特征目标跟踪方法，属于网络通信技术领域。

背景技术：

目标跟踪是计算机领域中的研究热点，在视频监控、人机交互、智能交通等领域具有广泛的应用。视觉跟踪任务的目标是在图象序列中检测连续运动的物体，获得物体的运动信息，进一步提取物体运动轨迹，并对物体进行运动分析，从而实现对物体运动行为的理解。由于跟踪场景的多样性和复杂性，现有目标跟踪算法对目标进行判别和定位依然不够准确，如何进一步提升现有目标跟踪算法的性能具有十分重要的研究意义。

浅层特征主要集中在低层信息上，如形状、纹理、颜色等，对定位精度影响较大；深层特征具有丰富的语义信息，应对复杂跟踪场景时有较强的鲁棒性，如形变、运动模糊等，但因分辨率低丢失了较多的空间细节。因此，如何在复杂跟踪场景中综合利用浅层和深层信息是亟需解决的问题。

现有的技术缺陷：传统基于相关滤波的目标跟踪方法使用的都是使用单一特征来表示目标，导致特征对当前跟踪目标的表达力不够，特别是背景中有相似目标干扰时，跟踪器无法判别，甚至跟踪失败。

技术实现要素：

针对上述现有技术存在的问题，本发明提供一种基于可靠性的多层深度特征目标跟踪方法，利用不同层特征在跟踪场景的鉴别能力不一，采取通道可靠性来融合不同层特征的定位信息；在跟踪过程中，采用尺度池技术对目标尺寸进行实时更新，并将上一帧所提取的特征与原始模板特征进行融合，得到鲁棒性更强跟踪模型。

为了实现上述目的，本发明采用如下技术方案：一种基于可靠性的多层深度特征目标跟踪方法，包括如下步骤：

步骤s1、根据视频序列第一帧输入图片i1和目标框，以及后续输入图片it，t∈[2，n]，n为视频序列总帧数，(x，y)为中心点坐标，c＝(cw，ch)为目标尺度；

步骤s2、采用训练好的vgg-net-19网络提取当前帧的目标特征，根据网络特性，分别提取conv3-4、conv4-4、conv5-4三层特征描述目标，记为f^d，d＝1,2,3；

步骤s3、将f^d，d＝1,2,3作为送入相关滤波器的输入特征，得到相应的响应图r^d，d＝1,2,3；

步骤s4、分别求解响应图r^d，d＝1,2,3的四个性能指标：响应图峰值、峰值旁瓣比、平均峰值相关能量、次主峰和主峰比，分别记为rmax(r^d)、rpsr(r^d)、rapce(r^d)、rrsfmp(r^d)，d＝1,2,3；

步骤s5、求取不同输入特征的可靠性并进行归一化，分别为k^d，d＝1,2,3；

步骤s6、依据可靠性加权融合三种输入特征的定位信息，得到最终响应图r，并得到目标定位信息；

步骤s7、采用尺度池技术对目标尺度进行估计，并进行更新，得到最新的目标尺度c＝(cw，ch)；

步骤s8、对目标模型进行更新；

步骤s9、重复步骤s2-s8，直至当前序列所有帧跟踪结束。

进一步地，所述步骤s3中获取响应图r^d，d＝1,2,3的求解过程分为训练、检测两个部分，具体步骤为：

步骤s31、将f^d，d＝1,2,3作为相关滤波器的输入特征，通过argmin∑||w^d*f^d-y||²+λ||w^d||²训练滤波器参数，其中，*为相关操作，w^d为相关滤波器参数，y为标准二维高斯分布标签，λ为正则化系数，取0.0001；可以得到滤波器参数为其中，f^d为f^d傅立叶变换，(f^d)^h为f^d的共轭，y为y的傅立叶变换，y^h为y的共轭；

步骤s32、通过傅立叶反变换求解得到f^d的响应图为其中，f^-1为傅立叶反变换，z为候选区域的特征表示，为点乘操作。

进一步地，所述步骤s4中对响应图的四个指标进行求解的具体步骤包括：

步骤s41、响应图峰值rmax(r^d)为响应图最大值指标，rmax(r^d)＝max(r^d)，峰值越大说明主峰分辨能力越强；

步骤s42、峰值旁瓣比rpsr(r^d)的计算公式为：其中，μ(r^d)为响应图r^d的均值，σ(r^d)为响应图r^d的标准差，rpsr(r^d)越大说明响应图越可靠；

步骤s43、平均峰值相关能量rapce(r^d)为响应图平均峰值相关能量指标，用于反映响应图的平均波动程度和检测目标的置信水平，其计算公式为其中，min(r^d)为响应图中最小值，r^d(i，j)为响应图中坐标位置为(i,j)的响应值；

步骤s44、次主峰和主峰比rrsfmp(r^d)为响应图次主峰和主峰比指标，用于衡量响应图主模式的突出性，rrsfmp(r^d)越大，主峰突出性越好；其计算公式为rrsfmp(r^d)＝1-min(rpeak2(r^d)/rpeak1(r^d),0.5)，其中，rpeak1(r^d)为响应图中第一主峰的峰值，rpeak1(r^d)＝rmax(r^d)；rpeak2(r^d)为响应图中的第二主峰的峰值，第一主峰和第二主峰是不相毗连的。

进一步地，所述步骤s5中求取不同输入特征的可靠性并进行归一化的具体步骤为：

步骤s51、计算每个通道的可靠性，k^d'＝rmax(r^d)·rpsr(r^d)·rapce(r^d)·rrsfmp(r^d)，d＝1,2,3；

步骤s52、对计算得到每个通道的可靠性进行归一化，归一化公式为

进一步地，所述步骤s6中融合后的响应图得到最终的定位信息为最终置信图的峰值处。

进一步地，所述s7中采用尺度池技术对目标尺度进行估计，设定尺度池为s＝{s1,s2,...,sk}，即跟踪过程中对这些尺度{sicsi∈s}进行分别计算，选出可靠性系数最大作为当前帧的尺寸，具体计算步骤为：

步骤s71、设定尺度池为s＝{0.8,0.85,0.9,0.95,1.0,1.05,1.1,1.15,1.2}，对这些尺寸进行分别估算，通过选取当前表现性能最好的尺寸；

步骤s72、为保证目标尺寸平稳，对尺寸进行平缓更新，ct+1＝(1-γ)ct+γct+1，γ为目标尺寸学习率，取0.2。

进一步地，所述步骤s8中对目标模型进行更新是将相关滤波器分成分母和分子两部分进行分别更新，其中，为分子部分，为分母的一部分，具体更新步骤为：

步骤s81、进行分子部分更新，d＝1,2,3；其中，β为相关滤波器模型学习率，取值0.01；

步骤s82、进行分母更新，d＝1,2,3。

与现有的技术相比，本发明具有如下优点：

第一，同时使用了vgg-net-19网络中的浅层结构特征和深层结构特征，提高了模型的表征能力，实现更精确的目标定位；

第二，通过引入不同指标综合衡量了各输入特征响应图的可靠性，提高了模型的泛化能力；

第三，在目标跟踪过程中引入了尺度池技术，提高了跟踪模型应对复杂场景中目标尺度变化的能力；

第四，在目标跟踪过程中采用了模板更新机制，提升了跟踪模型应对跟踪场景中目标表征变化和外界干扰的鲁棒性；

最终，通过各个环节的配合，相较于现有常用对比算法展现出了更优的跟踪精度和成功率。

附图说明

图1为本发明的结构示意图；

图2为本发明的流程图；

图3为vgg-net-19网络各层输出示意图；

图4为本发明和现有常用目标跟踪算法在otb100标准数据集上综合精度的对比仿真图；

图5为本发明和现有常用目标跟踪算法在otb100标准数据集上跟踪成功率的对比仿真图。

具体实施方式

下面结合附图对本发明实施中的技术方案进行清楚，完整的描述，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图5所示，本发明提供的一种基于可靠性的多层深度特征目标跟踪方法，包括如下步骤：

步骤s1、根据视频序列第一帧输入图片i1和目标框，以及后续输入图片it，t∈[2，n]，n为视频序列总帧数，(x，y)为中心点坐标，c＝(cw，ch)为目标尺度；

步骤s2、采用训练好的vgg-net-19网络提取当前帧的目标特征，根据网络特性，分别提取conv3-4、conv4-4、conv5-4三层特征描述目标，记为f^d，d＝1,2,3；

步骤s3、将f^d，d＝1,2,3作为送入相关滤波器的输入特征，得到相应的响应图r^d，d＝1,2,3；整个求解过程分为训练、检测两个部分，其具体步骤为：

步骤s31、将f^d，d＝1,2,3作为相关滤波器的输入特征，通过argmin∑||w^d*f^d-y||²+λw^d||²训练滤波器参数，其中，*为相关操作，w^d为相关滤波器参数，y为标准二维高斯分布标签，λ为正则化系数，取0.0001；可以得到滤波器参数为其中，f^d为f^d傅立叶变换，(f^d)^h为f^d的共轭，y为y的傅立叶变换，y^h为y的共轭；

步骤s32、通过傅立叶反变换求解得到f^d的响应图为其中，f^-1为傅立叶反变换，z为候选区域的特征表示，为点乘操作；

步骤s4、分别求解响应图r^d，d＝1,2,3的四个性能指标：响应图峰值、峰值旁瓣比、平均峰值相关能量、次主峰和主峰比，分别记为rmax(r^d)、rpsr(r^d)、rapce(r^d)、rrsfmp(r^d)，d＝1,2,3；四个性能指标求解的具体步骤包括：

步骤s41、响应图峰值rmax(r^d)为响应图最大值指标，rmax(r^d)＝max(r^d)，峰值越大说明主峰分辨能力越强；

步骤s42、峰值旁瓣比rpsr(r^d)的计算公式为：其中，μ(r^d)为响应图r^d的均值，σ(r^d)为响应图r^d的标准差，rpsr(r^d)越大说明响应图越可靠；

步骤s43、平均峰值相关能量rapce(r^d)为响应图平均峰值相关能量指标，用于反映响应图的平均波动程度和检测目标的置信水平，其计算公式为其中，min(r^d)为响应图中最小值，r^d(i，j)为响应图中坐标位置为(i,j)的响应值；

步骤s44、次主峰和主峰比rrsfmp(r^d)为响应图次主峰和主峰比指标，用于衡量响应图主模式的突出性，rrsfmp(r^d)越大，主峰突出性越好；其计算公式为rrsfmp(r^d)＝1-min(rpeak2(r^d)/rpeak1(r^d),0.5)，其中，rpeak1(r^d)为响应图中第一主峰的峰值，rpeak1(r^d)＝rmax(r^d)；rpeak2(r^d)为响应图中的第二主峰的峰值，第一主峰和第二主峰是不相毗连的；

步骤s5、求取不同输入特征的可靠性并进行归一化，分别为k^d，d＝1,2,3；整个过程分为求取可靠性和归一化两部分，其详细步骤为：

步骤s51、计算每个通道的可靠性，k^d'＝rmax(r^d)·rpsr(r^d)·rapce(r^d)·rrsfmp(r^d)，d＝1,2,3；

步骤s52、对计算得到每个通道的可靠性进行归一化，归一化公式为

步骤s6、依据可靠性加权融合三种输入特征的定位信息，得到最终响应图r，并得到目标定位信息；其中，响应图得到最终的定位信息为r的峰值处；

步骤s7、采用尺度池技术对目标尺度进行估计，并进行更新，得到最新的目标尺度c＝(cw，ch)；设定尺度池为s＝{s1,s2,...,sk}，即跟踪过程中对这些尺度{sic|si∈s}进行分别计算，选出可靠性系数最大作为当前帧的尺寸，具体计算步骤为：

步骤s71、设定尺度池为s＝{0.8,0.85,0.9,0.95,1.0,1.05,1.1,1.15,1.2}，对这些尺寸进行分别估算，通过选取当前表现性能最好的尺寸；

步骤s72、为保证目标尺寸平稳，对尺寸进行平缓更新，ct+1＝(1-γ)ct+γct+1，γ为目标尺寸学习率，取0.2；

步骤s8、由于波器的训练会受到目标形变、尺度变化、遮挡等因素影响，出现漂移现象，故需对目标模型进行更新；具体的，更新是将相关滤波器分成分母和分子两部分进行分别更新，其中，为分子部分，为分母的一部分，详细步骤为：

步骤s81、进行分子部分更新，d＝1,2,3；其中，β为相关滤波器模型学习率，取值0.01；

步骤s82、进行分母更新，d＝1,2,3；

步骤s9、重复步骤s2-s8，直至当前序列所有帧跟踪结束。

上述步骤s1-s6为目标跟踪过程，步骤s7为目标尺度更新过程，步骤s8为跟踪模型更新过程，三者结合一起构成完整的目标跟踪过程，在实际的目标跟踪过程中，通过重复步骤s1-s8，完成整个目标跟踪，目标跟踪的位置信息由其中的步骤s6和步骤s7得到。

为了验证本发明基于可靠性的多层深度特征目标跟踪方法(amultipledeepfeaturevisualtrackingalgorithmbasedonreliability，mdpr)的有效性，将其应用在otb100数据集上进行对比实验，对比算法主要有目前常用的目标跟踪算法，具体如下：

对比算法1、ct(zhangk,leiz,yangmh.real-timecompressivetracking[c]//proceedingsofeuropeanconferenceoncomputervision,2012:864-877.)；

对比算法2、csk(henriquesjf,caseiror,martinsp,etal.exploitingthecirculantstructureoftracking-by-detectionwithkernels[c]//proceedingsofeuropeanconferenceoncomputervision,2012:702-715.)；

对比算法3、mosse_ca(bolmeds,beveridgejr,draperba,etal.visualobjecttrackingusingadaptivecorrelationfilters[c]//2010ieeeconferenceoncomputervisionandpatternrecognition,2010:2544-2550.)；

对比算法4、samf(liy,zhuj.ascaleadaptivekernelcorrelationfiltertrackerwithfeatureintegration[c]//proceedingsofeuropeanconferenceoncomputervision,2014:254-265.)

对比算法5、dcf_ca(henriquesjf,caseiror,martinsp,etal.high-speedtrackingwithkernelizedcorrelationfilters[j].ieeetransactionsonpatternanalysisandmachineintelligence,2015,37(3):583-596.)；

对比算法6、rpt(liy,zhuj,hoisch.reliablepatchtrackers:robustvisualtrackingbyexploitingreliablepatches[c]//proceedingsofieeeconferenceoncomputervisionandpatternrecognition,2015:353-361.)；

对比算法7、kcf_mtsa(bibia,ghanemb.multi-templatescale-adaptivekernelizedcorrelationfilters[c]//proceedingsofieeeinternationalconferenceoncomputervisionworkshop,2015:613-620.)。

对比仿真实验过程中采用定量分析，即通过计算评价指标判断跟踪性能。实验中采用的评价指标有跟踪精度(precision)和跟踪成功率(successrate)，其对应的对比仿真实验结果如图4和图5所示，图4中横坐标表示算法估计的目标位置的中心点与人工标注的目标中心点距离阈值，纵轴表示小于此阈值的帧数占总帧数的比率，即预测精度；图5中横坐标表示算法估计的目标边界框面积与人工标注的目标的边界框的重合率阈值，纵轴表示小于此阈值的帧数所占总帧数百分比，即成功率。

结合图4和图5可见，本发明mdpr在otb100数据集上均较上述对比算法展现出更优的跟踪精度和成功率，综合精度为79.3％，成功率为75.1％。

综上所述，本发明在光照变化、旋转变化和尺寸变化等复杂场景中，通过计算通道的可靠性来衡量不同层特征的表征能力，进而融合不同层特征的定位信息，得到更精确的目标位置信息；在跟踪过程中，采用尺度池技术对目标尺寸进行实时更新，并将上一帧所提取的特征与原始模板特征进行融合，得到鲁棒性更强跟踪模型。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。