一种基于颜色聚类补充学习的视频跟踪方法与流程

本发明涉及一种基于颜色聚类补充学习的视频跟踪方法，属于图像处理技术领域。

背景技术

视觉目标跟踪是指从摄像机记录的视频序列中连续地推断特定目标运动状态轨迹的技术，是计算机视觉研究中非常重要的一个研究课题,可用于自动监控、机器人导航、人机接口等很多应用领域。目标跟踪不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究，也成为很多实用的计算机视觉系统必不可少的一个环节。尽管目标跟踪对于人类视觉系统而言是一个非常简单的任务，但对于计算机视觉而言，现有的目标跟踪算法性能还远没有达到人类视觉系统的智能。主要困难在于自然场景中的目标跟踪不仅要解决如何将目标与周围相似的背景区分开来，还要解决跟踪过程中目标由于姿态、光照和遮挡等因素导致的外观变化,需要有效地处理快速运动、遮挡，光照影响，背景杂波等多方面的问题。

目前，已有一些基于相关滤波的视频目标跟踪算法被用于进行快速的视频单目标跟踪，其中具有代表性的是基于补充学习的实时目标跟踪算法。但是，这些基于补充学习的实时目标跟踪算法仅仅利用了固定的颜色量化方法来统计直方图，而并没有有效利用颜色本身的分布情况，使得目标遇到光照剧烈变化或者背景混乱等干扰时，把背景或前景中少量出现的噪声颜色统计成普通特征，造成学到的颜色分类器效果不佳，容易导致跟踪失败。

技术实现要素：

本发明要解决的技术问题是针对现有目标跟踪算法中颜色量化方法单一、容易导致跟踪失败的缺点，提出一种基于颜色聚类补充学习的视频跟踪方法，通过聚类和统计颜色直方图，学到更有效的颜色聚类补充学习器并与传统的相关滤波学习器相融合，使得跟踪算法在处理问题时更加稳健准确。

为解决上述技术问题，本发明提供一种基于颜色聚类补充学习的视频跟踪方法，包括输入上一帧状态及分类参数、对目标区域颜色聚类、根据聚类中心统计出直方图、计算颜色响应、计算相关滤波响应、颜色响应和相关滤波响应融合、更新分类器参数、输出当前帧状态及分类器参数，具体包括以下步骤：

(1)输入上一帧的跟踪结果以及上一帧训练好的分类器参数，这两个参数是前一帧的输出结果，可直接获得；

(2)对目标区域进行颜色聚类，根据上一帧跟踪结果，以其为中心在目标周围获取样本图片，然后对图片的原始(rgb)颜色特征u进行k均值聚类，得到若干个聚类中心ci，聚类中心通过下式获得：

其中，u是每个像素的rgb颜色值，ci是求得的第i个聚类中心；

(3)根据像素点u(每个像素的rgb颜色值)和聚类中心ci之间的欧式距离计算出距离向量，然后把该像素点归结到该聚类中心，根据聚类中心统计出聚类过的直方图，最后得到直方图各个柱所对应的编号ψ[u]；

(4)计算颜色响应rcc(u)，计算公式为rcc(u)＝β^ttψ[u]；其中，β^t是学到的颜色分类器系数，ψ[u]是得到的聚过类的颜色直方图编号特征，t是转置；

(5)通过训练出的岭回归分类器计算相关滤波响应rcf，训练出的岭回归分类器为其中，f^-1是傅立叶逆变换，是核化相关滤波器系数，是核化自相关向量；

(6)进行颜色响应和相关滤波响应融合，对颜色响应和相关滤波响应进行线性相加，计算公式为r＝ηrcc+(1-η)rcf，其中，rcf是相关滤波响应，rcc是颜色响应，η是融合系数；

(7)更新颜色分类器和相关滤波分类器参数，即用当前帧的结果对相关滤波器进行更新；

(8)输出当前帧状态，即当前帧的跟踪结果，输出颜色分类器和相关滤波分类器参数，用于下一帧的跟踪。

所述步骤(1)中的上一帧状态和分类器参数是之前t-1帧时输出的结果。

所述步骤(2)中的目标区域，是根据上一帧状态得到的固定尺寸的区域。

所述步骤(3)中的直方图，是根据步骤(2)的聚类中心统计出的直方图。

所述步骤(4)中的颜色响应是根据统计出的颜色直方图计算得到。

所述步骤(5)中的融合颜色响应和相关滤波响应是从融合后的最终响应中找到响应最大的值。

所述步骤(6)中融合系数η的取值是0.3。

所述步骤(7)中的当前帧状态和分类器参数是通过步骤(5)和步骤(6)得到的。

所述分类器参数包含颜色分类器参数和相关滤波分类器参数。

本发明提出的基于颜色聚类补充学习的视频跟踪方法有效地利用了颜色分布的信息，通过聚类和统计颜色直方图，学到更有效的颜色聚类补充学习器并与传统的相关滤波学习器相融合，在目标发生遮挡、旋转、尺度变化、快速运动、光照变化等各种复杂情况下，依然可以准确地跟踪目标，显著地提高了跟踪算法的精度和稳健性。具有处理问题时更加稳健准确、适应性强、跟踪效果好等优点。

附图说明

图1为本发明方法的流程图。

图2为本发明实施例与其它主流跟踪算法的成功率对比图。

图3为本发明实施例与其它主流跟踪算法的精度对比图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详尽描述，实施例中未注明的技术或产品，均为现有技术或可以通过购买获得的常规产品。

实施例1：如图1所示，本基于颜色聚类补充学习的视频跟踪方法包括输入上一帧状态及分类器参数、对目标区域颜色聚类、根据聚类中心统计出直方图、计算颜色响应、计算相关滤波响应、颜色响应和相关滤波响应融合、更新分类器参数、输出当前帧状态及分类器参数等过程，具体包括以下步骤：

(1)输入上一帧的跟踪结果以及上一帧训练好的分类器参数，这两个参数是前一帧的输出结果，可直接获得；

(2)对目标区域进行颜色聚类，根据上一帧跟踪结果，以其为中心在目标周围获取样本图片，然后对图片的原始(rgb)颜色特征u进行k均值聚类，得到若干个聚类中心ci，聚类中心通过下式获得：

其中，u是每个像素的rgb颜色值，ci是求得的第i个聚类中心；

(3)根据像素点u(每个像素的rgb颜色值)和聚类中心ci之间的欧式距离计算出距离向量，然后把该像素点归结到该聚类中心，根据聚类中心统计出聚类过的直方图，最后得到直方图各个柱所对应的编号ψ[u]；

(4)计算颜色响应rcc(u)，计算公式为rcc(u)＝β^ttψ[u]，即通过学到的颜色直方图分类器系数β^t和聚过类的颜色直方图编号特征ψ[u]线性回归得到rcc(u)；其中，β^t是学到的颜色分类器系数，ψ[u]是得到的聚过类的颜色直方图编号特征，t是转置；

(5)通过训练出的岭回归分类器计算相关滤波响应rcf；其中，f^-1是傅立叶逆变换，是核化相关滤波器系数，是核化自相关向量；

(6)通过计算公式r＝ηrcc+(1-η)rcf，对颜色响应和相关滤波响应进行线性相加，进行颜色响应和相关滤波响应融合；其中，rcf是相关滤波响应，rcc是颜色响应，融合系数η＝0.3。

(7)更新颜色分类器和相关滤波分类器参数，即用当前帧的结果对相关滤波器进行更新；

(8)输出当前帧状态，即当前帧的跟踪结果，输出颜色分类器和相关滤波分类器参数，用于下一帧的跟踪。

本方法中，步骤(1)中的上一帧状态和分类器参数是之前t-1帧时输出的结果；步骤(2)中的目标区域是根据上一帧状态得到的固定尺寸的区域；步骤(3)中的直方图是根据步骤(2)的聚类中心统计出的直方图；步骤(4)中的颜色响应是根据统计出的颜色直方图计算得到；步骤(5)中的融合颜色响应和相关滤波响应是从融合后的最终响应中找到响应最大的值；步骤(7)中的当前帧状态和分类器参数是通过步骤(5)和步骤(6)得到的；分类器参数包含颜色分类器参数和相关滤波分类器参数。

本实施例采用成功率图(successplots)和精度图(precisionplots)两种评价准则对跟踪器的性能进行了评估。在成功率图中，横坐标表示重叠阈值(overlapthreshold)，纵坐标表示成功率(successrate)，重叠率是通过计算跟踪结果目标框与真实结果目标框的重叠率获得的。当重叠率大于阈值时，跟踪结果视为准确。在本发明中，曲线下面积auc(areaundercurve)用于评估不同的跟踪器，auc越大的跟踪器性能越好。类似地，在精度图中，横坐标表示位置误差阈值(locationerrorthreshold)，单位是像素，纵坐标表示精度(precision)。位置误差是通过计算算法跟踪结果与目标真实值之间的目标中心位置的欧式距离。当测得的位置误差小于阈值时，则认为跟踪结果是准确的。本发明用误差阈值为像素灰度值20时对应的精度来估测不同的跟踪器，精确度越高说明跟踪器性能越好。

通过上述两种评价方式，选取100个视频序列验证本实施例提供的目标跟踪方法，这些视频序列含有不同的挑战因素包括光照变化(iv)、尺寸变化(sv)、遮挡(occ)、变形(def)、快速运动(fm)、运动模糊(mb)、面内旋转(ipr)、超出范围(ov)、面外旋转(opr)、背景混乱(bc)和低分辨率(lr)。同时，将本发明的跟踪方法与现有的9种主流跟踪方法进行了比较，包括csr-dcf、acfn、cfnet、siamfc、staple、dlssvm、kcf、lct以及meem。图2和图3分别反映了本发明和其他几种主流跟踪方法的成功率和精度的对比情况。从对比结果可以发现，与已有的算法相比，本发明提供的目标跟踪方法的算法精度有了明显的提高，跟踪结果更为稳定。

本基于颜色聚类补充学习的视频跟踪方法在跟踪过程中有效地利用了颜色分布的信息，在目标发生遮挡、旋转、尺度变化、快速运动、光照变化等各种复杂情况下，依然可以准确地跟踪目标，跟踪的精度和稳健性均匀有良好表现。

上面结合附图对本发明的技术内容作了说明，但本发明的保护范围并不限于所述内容，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下对本发明的技术内容做出各种变化，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。