一种基于纹理特征的视频跟踪方法
【专利摘要】本发明提供一种基于纹理特征的视频跟踪方法，首先对视频进行背景模型构建，将当前帧与得到的背景模型进行比较，从而得到目标的前景图，再通过处理得到目标的矩形框。根据计算得到的纹理特征，将目标进行分块，对每一分块进行纹理特征的直方图统计，并将直方图的所有bin值作为该分块区域的特征向量。最后在目标一定半径范围内搜索当前帧目标的候选位置，根据候选目标的特征向量与目标的特征向量进行总体的相似度匹配，得到目标的当前位置。这种实时视频下的目标跟踪算法具有判断速度快、跟踪准确度较高等优点，从而为后续处理提供了很好的基础，并减少了视频监控人力的使用。
【专利说明】一种基于纹理特征的视频跟踪方法
【技术领域】
[0001] 本发明涉及视屏安全监控领域，更具体地，涉及一种基于纹理特征的视频跟踪方 法。
【背景技术】
[0002] 随着监控网络地不断发展，实时视频监控已经成为维护城市安全的重要手段。但 由于人力监控需要大量的劳动力，并且可能受到人为因素影响，在监控点逐步增多的情况 下，人力监控受到越来越大的挑战。因此，力求通过图像识别和行为识别等相关智能算法进 行智能监控的技术正受到越来越多的关注。
[0003] 在使用视频监控中，最主要的目的是能够对突发事件及时发现并处理。而在突发 事件中，对视频中人的跟踪对视频的处理和分析发挥重要作用。在高层次的视频分析处理 技术中，跟踪往往发挥着重要的作用。在敏感区域，通过分析跟踪到的人的行走路线，分析 其可能的行为，可以做到及时进行预警，从而进一步降低了未来发生安全问题的概率，维护 社会和谐。因此，在实时视频监控中，视频跟踪需要得到及时响应和处理。
[0004] 在当前的监控环境中，预警更主要依靠于人力监控。监控人员发现实时视频下有 异常事件发生便能做出及时的处理。但是，随着监控点的增多，监控人员不足和监控人员疲 劳等原因均有可能引起异常事件漏报或响应不及时等情况出现。因此，通过智能识别算法 进行视频跟踪为基础来进行行为判断也应运而生。
[0005] 现有技术中，最基本的判断方法是通过meanshift方法来进行跟踪。由于监控实 际环境的制约，这种以颜色为特征的算法，往往比较容易在目标与背景颜色比较相似的情 况下丢失跟踪目标，因此，采用怎样的高效而简单的特征就成为了视频跟踪的一个重要关 键点。
【发明内容】
[0006] 本发明提供一种基于纹理特征的视频跟踪方法，能够有效对视频中目标进行跟踪 的方法。
[0007] 为了达到上述技术效果，本发明的技术方案如下： 一种基于纹理特征的视频跟踪方法，包括以下步骤： 51 :构建背景模型：对视频中连续N张图像进行背景提取并保存每一张图像的背景像 素值组成背景像素值集，若背景像素值集中任一背景像素值的出现次数大于阈值A，则保 留该背景像素值对应的任一张背景图像作为所述N张图像的背景模型M; 52 :提取目标前景：将视频中任一当前图像A与背景模型M进行比较处理求取前景图， 并从该前景图中计算连续白色点像素个数达到阈值0的区域，将该区域作为当前图像的 目标前景框T; 53 :构建目标前景特征：对目标前景框T进行LBP纹理特征提取，把得到的纹理图按照 区域面积大小为e进行分割，对分割得到的每个区域进行直方图统计，并根据直方图每个 bin的值获得每一个区域的特征向量； S4 :搜索当如巾贞目标：对于任一张视频拍摄时间滞后于图像A的图像B，在图像B中以 目标前景框T中的目标在原来图像A中的位置为圆心，半径为r范围内搜索候选目标集，对 候选的目标框进行步骤S2-S3的处理，将所得到每个候选目标的每个区域的特征向量与目 标前景框T中的目标的每一个区域的特征向量进行匹配程度计算，若小于匹配阈值〇则匹 配成功，继而计算候选目标与目标前景框T中的目标的相似度，相似度最大的候选目标作 为目标前景框T中的目标在图像B中的位置。
[0008]本发明中，视频监控设备会按时间的先后连续拍摄监控区域范围的图像，本发明 的方法利用连续拍摄的图像先构建这些图像的背景模型，再随机选取一张包含有想要跟踪 的目标的图像对其进行前景图提取，之后对含有跟踪目标的前景图进行分块并求取其特征 值，之后又对拍摄时间滞后于之前确定好跟踪目标的图像的图像也进行相同的处理，最后 对两张图像的特征进行匹配程度的计算从而确定后拍摄的一张图像中跟踪目标所在的位 置，这一过程跟踪准确性高，不仅可以通过目标区域的匹配程度来揭示目标下一时刻的位 置，无需人工干预，减少了视频监控人力的使用。
[0009]进一步地，所述步骤S2中图像A与背景模型M进行比较处理求取前景图的过程如 下： 对于图像A的一像素点a，若像素点a的RGB三通道与背景模型M中相对应的像素点b的RGB三通道的欧式距离小于阈值Q，则该像素点a是背景像素点，并在图像A中将该点置 为黑色；否则该像素点为前景像素点，并在图像A中置为白色，得到图像A的前景图。
[0010] 进一步地，所述步骤S2中得到目标前景框T的过程如下： 在图像A的前景图中，对白点数目超过区域面积一半的正方形区域进行广度优先搜 索，搜索出的正方形区域为B，若在区域B的八个方向的邻域中进行广度优先搜索出白点数 目超过区域面积一半的正方形区域C，继续搜索区域C的八个方向的邻域中满足白点数目 超过区域面积一半的条件的正方形区域，重复上述过程直到满足白点数目超过区域面积一 半的条件的正方形区域全部被搜索出来为止，把最小覆盖所有被搜索出来的正方形区域的 矩形作为目标的前景框T。
[0011]进一步地，所述步骤S3中e为iXj，把得到的纹理图每隔iXj个像素进行一次 分割，分割后的每一区域的统计直方图的bin数目为; 对目标的前景框T提取LBP纹理特征和纹理图分割后，对于每一分割后的区域，进行纹 理特征值直方图统计，具体过程为：对纹理特征值为y的像素点，其所在区域的直方图的第 y/d)个bin进行加1，对该区域所有的像素点进行直方图统计后，对每个bin除以该区域的 面积得到归一化的直方图，把直方图的〇个bin值作为该区域的〇维的特征向量。
[0012] 进一步地，所述步骤S4中，当候选目标的一区域的特征向量与目标前景框T中的 目标的一区域的特征向量的匹配成功时，把该区域标记为1，否则为0,将候选目标中所有 标记为1的区域进行相加，并除以候选目标被分割的区域总数，结果作为候选目标与目标 前景框T中的目标的的相似度，若该结果大于2/3则认为候选目标与目标前景框T中的目 标匹配成功； 当有若干个候选目标区域与目标前景框T中的目标匹配成功，则对该若干个候选目标 中的每一个的各区域的直方图每个bin进行分别累加，得到该候选目标总体特征向量，同 时将目标前景框T中的目标的各区域直方图每个bin进行分别累加，得到目标前景框T中 的目标的总体特征向量，若候选目标总体特征向量与目标前景框T中的目标的总体特征向 量匹配成功，则该候选目标就作为最终匹配成功的候选目标。
[0013]进一步地，所述步骤S4中将所得到每个候选目标的每个区域的特征向量与目标 前景框T中的目标的每一个区域的特征向量进行匹配程度计算的过程如下：
【权利要求】
1. 一种基于纹理特征的视频跟踪方法，其特征在于，包括以下步骤： 51 :构建背景模型：对视频中连续N张图像进行背景提取并保存每一张图像的背景像 素值组成背景像素值集，若背景像素值集中任一背景像素值的出现次数大于阈值λ，则保 留该背景像素值对应的任一张背景图像作为所述N张图像的背景模型M ; 52 :提取目标前景：将视频中任一当前图像A与背景模型M进行比较处理求取前景图， 并从该前景图中计算连续白色点像素个数达到阈值β的区域，将该区域作为当前图像的 目标前景框T ; 53 :构建目标前景特征：对目标前景框T进行LBP纹理特征提取，把得到的纹理图按 照区域面积大小为ε进行分割，对分割得到的每个区域进行直方图统计，并由直方图每个 bin的值获得每一个区域的特征向量； 54 :搜索当前帧目标：对于图像B，在图像B中以目标前景框T中的目标在原来图像A 中的位置为圆心，半径为r范围内搜索候选目标集，对候选的目标框进行步骤S2-S3的处 理，将所得到每个候选目标的每个区域的特征向量与目标前景框T中的目标的每一个区域 的特征向量进行匹配程度计算，若小于匹配阈值σ则匹配成功，继而计算候选目标与目标 前景框T中的目标的相似度，相似度最大的候选目标作为目标前景框T中的目标在图像B 中的位置。
2. 根据权利要求1所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S2中 图像A与背景模型M进行比较处理求取前景图的过程如下： 对于图像A的一像素点a，若像素点a的RGB三通道与背景模型M中相对应的像素点b 的RGB三通道的欧式距离小于阈值Ω，则该像素点a是背景像素点，并在图像A中将该点置 为黑色；否则该像素点为前景像素点，在图像A中将该点置为白色，得到图像A的前景图。
3. 根据权利要求2所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S2中 得到目标前景框T的过程如下： 在图像A的前景图中，对白点数目超过区域面积一半的正方形区域进行广度优先搜 索，搜索出的正方形区域为B，若在区域B的八个方向的邻域中进行广度优先搜索出白点数 目超过区域面积一半的正方形区域C，继续搜索区域C的八个方向的邻域中满足白点数目 超过区域面积一半的条件的正方形区域，重复上述过程直到满足白点数目超过区域面积一 半的条件的正方形区域全部被搜索出来为止，把最小覆盖所有被搜索出来的正方形区域的 矩形作为目标的前景框T。
4. 根据权利要求1所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S3中 ε为i X j，把得到的纹理图每隔i X j个像素进行一次分割，分割后的每一区域的统计直方 图的bin数目为Φ ; 对目标的前景框T提取LBP纹理特征和纹理图分割后，对于每一分割后的区域，进行纹 理特征值直方图统计，具体过程为：对纹理特征值为y的像素点，其所在区域的直方图的第 y/Φ个bin进行加1，对该区域所有的像素点进行直方图统计后，对每个bin除以该区域的 面积得到归一化的直方图，把直方图的Φ个bin值作为该区域的Φ维的特征向量。
5. 根据权利要求1所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S4中， 当候选目标的一区域的特征向量与目标前景框T中的目标的一区域的特征向量的匹配成 功时，把该区域标记为1，否则为〇,将候选目标中所有标记为1的区域进行相加，并除以候 选目标被分割的区域总数，结果作为候选目标与目标前景框T中的目标的的相似度，若该 结果大于2/3则认为候选目标与目标前景框T中的目标匹配成功； 当有若干个候选目标区域与目标前景框T中的目标匹配成功，则对该若干个候选目标 中的每一个的各区域的直方图每个bin进行分别累加，得到该候选目标总体特征向量，同 时将目标前景框T中的目标的各区域直方图每个bin进行分别累加，得到目标前景框T中 的目标的总体特征向量，若候选目标总体特征向量与目标前景框T中的目标的总体特征向 量匹配成功，则该候选目标就作为最终匹配成功的候选目标。
6.根据权利要求1所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S4中 将所得到每个候选目标的每个区域的特征向量与目标前景框T中的目标的每一个区域的 特征向量进行匹配程度计算的过程如下：
其中，表示特征向量每个候选目标的每个区域的特征向量Sn和目标前景框T 中的目标的；的内积，而画?表示特征向量的2范式开平方，《!^为特征向量间的相对距 离，a?没为特征向量的相近程度，所述对应图像区域的 d￡，cos#均小于匹配阈值σ。
【文档编号】G06T7/00GK104392461SQ201410780580
【公开日】2015年3月4日 申请日期:2014年12月17日 优先权日:2014年12月17日
【发明者】卢伟, 陀得意 申请人:中山大学