视频监控设备进行视频跟踪的方法及该视频监控设备的制作方法
【专利摘要】本发明公开了视频监控设备进行视频跟踪的方法及该视频监控设备，其中，该方法包括：获取视频目标当前帧与上一相邻帧之间的帧差图像；在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht-1；确定出选取的角点在当前帧中的位置坐标集合，表示为Ht；去掉Ht中虚假图像的位置坐标，得到Ht'；确定包含Ht'中所有位置坐标点的外接框；由确定的外接框角点坐标和原始跟踪算法计算得到的外接框角点坐标，计算得到当前帧的外接框的位置坐标；由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。本发明方案能够提高视频跟踪的有效性。
【专利说明】视频监控设备进行视频跟踪的方法及该视频监控设备
【技术领域】
[0001]本发明涉及视频跟踪技术，尤其涉及视频监控设备进行视频跟踪的方法及该视频监控设备。
【背景技术】
[0002]视频监控设备的视频跟踪为PTZ (Pan/Tilt/Zoom)跟踪，PTZ跟踪即视频监控设备的云台通过全方位(上下、左右)移动及镜头变倍、变焦控制进行目标跟踪。PTZ跟踪为单目标视频跟踪的一种应用。
[0003]单目标视频跟踪也就是，在一段视频序列中，已知视频目标在第一帧的位置和大小信息，利用某种跟踪算法，持续输出视频目标在后续序列中的位置和大小信息。单目标视频跟踪的算法种类繁多，比较经典的有特征点跟踪，粒子滤波跟踪，均直漂移(meanshift)跟踪等算法。
[0004]PTZ跟踪也就是，在视频监控设备的摄像机监视场景范围内，当移动目标出现后，用户可以手动锁定(例如通过鼠标点击来锁定目标)或预置位自动触发锁定某个运动目标，来触发PTZ摄像机进行自主自动的PTZ跟踪，并自动控制PTZ摄像机的云台进行全方位旋转，针对被锁定的视频目标进行视觉导向的自动跟踪，以确保跟踪的视频目标持续出现在镜头中央。被锁定的视频目标用外接框标示在视频图像上，外接框多采用矩形框。
[0005]在PTZ跟踪场景下，采用跟踪算法来区分视频目标所处环境的变化(背景变化)与视频目标自身的变化(目标形变)，以使外接框持续标示在视频目标上。区分视频目标所处环境的变化(背景变化)与视频目标自身的变化(目标形变)是衡量一个跟踪算法是否鲁棒的标准。
[0006]目前的视频监控设备进行视频跟踪的方案中，仍采用原始跟踪算法计算得到当前帧的外接框角点坐标，再由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。以外接框是矩形框为例，外接框角点坐标包括矩形框的四个角的坐标，即左上角坐标、左下角坐标、右上角坐标和右下角坐标。
[0007]在PTZ跟踪的场景中，安防监控设备的摄像机是运动的，需要进行跟踪的视频目标是运动的，如人、机动车及非机动车等；视频目标的颜色可能不单一，即可能是多峰分布的。发明人在具体实践中发现，在PTZ跟踪过程中，由于PTZ摄像头角度变化与跟踪物体非刚体的特性，跟踪物体是容易发生形变的，并且由于背景复杂，跟踪的外接框容易漂移到背景上去，也就是，把部分背景作为视频目标的一部分，导致跟踪过程失败，有效性低。
【发明内容】
[0008]本发明提供了一种视频监控设备进行视频跟踪的方法，该方法能够提高视频跟踪的有效性。
[0009]本发明提供了 一种视频监控设备，该视频监控设备能够提高视频跟踪的有效性。
[0010]一种视频监控设备进行视频跟踪的方法，该方法包括:[0011]获取视频目标当前帧与上一相邻帧之间的帧差图像；
[0012]在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Hw ;确定出选取的角点在当前巾贞中的位置坐标集合，表示为Ht ；
[0013]去掉Ht中虚假图像的位置坐标，得到Ht’ ；确定包含Ht’中所有位置坐标点的外接框；
[0014]由确定的外接框角点坐标和原始跟踪算法计算得到的外接框角点坐标，计算得到当前帧的外接框的位置坐标；由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。
[0015]一种视频监控设备，该视频监控设备包括帧差获取单元、角点提取单元、角点跟踪单元、运动聚类单元、运动区域提取单元、原始跟踪单元、运动信息融合单元和显示单元；
[0016]所述帧差获取单元，获取视频目标当前帧与上一相邻帧之间的帧差图像；
[0017]所述角点提取单元，在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Hh ；
[0018]所述角点跟踪单元，确定出所述角点提取单元选取的角点在当前帧中的位置坐标集合，表示为Ht ；
[0019]所述运动聚类单元，去掉Ht中虚假图像的位置坐标，得到Ht’ ；
[0020]所述运动区域提取单元，确定包含Ht’中所有位置坐标点的外接框，将确定的外接框角点坐标传送给所述运动信息融合单元；
[0021]所述原始跟踪单元，将原始跟踪算法计算得到的外接框角点坐标传送给所述运动信息融合单元；
[0022]所述运动信息融合单元，由来自所述运动区域提取单元的外接框角点坐标和来自所述原始跟踪单元的外接框角点坐标，计算得到当前帧的外接框的位置坐标，传送给所述显示单元；
[0023]所述显示单元，由来自所述运动信息融合单元的外接框的位置坐标在当前帧的视频图像上显示外接框。
[0024]从上述方案可以看出，本发明中，获取视频目标当前帧与上一相邻帧之间的帧差图像；在帧差图像的运动区域中选取角点，确定出选取的角点在当前帧中的位置坐标集合，表示为Ht;去掉Ht中虚假图像的位置坐标，得到Ht’ ；从氏'中提取出外接框角点坐标；再由提取的外接框角点坐标计算得到当前帧的外接框的位置坐标。本发明在帧差图像的运动区域中选取角点，基于选取的角点计算得到当前帧的外接框的位置坐标；帧差图像体现了视频目标当前帧与上一相邻帧之间的运动变化，且由于视频目标是运动的，在运动区域选取角点将进一步体现视频目标当前帧与上一相邻帧之间的运动变化；这样，本发明方案将运动信息结合到视频跟踪的方案中，将运动信息作为先验信息来区分跟踪的视频目标和背景，提闻了视频跟踪的有效性。
【专利附图】
【附图说明】
[0025]图1为本发明视频监控设备进行视频跟踪的方法示意性流程图；
[0026]图2为本发明获取帧差图像的方法流程图；
[0027]图3为本发明视频监控设备的结构示意图。【具体实施方式】
[0028]为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
[0029]在PTZ视频跟踪中，由于视频目标所处环境的变化(背景变化)及视频目标自身的变化(目标形变)较大，本发明将运动信息结合到视频跟踪的方案中，将运动信息作为先验信息来区分跟踪的视频目标和背景，以提高视频跟踪的有效性。
[0030]本发明的思路是:已知跟踪的视频目标在上一相邻帧中的位置信息，也就是已知在上一相邻帧中外接框的位置信息；而后，结合运动信息进行视频跟踪，获取跟踪的视频目标在当前帧的位置信息，也就是结合运动信息获取当前帧中外接框的位置信息。所述上一相邻帧为与当前帧紧邻的上一帧。
[0031]参见图1，为本发明视频监控设备进行视频跟踪的方法示意性流程图，其包括以下步骤:
[0032]步骤101，获取视频目标当前帧与上一相邻帧之间的帧差图像。
[0033]已知上一相邻帧的视频图像和视频目标的位置信息；采集当前帧的视频图像后，由上一相邻帧的视频图像和视频目标的位置信息，以及当前帧的视频图像便可确定出视频目标在当前帧与上一相邻帧之间的帧差图像。具体地，本步骤可采用图2所示的流程实现:
[0034]步骤201，从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表示为
Pt-1 (xt-1，yt-1)。
`[0035]本步骤主要作用是初始化跟踪点，将上一相邻帧视频图像表示为Iw，将当前帧视频图像表示为It。本步骤中，可采用光流撒点算法，在上一相邻帧视频图像上等距离均匀提取跟踪点，初始化点集表示为Pf1，使得Pw上的点P均匀分布在If1上。具体地，可取16个跟踪点。一般地，如采用光流撒点算法提取跟踪点，相应地，步骤202中采用卢卡斯光流跟踪算法进行视频跟踪。
[0036]如果计算资源足够，也可采用角点提取(例如经典的哈里斯角点算法)来获得初始跟踪点；角点提取的一个缺点是，提取的角点可能集中分布在图像的部分区域里，这样不利于计算出前后两帧的几何关系。当然也可以通过增大角点提取个数，限制相邻两个角点之间的距离，这样做又会增加计算量。
[0037]在实际操作时，可根据需要，采用较优的方式执行本步骤。
[0038]步骤202，确定出选取的跟踪点在当前帧中的位置坐标集合，表示为Pt (xt，yt)。
[0039]在上一相邻帧中提取跟踪点后，可采用现有的卢卡斯光流跟踪等光流跟踪算法，确定出选取的跟踪点图象块在当前帧中的位置坐标集合。
[0040]卢卡斯光流(全称卢卡斯?卡纳德光流)跟踪算法，属于稀疏光流跟踪算法的一种，其基本思想就是通过迭代算法，找出第一帧某图像块(特征点)在均方判别准则下在第二帧的相应位置。第一帧中各图像块的像素点可以给予不同的权值，本发明中，为了计算方便，图像块中的每一个像素点权值都取为相同。另外某些光流的改进算法还考虑到图像块的平移、旋转及放大等变化。卢卡斯光流跟踪算法考虑的是图象块的平移，本发明的应用情况针对的是连续两帧，也只需考虑图像块的平移变化。
[0041]同时，卢卡斯光流跟踪算法还利用了金字塔分层的思想，即保存原始图像进行缩小后的1/4图像与1/16图像，跟踪过程中，每次迭代先在最底层(1/16图像)中寻找与初始跟踪点匹配的图象块，然后由找到的图象块在中间层(1/4图像)中寻找匹配的图象块，最后再由在中间层找到的图象块在原图像中寻找匹配的图像块；这样做的好处是可以应对图像块较大范围内的移动，即适用于PTZ运动导致背景快速运动的应用场景。
[0042]步骤203，由Pw (xt_1； yt_i)和Pt (xt, yt)，计算出仿射变换的几何变换参数，得到仿射变换几何模型。
[0043]仿射变换属于几何变换的一种，是一种参数模型，前提是假定两幅图像中存在这种变换关系。仿射变换主要特征是不改变图像直线的平行关系，也就是一副图像的平行四边形在另一幅图像中仍然是平行四边形。仿射变换模型包含6个参数，6个参数考虑了图像的平移、旋转、放大等因素；而且因为有6个未知量，所以需要两幅图像对应的3对位置坐标点对，即6个方程，进行求解，以得到仿射变换模型，仿射变换模型如公式(I)所示:
【权利要求】
1.一种视频监控设备进行视频跟踪的方法，其特征在于，该方法包括: 获取视频目标当前帧与上一相邻帧之间的帧差图像； 在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Ht_i ;确定出选取的角点在当前帧中的位置坐标集合，表示为Ht ； 去掉Ht中虚假图像的位置坐标，得到Ht’ ；确定包含Ht’中所有位置坐标点的外接框；由确定的外接框角点坐标和原始跟踪算法计算得到的外接框角点坐标，计算得到当前帧的外接框的位置坐标；由计算得到外接框的位置坐标在当前帧的视频图像上显示外接框。
2.如权利要求1所述的方法，其特征在于，所述获取视频目标当前帧与上一相邻帧之间的帧差图像包括: 从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表示为Pw (xt-1, yt-1)； 确定出选取的跟踪点在当前帧中的位置坐标集合，表示为Pt (xt，yt)； 由Pt-1Ut-1，yt-1)和Pt (xt，yt)，计算出仿射变换的几何变换参数，得到仿射变换几何模型； 将视频目标各图象块的位置坐标及其领域各图像块的位置坐标表示为Ω，将上一相邻帧中Ω对应的图象块的像素值表示为It_1;由Ω和仿射变化几何模型计算得到当前帧中Ω对应的图象块的像素值，表示为It’，将It_i和It’进行相减得到帧差图像。
3.如权利要求2所述的方 法，其特征在于， 采用光流撒点算法，从上一相邻帧中提取跟踪点； 采用卢卡斯光流跟踪算法，确定出选取的跟踪点在当前帧中的位置坐标集合； 采用哈里斯角点算法，在帧差图像的运动区域中选取角点； 采用卢卡斯光流跟踪算法，确定出选取的角点在当前帧中的位置坐标集合。
4.如权利要求1所述的方法，其特征在于，所述去掉Ht中虚假图像的位置坐标，得到Ht'包括: 由Hw和Ht，计算出仿射变换的几何变换参数，得到仿射变换几何模型； 将代入仿射变换几何模型，得到运算结果，去掉Ht中与运算结果不一致的相应位置坐标，得到Ht’。
5.如权利要求1至4任一项所述的方法，其特征在于，将外接框角点坐标表示为S—，将原始跟踪算法计算得到的外接框角点坐标表示为Stjld，将当前帧的外接框的位置坐标表示为SnOT ;所述计算得到当前帧的外接框的位置坐标采用下述公式表示:SnOT=a S^+a-ci)^motion， 其中，α为权值参数，0〈α < I。
6.一种视频监控设备，其特征在于，该视频监控设备包括帧差获取单元、角点提取单元、角点跟踪单元、运动聚类单元、运动区域提取单元、原始跟踪单元、运动信息融合单元和显示单元； 所述帧差获取单元，获取视频目标当前帧与上一相邻帧之间的帧差图像； 所述角点提取单元，在帧差图像的运动区域中选取角点，将角点的位置坐标集合表示为Hh ; 所述角点跟踪单元，确定出所述角点 提取单元选取的角点在当前帧中的位置坐标集合，表不为Ht ；所述运动聚类单元，去掉Ht中虚假图像的位置坐标，得到Ht’ ； 所述运动区域提取单元，确定包含Ht’中所有位置坐标点的外接框，将确定的外接框角点坐标传送给所述运动信息融合单元； 所述原始跟踪单元，将原始跟踪算法计算得到的外接框角点坐标传送给所述运动信息融合单元； 所述运动信息融合单元，由来自所述运动区域提取单元的外接框角点坐标和来自所述原始跟踪单元的外接框角点坐标，计算得到当前帧的外接框的位置坐标，传送给所述显示单元； 所述显示单元，由来自所述运动信息融合单元的外接框的位置坐标在当前帧的视频图像上显示外接框。
7.如权利要求6所述的视频监控设备，其特征在于，所述帧差获取单元包括光流撒点模块、光流跟踪模块、仿射变换模块和矫正帧差模块； 所述光流撒点模块，从上一相邻帧中提取跟踪点，将跟踪点的位置坐标集合，表示为Pt-1 (xt-1.yt-1)； 所述光流跟踪模块，确定出选取的跟踪点在当前帧中的位置坐标集合，表示为Pt (xt.yt)； 所述仿射变换模块，由Ph (Xt-^yt-!)和Pt (xt, yt)，计算出仿射变换的几何变换参数，得到仿射变换几何模型； 所述矫正帧差模块，将视频目标各图象块的位置坐标及其领域各图像块的位置坐标表示为Ω，将上一相邻帧中Ω对应的图象块的像素值表示为lg，由Ω和仿射变化几何模型计算得到当前帧中Ω对应的图象块的像素值，表示为I/，将Iw和It’进行相减得到帧差图像。
8.如权利要求7所述的视频监控设备，其特征在于，所述光流撒点模块采用光流撒点算法，从上一相邻帧中提取跟踪点； 所述光流跟踪模块采用光流跟踪算法，确定出选取的跟踪点在当前帧中的位置坐标集合； 所述角点提取单元采用哈里斯角点算法，在帧差图像的运动区域中选取角点； 所述角点跟踪单元采用光流跟踪算法，确定出选取的角点在当前帧中的位置坐标集口 ο
9.如权利要求6所述的视频监控设备，其特征在于，所述运动聚类单元包括模型获取模块和去除模块； 所述模型获取模块，由Hw和Ht，计算出仿射变换的几何变换参数，得到仿射变换几何模型； 所述去除模块，将Hw代入仿射变换几何模型，得到运算结果，去掉Ht中与运算结果不一致的相应位置坐标，得到Ht'。
10.如权利要求6至9中任一项所述视频监控设备，其特征在于，将外接框角点坐标表示为S—，将原始跟踪算法计算得到的外接框角点坐标表示为Stjld,将当前帧的外接框的位置坐标表示为Snrat ;所述运动信息融合单元包括计算模块，采用公式Smw= a Stjld+(1-α )Snrotim计算得到当前帧的外接框的位置坐标，其中，α为权值参数，0〈α〈1。
【文档编号】G06T7/20GK103810692SQ201210444222
【公开日】2014年5月21日 申请日期:2012年11月8日 优先权日:2012年11月8日
【发明者】王超, 全晓臣, 任烨, 蔡巍伟 申请人:杭州海康威视数字技术股份有限公司