人体目标锁定跟踪装置和方法
【专利摘要】本发明涉及视频监控领域，公开了一种人体目标锁定跟踪装置和方法。本发明中，在自动跟踪球机中引入人体检测子单元和多线索融合子单元，利用人体目标的检测信息校正模板匹配的信息，避免模板匹配可能漂移到地面或四肢上，提高跟踪的稳定性和跟踪定位的准确性，使得人体目标始终以一定大小保持在目标的中心，得到人体目标丰富的细节。如果有人体的信息，当定位点发生漂移的时候，有人体信息来纠正，避免漂移到背景上，造成跟踪失败。如果有人体的信息，可有效判断出目标静止或轴向运动，提高这种情况下的跟踪效果。
【专利说明】人体目标锁定跟踪装置和方法
【技术领域】
[0001]本发明涉及视频监控领域，特别涉及人体目标锁定跟踪技术。
【背景技术】
[0002]随着社会的不断进步，视频监控系统的应用范围越来越广。现有的数字监控系统远远不能满足于许多应用场合的需要，主要体现在智能化程度不够高，还处于一种半自动化状态，很多场合还需要人工干预，比如当发现异常情况(如运动目标等)时，不能自动的识别和跟踪目标，不能自动地完成光圈调整和聚焦功能，这一切都需要人工来完成，由于人工操作具有滞后性，使许多重要的信息丢失。整个系统处于一种被动监控之中。因此为了解决上述问题，快球需要有自动跟踪的功能，要能自动检测异常目标，并能自动的调整焦距和位置使目标始终以预定尺寸处于视野的中心，得到目标丰富的信息，同时立即报警通知相关人员来处理，是一种主动的监控方式，大大发挥了快球的实际应用价值。
[0003]视频中人的信息是视频监控中最关心的部分，因此对人体进行跟踪也是自动跟踪快球最核心的功能。自动跟踪球机目前采用的技术策略基本上是基于特征匹配和运动信息相结合的方法，在目前的技术框架下有待解决的问题如下:
[0004]1.跟踪人的时候无法有效定位在人体的中心位置，在跟踪过程中有可能定位在人体的脚部、手部等非关键部位，对跟踪稳定性产生较大的影响
[0005]2.基于特征匹配的方法，由于特征更新策略很难与实际的目标特征变化吻合，不可避免会出现特征点漂移的情况，比如跟踪到地上的情况，造成跟踪失败。
[0006]3.利用运动信息的策略，在目标在运动的情况下有较好的效果，但在目标静止或轴向运动的情况下，反而造成较大干扰，造成目标在静止和轴向运行下很容易结束跟踪。
【发明内容】
[0007]本发明的目的在于提供一种人体目标锁定跟踪装置和方法，避免模板匹配可能漂移到地面或四肢上，提高跟踪的稳定性和跟踪定位的准确性，使得人体目标始终以一定大小保持在目标的中心，得到人体目标丰富的细节。
[0008]为解决上述技术问题，本发明的实施方式公开了一种人体目标锁定跟踪装置，包括:图像分析单元、控制单元、步进电机和镜头，控制单元根据从图像分析单元得到的控制信息发送控制命令到步进电机和镜头，以驱动步进电机和镜头，图像分析单元还包括以下子单元:
[0009]跟踪目标选择子单元，用于选择人体目标锁定跟踪装置的锁定跟踪目标；
[0010]目标特征初始化子单元，用于对由跟踪目标选择子单元选择的锁定跟踪目标进行特征初始化，来获得锁定跟踪目标的特征模板；
[0011 ] 模板匹配子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板进行基于特征的模板匹配，来产生图像匹配信息；
[0012]人体检测子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板获得人体的信息，具体画面中人体目标的匹配人体框信息；
[0013]多线索融合子单元，用于根据模板匹配子单元和人体检测子单元所提供的信息，自动融合两者的信息，得到当前锁定跟踪目标的状态；
[0014]模板更新子单元，用于根据多线索融合子单元所得到的当前锁定跟踪目标的状态来进行特征模板的更新。
[0015]本发明的实施方式还公开了一种人体目标锁定跟踪方法，包括以下步骤:
[0016]选择锁定跟踪目标；
[0017]对锁定跟踪目标进行特征初始化，获得锁定跟踪目标的特征模板；
[0018]对锁定跟踪目标的特征模板进行基于特征的模板匹配，产生图像匹配信息；
[0019]根据锁定跟踪目标的特征模板检测人体信息，具体为画面中人体目标的匹配人体框信息；
[0020]对模板匹配信息和人体检测信息进行加权融合，得到当前锁定跟踪目标的状态；
[0021]根据当前锁定跟踪目标的状态更新特征模板；
[0022]根据当前锁定跟踪目标的状态产生控制命令，对锁定跟踪目标进行自动跟踪。
[0023]本发明实施方式与现有技术相比，主要区别及其效果在于:
[0024]在自动跟踪球机中引入人体检测子单元和多线索融合子单元，利用人体目标的检测信息校正模板匹配的信息，避免模板匹配可能漂移到地面或四肢上，提高跟踪的稳定性和跟踪定位的准确性，使得人体目标始终以一定大小保持在目标的中心，得到人体目标丰富的细节。
[0025]进一步地，如果有人体的信息，当定位点发生漂移的时候，有人体信息来纠正，避免漂移到背景上，造成跟踪失败。
[0026]进一步地，如果有人体的信息，可有效判断出目标静止或轴向运动，提高这种情况下的跟踪效果。
[0027]进一步地，在实际监控场景应用中，目标在运动时，目标的姿态和环境的光罩等都会发生变化，如果目标的线索模板不更新，没有及时反映目标的变化，线索模板的可靠性降低，容易导致跟踪失败。利用模板更新子单元，进行特征模板更新，可以更好地提高跟踪效果O
【专利附图】
【附图说明】
[0028]图1是本发明第一实施方式中一种人体目标锁定跟踪装置的结构示意图；
[0029]图2是本发明第一实施方式中一种人体目标锁定跟踪装置的图像分析单元的结构示意图；
[0030]图3是本发明第一实施方式中一种人体目标锁定跟踪装置的控制单元的结构示意图；
[0031]图4是本发明第一实施方式中一种倍率控制不意图；
[0032]图5是本发明第二实施方式中一种人体目标锁定跟踪方法的流程示意图；
[0033]图6是本发明第二实施方式中一种人体目标锁定跟踪方法的流程示意图。
【具体实施方式】[0034]在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
[0035]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
[0036]本发明第一实施方式涉及一种人体目标锁定跟踪装置。图1是该人体目标锁定跟踪装置的结构示意图。
[0037]如图1所示，该人体目标锁定跟踪装置包括:图像分析单元、控制单元、步进电机和镜头，控制单元根据从图像分析单元得到的控制信息发送控制命令到步进电机和镜头，以驱动步进电机和镜头。
[0038]在本实施方式中，采用的硬件为高速球，且主要包含数字信号处理(DSP)，ARM和电机及镜头部分。
[0039]锁定跟踪快球:是指能根据采集图像分析的结果，自动控制电机和镜头对目标进行跟踪，始终保持目标以一定的尺寸出现在镜头的中心位置。
[0040]在图1的人体目标锁定跟踪装置，图像分析单元在DSP上，控制单元在ARM上。其中，控制单元根据图像分析单元得到的控制信息发送控制命令到步进电机和镜头，以驱动步进电机和镜头，从而不断调整镜头的摇摄值、俯仰值和倍率值，使人体目标始终以预定尺寸处于图像视野的中心。这里，镜头的摇摄值表示镜头的摇摄角(即水平方向)的值，镜头的俯仰值表示镜头的俯仰角(即垂直方向)的值，且镜头的倍率值表示镜头的倍率(即，前后方向的放大/缩小倍率)的值。并且，图像分析单元又从步进电机和镜头接收图像，以进行图像分析。
[0041]这里，图像分析单元先在视野较大的预置位检测异常目标，如果有检测到异常目标后，就提取目标的特征模板，并依此在以后的图像中搜索目标。
[0042]进一步地，具体地，如图2所示，图像分析单元还包括以下子单元:
[0043]跟踪目标选择子单元，用于选择人体目标锁定跟踪装置的锁定跟踪目标。
[0044]在跟踪目标选择子单元中，选择要跟踪以进行图像分析的目标。这里，选择要跟踪的目标有两种方式:一是采用人机交互的方式在视频中指定目标，人员可以利用鼠标点击视频中感兴趣的目标，然后快球自动去跟踪。二是通过事件检测自动获取跟踪目标，如有异常目标触发了跨越警戒线，进入警戒区域等预先设置好的警戒规则等。
[0045]目标特征初始化子单元，用于对由跟踪目标选择子单元选择的锁定跟踪目标进行特征初始化，来获得锁定跟踪目标的特征模板。
[0046]目标特征初始化子单元连接到跟踪目标选择子单元，并对于跟踪目标选择子单元所选择的要进行图像分析的目标进行特征初始化。目标的特征模板为目标特征点附近的一块灰度区域，而特征点则为人工指定目标或者检测目标的中心点。
[0047]特征点:是指以特征点为中心的一块窗口区域为特征，进行目标匹配。
[0048]模板匹配子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板进行基于特征的模板匹配，来产生图像匹配信息。
[0049]模板匹配子单元连接到目标特征初始化子单元，其基于由目标特征初始化子单元进行初始化的特征，进行基于特征的模板匹配，根据目标的模板，在当前图像寻找与目标最匹配的区域。在本申请的模板匹配子单元中，采用Lucas-Kanade特征点跟踪方法。在自动跟踪过程中，由于倍率的变化，目标在图像中的位置可能变化较大，为增加Lucas-Kanade算法搜索的稳定性，对图像进行金字塔分解，对目标进行由粗到细的搜索。
[0050]人体检测子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板获得人体的信息，具体画面中人体目标的匹配人体框信息。
[0051]人体检测:是指通过机器学习的方法，自动检测出场景中的人体，检测效果与人体的角度和尺寸有较大关系。
[0052]在实际监控场景应用中，目标在运动时，目标的姿态和环境的光照等都会发生变化，如果目标的模板更新不能及时适应目标在实际中的变化，则很容易发生漂移的情况，t匕如特征点漂移到地面上，或者漂移到目标的四肢上。在跟踪过程中，主要的关注对象为人，如果预先知道人体的信息话，则可较好的避免特征点漂移问题。人体检测子单元就是在跟踪图像中得到人体的信息。本方案的人体检测方法采用FastHOG特征，用adaboost分类器，在实际测试中能得到比较稳定的测试效果，且能在DSP上实时运行。
[0053]人体检测子单元从实际人体跟踪场景视频中截取20000个人体样本，包括各个角度如正面、侧面和背面等。基于FastHOG特征,用adaboost训练方法训练得到16级的cascade结构头识别器。
[0054]FastHOG结合了 haar和HOG的特点,在保持原始HOG的性能的同时，降低了计算量。该特征采用了类似haar特征的几种模式，如图4所示。
【权利要求】
1.一种人体目标锁定跟踪装置，包括:图像分析单元、控制单元、步进电机和镜头，控制单元根据从图像分析单元得到的控制信息发送控制命令到步进电机和镜头，以驱动步进电机和镜头，其特征在于，所述图像分析单元还包括以下子单元: 跟踪目标选择子单元，用于选择所述人体目标锁定跟踪装置的锁定跟踪目标； 目标特征初始化子单元，用于对由跟踪目标选择子单元选择的锁定跟踪目标进行特征初始化，来获得锁定跟踪目标的特征模板； 模板匹配子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板进行基于特征的模板匹配，来产生图像匹配信息； 人体检测子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板获得人体的信息，具体为画面中人体目标的匹配人体框信息； 多线索融合子单元，用于根据模板匹配子单元和人体检测子单元所提供的信息，自动融合两者的信息，得到当前锁定跟踪目标的状态； 模板更新子单元，用于根据多线索融合子单元所得到的当前锁定跟踪目标的状态来进行特征模板的更新。
2.根据权利要求1所述的人体目标锁定跟踪装置，其特征在于，所述多线索融合单元采用如下公式融合模板匹配子单元和人体检测子单元所提供的信息，得到当前锁定跟踪目标的状态:
T(x，y) = (l-β ) Tmatch(χ, y) + β Thuman(x, y) 其中，T(x, y)为跟踪目标当前时刻的定位点，Tfflatch (x, y)为模板匹配得到的坐标，Thuman (X, Y)为人体检测所得的匹配人体框的中心点，β为加权融合的权重值。
3.根据权利要求1所述的人体目标锁定跟踪装置，其特征在于，所述人体检测子单元采用以下公式获得人体信息:
4.根据权利要求2所述的人体目标锁定跟踪装置，其特征在于，当有人体目标时，β的值为0.2。
5.根据权利要求2所述的人体目标锁定跟踪装置，其特征在于，当没有人体目标时，β的值为O。
6.根据权利要求1所述的人体目标锁定跟踪装置，其特征在于，所述模板更新子单元采用线性在线更新的方式实现模板的更新。
7.根据权利要求1至6中任一项所述的人体目标锁定跟踪装置，其特征在于，所述控制单元包括以下子单元: 图像坐标转化子单元，用于将锁定跟踪目标在当前图像的图像坐标转化成PTZ坐标； 速度控制子单元，用于根据图像坐标转化子单元转化成的PTZ坐标控制电机的转动； 倍率控制子单元，用于根据图像分析单元的匹配人体框信息对人体目标锁定跟踪装置进行倍率控制； 状态控制子单元，用于根据图像分析单元的匹配人体框信息对人体目标锁定跟踪装置进行状态控制。
8.一种人体目标锁定跟踪方法，其特征在于，包括以下步骤: 选择锁定跟踪目标； 对锁定跟踪目标进行特征初始化，获得锁定跟踪目标的特征模板； 对锁定跟踪目标的特征模板进行基于特征的模板匹配，产生图像匹配信息； 根据锁定跟踪目标的特征模板检测人体信息，具体为画面中人体目标的匹配人体框信息； 对模板匹配信息和人体检测信息进行加权融合，得到当前锁定跟踪目标的状态； 根据当前锁定跟踪目标的状态更新特征模板； 根据当前锁定跟踪目标的状态产生控制命令，对锁定跟踪目标进行自动跟踪。
9.根据权利要求8所述的人体目标锁定跟踪方法，其特征在于，在所述对模板匹配信息和人体检测信息进行加 权融合，得到当前锁定跟踪目标的状态的步骤中，模板匹配信息和人体检测信息的匹配公式为:
T(x，y) = (1- β ) Tmatch(x, y) + β Thuman(χ, y) 其中，Τ(χ, y)为跟踪目标当前时刻的定位点，Tfflatch (x, y)为模板匹配得到的坐标，Thuman (X, Y)为人体检测所得的匹配人体框的中心点，β为加权融合的权重值。
10.根据权利要求8所述的人体目标锁定跟踪方法，其特征在于，在所述根据锁定跟踪目标的特征模板检测人体信息的步骤中，采用以下公式:
11.根据权利要求8所述的人体目标锁定跟踪方法，其特征在于，在所述根据当前锁定跟踪目标的状态更新特征模板的步骤中采用线性在线更新的方式实现模板的更新。
12.根据权利要求8至11中任一项所述的人体目标锁定跟踪方法，其特征在于，在所述根据当前锁定跟踪目标的状态产生控制命令，对锁定跟踪目标进行自动跟踪的步骤中，包括以下子步骤: 将锁定跟踪目标在当前图像的图像坐标转化成PTZ坐标； 根据PTZ坐标控制电机的转动； 根据匹配人体框信息对人体目标锁定跟踪装置进行倍率控制； 根据匹配人体框信息对人体目标锁定跟踪装置进行状态控制。
【文档编号】G06K9/00GK104021569SQ201310064203
【公开日】2014年9月3日 申请日期:2013年2月28日 优先权日:2013年2月28日
【发明者】全晓臣, 呼志刚, 王超, 蔡巍伟 申请人:杭州海康威视数字技术股份有限公司