专利名称：运动目标自动跟踪的装置和方法
技术领域：
本发明涉及运动目标自动跟踪的装置和方法，更具体地说，本申请涉及能让快球 在预置位自动检测异常的运动目标，并能不断的调整自身的姿态和倍率值的运动目标自动 跟踪的装置和方法，其使得目标始终以一定大小保持在目标的中心，得到目标丰富的细节。
背景技术：
随着社会的不断进步，视频监控系统的应用范围越来越广。现有的数字监控系统 远远不能满足于许多应用场合的需要，主要体现在智能化程度不够高，还处于一种半自动 化状态，很多场合还需要人工干预，比如当发现异常情况(运动目标等)时，不能自动的识 别和跟踪目标，不能自动的完成光圈调整和聚焦功能，这一切都需要人工来完成，由于人工 操作具有滞后性，使许多重要的信息丢失。整个系统处于一种被动监控之中。因此为了解 决上述问题，快球需要有自动跟踪的功能，要能自动检测异常目标，并能自动的调整焦距和 位置使目标始终以预定尺寸处于视野的中心，得到目标丰富的信息，同时立即报警通知相 关人员来处理，是一种主动的监控方式，大大发挥了快球的实际应用价值。快球自动跟踪主要涉及图像分析和自动控制两个模块。图像分析模块得到快球自 动跟踪的信息，经过自动控制模块执行来控制快球。根据图像分析信息的来源不同，可以有 两种方式实现自动跟踪一种是主从摄像机跟踪系统，另一种是单个快球跟踪系统。主从摄 像机跟踪系统的分析信息来自系统中的静态摄像机，也就是主摄像机，这些分析信息传递 给快球后，控制快球自动跟踪目标。单个快球跟踪是指快球利用本身的图像信息进行分析， 得到信息后控制快球本身去跟踪目标。主从摄像机跟踪系统由于需要至少一个静态摄像机的配合，增加了成本，而且静 态摄像机和快球之间的标定也是比较复杂的过程。单个快球跟踪由于只需一个快球就可以 做自动跟踪的功能，因此成本较低，许多科研机构和公司也开展了这方面的研究和应用。例 如博世公司的autotrack快球，其采用基于运动检测的目标跟踪，其对于运动目标微小运 动，如正对着快球的时候运动的时候，效果不好，而且容易受到背景运动目标的干扰，如玻 璃的倒影等。
发明内容
因此，本发明的目的是解决上述现有技术中的一个或多个问题和缺点。为了解决现有技术中的问题，本发明的目的是提供一种简单，稳定的目标自动跟 踪装置和方法。根据本发明的一个方面，提供了 一种运动目标自动跟踪装置，包括跟踪目标选择 单元，用于选择所述运动目标自动跟踪装置所跟踪的运动目标；目标特征初始化单元，用于 对由跟踪目标选择单元选择的运动目标进行特征初始化，来获得运动目标的特征模板；模 板匹配单元，用于根据由目标特征初始化单元所初始化的运动目标的特征模板进行基于特 征的模板匹配，来产生图像匹配信息；运动属性计算单元，用于计算运动目标的特征模板的运动属性；模板更新单元，用于根据运动属性计算单元计算的运动目标的特征模板的运动 属性来进行特征模板的更新；和目标搜寻单元，用于根据运动属性计算单元计算的运动目 标的特征模板的运动属性来进行所要跟踪目标的搜寻；和控制模块，其用于根据模板匹配 单元产生的图像匹配信息产生控制命令，来进行运动目标的自动跟踪。在本发明中，所述运动属性计算单元进一步包括差分图像计算部分，其对于前一 帧图像进行图像配准以得到当前帧的补偿图，并将当前帧的补偿图与当前帧的图像进行差 分得到二值图像；比例计算部分，在特征模板相对应的矩形框内计算差分图像的前景值，并 统计前景点数占整个矩形框的比例；其中，所述运动属性计算单元在所述比例大于一阈值 时判定运动属性为动态的，且在所述比例小于一阈值时判定运动属性为静态的。在本发明中，当所述运动属性计算单元判定所述特征模板的运动属性是动态的 时，由所述模板更新单元进行所述特征模板的更新。在本发明中，当所述运动属性计算单元判定所述特征模板的运动属性是静态时， 由所述目标搜寻单元进行目标的特征模板的搜寻，以进行新的跟踪或结束本次跟踪。在本发明中，当该目标搜寻单元搜寻到原来的运动目标时，开始新的跟踪。在本发明中，当该目标搜寻单元没有搜寻到原来的运动目标时，表明目标离开自 动跟踪范围，结束本次跟踪。根据本发明的另一方面，提供了一种运动目标自动跟踪方法，包括图像分析步 骤，其采用基于特征点的跟踪方法对作为跟踪目标的图像进行图像分析，以产生用于运动 目标自动跟踪的控制信息，所述图像分析步骤进一步包括跟踪目标选择步骤，用于选择所 述运动目标自动跟踪方法所跟踪的运动目标；目标特征初始化步骤，用于对由跟踪目标选 择步骤选择的目标进行特征初始化，来获得所述运动目标的特征模板；模板匹配步骤，根据 由目标特征初始化步骤所初始化的运动目标的特征模板进行基于特征的模板匹配，来产生 图像匹配信息；运动属性计算步骤，计算所述运动目标的特征模板的运动属性；目标漂移 判定步骤，根据运动属性计算步骤所计算的特征模板的运动属性，判定目标是否发生了漂 移；模板更新步骤，其根据目标漂移判定步骤进行的目标没有发生漂移的判定，进行特征模 板的更新；和目标搜寻步骤，其根据目标漂移判定步骤进行的目标已经发生漂移的判定，进 行所跟踪的目标搜寻；控制步骤，用于根据图像分析步骤产生的图像匹配信息产生控制命 令，来进行运动目标的自动跟踪。在本发明中，所述运动属性计算步骤进一步包括差分图像计算步骤，对于前一帧 图像进行图像配准以得到当前帧的补偿图，并将当前帧的补偿图与当前帧的图像进行差分 得到二值图像；比例计算步骤，在特征模板相对应的矩形框内计算差分图像的前景值，并统 计前景点数占整个矩形框的比例。在本发明中，所述目标漂移判定步骤在所述比例计算步骤所计算的所述比例大于 一阈值时判定运动属性为动态的，且在所述比例小于一阈值时判定运动属性为静态的。本发明采用基于特征点跟踪的方法，对于运动目标微小运动甚至暂时静止的情况 也能获得较好的跟踪，能有效抑制背景运动的干扰，获得比较平滑稳定的跟踪。
图1是示出根据本发明的运动目标跟踪装置的总体配置的系统框图2是示出根据本发明的运动目标跟踪装置的图像分析模块的具体配置的框图；图3是示出了本发明的运动目标跟踪装置100的控制模块102的具体配置的框 图；图4是示出了根据本发明的倍率控制的示意图；和图5是示出了本发明的运动目标跟踪方法中图像分析的具体流程图。
具体实施例方式为了实现以上根据本发明的目的，在本发明的运动目标自动跟踪的装置和方法 中，其采用的硬件为高速球，且主要包含数字信号处理(DSP)，ARM和电机及镜头部分。图1是示出根据本发明的运动目标跟踪装置100的总体配置的系统框图。如图1 所示，运动目标跟踪装置100包括图像分析模块101、控制模块102和步进电机和镜头103。 在图1的运动目标跟踪装置100中，图像分析模块101在DSP上，控制模块102在ARM上。 其中，控制模块102根据图像分析模块101得到的控制信息发送控制命令到步进电机和镜 头103以驱动步进电机和镜头103，从而不断调整镜头的摇摄值、俯仰值和倍率值，使目标 始终以预定尺寸处于图像视野的中心。这里，镜头的摇摄值表示镜头的摇摄角(即水平方 向)的值，镜头的俯仰值表示镜头的俯仰角(即垂直方向)的值，且镜头的倍率值表示镜头 的倍率(即，前后方向的放大/缩小倍率)的值。并且，图像分析模块101又从步进电机和 镜头103接收图像，以进行图像分析。这里，图像分析模块101先在视野较大的预置位检测异常目标，如果有检测到异 常目标后，就提取目标的特征模板，并依此在以后的图像中搜索目标。图2是示出根据本发明的运动目标跟踪装置100的图像分析模块101的具体配置 的框图。如图2所示，图像分析模块101包括跟踪目标选择单元201、目标特征初始化单元 202、模板匹配单元203、运动属性计算单元204、模板更新单元205和目标搜寻单元206。下 面，将对图像分析模块101的各个单元作具体描述如下。在跟踪目标选择单元201中，选择要跟踪以进行图像分析的目标。这里，选择要跟 踪的目标有两种方式一是采用人机交互的方式在视频中指定目标，人员可以利用鼠标点 击视频中感兴趣的目标，然后快球自动去跟踪。二是通过事件检测自动获取跟踪目标，如有 异常目标触发了跨越警戒线，进入警戒区域等预先设置好的警戒规则等。目标特征初始化单元202连接到跟踪目标选择单元201，并对于跟踪目标选择单 元201所选择的要进行图像分析的目标进行特征初始化。由于本发明采用基于特征的跟踪 方式，因此目标的特征模板为目标特征点附近的一块灰度区域，而特征点则为人工指定目 标或者检测目标的中心点。模板匹配单元203连接到目标特征初始化单元202，其基于由目标特征初始化单 元202进行初始化的特征，进行基于特征的模板匹配，根据目标的模板，在当前图像寻找与 目标最匹配的区域。在本发明的模板匹配单元203中，采用Lucas-Kanade特征点跟踪方法。 Lucas-Kanade算法的目的是在当前图像中搜索位移量使得与对应点相关的邻域的匹配误 差最小。假设相邻两帧图像I1, I2，对I1中的特征点P = (X，y)T，偏移量为d = (u, ν)τ，则 在I2中对应的特征点为p+d，在ρ的局部邻域N(P)上定义如下的代价函数
权利要求
1.一种运动目标自动跟踪装置，包括跟踪目标选择单元，用于选择所述运动目标自动跟踪装置所跟踪的运动目标； 目标特征初始化单元，用于对由跟踪目标选择单元选择的运动目标进行特征初始化， 来获得运动目标的特征模板；模板匹配单元，用于根据由目标特征初始化单元所初始化的运动目标的特征模板进行 基于特征的模板匹配，来产生图像匹配信息；运动属性计算单元，用于计算运动目标的特征模板的运动属性； 模板更新单元，用于根据运动属性计算单元计算的运动目标的特征模板的运动属性来 进行特征模板的更新；目标搜寻单元，用于根据运动属性计算单元计算的运动目标的特征模板的运动属性来 进行目标的搜寻；和控制模块，其用于根据模板匹配单元产生的图像匹配信息产生控制命令，来进行运动 目标的自动跟踪。
2.如权利要求1所述的运动目标自动跟踪装置，其中，所述运动属性计算单元进一步 包括差分图像计算部分，其对于前一帧图像进行图像配准以得到当前帧的补偿图，并将当 前帧的补偿图与当前帧的图像进行差分得到二值图像；比例计算部分，在特征模板相对应的矩形框内计算差分图像的前景值，并统计前景点 数占整个矩形框的比例；其中，所述运动属性计算单元在所述比例大于一阈值时判定运动属性为动态的，且在 所述比例小于一阈值时判定运动属性为静态的。
3.如权利要求2所述的运动目标自动跟踪装置，其中，当所述运动属性计算单元判定 所述特征模板的运动属性是动态的时，由所述模板更新单元进行所述特征模板的更新。
4.如权利要求2所述的运动目标自动跟踪装置，其中，当所述运动属性计算单元判定 所述特征模板的运动属性是静态时，由所述目标搜寻单元进行目标的特征模板的搜寻，以 进行新的跟踪或结束本次跟踪。
5.如权利要求4所述的运动目标自动跟踪装置，其中，当该目标搜寻单元搜寻到原来 的运动目标时，开始新的跟踪。
6.如权利要求4所述的运动目标自动跟踪装置，其中，当该目标搜寻单元没有搜寻到 原来的运动目标时，表明目标离开自动跟踪范围，结束本次跟踪。
7.—种运动目标自动跟踪方法，包括图像分析步骤，其采用基于特征点的跟踪方法对作为跟踪目标的图像进行图像分析， 以产生用于运动目标自动跟踪的控制信息，所述图像分析步骤进一步包括跟踪目标选择步骤，用于选择所述运动目标自动跟踪方法所跟踪的运动目标； 目标特征初始化步骤，用于对由跟踪目标选择步骤选择的目标进行特征初始化，来获 得所述运动目标的特征模板；模板匹配步骤，根据由目标特征初始化步骤所初始化的运动目标的特征模板进行基于 特征的模板匹配，来产生图像匹配信息；运动属性计算步骤，计算所述运动目标的特征模板的运动属性；目标漂移判定步骤，根据运动属性计算步骤所计算的特征模板的运动属性，判定目标 是否发生了漂移；模板更新步骤，其根据目标漂移判定步骤进行的目标没有发生漂移的判定，进行特征 模板的更新；和目标搜寻步骤，其根据目标漂移判定步骤进行的目标已经发生漂移的判定，进行所跟 踪的目标搜寻；控制步骤，用于根据模板匹配步骤产生的图像匹配信息产生控制命令，来进行运动目 标的自动跟踪。
8.如权利要求7所述的运动目标自动跟踪方法，其中，所述运动属性计算步骤进一步 包括差分图像计算步骤，对于前一帧图像进行图像配准以得到当前帧的补偿图，并将当前 帧的补偿图与当前帧的图像进行差分得到二值图像；比例计算步骤，在特征模板相对应的矩形框内计算差分图像的前景值，并统计前景点 数占整个矩形框的比例。
9.如权利要求8所述的运动目标自动跟踪方法，其中，所述目标漂移判定步骤在所述 比例计算步骤所计算的所述比例大于一阈值时判定运动属性为动态的，且在所述比例小于 一阈值时判定运动属性为静态的。
全文摘要
提供了运动目标自动跟踪装置和方法。所述运动目标自动跟踪装置包括跟踪目标选择单元，选择所跟踪的运动目标；目标特征初始化单元，用于对运动目标进行特征初始化，来获得运动目标的特征模板；模板匹配单元，用于根据所初始化的运动目标的特征模板进行基于特征的模板匹配，来产生图像匹配信息；运动属性计算单元，用于计算运动目标的特征模板的运动属性；模板更新单元，用于根据运动目标的特征模板的运动属性来进行特征模板的更新；和目标搜寻单元，用于根据所述特征模板的运动属性来进行目标的搜寻；所述运动目标自动跟踪装置还包括控制模块，其用于根据模板匹配单元产生的图像匹配信息产生控制命令，来进行运动目标的自动跟踪。
文档编号G06T7/20GK102074016SQ200910225018
公开日2011年5月25日 申请日期2009年11月24日 优先权日2009年11月24日
发明者全晓臣, 胡扬忠, 贾永华, 邬伟琪 申请人:杭州海康威视软件有限公司