专利名称：一种基于自适应模板匹配的客流统计方法
技术领域：
本发明涉及一种基于自适应模板匹配的客流统计方法，属于目标跟踪和模式识别 技术领域，其中涉及到目标的表示和建模、目标的检测、识别及跟踪。
背景技术：
出于节约能源和提高效率的考虑，在设计者设计某些区域的大小时，常常需要先 对该区域的客流量进行的统计，以此作为设计的依据。各大商场出于提高营业额的考虑，也 可能需要对一天中不同时段的顾客数量进行统计，以此来制定各种销售策略。在地铁轨道 交通领域，目前客流统计的方法主要是通过对乘客刷卡的次数进行统计得到。随着自动售 票系统的投入运行，某个时间段进出某个车站的客流量可以藉由计算机技术很方便快速的 统计得到，但如果需要统计位于地铁站刷卡区域以内的一些通道的客流，就缺少一种高效 准确的统计方法。假定存在两条地铁线路L1和L2，地铁站S为L1和L2的交汇处(或称之为换乘 站)，L1和L2之间存在互相联通的地下通道T，乘客在刷卡或买票进入站点S后，可能从L1 经过T前往L2，也可能从L2经过T前往L1，此时，若需要对某个时间段内通道T内的客流 量进行统计，由于乘客经过通道T时不需要再刷卡，因此在这种场景下，计算刷卡人次进行 统计的方法就无法满足要求。目前应用于上述场景下的客流统计方法主要有红外光电传感器统计、激光统计和 借助于计算机技术的视频统计方法。红外光电式统计方法的优点是安装方便、便于维护，已 经开始被广泛应用于公交车、地铁和火车的车门来统计上下旅客数量。红外光电式人数统 计系统的主要缺点是目前只有断面式的产品，此外，在进出口断面宽度较大，人流密集的情 况下，由于无法分割位置紧邻的人群，而导致统计精度下降。激光统计的方法通过在通道或 出入口上方设置激光扫描仪使其垂直扫描。当行人通过激光帘时，当前帧的激光扫描数据 中会出现凸包，反映出行人的外轮廓。峰包数代表当前通过激光扫描面行人的个数，每个峰 包的高度代表在该垂直扫描切面的行人高度。激光统计方法存在和红外光电式统计方法相 同的最大的缺点，即统计结果里没有图像记录，这给实时观测现场情况观测和后期场景复 现带来了困难。为了克服这个困难，同时也是实际使用环境的需求，这两种方法往往结合这 视频监控一同使用。由于红外光电传感器统计和激光统计方法都需要视频监控作为辅助手段，因此， 若借助于计算机技术，通过对采集得到的视频图像进行理解和分析，得到场景中出现的行 人的数量，可可大大降低整个系统的复杂度，同时也为后期的各种处理提供了便利。借助于计算机技术的视频统计方法红外光电传感器统计和激光统计方法具有更 直观、更方便使用、更高效、兼容性更强的的特点。调度中心能够迅速准确的得到某个通道 内某个时间段的客流量；可以得到行人的视频运动轨迹，根据实际情况，甚至可以得到行人 的面部图像。
发明内容
本发明的技术解决问题克服现有客流统计方法的不足，提供一种基于自适应模 板匹配的客流统计方法，该系统可以快速准确的对某个监控场景中各个时间段内的客流量 进行统计，可以得到行人的视频运动轨迹，并有可能得到行人的面部图像。本发明的技术解决方案一种基于自适应模板匹配的客流统计方法，该方法是通 过一种基于自适应模块匹配的客流统计系统来实现，该客流统计系统由前端和后端组成， 前端使用一台工控机连接图像采集设备，对监控视频进行分析和统计；后端是一台PC机， 对各前端传送来的监控视频和统计结果进行处理，并保存到本地；系统前端处理包括如下 步骤(1)前端工控机从图像采集设备获取视频帧，支持同时处理多路视频；(2)根据客流 统计的特点，在获取的视频帧中设定敏感区域，只对该区域的数据进行处理；(3)使用基于 Haar特征的Adaboost算法构建了多个弱分类器，并将这些弱分类器首尾进行连接，一个弱 分类器的输出作为另一个分类器的输入，得到一个级联的强分类器，在视频图像的敏感区 域内进行单个行人的检测，得到单个行人图像；(4)对检测得到的单个行人图像进行建模， 根据行人之间发生遮挡时的实际特征，对行人人体的各个部分赋予不同的权重，结合该行 人图像位于视频帧中的位置、行人人体各部分的位置和面积大小以及颜色信息，为该行人 建立模型；(5)采用模板匹配的方法，将建模后的各模型与已有的模型(如果存在)进行匹 配，若匹配失败，则认为该模型代表的行人刚进入敏感区域；若匹配成功，表明该模型代表 的行人已经出现在敏感区域中，更新该模型的总体位置和各部分的权重，使模板匹配具有 自适应的特性；(6)检查已有的模型，若在从当前视频帧敏感区域中检测并建模得到的行 人模型中不存在与之相匹配的模型，则认为该模型代表的行人已经离开敏感区域，此时检 查该模型的运动路径(由模型代表的行人图像在视频帧敏感区域内的位置表征)，并进行 客流的统计。其中，步骤(2)中所述的敏感区域是步骤(1)中所获取的视频帧中的一块人为设 定的矩形区域，系统前端只对该矩形区域内的视频数据进行处理。步骤(3)中所述的级联的强分类器的设计是由提取单个行人特征值和使用 Adaboost算法提取特征值设计弱分类器两个部分组成，提取的单个行人特征有边缘特征、 对称特征和中心特征，这些特征均由Haar特征演变而来；在使用Adaboost算法提取特征 值设计弱分类器时，根据单个行人的图像特点，先扫描整幅图像的滑动窗口的中心区域计 算中心特征，然后在子窗口的边缘部分计算边缘特征；根据这些先验知识去除大部分无效 矩形特征后，再利用AdaBoost算法挑选出对单个行人区分性最好的特征，构建每个弱分类 器，当弱分类器的误检率小于设定阈值时，停止构建弱分类器，将所有已构建的弱分类器首 位相连，得到一个级联的强分类器，用于在敏感区域中检测单个行人。其中，所述步骤(4)是根据人体四肢的位置和结构的先验知识，将人体划分为3个 部分，分别为头部，上肢和下肢，对各个部分赋予不同的权值，针对监控场景中行人相互之 间发生遮挡时的实际情况，对头部赋予最高的权值，下肢赋予最低的权值；对步骤(3)中检 测得到的每张单个行人图像，计算得到每张行人图像中的头部、上肢和下肢的在敏感区域 中所处的位置和所占的面积大小，以及各个部分的颜色直方图特征，对该行人进行建模，得 到表征该行人的模型。其中，所述步骤(5)是采用模板匹配的方法，将步骤(4)中建立的模型与已有的模型集合T进行匹配(起始时已有模型数目为0)；若匹配失败，则认为该模型代表的行人刚 进入敏感区域，将该模型加入集合T;匹配成功，表明该模型代表的行人已经出现在敏感区 域中，更新T中该模型对应的模型。其中，所述步骤(6)是处理完步骤⑷中所建立的所有模型后，检查已有的模型集 合T，若存在某个不是新加入的模型，同时该模型没有被更新，则认为该模型代表的行人已 经离开敏感区域，此时检查该模型的运动路径(由模型代表的行人图像在视频帧敏感区域 内的位置表征)，进行客流量的更新。本发明与现有技术相比的优点在于(1)可以对大客流量监控场景中的客流量进行准确的统计，并可处理行人之间的 遮挡情况；(2)可以准确得到行人的运动轨迹，并以视频图像的形式反应出来；(3)系统抗复杂背景干扰的能力强，可以适应天气、光照等环境的剧烈变化，并能 做到实时处理；(4)系统由前端和后端构成，前端负责对监控数据进行处理，得到处理结果，并将 数据传送至后端；后端对各前端传送的数据进行汇总统计；
图1为本发明的系统总体结构示意图；图2为本发明前端的处理流程图；图3为本发明前端处理的坐标系；图4(1)⑵(3)为本发明提出的Haar-Like特征；其中⑴为边缘特征，⑵为对 称特征，(3)为中心特征；图5为本发明提出的级联式分类器结构；图6为本发明提出的人体结构分块示意具体实施例方式如图1所示，一种基于自适应模板匹配的客流统计方法，该方法是通过一种基于 自适应模块匹配的客流统计系统来实现，该客流统计系统由前端和后端组成，每个前端使 用一台工控机连接图像采集设备，对监控视频进行分析和统计；后端是一台数据服务器，对 各前端传送来的监控视频和统计结果进行处理，并保存到本地。前端所有的操作均在如图3所示的坐标系中进行。F(0，0，ff, H)表示获取的视频 帧，视频帧F左上角顶点的坐标为(0，0)，即坐标原点，右下角顶点的坐标为(W，H)，W表示 视频帧的宽度，H表示视频帧的高度。令S1为已有的模型集合，初始时为空。如发明内容中的步骤1和步骤2所述，若存在未处理完的视频帧，则取出第一帧， 将S 1中的所有模型状态设置为未更新。对获取的监控视频帧，首先在视频帧中划定一个 矩形区域作为敏感区域。R(L，T，W ig表示该敏感区域，L和T分别表示敏感区域的左上 角顶点在X和Y坐标轴上距离坐标原点的距离，ffr表示敏感区域的宽度，Hr表示敏感区域 的高度。如发明内容中的步骤3所述，对敏感区域中的视频数据，首先进行单个行人的检
5测。出于鲁棒性和实时性的考虑，同时受到Viola-Jones算法提出的4种Haar-like 特征的启发，构造出了一组特征对单个行人图像进行建模。选择特征的原则是能对单个行 人图像的空间结构特征能有本质的反映，受噪声影响小，并且这些特征要便于提取，在计算 机上能简单快速的计算。设计出的矩形特征分为边缘特征、对称特征、中心特征3种，如图 4所示。为了方便计算，引入了积分图像的概念
权利要求
一种基于自适应模板匹配的客流统计方法，该方法是通过一种基于自适应模块匹配的客流统计系统来实现，该客流统计系统由前端和后端组成，前端使用一台工控机连接图像采集设备，对监控视频进行分析和统计；后端是一台PC机，对各前端传送来的监控视频和统计结果进行处理，并保存到本地；其特征在于系统前端处理包括如下步骤(1)前端工控机从图像采集设备获取视频帧，支持同时处理多路视频；(2)根据客流统计的特点，在获取的视频帧中设定敏感区域，只对该区域的数据进行处理；(3)使用基于Haar特征的Adaboost算法构建了多个弱分类器，并将这些弱分类器首尾进行连接，一个弱分类器的输出作为另一个分类器的输入，得到一个级联的强分类器，在视频图像的敏感区域内进行单个行人的检测，得到单个行人图像；(4)对检测得到的单个行人图像进行建模，根据行人之间发生遮挡时的实际特征，对行人人体的各个部分赋予不同的权重，结合该行人图像位于视频帧中的位置、行人人体各部分的位置和面积大小以及颜色信息，为该行人建立模型；(5)采用模板匹配的方法，将建模后的各模型与已有的模型进行匹配，若匹配失败，则认为该模型代表的行人刚进入敏感区域；若匹配成功，表明该模型代表的行人已经出现在敏感区域中，更新该模型的总体位置和各部分的权重，使模板匹配具有自适应的特性；(6)检查已有的模型，若在从当前视频帧敏感区域中检测并建模得到的行人模型中不存在与之相匹配的模型，则认为该模型代表的行人已经离开敏感区域，此时检查该模型的运动路径，并进行客流的统计。
2.根据权利要求1所述的一种基于自适应模板匹配的客流统计方法，其特征在于步 骤(2)中所述的敏感区域是步骤(1)中所获取的视频帧中的一块人为设定的矩形区域，系 统前端只对该矩形区域内的视频数据进行处理。
3.根据权利要求1所述的一种基于自适应模板匹配的客流统计方法，其特征在于步 骤(3)中所述的级联的强分类器的设计是由提取单个行人特征值和使用Adaboost算法提 取特征值设计弱分类器两个部分组成，提取的单个行人特征有边缘特征、对称特征和中心 特征共三大类、十二小类特征点，这些特征点均由Haar特征演变而来；在使用Adaboost算 法提取特征值设计弱分类器时，根据单个行人的图像特点，先扫描整幅图像的滑动窗口的 中心区域计算中心特征，然后在子窗口的边缘部分计算边缘特征；根据这些先验知识去除 大部分无效矩形特征后，再利用AdaBoost算法挑选出对单个行人区分性最好的特征，构建 每个弱分类器，当弱分类器的误检率小于设定阈值时，停止构建弱分类器，将所有已构建的 弱分类器首位相连，得到一个级联的强分类器，用于在敏感区域中检测单个行人。
4.根据权利要求1所述的一种基于自适应模板匹配的客流统计方法，其特征在于步 骤(4)根据人体四肢的位置和结构的先验知识，将人体划分为3个部分，分别为头部，上肢 和下肢，对各个部分赋予不同的权值，针对监控场景中行人相互之间发生遮挡时的实际情 况，对头部赋予最高的权值，下肢赋予最低的权值；对步骤(3)中检测得到的每张单个行人 图像，计算得到每张行人图像中的头部、上肢和下肢的在敏感区域中所处的位置和所占的 面积大小，以及各个部分的颜色直方图特征，对该行人进行建模，得到表征该行人的模型。
5.根据权利要求1所述的一种基于自适应模板匹配的客流统计方法，其特征在于处 理完步骤(4)中所建立的所有模型后，检查已有的模型集合T，若存在某个不是新加入的模 型，同时该模型没有被更新，则认为该模型代表的行人已经离开敏感区域，此时检查该模型 的运动路径，进行客流量的更新。
全文摘要
一种基于自适应模板匹配的客流统计方法由前端和后端组成，前端用工控机连接图像采集设备，对监控视频分析和统计；后端是PC机，对各前端传送的监控视频和统计结果处理，并保存到本地；前端用基于Haar特征的Adaboost算法构建多个弱分类器，并将这些弱分类器首尾连接，一个弱分类器的输出作为另一个分类器的输入，得到一个级联的强分类器，用于单个行人检测；针对客流统计特点，在采集的数字视频中设定敏感区域，降低处理复杂度，提高处理准确度；采用基于Haar特征的Adaboost算法构建的级联强分类器检测到行人后，进行建模，将行人身体各部分赋予不同权值；采用模板匹配方法对行人跟踪，得到行人运动轨迹；并在模板发生变化时对模板更新，使具有自适应特点。
文档编号G06T7/20GK101980245SQ20101050921
公开日2011年2月23日 申请日期2010年10月11日 优先权日2010年10月11日
发明者曾罗成, 李超, 熊璋, 陈帆, 颜钊 申请人:北京航空航天大学