专利名称：基于无线监控的多路通道人流量监测系统的制作方法
技术领域：
本发明涉及计算机视觉领域的监控技术，尤其是一种多路通道人流量监测系统。
背景技术：
随着社会不断的进步，视频监控系统的应用范围越来越广泛。在超市、地铁、码头 以及车站等公共场所的出入口处通常安装有监控设备。通过这些监控设备，管理人员可以 实时了解掌握监控区域的安全运行情况。但是，随着通道人流量的增加，管理者很多时候需 要掌握相应通道在一定时间段内的人流量信息。就这个需要目前主要有以下几种方法
第一种，通过人工清点的方式。这种方式一方面需要长时间的消耗人力资源；另一方 面，随着时间的推移和清点人员的疲劳加剧，人工清点的效果会逐渐变差，导致最终得到的 清点数据可靠性大打折扣。第二种，机械脚踏传感器方式。这种方式在需要进行人流量统计的通道口地面上 安装机械脚踏踏板，通过的行人踩踏这些踏板，然后通过与踏板想连接的传感器把踩踏信 息传递到处理端，通过在信息处理端进行踩踏信息处理和人流量转化和统计来达到人流量 统计的目的。这种方式处理准确度会严重依赖于踏板的排布情况。另外，当进出人流分布 不均勻时，该种方法的累积精度会进一步的降低。第三种，采用红外线感应方式。该种方式在通道出入口的两侧安装红外线发射装 置(如红外二极管)和红外信号感应接收装置(如光敏二极管)，通过贯穿通的通道的红外信 号遮挡情况，来分析行人通过情况。这种方式在当个行人进出时，上课得到较准确的统计信 息。但是，对于人流遮挡等情况，会出现严重的漏检情况。第四种，基于视频监控的技术。基于的计算机视觉的人流量统计方面的专利，也已 有人提出。但是目前现有的这些基于计算机视觉的方法，存在各种各样的推广限制。比如， 通过基于Haar特征Adaboost方法进行人头的检测，虽然提出针对不同发色、不同发型、不 同头部装饰(如毛子、头巾等)分别进行训练对应的分类器，然后用这些分类器组合成级联 分类器进行不同形貌通道人头的检测。但是，实际人流头饰千奇百怪，要分别训练出对应的 分类器几乎不现实。
发明内容
为了克服已有人流量监测方法的自适应能力差、可靠性差的不足，本发明提供一 种具有良好自适应能力、可靠性良好的基于无线监控的多路通道人流量监测系统。本发明解决其技术问题所采用的技术方案是
一种基于无线监控的多路通道人流量监测系统，包括视频采集终端，所述视频采集终 端包括安装在各个人流监控通道口处的监控摄像头和用以采集视频图像的视频采集模块， 以及码本背景模块，用以对视频获取的图像中每一个像素进行码素搭建，如果当前帧对应 位置像素点颜色灰度落在已有码素的有效容忍范围内，判定当前像素点对应背景区域；如 果当前颜色值没有落在现有的任何一个码素范围内，则进行建立一个新的含有上下浮动边界的码素；对当前帧整个监控图像中的所有像素点进行同样的评估处理，实现运动行人的 分割和提取，得到目标区域图像；图像预处理模块，用以对目标区域图像进行去噪处理；无 线发射模块，用以将人流采集视频数据通过无线网络发送；
所述多路通道人流量监测系统还包括用以接收人流采集数据，并进行投影、跟踪和计 数处理的中心服务器端；所述中心服务器端包括
无线接收模块，用以接收各个视频采集终端的人流采集视频数据； 新进人流检测模块，用以采用在投影区域进行投影的方法实现新进行人流中人身区域 的检测和定位，对行人人身在二维方向上进行颜色信息投影，通过二维极值检测和交叉定 位实现有效人头的初始定位；
人流跟踪和计数模块，用以对当前通道终端监控范围内的已检测到的每个行人目标， 建立一个对应的Kalman跟踪器，依靠Kalman预测实现对应行人的位置区域预测，然后采用 关联矩阵方法在Kalman预测区域内进行行人的目标匹配定位，采用关联矩阵匹配定位得 到的位置对对应的Kalman进行状态测量值的更新；在跟踪区域中，设定进门方向的外投影 区域和出门方向的内投影区域，当该目标从内投影区域进入，且从外投影区域消失监控范 围时系统出门人次累加1次；同理，当该目标从外投影区域进入，且从内投影区域消失监控 范围时系统进门人次累加1次；并汇总各个人流监控通道口的人流量信息。作为优选的一种方案在所述人流跟踪和计数模块中，关联矩阵方法包括以下匹 配情况
(a)关联矩阵中出现新的目标该目标为新进入监控范围的目标，为该目标建立对应的 目标跟踪初始信息，采用该目标在投影区域求得的身体位置信息进行Kalman和关联矩阵 的跟踪信息的初始化，并以此信息为该行人的初始位置；
(b)关联矩阵中前后目标相匹配假设行人i在前一帧的位置跟踪区框S相应的高度、 宽度和中心位置分别为Hi、Wi和Pi，通过Kalman预测和关联矩阵匹配后对应的新的跟踪 框S’高度、宽度和中心位置分别为Hi’、Wi’和Pi’，则S和S’的重叠面积是所有其他与S 有重叠关系的重叠面的最大的一个；并根据此时的S’信息进行对应目标Kalman和关联矩 阵跟踪信息的更新。(C)关联矩阵中某目标消失当关联矩阵中的某个前帧目标在当前帧没有匹配目 标与之匹配时，对该消失目标根据其前一帧的位置坐标信息和初始位置信息来求取其路径
矢里^[曰息ο再进一步，在所述图像预处理模块中，采用形态学中的开、闭运算进行去噪处理。本发明的技术构思为在系统架构上包括基于嵌入式ARM平台的视频采集终端和 中心信息处理服务器。在嵌入式视频监控终端，进行对应通道的视频实时采集和视频的初 步预处理；在系统的中心服务器端，对各路视频采集终端发送来的经预处理的监控视频进 行对应视频人流量的统计和所有通道全部人流量的汇总。终端和中心服务器之间采用WiFi 等无线网络实现连接和通信。本发明的有益效果主要表现在
(1)整套方法系统分为基于嵌入式ARM平台的通道视频采集终端和信息处理中心服务 器等部分，实现了分布式多通道的并行人流同步统计。(2)采用码本背景建模方法，这样实现了对监控背景变化的自适应能力，排除了进入监控处理范围的非有效行人目标的干扰。(3)在摄像头监控区域的内外边界附近，分别划分了内投影区和外投影区，采用二 维投影方法实现行人上身的检测和位置定位。(4)采用Kalman与关联矩阵相结合的办法实现行人的连续跟踪，由于Kalman具有 很强的状态信息预测和反馈能力。因此，避免了但村实用关联矩阵的目标匹配在高速运动 目标的漏检漏跟情况的发生。
图1是基于无线监控的多路通道人流量监测系统的架构图。图2是背景码本的构建示意图。图3是监控投影区域行人定位示意图。图4是人流检测跟踪示意图。图5是基于无线监控的多路通道人流量统计处理流程图。
具体实施例方式下面结合附图对本发明作进一步描述。参照图1 图5，一种基于无线监控的多路通道人流量监测系统包括基于嵌入式 ARM平台的视频采集终端1和中心信息服务器端2，在嵌入式视频监控终端，进行对应通道 的视频实时采集和视频的初步预处理；在系统的中心服务器端，对各路视频采集终端发送 来的经预处理的监控视频进行对应视频人流量的统计和所有通道全部人流量的汇总。视频 采集终端1和中心服务器端2之间采用WiFi等无线网络3实现连接和通信。视频采集终端基于以上系统架构，在各个人流监控通道口处，采用连接于嵌入式 ARM处理平台的监控摄像头在通道上方中心俯视的角度进行视频的采集和视频预处理。为 了能排除监控背景的变换干扰，在视频采集终端采用码本背景评估方法实现监控场景的建 立和周期性更新。在背景评估的同时就能判断出视频帧各像素点是处于背景区域还是行人 区域，从而达到运动行人的分割检测，在此基础上，采用形态学开、闭运算和直方图均衡化 等实现图像的预处理。在视频采集终端进行视频采集、码本背景建模和前景行人图像的预 处理，具体过程如下。(1)码本背景建模
在采集得到监控视频后，采用码本(codebook)方法实现检测区域的周期性场景建模。 对视频获取的图像中每一个像素进行码素搭建，如果当前帧对应位置像素点颜色灰度落在 已有码素的有效容忍范围内，则说明当前像素点对应背景区域；如果当前颜色值没有落在 现有的任何一个码素范围内，则进行建立一个新的含有上下浮动边界(称作容忍度)的码 素；同样的道理，对当前帧图像中的所有像素点进行同样的评估处理，就实现了监控区域的 背景评估。背景码本的构建如下图2所示。然后周期性的进行码本的更新，实现有对新进 背景的添加和过时无效背景信息的剔除。在码本背景评估的同时，我们知道哪些像素属于 背景，哪些像素属于运动检测目标，这样就也就实现了类似图像差分式的目标分割检测。(2)图像预处理
通过码本周期性的有效背景更新和运动目标的检测分割，我们得到了监控范围内的人流运动目标。但是受噪声的干扰等，目标区域信息并不都很明朗和完整，因此，需要采用形 态学中的开、闭运算等预处理方法实现运动目标区域的噪声消除、粘连目标的分割。中心服务器端在系统中心服务器端，中心处理处理服务器通过WiFi等无线网络 从分布于各通道上的视频采集终端接收经过预处理的人流采集视频，并分别为每个采集终 端建立一个对应的视频后续处理子进程，这些子进程分别对各自对口终端传来的通道人流 视频进行投影、跟踪和人流量的计数处理等。最后，服务器父进程通过综合各子进程求得的 人流计数值来更新全局人流统计值，这样就实现了基于无线监控的多路通道的人流量的统 计。服务器端的各视频人流处理子进程分别通过新进人流投影检测、现有行人目标匹配跟 踪和人流量计数等步骤实现各对口无线终端通道人流的统计，具体步骤如下。(1)新进人流检测
新进入通道终端摄像头监控视野的行人，可能存在身体遮挡的情况，这也是基于计算 机视觉技术实现有效精准人流统计的难点和突破重点。目前现有的基于计算机视觉方法人 流统计的难点。目前，已有的基于计算机视觉的人流统计方面的专利和方法对遮挡人流的 统计处理仍不理想，都存在着各种问题。针对这些问题，我们采用在投影区域进行投影的 方法实现新进行人流中人身区域的检测和定位，如下图3所示。对行人人身在二维方向上 进行颜色信息投影，通过二维极值检测和交叉定位实现有效人头(包括被遮挡的)的初始定 位，为后续的Kalman和关联矩阵人流跟踪提供新进目标的跟踪初始信息。(2)人流跟踪与计数
对当前通道终端监控范围内的已检测到的每个行人目标，建立一个对应的Kalman跟 踪器，依靠Kalman预测实现对应行人的位置区域预测，然后采用关联矩阵方法在Kalman 预测区域内进行行人的目标匹配定位。然后，采用关联矩阵匹配定位得到的位置对对应的 Kalman进行状态测量值的更新。依次循环下来，就实现了监控行人目标的连续跟踪。采用 关联矩阵进行行人目标跟踪时候，有以下几种匹配情况
(a).关联矩阵中出现新的目标说明该目标为新进入监控范围的目标，目标还没有建 立对应的Kalman滤波器和信息记录。因此，为该目标建立对应的目标跟踪初始信息。采用 该目标在投影区域求得的身体位置信息进行Kalman和关联矩阵的跟踪信息的初始化，并 以此信息为该行人的初始位置。(b).关联矩阵中前后目标相匹配假设行人i在前一帧的位置跟踪区框(图2所 示，在这里记为S)相应的高度、宽度和中心位置分别为Hi、Wi和Pi，通过Kalman预测和关 联矩阵匹配后对应的新的跟踪框(记为S’)高度、宽度和中心位置分别为Hi’、Wi ’和Pi’， 则S和S’的重叠面积是所有其他与S有重叠关系的重叠面的最大的一个。并根据此时的 S’信息进行对应目标Kalman和关联矩阵跟踪信息的更新。(c).关联矩阵中某目标消失当关联矩阵中的某个前帧目标在当前帧没有匹配目 标与之匹配时，说明该目标在当前帧发生消失。此时，对该消失目标根据其前一帧的位置坐 标信息和初始位置信息来求取其路径矢量信息。进而，当该目标从内投影区域进入，且从外 投影区域消失监控范围时系统出门人次累加1次；同理，当该目标从外投影区域进入，且从 内投影区域消失监控范围时系统进门人次累加1次。服务器端各处理子进程人对口监控终端视频人流检测统计如下图4所示。通过以上无线监控终端的视频采集和预处理以及中心服务器端的对口子进程人流统计后，就得到了各通道的进出人流信息，在以上基础上，中心服务器端的人流处理父进 程通过汇总统计各子进程的统计值，便得到了整个系统当前时刻的全部通道的进出人流信 息。基于无线监控的多路通道人流量统计方法处理流程如下图5所示。
权利要求
1.一种基于无线监控的多路通道人流量监测系统，包括视频采集终端，所述视频采集 终端包括安装在各个人流监控通道口处的监控摄像头和用以采集视频图像的视频采集模 块，其特征在于所述视频采集终端还包括码本背景模块，用以对视频获取的图像中每一个像素进行码素搭建，如果当前帧对应 位置像素点颜色灰度落在已有码素的有效容忍范围内，判定当前像素点对应背景区域；如 果当前颜色值没有落在现有的任何一个码素范围内，则进行建立一个新的含有上下浮动边 界的码素；对当前帧整个监控图像中的所有像素点进行同样的评估处理，实现运动行人的 分割和提取，得到目标区域图像；图像预处理模块，用以对目标区域图像进行去噪处理； 无线发射模块，用以将人流采集视频数据通过无线网络发送； 所述多路通道人流量监测系统还包括用以接收人流采集数据，并进行投影、跟踪和计 数处理的中心服务器端；所述中心服务器端包括无线接收模块，用以接收各个视频采集终端的人流采集视频数据； 新进人流检测模块，用以采用在投影区域进行投影的方法实现新进行人流中人身区域 的检测和定位，对行人人身在二维方向上进行颜色信息投影，通过二维极值检测和交叉定 位实现有效人头的初始定位；人流跟踪和计数模块，用以对当前通道终端监控范围内的已检测到的每个行人目标， 建立一个对应的Kalman跟踪器，依靠Kalman预测实现对应行人的位置区域预测，然后采用 关联矩阵方法在Kalman预测区域内进行行人的目标匹配定位，采用关联矩阵匹配定位得 到的位置对对应的Kalman进行状态测量值的更新；在跟踪区域中，设定进门方向的外投影 区域和出门方向的内投影区域，当该目标从内投影区域进入，且从外投影区域消失监控范 围时系统出门人次累加1次；同理，当该目标从外投影区域进入，且从内投影区域消失监控 范围时系统进门人次累加1次；并汇总各个人流监控通道口的人流量信息。
2.如权利要求1所述的基于无线监控的多路通道人流量监测系统，其特征在于在所 述人流跟踪和计数模块中，关联矩阵方法包括以下匹配情况(a)关联矩阵中出现新的目标该目标为新进入监控范围的目标，为该目标建立对应的 目标跟踪初始信息，采用该目标在投影区域求得的身体位置信息进行Kalman和关联矩阵 的跟踪信息的初始化，并以此信息为该行人的初始位置；(b)关联矩阵中前后目标相匹配假设行人i在前一帧的位置跟踪区框S相应的高度、 宽度和中心位置分别为Hi、Wi和Pi，通过Kalman预测和关联矩阵匹配后对应的新的跟踪 框S’高度、宽度和中心位置分别为Hi’、Wi’和Pi’，则S和S’的重叠面积是所有其他与S 有重叠关系的重叠面的最大的一个；并根据此时的S’信息进行对应目标Kalman和关联矩 阵跟踪信息的更新；(c)关联矩阵中某目标消失当关联矩阵中的某个前帧目标在当前帧没有匹配目标与 之匹配时，对该消失目标根据其前一帧的位置坐标信息和初始位置信息来求取其路径矢量 fn息ο
3.如权利要求1或2所述的基于无线监控的多路通道人流量监测系统，其特征在于 在所述图像预处理模块中，采用形态学中的开、闭运算进行去噪处理。
全文摘要
一种基于无线监控的多路通道人流量监测系统，包括视频采集终端，视频采集终端包括安装在各个人流监控通道口处的监控摄像头和视频采集模块、以及码本背景模块，图像预处理模块以及无线发射模块；还包括用以接收人流采集数据，并进行投影、跟踪和计数处理的中心服务器端；中心服务器端包括无线接收模块、新进人流检测模块和人流跟踪和计数模块。本发明提供一种具有良好自适应能力、可靠性良好的基于无线监控的多路通道人流量监测系统。
文档编号H04N7/18GK102104771SQ201010586168
公开日2011年6月22日 申请日期2010年12月14日 优先权日2010年12月14日
发明者刘向东, 梁荣华, 毛剑飞, 田青, 马祥音 申请人:浙江工业大学