专利名称：智能人员卡口系统的制作方法
技术领域：
本实用新型涉及视频监控，特别涉及视频监控中的人员监控管理技术。
背景技术：
近年来，随著经济的飞速发展和人民生活水平的不断提高，诱发和滋生犯罪的消极因素大量存在，犯罪手段逐步向高科技、智能化、专业化方向发展，增强了犯罪行为的突发性、不确定性，给防范和侦破工作带来极大的困难，而治安卡口监控系统是社会治安防控工作、刑侦、交通管理中必不可少的一个重要手段。目前在整个治安监控中，虽然对于车辆监控的卡口已推行多年，但对人的管理和设卡几乎为零。目前，已提出了一些针对人员卡口的智能监控系统，通过设卡对经过卡口的人进行治安监控。在现有的卡口监控系统中主要还是通过摄像机的实时图像采集功能，实现对经过卡口的人员监控。然而，本实用新型的设计人发现，目前的这些系统大都是基于标清图像进行的，分辨率最大为720女576，尽管对于一般的室内出入口(出入口的宽度为1-2米)的监控来说已经足够，但对于道路上的治安监控，其监控范围往往有4-5米宽(按一般人行道的宽度估算)，在这种范围下达到人脸识别所需的脸部分辨率，监控相机的分辨率至少得百万高清以上(一般得需要1080P的分辨率)。而对于百万高清码流而言，势必会受到网络带宽的严重限制，而且更为重要的是经过视频编解码压缩后的视频，其图像质量会受到严重影响，必定会影响人脸识别的准确率。另外，目前的这些系统也不支持事后的检索功能，无法为公安部门在刑侦过程中对抓拍到的人员数据库进行事后查询提供便利。
实用新型内容本实用新型的目的在于提供一种智能人员卡口系统及人员监控管理方法，实现智能的人员卡口，为公安部门对犯罪嫌疑人的快速搜索排查提供了便利。为解决上述技术问题，本实用新型的实施方式提供了一种智能人员卡口系统，包含人脸抓拍子系统，用于获取经过卡口的所有人员的高清人脸图像；中心分析服务器，用于对高清人脸图像进行特征提取和事后根据特征检索；数据管理子系统，用于对人脸抓拍子系统获取的高清人脸图像、中心分析服务器提取的特征数据进行存储管理；人脸抓拍子系统、中心分析服务器和数据管理子系统分别与交换机相连接，利用交换机构成一个局域网，进行相互之间的通信。本实用新型实施方式与现有技术相比，主要区别及其效果在于整个系统由前端人脸抓拍子系统、中心分析服务器和数据管理子系统三部分构成，人脸抓拍子系统负责获取经过卡口的所有人员的高清人脸图像；中心分析服务器负责对高清人脸图像进行特征提取和事后根据特征检索；数据管理子系统用于存储的高清人脸图像和提取的特征数据。人脸抓拍子系统、中心分析服务器和数据管理子系统分别与交换机相连接，利用交换机构成一个局域网，进行相互之间的通信。由于整个系统采用了前端抓拍加后端分析的模式，前端的人脸抓拍子系统输出的是高清人脸图像，而非人脸的特征数据，由后端的中心分析服务器进行特征提取，降低了人脸抓拍子系统的运算量，使得对人脸的检测、抓拍功能可以直接集成在摄像机中，摄像机并不仅仅只负责图像的采集，实现了智能的人员卡口，而且能支持事后的检索，大大便利了公安部门对犯罪嫌疑人的快速搜索排查。进一步地，人脸抓拍子系统中的摄像机在行人进入设置的虚拟线圈时启动人脸检测，并进行人脸跟踪形成脸部目标的跟踪轨迹，将从跟踪轨迹中挑选出的人脸评分最高的图像作为该行人的抓拍图像。人脸评分是指根据人脸姿态和清晰度对检测或跟踪到的人脸进行评价，姿态越正面、且清晰度越高的人脸，其相应的评分也就越高。根据人脸跟踪、人脸评分得到的抓拍图像，有效保证了能获得通过设定区域所有人员的高清晰人脸照片，从而可提升人脸识别的准确率。而且，考虑到夜间及光照不理想的阴天的抓拍，人脸抓拍子系统中还包含有补光灯，从而实现了全天候的人脸抓拍。进一步地，摄像机内可通过集成有每一级均为一个弱分类器的轻型级联结构分类器，对当前待检测图像中的待测子窗口进行人脸检测；也可以通过集成有包含多个节点分类器的级联矢量树结构检测器，对当前待检测图像中的待测子窗口进行人脸检测。由于轻型级联结构分类器的每一个弱分类器都可以去除部分非人脸；级联矢量树结构检测器通过在分支节点分类器之间引入级联分类器，利用级联分类器对各个分支上的非人脸子窗口进行逐级有效的去除，降低了分支节点分类器的复杂度，减少了所含的弱分类器个数。因此由轻型级联结构分类器或级联矢量树结构检测器进行人脸检测，可进一步降低运算量，提高检测速度，进一步保证了对人脸的检测、抓拍功能可以直接由摄像机实现。进一步地，摄像机还用于根据当前检测到的人脸的脸部平均亮度信息对补光灯进行自动曝光控制，可进一步有效提高脸部区域的清晰度。进一步地，中心分析服务器提取的特征包含人体属性特征和用于人脸比对的脸部纹理模型特征。中心分析服务器在事后根据特征检索时，根据检索条件在数据管理子系统中查询出与检索条件相匹配的特征所对应的高清人脸图像；其中，检索条件为根据输入的待查询的人脸图片提取的脸部纹理模型特征，和/或输入的人体属性特征。利用基于脸部纹理模型特征和人体属性特征的后检索方法，可为公安部门在查询抓拍人员数据库时有效缩小排查范围，快速定位嫌疑人员，提高抓捕罪犯的速度，达到快速侦破案件的目的。
图1是根据本实用新型第一实施方式的智能人员卡口系统的结构示意图；图2是根据本实用新型第一实施方式中的轻型级联结构分类器进行人脸检测的示意图；图3是根据本实用新型第二实施方式中的级联矢量树结构检测器的结构示意图。
具体实施方式
[0021]在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型的实施方式作进一步地详细描述。本实用新型第一实施方式涉及一种智能人员卡口系统。本实施方式的智能人员卡口系统采用前端抓拍加后端分析的模式，具体由前端的人脸抓拍子系统、后端的中心分析服务器和数据管理子系统三部分构成，人脸抓拍子系统、中心分析服务器和数据管理子系统分别与交换机相连接，利用交换机构成一个局域网，进行相互之间的通信，如图1所示。 图1所示的智能人员卡口系统中还包含了客户端，该客户端与交换机相连接，用于实现操作人员的指令输入和智能人员卡口系统的反馈结果输出。其中，人脸抓拍子系统用于获取经过卡口的所有人员的高清人脸图像；中心分析服务器用于对高清人脸图像进行特征提取和事后根据特征检索；数据管理子系统用于对人脸抓拍子系统获取的高清人脸图像、中心分析服务器提取的特征数据进行存储管理。具体地说，人脸抓拍子系统是整个人员卡口系统的前端核心部分，负责对经过卡口的所有人员进行自动抓拍，获得高清人脸图像和相应的全景图像，该人脸抓拍子系统由具备人脸抓拍功能的嵌入式一体化高清抓拍摄像机、补光灯、传输单元等三部分组成。其中，摄像机采用设置虚拟线圈规则的视频触发方式，在行人进入设置的虚拟线圈时启动人脸检测，并进行人脸跟踪形成脸部目标的跟踪轨迹，将从跟踪轨迹中挑选出的人脸评分最高的图像作为该行人的抓拍图像。该摄像机还用于在挑选出的人脸评分最高的图像作为该行人的抓拍图像时，记录该人脸评分最高的图像的拍摄时间和地点信息，最后将得到的行人的抓拍图像、对应的全景图像、拍摄时间、地点等信息通过网络传至中心分析服务器中。由于整个抓拍过程中不需要物理触发装置辅助，完全由软件完成，因此前端抓拍子系统结构简单。根据人脸跟踪、人脸评分得到的抓拍图像，有效保证了能获得通过设定区域所有人员的高清晰人脸照片，从而可提升人脸识别的准确率。而且，考虑到夜间及光照不理想的阴天的抓拍，本实施方式中还在前端抓拍机附近安装补光灯，从而实现全天候的人脸抓拍。值得一提的是，摄像机可根据当前检测到的人脸的脸部平均亮度信息对补光灯进行自动曝光控制，从而进一步有效提高了脸部区域的清晰度。另外，摄像机可通过内部集成的每一级均为一个弱分类器的轻型级联结构分类器，实现对当前待检测图像中的待测子窗口进行人脸检测，检测出人脸窗口。该轻型级联结构分类器中的每一级弱分类器逐一对该待测子窗口进行是否为人脸的分类，如果该待测子窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该待测子窗口的分类，输出该待测子窗口为非人脸的检测结果；如果该待测子窗口被所述轻型级联结构分类器中的每一级弱分类器均分类为人脸，则输出该待测子窗口为人脸的检测结果，如图2所示。其中， 轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器的基础上训练得到。由于对于一张图像中大量的待检测窗口，相对于非人脸窗口，其中包含的人脸窗口极少。因此相对于级联结构的分类器必须在计算出一个强分类器中所有弱分类器结果后方可去除部分非人脸的方案而言，轻型级联结构分类器的每一个弱分类器都可以去除部分非人脸，从而可以通过少量的弱分类器进行更加快速的判断，减少了运算量，达到更快的检测速度。中心分析服务器是整个智能人员卡口系统的核心，主要实现抓拍图像中的行人的特征提取和事后人员检索等功能。其中抓拍图像的特征提取包括人体属性特征和用于人脸比对的脸部纹理模型特征的提取。脸部纹理模型特征也就是脸部的局部纹理特征，这些特征往往适合于人脸比对分析，但是不具备任何物理意义。人体属性特征也就是符合人类的辨认习惯的特征，能够用语言描述，可以作为事后检索的标签，例如人是否戴眼镜、发型特征(长发、短发、光头、直发或者卷发)、胡须特征(稀疏、浓密或者无)、脸型(国字脸、瓜子脸、圆脸等)、身高特征(高、矮、胖和瘦)以及所穿的衣物特征(格子衣服、某种纯颜色的衣服)等。具体地说，中心分析服务器可通过包含以下子模块，实现人体属性特征和用于人脸比对的脸部纹理模型特征的提取预处理子单元，用于对待进行特征提取的高清人脸图像进行预处理，包括光照补偿和去噪滤波。定位归一子单元，用于对经预处理子单元预处理后的图像进行特征点定位和图像的归一化对齐。特征提取子单元，用于对经定位归一子单元处理后的图像进行脸部纹理模型特征的提取和人体属性特征的提取，并将提取的所有特征通过交换机存储至数据管理子系统， 生成抓拍数据库。中心分析服务器在事后根据特征检索时，根据检索条件在数据管理子系统中进行检索，查询出与检索条件相匹配的特征所对应的高清人脸图像，即，返回满足条件的人脸图像。其中，检索条件为根据输入的待查询的人脸图片提取的脸部纹理模型特征，或输入的人体属性特征。也就是说，检索方式主要有以下两种(1)基于脸部纹理模型特征的检索首先输入一张待查询的人脸图片，接着进行人脸的特征点定位、归一化对齐以及纹理模型特征的提取，然后计算该人脸模型与抓拍数据库中各人脸模型之间的相似度，最后根据相似度进行排序，输出数据库中那些与待查询人脸相似人脸图像。(2)基于人体属性特征的检索由于每一个被抓拍到的人都已经在特征提取的时候就完成了人体属性特征的提取，因此在进行基于属性特征的检索时只需选择检索标签， 系统就可以快速地完成检索，例如系统可以支持对于戴眼镜、长头发且穿白色衣服的人的检索。待查询的人脸图片或人体属性特征可从客户端中输入，通过交换机传输至中心分析服务器。中心分析服务器通过交换机，向客户端反馈查询出的与检索条件相匹配的特征所对应的高清人脸图像。不难发现，在本实施方式中，由于整个系统采用了前端抓拍加后端分析的模式，而不仅仅只负责图像的采集，实现了智能的人员卡口，而且能支持事后的检索，大大便利了公安部门对犯罪嫌疑人的快速搜索排查。而且，基于人脸模型特征和属性特征的后检索方法， 可为公安部门在查询抓拍人员数据库时缩小排查范围，快速定位嫌疑人员，提高抓捕罪犯的速度。例如公安部门需要在抓拍数据库中检索具有某种特征(如戴眼镜、长头发、国字脸、高个子、穿格子衣服等)的可疑人员或者输入一张可疑人员的人脸图像，利用后检索功能进行查询，从而返回数据库中与可疑人员最为相近的人脸图像。而且，人体属性特征是可用语言描述的特征，进一步方便了公安部门的搜索排查。另外，需要说明的是，在本实施方式中，还可以扩展实现黑名单的实时比对报警。 比如说，在数据管理子系统中预先存储有犯罪嫌疑人的特征(包括脸部纹理模型特征和人体属性特征)，中心分析服务器在根据行人的抓拍图像提取出特征后，直接与存储的犯罪嫌疑人的特征进行比对，如果特征相符，则输出报警信号。本实用新型第二实施方式涉及一种智能人员卡口系统。第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于在第一实施方式中，检索条件为根据输入的待查询的人脸图片提取的脸部纹理模型特征，或输入的人体属性特征。而在本实施方式中，检索条件不仅可以是根据输入的待查询的人脸图片提取的脸部纹理模型特征，或输入的人体属性特征中的任一种，还可以是根据输入的待查询的人脸图片提取的脸部纹理模型特征，和输入的人体属性特征。也就是说，本实施方式的智能人员卡口系统支持事后的混合检索。通过同时支持基于人脸模型特征和人体属性特征的混合检索方式，从而能达到更好的检索结果，最终为公安在刑侦过程中精确地缩小排查范围，达到快速侦破案件的目的。另外，在本实施方式中，摄像机也可通过内部集成的包含多个节点分类器的级联矢量树结构检测器，对当前待检测图像中的待测子窗口进行人脸检测。该级联矢量树结构检测器中包括至少一个分支节点分类器(即有多个子节点的节点分类器)，并且，在至少一个分支节点分类器之前，有至少一个级联的无分支节点分类器(即只有一个子节点的节点分类器)。比如说，如图3所示，级联矢量树结构检测器共包含15个视角，平面外旋转分为 5个姿态，依次为左全侧(-90，-M)、左半侧(-54，-18)、准正面(-18，+18)、右半侧(+18， +54)和右全侧(+ ，+90) 5个视角，每个平面外旋转视角下再细分为3个平面内旋转视角， 依次为旋转-30(-45,-15)，0度(-15，+15)和30度(+15，+45)。这样该级联矢量树结构检测器的检测能力能够覆盖平面外旋转180度的范围和平面内旋转90度的范围。级联矢量树结构检测器在对当前待检测图像中的待测子窗口进行人脸检测时，当级联矢量树结构检测器中的无分支节点分类器将待测子窗口判定为非人脸子窗口时，停止与该无分支节点分类器级联的分支节点分类器对该待测子窗口的进一步检测；当无分支节点分类器将待测子窗口判定为人脸子窗口时，将该待测子窗口送到与该无分支节点分类器级联的分支节点分类器继续检测。具体地说，对于一个待测子窗口，从根节点开始遍历各个节点分类器对其进行类别属性的判断，如果级联矢量树结构检测器中的某一分支上的节点分类器将该待测子窗口判为非人脸，则停止向下访问其孩子节点，转而向上递归访问其它分支上的节点分类器。如果待测子窗口通过某一分支上所有节点分类器，直到叶子节点，则该子窗口被判为人脸，而且该人脸的视角类别就是该叶子节点所对应的类别。也就是说，包括根节点在内的每一个获得待测子窗口输入的节点分类器按如下方式处理如果判定为非人脸子窗口，则结束本分支对该待测子窗口的检测(即不再送到孩子节点中检测)；否则，如果本节点不是叶子节点，则将该待测子窗口送到该节点的至少一个子节点中进一步检测，如果本节点已经是叶子节点了，则判定该子窗口为人脸，且该人脸的视角类别就是该叶子节点所对应的类别。通过在分支节点分类器之间引入级联分类器，利用级联分类器对各个分支上的非人脸子窗口进行逐级有效的去除，降低了分支节点分类器的复杂度，减少了所含的弱分类器个数，从而降低了运算量，在保证检测率的同时提高检测速度。当然，摄像机也可通过其他算法进行人脸检测，在本申请中不一一赘述。虽然通过参照本实用新型的某些优选实施方式，已经对本实用新型进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本实用新型的精神和范围。
权利要求1.一种智能人员卡口系统，其特征在于，包含人脸抓拍子系统，用于获取经过卡口的所有人员的高清人脸图像；中心分析服务器，用于对所述高清人脸图像进行特征提取和事后根据特征检索；数据管理子系统，用于对所述人脸抓拍子系统获取的高清人脸图像、所述中心分析服务器提取的特征数据进行存储管理；所述人脸抓拍子系统、所述中心分析服务器和数据管理子系统分别与交换机相连接， 利用所述交换机构成一个局域网，进行相互之间的通信。
2.根据权利要求1所述的智能人员卡口系统，其特征在于，所述人脸抓拍子系统包含摄像机，用于在行人进入设置的虚拟线圈时启动人脸检测，并进行人脸跟踪形成脸部目标的跟踪轨迹，将从所述跟踪轨迹中挑选出的人脸评分最高的图像作为该行人的抓拍图像；补光灯，用于为所述摄像机进行曝光；传输单元，用于将所述摄像机获取到的各行人的抓拍图像通过所述交换机传输至所述中心分析服务器。
3.根据权利要求2所述的智能人员卡口系统，其特征在于，所述摄像机内集成有每一级均为一个弱分类器的轻型级联结构分类器，所述轻型级联结构分类器用于对当前待检测图像中的待测子窗口进行人脸检测，检测出人脸窗口 ；其中，所述轻型级联结构分类器在对每个所述待测子窗口进行人脸检测时，所述轻型级联结构分类器中的每一级弱分类器逐一对该待测子窗口进行是否为人脸的分类，如果该待测子窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该待测子窗口的分类，输出该待测子窗口为非人脸的检测结果；如果该待测子窗口被所述轻型级联结构分类器中的每一级弱分类器均分类为人脸，则输出该待测子窗口为人脸的检测结果；所述轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器的基础上训练得到。
4.根据权利要求2所述的智能人员卡口系统，其特征在于，所述摄像机内集成有包含多个节点分类器的级联矢量树结构检测器，该级联矢量树结构检测器中包括至少一个分支节点分类器，并且，在至少一个分支节点分类器之前，有至少一个级联的无分支节点分类器；所述级联矢量树结构检测器用于对当前待检测图像中的待测子窗口进行人脸检测，其中，当所述级联矢量树结构检测器中的所述无分支节点分类器将所述待测子窗口判定为非人脸子窗口时，停止与该无分支节点分类器级联的分支节点分类器对该待测子窗口的进一步检测；当所述无分支节点分类器将所述待测子窗口判定为人脸子窗口时，将该待测子窗口送到与该无分支节点分类器级联的分支节点分类器继续检测。
5.根据权利要求2所述的智能人员卡口系统，其特征在于，所述传输单元在传输各行人的抓拍图像时，将各行人的抓拍图像和相应的拍摄时间、 地点信息、全景图像一同通过所述交换机传输至所述中心分析服务器。
6.根据权利要求1所述的智能人员卡口系统，其特征在于，所述智能人员卡口系统还包含客户端，所述客户端与所述交换机相连接；所述客户端用于通过所述交换机，向所述中心分析服务器输入待查询的人脸图片和/或人体属性特征；所述中心分析服务器通过所述交换机，向所述客户端反馈查询出的与所述检索条件相匹配的特征所对应的高清人脸图像。
专利摘要本实用新型涉及视频监控，公开了一种智能人员卡口系统。本实用新型中，整个系统由前端人脸抓拍子系统、中心分析服务器和数据管理子系统三部分构成，人脸抓拍子系统、中心分析服务器和数据管理子系统分别与交换机相连接，利用交换机构成一个局域网，进行相互之间的通信。由于整个系统采用了前端抓拍加后端分析的模式，而不仅仅只负责图像的采集，实现了智能的人员卡口，而且能支持事后的检索，大大便利了公安部门对犯罪嫌疑人的快速搜索排查。
文档编号G06K9/62GK202121706SQ20112007969
公开日2012年1月18日 申请日期2011年3月24日 优先权日2011年3月24日
发明者张文聪, 谭文明, 贾永华 申请人:杭州海康威视软件有限公司