基于人脸识别与射频识别的监控跟踪系统的制作方法
【专利摘要】本发明公开一种基于人脸识别与射频识别的监控跟踪系统，其包括监控服务器、人员移动信息查询终端以及视频影像采集设备和RFID阅读器；所述监控服务器上设有视频影像采集设备和RFID阅读器地理位置数据库、人员特征信息数据库、人员移动信息数据库和人脸识别模块；视频影像采集设备和RFID阅读器地理位置数据库用于存储各视频影像采集设备和RFID阅读器的地理位置信息；人员特征信息数据库用于记录人员的人脸特征数据和RFID标签信息；人员移动信息数据库用于记录人员的移动信息，人员移动信息查询终端用于查询目标人员的移动信息。该系统能够对进入监控区域的所有人员进行全程的跟踪，并能快速提供目标人物在该监控区域中的行踪。
【专利说明】
基于人脸识别与射频识别的监控跟踪系统
技术领域
[0001]本发明涉及一种智能监控系统，具体涉及一种基于人脸识别与射频识别的监控跟踪系统。
【背景技术】
[0002]在大型工作单位或特殊安全场合中，需要对特定的区域进行视频监控，以便及时发现异常信息，应对潜在袭击和突发事件，或者在事件发生后通过视频寻找目标人物线索。如监狱中监控关键地带以防止发生越狱，地铁里检测异常遗留物体及统计人流，及在楼道地带监视逗留的行人等。然而，现有的普通视频监控技术存在以下的不足:1、当行人密集度较高、室内光线不理想、视频内容模糊时，视频监控系统无法有效地提供当时的指定目标人物移动信息；2、需要人工实时监看视频才能及时发现异常信息，通常一个人需要同时监看多个视频屏幕，费时费力，并且容易出现遗漏;3、通过回看监控视频寻找目标人物线索时，需要耗费大量的时间和人力。4、视频监控存在监控死角，不能对目标人物在指定区域中的所有行踪进行全程监控。
[0003]申请公布号为CN104318732A的发明专利申请中公开了一种“基于视频分析和RFID的变电站现场人员监控管理系统及方法”，该专利申请中应用了视频分析技术和RFID(射频识别)技术，其中，视频分析技术用于判断进入特定区域中的人员是否佩戴安全帽及安全帽的颜色，RFID技术用于判断进入特定区域中的人员是否具有进入的权限，实现对变电站现场人员的监控管理。上述专利申请的视频分析仅仅用于判断人员是否佩戴安全帽，不能对人员的身份信息进行识别，不能实现对指定目标人物的行踪的全程监控。
[0004]授权公告号为CN103942850B的发明专利中公开了一种“基于视频分析和RFID技术的医护人员在岗检测方法”，该发明专利利用视频分析技术对人员的服装和脸部进行识别，以判断在岗的是否为指定人员，对于疑似离开人员，采用RFID进行位置跟踪，判断指定人员是否离岗。该发明专利具体应用在医护人员的在岗检测，无法适用于目标监控区域的安全监控，原因在于:1、该专利无法对进入目标监控区域的所有人员进行识别和跟踪;2、该专利不能实现对目标人物在目标监控区域中的全程跟踪;3、对于指定的目标人物，该专利无法判断该目标人物在特定时间范围内是否在目标监控区域出现，也无法快速提供目标人物在目标监控区域出现时的行踪。
【发明内容】
[0005]本发明的目的在于克服现有技术的不足，提供一种基于人脸识别与射频识别的监控跟踪系统，该系统能够对进入目标监控区域中的所有人员进行全程的跟踪，并能快速提供目标人物在该目标监控区域中的行踪。
[0006]本发明解决上述技术问题的技术方案是:
[0007]—种基于人脸识别和射频识别的监控跟踪系统，该系统包括监控服务器和以监控服务器为核心配置的人员移动信息查询终端以及与监控服务器连接的一个或多个视频影像采集设备和RFID阅读器;所述监控服务器上设有视频影像采集设备和RFID阅读器地理位置数据库、人员特征信息数据库、人员移动信息数据库和人脸识别模块;其中，
[0008]所述视频影像采集设备和RFID阅读器分布于监控区域内以及监控区域出入口，且各视频影像采集设备和RFID阅读器的地理位置信息及其编号均配对存储于视频影像采集设备和RFID阅读器地理位置数据库中；
[0009]设置在监控区入口的视频影像采集设备和RFID阅读器分别采集进入人员脸部正面影像和出入人员的RFID标签信息，然后将该人员的脸部正面影像和RFID标签信息发送至监控服务器，由监控服务器上的人脸识别模块先将人脸部正面影像生成人脸特征数据，再以人脸特征数据和RFID标签信息分别作为存储字段，将两存储字段配对存储于人员特征信息数据库中；
[0010]设置于目标监控区内的各视频影像采集设备或/和RFID阅读器分别实时获取监控区域内的人员脸部正面影像或/和RFID标签信息，然后将所获取的人员脸部正面影像或/和RFID标签信息发送至监控服务器，由监控服务器上的人脸识别模块先将该人员的脸部正面影像生成人脸特征数据，再将该人员的人脸特征数据或/和RFID标签信息与人员特征信息数据库中已有的同一人的人脸特征数据和RFID标签信息相关联、并调用视频影像采集设备和RFID阅读器地理位置数据库中相应的视频影像采集设备或/和RFID阅读器的地理位置信息，按采集时间配对存储于人员移动信息数据库中；
[0011 ]在所述的人员移动信息查询终端上，以人脸部正面影像、RFID标签信息、时间信息或位置信息为查询条件，连接监控服务器上的目标监控区域视频影像采集设备和RFID阅读器地理位置数据库、人员特征信息数据库和人员移动信息数据库，输出监控跟踪查询结果。
[0012]本发明的一种基于人脸识别和射频识别的监控跟踪系统，其中，所述的人员移动信息查询终端包括条件查询模块、查询处理模块和查询结果显示模块，其中，条件查询模块将所输入的目标人员脸部的正面影像、RFID标签信息、时间信息或/和位置信息送入查询处理模块，该模块便根据查询条件生成目标人员的行动记录表、行动轨迹地图或/和移动录像，然后由查询结果显示模块显示。该人员移动信息查询终端的内容可以作为网络服务的前段模块，可以通过个人电脑或手机移动设备访问查看。
[0013]本发明的一种基于人脸识别和射频识别的监控跟踪系统，其中，所述视频影像采集设备安装于光线良好、识别距离较远的区域，如户外或室内光线充足的位置，以便获得清晰有效的图像信息；所述RFID阅读器设置于采光不足或行人拥挤的室内外。两种监控设备组合在一起，发挥各自的优势，共同对目标监控区域范围内的空间进行全区域监控，避免出现监控死角。
[0014]本发明与现有技术相比具有以下的有益效果:
[0015]1、本发明的监控跟踪系统中，通过构件人员特征信息数据库，将进入监控区域的人员的人脸特征数据及所分配的RFID标签信息关联起来，从而利用视频影像采集设备和RFID阅读器获得的监控信息能够关联起来，共同记录目标人物的移动信息，其中，视频影像采集设备用于监控光线良好的区域，而RFID阅读器则用于监控光线不好的区域，两者相互补充、相互配合对全区域进行监控，使得进入目标监控区域的所有人员在该区域内的移动信息能够被全程记录，不会出现人员监控遗漏，也不会出现监控死角区域，从而能够更好的将人、物、事件三者更加紧密联系在一起，为区域内的安全监控提供重要数据。
[0016]2、本发明通过建立人员移动信息数据库，使得查询目标人物是否在目标监控区域出现或者在目标监控区域内出现时的移动信息变得非常简便，可以通过人员移动信息查询终端自动快速完成，并能够以更加直观的方式表现出来，如表格形式或地图轨迹形式，省时省力。
【附图说明】
[0017]图1是本发明的基于人脸识别与射频识别的监控跟踪系统的一个【具体实施方式】的结构框图。
[0018]图2为本发明中视频预处理的流程图。
[0019]图3为本发明中人脸检测的流程图。
[0020]图4为本发明中人脸识别的流程图。
【具体实施方式】
[0021]下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0022]参见图1，本发明的基于人脸识别和射频识别的监控跟踪系统包括监控服务器和以监控服务器为核心配置的人员移动信息查询终端以及与监控服务器连接的多个视频影像采集设备和RFID阅读器;所述监控服务器上设有视频影像采集设备和RFID阅读器地理位置数据库、人员特征信息数据库、人员移动信息数据库和人脸识别模块。其中:
[0023]所述视频影像采集设备和RFID阅读器分布于监控区域内以及监控区域出入口，且各视频影像采集设备和RFID阅读器的地理位置信息及其编号均配对存储于视频影像采集设备和RFID阅读器地理位置数据库中。
[0024]设置在监控区入口的视频影像采集设备和RFID阅读器分别采集进入人员脸部正面影像和出入人员的RFID标签信息，然后将该人员的脸部正面影像和RFID标签信息发送至监控服务器，由监控服务器上的人脸识别模块先将人脸部正面影像生成人脸特征数据，再以人脸特征数据和RFID标签信息分别作为存储字段，将两存储字段配对存储于人员特征信息数据库中。
[0025]设置于目标监控区内的各视频影像采集设备或/和RFID阅读器分别实时获取监控区域内的人员脸部正面影像或/和RFID标签信息，然后将所获取的人员脸部正面影像或/和RFID标签信息发送至监控服务器，由监控服务器上的人脸识别模块先将该人员的脸部正面影像生成人脸特征数据，再将该人员的人脸特征数据或/和RFID标签信息与人员特征信息数据库中已有的同一人的人脸特征数据和RFID标签信息相关联、并调用视频影像采集设备和RFID阅读器地理位置数据库中相应的视频影像采集设备或/和RFID阅读器的地理位置信息，按采集时间配对存储于人员移动信息数据库中。
[0026]在所述的人员移动信息查询终端上，以人脸部正面影像、RFID标签信息、时间信息或位置信息为查询条件，连接监控服务器上的目标监控区域视频影像采集设备和RFID阅读器地理位置数据库、人员特征信息数据库和人员移动信息数据库，输出监控跟踪查询结果。
[0027]本发明的监控跟踪系统中，所述人员特征信息数据库的构件详细方法为:
[0028]在监控服务器中搭建人员移动信息数据库并创建一个人员信息表，其中包含RFID编号和其他个人信息，并以用户证件号码字段作为主键。当有人员进入园区时，若数据库中没有该人员的记录，登记其证件号码并创建一条关于其身份信息的记录；用高清摄像头获取多张该人员的清晰正面照片，发送到数据中心并在特定的位置以证件号码命名新建一个文件夹进行存储，以后可以通过用户证件号码找到对应的图片目录；为该人员分配一个RFID标签，并将该RFID标签的编号填入该条数据库记录的对应字段，完成记录的创建。若数据库已有该人员的信息，则只需进行RFID标签信息的登记。经过以上操作，每一个进入园区的人员的个人身份信息、人脸图像信息和RFID标签信息便被关联在一起。RFID标签采用现场制作的方式分配给进入人员，具体是以进入人员的身份信息(如身份证号码)作为标签信息内容，由RFID阅读器向RFID标签内写入，同时擦除标签内的原有信息，这种标签能够与进入人员的身份紧密关联，可靠性更好;在向RFID标签中写入标签信息的同时，把该标签信息与人脸特征数据进行关联存储。
[0029]本发明的监控跟踪系统中，所述视频影像采集设备采用高清监控摄像头，安装于光线良好、识别距离较远的区域，如户外或室内光线充足的位置，以便获得清晰有效的图像信息;所述RFID阅读器设置于采光不足、视频模糊、行人拥挤的室内或户外特殊场景，两种监控设备组合在一起，发挥各自的优势，共同对目标监控区域范围内的空间进行全区域监控，避免出现监控死角。
[0030]本发明的监控跟踪系统中，目人员移动信息数据库的具体建立过程为:
[0031](I)高清监控摄像头拍摄记录其监控区域的行人移动视频，产生的视频数据存储在监控中心的监控服务器;具体地，高清监控摄像头拍摄记录行人的移动并转换为模拟信号输入视频编码器，视频编码器将模拟信号转换为数字视频，编码器通过RS485总线传输到监控中心的监控服务器进行存储。
[0032](2)RFID阅读器对进入目标监控区域的人员的进入时间、停留位置和时间、离开时间的信息进行记录，产生的信息记录存储在监控中心的监控服务器；具体地，2.4GHz有源RFID阅读器通过无线方式主动读取人员RFID标签信息，记录人员进入和离开的时间，将数据通过RS485总线传输到监控中心的监控服务器进行存储。RFID标签采用2.4GHz有源RFID标签，形状为腕带式，进入建筑物内部的人员必须佩带。
[0033](3)监控服务器进行对视频数据的视频分析处理(人脸识别)和RFID数据处理，并把生成的人员身份信息、人脸信息、人员进出时间信息、人员位置信息、录像记录信息和监控摄像头地理信息存入数据库，获得人员移动信息数据库。
[0034]本发明中，所述视频分析处理的步骤为:
[0035]1、对视频的预处理(如图2所示)，:
[0036]步骤1.从监控服务器中读取出所需的视频文件。
[0037]步骤2.将视频文件按视频帧的形式切分为多个视频帧。
[0038]步骤3.利用OpenCV中的Haar级联分类器物体检测接口对视频帧进行人脸检测。
[0039]步骤4.判断视频帧中是否存在人脸，如果存在则进行步骤5，否则则认为无目标人物并退出。
[0040]步骤5.将视频帧中的人脸区域按步骤3检测到的矩形进行切割，得到人脸区域。
[0041]步骤6.将获得的人脸区域使用OpenBr的人脸识别功能。
[0042]步骤7.将匹配值g(i)进行排序，提取出人脸库中匹配值最高的对应人物，则判定该人物在该时间段中出现，并将对应的“开始时间-结束时间-人物编号”的记录写到数据库中。
[0043]2、人脸检测(如图3所示):
[0044]步骤1.使用Haar-1ike特征做检测，再用积分图对Haar-1ike特征求值进行加速。
[0045]步骤2.使用Adaboost算法训练区分人脸和非人脸的强分类器。
[0046]步骤3.使用筛选式级联把强分类器级联到一起。
[0047]步骤4.得到分类器后，设定阈值、最小检测大小和窗口扩展参数，使用一个滑动窗口对目标图像进行检测，得到该图像中所有符合条件的矩形。
[0048]3、人脸识别(如图4所示):
[0049]检测:先进行人脸检测，再使用C++的ASEF眼睛检测器定位眼睛。
[0050]标准化:用已有眼睛位置，进行仿射变换，对图像进行旋转和缩放，将脸部图像变成128x128的大小，眼球距离两边35%、顶部25%，然后提取局部二值模式(LBP)。
[0051 ]表现:先使用LBP算法进行特征提取:设定一个3x3的领域，以中心像素为阈值，将相邻的8个像素与阈值比较，小于阈值标记为I，否则为0，即可以获得一个8位二进制的LBP值，用来反映该区域的纹理信息。由于LBP直方图向量维数较高，通过主成份分析(PCA)剔除干扰信息:用LBP特征向量的协方差矩阵求特征值，按从大到小排列，即给出其重要性级别，然后保留前95 %部分，达成降维的目的。
[0052]提取:对所有向量进行连接，然后对每个维度的方差进行随机加权采样，提取12个样本，然后对每个样本应用LDA方法。最后，再将所有向量进行连接并标准化为曼哈顿距离，得到特征向量，d表示特征向量的维度。
[0053]归一化:首先获取事先训练好的特征向量所有维度上的最大值vmax和最小值vmin，再将待匹配图像处理过程中，产生的特征向量fV'通过公式(I)计算并转换成无符号8位整型数:
[0054]fv'=uint8_t(255*(fv-vmin)/(vmax-vmin)) (I)
[0055]11；[1^8_1:表示将计算结果转换为无符号8位整型数，计算结果。
[0056]匹配:将提取的人脸特征向量fv'与人脸库中存储的特征向量集合fvi,i = l,2，…，η用公式(2)进行比较，得到匹配值g(i)。!!为特征集合的个数，即人脸库的个数。
[0057]本发明中，所述人员移动信息查询终端为人机交互系统，用于根据用户指令读取人员移动信息数据库中的信息并输出，具体地包括条件查询模块、查询处理模块和查询结果显示模块，其中，条件查询模块将所输入的目标人员脸部的正面影像、RFID标签信息、时间信息或/和位置信息送入查询处理模块，该模块便根据查询条件生成目标人员的行动记录表、行动轨迹地图或/和移动录像，然后由查询结果显示模块显示。该系统的内容作为网络服务的前段模块，可以通过个人电脑或手机移动设备访问查看。
[0058]具体地，下面以输入目标人员脸部的正面影像作为查询条件为例，对人员移动信息查询终端的工作过程作详细描述:
[0059]步骤1.打开用html+css+javascript编写的网页作为用户交互界面。
[0060]步骤2.利用界面上的图片上传功能，将客户端的一张图片通过以太网上传到服务器端，用Tomcat网络服务进行接收，并调用人脸识别服务进行人物匹配。
[0061 ]步骤3.服务器端完成计算，将匹配结果排序并把前三个结果(匹配度，人物编号，人脸图像)发送到客户端。
[0062]步骤4.客户端网页进行结果的显示，点击其中一个人物的单选框，选择日期区间，此时客户端会向服务器发出请求，服务器通过接收到的人物编号，调用数据访问服务查找对应的视频解析记录(开始时间-结束时间-人物编号-视频片段索引)并返回。
[0063]步骤5.网页下端通过返回的人物通行记录用列表进行显示，包括人物出现的地点、时间，如果是由视频解析产生的记录，还会有查看预览片段的按钮。
[0064]步骤6.除了显示文字化的通行记录外，网页下端还有对应使用javascript的百度地图控件、EChart控件编写的显示了人物移动轨迹的全景地图，是上述列表的图形化。
[0065]更进一步地，上述步骤2中对上传的单张图片进行人脸识别的服务的方法为:
[0066](I).对上传的单张图片利用OpenBr人脸识别功能，与人脸库进行匹配识别。
[0067](2).对于人脸匹配识别的结果，判断是否低于65%，是则在输出时用红字标出结果，以表示无法识别，或者识别程度过低，结束识别过程;否则进入上述步骤3。
[0068]此外，除了通过上传目标人物图片进行查询外，也可以通过输入目标人物的身份信息(如身份证号码)等进行查询，这些信息是在建立人员特征信息数据库时录入的信息。
[0069]上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
【主权项】
1.一种基于人脸识别和射频识别的监控跟踪系统，该系统包括监控服务器和以监控服务器为核心配置的人员移动信息查询终端以及与监控服务器连接的一个或多个视频影像采集设备和RFID阅读器;所述监控服务器上设有视频影像采集设备和RFID阅读器地理位置数据库、人员特征信息数据库、人员移动信息数据库和人脸识别模块;其中， 所述视频影像采集设备和RFID阅读器分布于监控区域内以及监控区域出入口，且各视频影像采集设备和RFID阅读器的地理位置信息及其编号均配对存储于视频影像采集设备和RFID阅读器地理位置数据库中； 设置在监控区入口的视频影像采集设备和RFID阅读器分别采集进入人员脸部正面影像和出入人员的RFID标签信息，然后将该人员的脸部正面影像和RFID标签信息发送至监控服务器，由监控服务器上的人脸识别模块先将人脸部正面影像生成人脸特征数据，再以人脸特征数据和RFID标签信息分别作为存储字段，将两存储字段配对存储于人员特征信息数据库中； 设置于目标监控区内的各视频影像采集设备或/和RFID阅读器分别实时获取监控区域内的人员脸部正面影像或/和RFID标签信息，然后将所获取的人员脸部正面影像或/^PRFID标签信息发送至监控服务器，由监控服务器上的人脸识别模块先将该人员的脸部正面影像生成人脸特征数据，再将该人员的人脸特征数据或/和RFID标签信息与人员特征信息数据库中已有的同一人的人脸特征数据和RFID标签信息相关联、并调用视频影像采集设备和RFID阅读器地理位置数据库中相应的视频影像采集设备或/和RFID阅读器的地理位置信息，按采集时间配对存储于人员移动信息数据库中； 在所述的人员移动信息查询终端上，以人脸部正面影像、RFID标签信息、时间信息或位置信息为查询条件，连接监控服务器上的目标监控区域视频影像采集设备和RFID阅读器地理位置数据库、人员特征信息数据库和人员移动信息数据库，输出监控跟踪查询结果。2.如权利要求1所述的一种基于人脸识别和射频识别的监控跟踪系统，其特征在于，所述的人员移动信息查询终端包括条件查询模块、查询处理模块和查询结果显示模块，其中，条件查询模块将所输入的目标人员脸部的正面影像、RFID标签信息、时间信息或/和位置信息送入查询处理模块，该模块便根据查询条件生成目标人员的行动记录表、行动轨迹地图或/和移动录像，然后由查询结果显示模块显示。3.如权利要求1所述的一种基于人脸识别和射频识别的监控跟踪系统，其特征在于，所述视频影像采集设备安装于光线良好、识别距离较远的区域;所述RFID阅读器设置于采光不足或行人拥挤的室内外。
【文档编号】H04N7/18GK105913037SQ201610264777
【公开日】2016年8月31日
【申请日】2016年4月26日
【发明人】郑振兴, 梁鹏, 肖思源, 蓝钊泽
【申请人】广东技术师范学院