基于人脸检测与识别技术的人员计数方法及系统和装置制造方法
【专利摘要】一种基于人脸检测与识别技术的人员计数方法及系统和装置，对帧视频中的N个人脸图像分割出来并加工成人脸数据，存为一个新人脸数据列表；然后与历史人脸数据列表进行逐行比对，看相似度>阈值？若相似度小于阈值，则将该新人脸数据添加到所述历史人脸数据列表，并且人员总数加1；然后再继续比对下一行直至新人脸数据列表比对完成。然后清除历史人脸数据列表中超过有效时限Tc的人脸数据，再继续处理下一个视频帧直到全部视频处理完毕。本发明以低成本，方便快捷的部署方式，实现高精度的人员计数，而且不影响人员的通行速度，尤其适合人流量特大的场合，如商场、火车站、机场出入口等等。
【专利说明】基于人脸检测与识别技术的人员计数方法及系统和装置
【技术领域】
[0001]本发明属于人脸识别【技术领域】，尤其涉及一种基于人脸检测与识别技术的人员计数方法及系统和装置。
【背景技术】
[0002]目前用来实现人员计数的方法有很多，有利用红外，压电技术的，需要安装特定的感应装置，如红外收发器，压电感应器等，系统部署较为不便，成本较高，感应装置容易损坏，维护困难，且精度也不高；也有在关卡处安装门禁设备，刷卡或按键方可通过，这类方案计数精度很高，但是实现成本非常高，且限制了人员的通行速度。
[0003]另外一方面，人脸检测技术已经相当成熟，目前对侧向人脸都能够有效的检出。同时，人脸识别技术在多年的发展后也趋于成熟，在人脸库较小的情况下能够达到95%以上的正确识别率。
[0004]目前有一种利用人脸检测实现人员计数的方法，但是在对视频进行人脸检测时，一段时间内，同一人可能被检测到几十上百次，造成计数不准确；还有的人员计数方法是单纯靠加大取帧的间隔，如3秒中取一帧进行人脸检测，则有可能丢失瞬间出现在镜头中的人。均不能达到很好的效果。
[0005]所以如果有一种新技术能够以人脸检测技术为基础，结合人脸识别技术，通过较低的成本，方便快捷的部署方式，实现高精度的人员计数，当是业界所需要的。
【发明内容】
[0006]本发明的目的是克服上述现有技术的缺陷，提供一种基于人脸检测与识别技术的人员计数方法及系统和装置。
[0007]实现本发明目的的技术方案是:
[0008]一种基于人脸检测与识别的人员计数方法，包括以下步骤:
[0009]步骤1、记录历史人脸数据列表长度L行；
[0010]步骤2、接收一帧包含有N个人的人脸图像的视频；
[0011]步骤3、对该帧视频进行人脸检测并且形成新人脸数据列表，该新人脸数据列表包含N行数据，每一行数据对应着一个人脸的数据；
[0012]步骤4、从所述新人脸数据列表中取出其中一行人脸数据；
[0013]步骤5、将这行人脸数据与所述历史人脸数据列表中的前L行人脸数据逐一进行比对，每一次比对输出一个相似度数值，判断相似度〉阈值？ 一旦有一次比对的相似度大于阈值，则认定该新人脸数据已经储存在所述历史人脸数据列表中，该新人脸的比对结束，转到步骤7 ;否则如果L次比对的相似度值均小于阈值则转到步骤6 ；
[0014]步骤6、将该新人脸数据添加到所述历史人脸数据列表，并且人员总数加1，然后转到步骤7 ；
[0015]步骤7、所述新人脸数据列表是否比对完成？是的话转到步骤8，否则转到步骤4 ;[0016]步骤8、清除所述历史人脸数据列表中超过有效时限Tc的人脸数据，然后回到步骤I进入下一循环处理下一个视频帧。
[0017]其中历史人脸数据列表长度L的值在每个循环之后都会更新，公式是:L新值=L旧值+新人脸-超过有效时限Tc的人脸数。
[0018]其中步骤3进一步包括:通过人脸检测算法将该帧图像中的N个人的人脸图像分别分割出来并且加工成人脸数据，存为一个新人脸数据列表；所述人脸检测算法是基于haar-like特征的快速人脸检测算法。
[0019]其中历史人脸数据列表包括以下信息:
[0020]1.入表时间:指人脸图片及对应的特征码存入所述历史人脸数据列表的时间点，用于确定该人脸数据是否超过有效时限Tc ；
[0021]2.人脸图片:人脸图像的原始数据，以十六进制数据存储，不做人脸比对用，若有需要可调用此数据进行显示；
[0022]3.人脸特征码:人脸图像特征码，是根据人脸识别算法提取的人脸关键特征信息，用于人脸比对；
[0023]新人脸数据列表包括如下信息:
[0024]1.人脸图片:人脸图像的原始数据，以十六进制数据存储，不做人脸比对用，若有需要可调用此数据进行显示，可查看人脸图像；
[0025]2.人脸特征码:人脸图像特征码，是根据人脸识别算法提取的人脸关键特征信息，用于人脸比对。
[0026]其中入表时间的单位为秒，所述时间点的起始时间点从1970年I月I日O时O分O秒开始计算，所述入表时间指从起始时间点到入库时间点所经过的秒数；Tc为10秒；步骤8进一步包括:先计算时间节点Ts:Ts =当前时间点-Tc,然后删除历史人脸列表中入表时间小于Ts的人脸数据，保留大于Ts的人脸数据。
[0027]其中步骤2中所接收的视频是实时视频或历史视频。
[0028]本发明还公开了一种基于人脸检测与识别的人员计数系统，包括以下模块:
[0029]模块1、记录历史人脸数据列表长度L行；
[0030]模块2、接收一帧包含有N个人的人脸图像的视频；
[0031]模块3、对该帧视频进行人脸检测并且形成新人脸数据列表，该新人脸数据列表包含N行数据，每一行数据对应着一个人脸的数据；
[0032]模块4、从所述新人脸数据列表中取出其中一行人脸数据；
[0033]模块5、将这行人脸数据与所述历史人脸数据列表中的前L行人脸数据逐一进行比对，每一次比对输出一个相似度数值，判断相似度〉阈值？ 一旦有一次比对的相似度大于阈值，则认定该新人脸数据已经储存在所述历史人脸数据列表中，该新人脸的比对结束，转到模块7 ;否则如果L次比对的相似度值均小于阈值则转到模块6 ；
[0034]模块6、将该新人脸数据添加到所述历史人脸数据列表，并且人员总数加1，然后转到模块7 ；
[0035]模块7、所述新人脸数据列表是否比对完成？是的话转到模块8，否则转到模块4 ;
[0036]模块8、清除所述历史人脸数据列表中超过有效时限Tc的人脸数据，然后回到模块I进入下一循环处理下一个视频帧。[0037]其中历史人脸数据列表长度L的值在每个循环之后都会更新，公式是:L新值=L旧值+新人脸-超过有效时限Tc的人脸数。
[0038]其中模块3进一步包括:通过人脸检测算法将该帧图像中的N个人的人脸图像分别分割出来并且加工成人脸数据，存为一个新人脸数据列表；所述人脸检测算法是基于haar-like特征的快速人脸检测算法。
[0039]其中历史人脸数据列表包括以下信息:
[0040]1.入表时间:指人脸图片及对应的特征码存入所述历史人脸数据列表的时间点，用于确定该人脸数据是否超过有效时限Tc ；
[0041]2.人脸图片:人脸图像的原始数据，以十六进制数据存储，不做人脸比对用，若有需要可调用此数据进行显示；
[0042]3.人脸特征码:人脸图像特征码，是根据人脸识别算法提取的人脸关键特征信息，用于人脸比对；
[0043]新人脸数据列表包括如下信息:
[0044]1.人脸图片:人脸图像的原始数据，以十六进制数据存储，不做人脸比对用，若有需要可调用此数据进行显示，可查看人脸图像；
[0045]2.人脸特征码:人脸图像特征码，是根据人脸识别算法提取的人脸关键特征信息，用于人脸比对。
[0046]其中入表时间的单位为秒，所述时间点的起始时间点从1970年I月I日O时O分O秒开始计算，所述入表时间指从起始时间点到入库时间点所经过的秒数；Tc为10秒；模块8进一步包括:先计算时间节点Ts:Ts =当前时间点-Tc,然后删除历史人脸列表中入表时间小于Ts的人脸数据，保留大于Ts的人脸数据。
[0047]其中模块2中所接收的视频是实时视频或历史视频。
[0048]本发明还提出了一种基于人脸检测与识别的人员计数装置，人脸图像拍摄装置(100)、服务器(200)、以及计数装置(300)，所述服务器(200)安装有前述的基于人脸检测与识别的人员计数系统。
[0049]其中人脸图像拍摄装置(100)的视频的格式是h264、mp4、或flv ;所述人脸图像拍摄装置(100)直接安装于人员进出关卡上方，其视频信号通过有线或无线方式接入到所述服务器(200);所述服务器(200)为个人计算机(PC);所述计数装置(300)连接有显示装置，所述显示装置为LED显示屏、IXD显示屏、或者PC屏幕。其中基于人脸检测与识别技术的人员计数系统通过以下方式中之一安装于服务器200内:网络下载、移动存储器安装、或者固化其中。
[0050]本发明提出的基于人脸检测与识别技术的人员计数方法及系统和装置，以较低的成本，方便快捷的部署方式，实现高精度的人员计数，而且不影响人员的通行速度。
【专利附图】
【附图说明】
[0051]图1为本发明基于人脸检测与识别技术的人员计数装置的功能方框图；
[0052]图2为本发明基于人脸检测与识别技术的人员计数方法的流程图。
【具体实施方式】[0053]以下结合附图并以【具体实施方式】为例，对本发明进行详细说明。但是，本领域技术人员应该知晓的是，本发明不限于所列出的【具体实施方式】，只要符合本发明的精神，都应该包括于本发明的保护范围内。
[0054]本发明的基于人脸检测与识别技术的人员计数方法是由计算机程序实现的。本发明的出发点在于将人脸检测与人脸识别技术结合起来用于人员计数，因为若不进行人脸识另IJ，则在对视频进行人脸检测时，一段时间内，同一人可能被检测到几十上百次，造成计数不准确；另一方面，若不采用人脸识别方法，只单纯靠加大取帧的间隔，如3秒中取一帧进行人脸检测，则有可能丢失瞬间出现在镜头中的人。而利用人脸检测与人脸识别技术的结合，就可以有效的去除重复计数、同时不漏掉视频中的任何一个人，从而达到很好的效果。
[0055]同时，本发明的系统也有硬件系统的支持，如图1所示为本发明基于人脸检测与识别技术的人员计数装置的功能方框图，该装置包括人脸图像拍摄装置100、服务器200、以及计数装置300。
[0056]人脸图像拍摄装置100可以是任何型号的摄像头、或者拍摄装置，其视频的格式可以是h264，mp4，flv等等。拍摄装置100可直接安装于人员进出关卡上方，若是单向通道，则正对行人安装一个摄像头；若是双向通道同一关卡既可以进也可以出，则在两个方向，各安装一个摄像头，对出入的人员分别计数。在已安装摄像头的场合，可直接利用原摄像头视频信号进行处理也可；因此可节省安装费用。人脸图像拍摄装置100的视频信号通过有线或无线方式接入到后台服务器200。
[0057]服务器200内部安装有本发明的基于人脸检测与识别技术的人员计数系统，本发明的基于人脸检测与识别技术的人员计数系统可以通过多种方式安装于服务器200内部，比如网络下载、移动存储器安装、或者固化其中，等等。服务器200还包括历史人脸数据列表210，用于储存已有的人脸数据；以及新人脸数据列表220，用于储存新拍摄的人脸数据。在一个实施例中，历史人脸数据列表210中包括多行，每行对应一个已有的人脸数据。服务器200可采用市售的各种服务器设备，在一个实施例中，采用了 一台普通个人计算机(PC)作为服务器。
[0058]计数装置300的形式也多种多样，市售的计数器均可使用，在一个实施例中，直接采用普通PC中的计数器；计数装置300还可连接有显示装置，比如LED、IXD显示屏等，或者直接用PC屏幕作为显示器。
[0059]工作时，摄像头100的视频信号通过有线或无线方式接入到后台服务器200，然后由后台服务器200对视频进行人脸检测，检测结果如果是新人的话，则计数装置300加一并在显示器上显示人数。
[0060]下面请看图2，是本发明一个实施例中，基于人脸检测与识别技术的人员计数方法的流程图。包括以下步骤:
[0061]步骤1、记录历史人脸数据列表210的长度L行，即列表的行数，也即历史人脸个数，其中每行对应一个已有的人脸数据。以下是一个历史人脸数据列表210的具体实施例，其中L = 3，即有3个人脸数据。
[0062]历史人脸数据列表210
[0063]
【权利要求】
1.一种基于人脸检测与识别的人员计数方法，其特征是:包括以下步骤: 步骤1、记录历史人脸数据列表长度L行； 步骤2、接收一帧包含有N个人的人脸图像的视频； 步骤3、对该帧视频进行人脸检测并且形成新人脸数据列表，该新人脸数据列表包含N行数据，每一行数据对应着一个人脸的数据； 步骤4、从所述新人脸数据列表中取出其中一行人脸数据； 步骤5、将这行人脸数据与所述历史人脸数据列表中的前L行人脸数据逐一进行比对，每一次比对输出一个相似度数值，判断相似度〉阈值？ 一旦有一次比对的相似度大于阈值，则认定该新人脸数据已经储存在所述历史人脸数据列表中，该新人脸的比对结束，转到步骤7 ;否则如果L次比对的相似度值均小于阈值则转到步骤6 ； 步骤6、将该新人脸数据添加到所述历史人脸数据列表，并且人员总数加1，然后转到步骤7 ; 步骤7、所述新人脸数据列表是否比对完成？是的话转到步骤8，否则转到步骤4 ； 步骤8、清除所述历史人脸数据列表中超过有效时限Tc的人脸数据，然后回到步骤I进入下一循环处理下一个视频帧。
2.如权利要求1所述方法，其特征是:所述历史人脸数据列表长度L的值在每个循环之后都会更新，公式是=Lim=Lim+新人脸-超过有效时限Tc的人脸数。
3.如权利要求1或2所述方法，其特征是:步骤3进一步包括:通过人脸检测算法将该帧图像中的N个人的人脸图像分别分割出来并且加工成人脸数据，存为一个新人脸数据列表；所述人脸检测算法是基于haar-like特征的快速人脸检测算法。
4.如权利要求3所述方法，其特征是: 所述历史人脸数据列表包括以下信息: 1.入表时间:指人脸图片及对应的特征码存入所述历史人脸数据列表的时间点，用于确定该人脸数据是否超过有效时限Tc ； 2.人脸图片:人脸图像的原始数据，以十六进制数据存储，不做人脸比对用，若有需要可调用此数据进行显示； 3.人脸特征码:人脸图像特征码，是根据人脸识别算法提取的人脸关键特征信息，用于人脸比对； 所述新人脸数据列表包括如下信息: 1.人脸图片:人脸图像的原始数据，以十六进制数据存储，不做人脸比对用，若有需要可调用此数据进行显示，可查看人脸图像； 2.人脸特征码:人脸图像特征码，是根据人脸识别算法提取的人脸关键特征信息，用于人脸比对。
5.如权利要求4所述方法，其特征是:所述入表时间的单位为秒，所述时间点的起始时间点从1970年I月I日O时O分O秒开始计算，所述入表时间指从起始时间点到入库时间点所经过的秒数；Tc为10秒；步骤8进一步包括:先计算时间节点Ts:Ts =当前时间点-Tc,然后删除历史人脸列表中入表时间小于Ts的人脸数据，保留大于Ts的人脸数据。
6.如权利要求1或2所述方法，其特征是:步骤2中所接收的视频是实时视频或历史视频。
7.一种基于人脸检测与识别的人员计数系统，其特征是:包括以下模块: 模块1、记录历史人脸数据列表长度L行； 模块2、接收一帧包含有N个人的人脸图像的视频； 模块3、对该帧视频进行人脸检测并且形成新人脸数据列表，该新人脸数据列表包含N行数据，每一行数据对应着一个人脸的数据； 模块4、从所述新人脸数据列表中取出其中一行人脸数据； 模块5、将这行人脸数据与所述历史人脸数据列表中的前L行人脸数据逐一进行比对，每一次比对输出一个相似度数值，判断相似度〉阈值？ 一旦有一次比对的相似度大于阈值，则认定该新人脸数据已经储存在所述历史人脸数据列表中，该新人脸的比对结束，转到模块7 ;否则如果L次比对的相似度值均小于阈值则转到模块6 ； 模块6、将该新人脸数据添加到所述历史人脸数据列表，并且人员总数加1，然后转到模块7 ； 模块7、所述新人脸数据列表是否比对完成？是的话转到模块8，否则转到模块4 ； 模块8、清除所述历史人脸数据列表中超过有效时限Tc的人脸数据，然后回到模块I进入下一循环处理下一个视频帧。
8.如权利要求7所述系统，其特征是:所述历史人脸数据列表长度L的值在每个循环之后都会更新，公式是=Li m=Lim+新人脸-超过有效时限Tc的人脸数。
9.如权利要求7或8所述系统，其特征是:模块3进一步包括:通过人脸检测算法将该帧图像中的N个人的人脸图像分别分割出来并且加工成人脸数据，存为一个新人脸数据列表；所述人脸检测算法是基于haar-l i ke特征的快速人脸检测算法。
10.如权利要求9所述系统，其特征是: 所述历史人脸数据列表包括以下信息: 1.入表时间:指人脸图片及对应的特征码存入所述历史人脸数据列表的时间点，用于确定该人脸数据是否超过有效时限Tc ； 2.人脸图片:人脸图像的原始数据，以十六进制数据存储，不做人脸比对用，若有需要可调用此数据进行显示； 3.人脸特征码:人脸图像特征码，是根据人脸识别算法提取的人脸关键特征信息，用于人脸比对； 所述新人脸数据列表包括如下信息: 1.人脸图片:人脸图像的原始数据，以十六进制数据存储，不做人脸比对用，若有需要可调用此数据进行显示，可查看人脸图像； 2.人脸特征码:人脸图像特征码，是根据人脸识别算法提取的人脸关键特征信息，用于人脸比对。
11.如权利要求10所述系统，其特征是:所述入表时间的单位为秒，所述时间点的起始时间点从1970年I月I日O时O分O秒开始计算，所述入表时间指从起始时间点到入库时间点所经过的秒数；Tc为10秒；模块8进一步包括:先计算时间节点Ts:Ts =当前时间点-Tc，然后删除历史人脸列表中入表时间小于Ts的人脸数据，保留大于Ts的人脸数据。
12.如权利要求7或8所述系统，其特征是:模块2中所接收的视频是实时视频或历史视频。
13.一种基于人脸检测与识别的人员计数装置，人脸图像拍摄装置(100)、服务器(200)、以及计数装置(300)，其特征是:所述服务器(200)安装有如权利要求7~12所述的基于人脸检测与识别的人员计数系统。
14.如权利要求13所述装置，其特征是:所述人脸图像拍摄装置(100)的视频的格式是h264、mp4、或fIv;所述人脸图像拍摄装置(100)直接安装于人员进出关卡上方，其视频信号通过有线或无线方式接入到所述服务器(200);所述服务器(200)为个人计算机(PC)；所述计数装置(300)连接有显示装置，所述显示装置为LED显示屏、LCD显示屏、或者PC屏眷。
15.如权利 要求13或14所述装置，其特征是:所述基于人脸检测与识别技术的人员计数系统通过以下方式中之一安装于服务器200内:网络下载、移动存储器安装、或者固化其中。
【文档编号】G06K9/00GK103793682SQ201210429363
【公开日】2014年5月14日 申请日期:2012年10月31日 优先权日:2012年10月31日
【发明者】曾定衡, 钟汇才 申请人:中国科学院微电子研究所