一种基于以脸搜脸构建人员轨迹的方法和系统与流程

1.本发明涉及安防监控技术领域，具体涉及一种基于以脸搜脸构建人员轨迹的方法和系统。


背景技术：

2.现有技术中，安防监控领域常采用以脸搜脸技术来实现对某个人脸的精确搜索，其具体实现方法是：在每个监控区域的出入口架设人脸抓拍机，人脸抓拍机将人脸抓拍照片送到后台人脸识别服务器，人脸识别服务器对人脸照片进行人脸特征提取，然后存储人脸特征、人脸照片、抓拍时间。每个抓拍机的人脸照片存储在一个人脸库中。当输入需要搜索的人脸照片时，首先提取待搜索人脸照片的人脸特征，然后与人脸识别服务器中的每一个人脸库进行特征值比对，比对分值超过设定阈值的人脸库照片，既认为是同一个人。综合所有人脸库比对的结果，即可描绘出待搜索人脸出现的地点、时间、以及对应的抓拍照片，从而确定人员轨迹。
3.但是，上述实现方法存在两个问题：1. 人脸抓拍机将人脸抓拍照片送到后台人脸识别服务器，人脸识别服务器对人脸照片进行人脸特征值提取，每个抓拍机的人脸照片存储在一个人脸库中。抓拍照片至少需要保存90天，对应的人脸库大小为：90*24*60*12= 150w（根据经验，每台抓拍机，每分钟抓拍的人脸照片为12张）。既每个人脸库的底库大小为150w，属于超大底库，将待搜索的人脸抓拍照送入超大底库进行人脸特征值比对时，比对速度下降，同时比对精度下降。
4.2. 将人脸抓拍照片作为人脸库底库照片时，由于抓拍照片质量问题，会造成人脸图像搜索时出现误识别。


技术实现要素：

5.本发明的目的是提出一种基于以脸搜脸构建人员轨迹的方法和系统，提升人脸识别速度和精度，降低误识别率。
6.本发明实施例提供一种基于以脸搜脸构建人员轨迹的方法，其特征在于包括如下步骤：创建人脸图像抓拍设备对应的人脸库，所述人脸库用于存储人脸图像的特征值；当输入实时抓拍的人脸图像，基于所述人脸库中的人脸图像对所述实时抓拍的人脸图像进行识别；当所述实时抓拍的人脸图像识别成功，存储抓拍记录；当所述实时抓拍的人脸图像识别失败，如果所述实时抓拍的人脸图像满足质量要求，则基于所述实时抓拍的人脸图像在所述人脸库中进行搜索，搜索成功则存储抓拍记录，搜索失败则将所述实时抓拍的人脸图像特征值添加进所述人脸库中；当输入待检索的人脸图像，基于所述人脸库中的人脸图像对所述待检索的人脸图像进行识别；当所述待检索的人脸图像识别成功，提取所述人脸库中对应人脸图像的抓拍记录。
7.优选地，所述人脸库有多个，分别对应不同点位的人脸图像抓拍设备。
8.优选地，当输入待检索的人脸图像，基于所述不同点位的人脸图像抓拍设备对应的人脸库中的人脸图像分别对所述待检索的人脸图像进行识别，提取识别成功的人脸库中对应人脸图像的抓拍记录，按照抓拍时间排列，形成待检索的人脸图像对应人员的轨迹。
9.优选地，所述抓拍记录包括以下信息：记录id、文件id、抓拍时间、抓拍设备id、人脸图像特征值的唯一标识。
10.优选地，所述人脸图像识别或人脸图像搜索包括如下步骤：基于人脸图像的特征值进行比对，特征值一致时人脸图像识别或人脸图像搜索成功。
11.本发明实施例还提供了一种基于以脸搜脸构建人员轨迹的系统，包括人脸图像抓拍设备，所述人脸图像抓拍设备用于实时抓拍人脸图像，其特征在于还包括：消息处理中间模块，用于接收实时抓拍的人脸图像或待检索的人脸图像，送至人脸识别模块进行识别；当所述实时抓拍的人脸图像识别成功，所述消息处理中间模块存储抓拍记录；当所述实时抓拍的人脸图像识别失败，所述消息处理中间模块判断所述实时抓拍的人脸图像是否满足质量要求，如果满足，所述人脸识别模块基于所述实时抓拍的人脸图像在人脸库中进行搜索，如果搜索成功，所述消息处理中间模块存储抓拍记录，如果搜索失败，所述消息处理中间模块将所述实时抓拍的人脸图像添加进所述人脸库中；当所述待检索的人脸图像识别成功，所述消息处理中间模块提取所述人脸库中对应人脸图像的抓拍记录；所述人脸库由所述消息处理中间模块在人脸识别模块上创建，所述人脸库用于存储人脸图像的特征值；人脸识别模块，用于人脸图像识别或人脸图像搜索，生成人脸图像特征值及其唯一标识，向消息处理中间模块返回人脸图像识别或人脸图像搜索结果以及人脸图像的质量。
12.优选地，所述人脸图像抓拍设备有多个，分别对应不同点位，所述人脸库有多个，分别对应不同点位的人脸图像抓拍设备。
13.优选地，当输入待检索的人脸图像，所述人脸识别模块基于所述不同点位的人脸图像抓拍设备对应的人脸库中的人脸图像分别对所述待检索的人脸图像进行识别，所述消息处理中间模块提取识别成功的人脸库中对应人脸图像的抓拍记录，按照抓拍时间排列，形成待检索的人脸图像对应人员的轨迹。
14.优选地，所述系统还包括文件服务模块，所述消息处理中间模块将抓拍记录存储到所述文件服务模块中，所述抓拍记录包括以下信息：记录id、文件id、抓拍时间、抓拍设备id、人脸图像特征值的唯一标识。
15.优选地，所述人脸识别模块通过人脸图像的特征值比对进行人脸图像识别或人脸图像搜索，特征值一致时人脸图像识别或人脸图像搜索成功。
16.本发明提出的基于以脸搜脸构建人员轨迹的方法和系统，对人脸抓拍照片进行实时比对，比对成功，则记录抓拍时间，抓拍照片，人脸特征值无需加入人脸库中，比对失败，则将人脸抓拍照片的人脸特征值加入人脸库中，从而减少人脸底库中的人脸特征值，从而提升比对速度与精度。在将人脸抓拍照片加入数据库时，本发明对抓拍照片的质量进行限制，照片质量不满足要求，则不进行入库，从而降低误识别率。
附图说明
17.图1是基于以脸搜脸构建人员轨迹的系统框图；图2是基于以脸搜脸构建人员轨迹的方法流程图。
18.其中（a）为抓拍照片上报流程，（b）为人员轨迹检索流程。
具体实施方式
19.如图1所示，本发明的基于以脸搜脸构建人员轨迹的系统包括人脸图像抓拍设备（即图中人脸抓拍机）以及构成系统软件平台的三个模块：消息处理中间模块、文件服务模块模块、人脸识别模块。三个模块可以部署至服务器、物理机或虚拟机等设备上。
20.人脸抓拍机通过国标gat1400协议上报人脸抓拍图像至消息处理中间模块；消息处理中间模块通过http协议访问文件服务模块提供的文件存储和文件读取接口，进行人脸抓拍照片的存储和读取。消息处理中间模块通过http协议访问人脸识别模块，人脸识别模块提供的接口功能包括：人脸库创建、添加人脸图像特征值至人脸库、根据人脸图像特征值进行人脸搜索、根据人脸图像提取人脸图像特征值。
21.人脸抓拍机实时抓拍人脸图像传给消息处理中间模块，消息处理中间模块接收实时抓拍的人脸图像后，送至人脸识别模块进行识别，人脸识别模块返回人脸图像识别结果及人脸图像质量。当实时抓拍的人脸图像识别成功，消息处理中间模块存储抓拍记录到文件服务模块。当实时抓拍的人脸图像识别失败，消息处理中间模块通过将返回的人脸图像质量与设定的阈值进行比较，判断实时抓拍的人脸图像是否满足质量要求，如果满足，人脸识别模块基于所述实时抓拍的人脸图像在人脸库中进行搜索，如果搜索成功，消息处理中间模块存储抓拍记录到文件服务模块，如果搜索失败，消息处理中间模块将实时抓拍的人脸图像添加进人脸库中。
22.当用户向消息处理中间模块输入需要进行轨迹构建的待检索的人脸图像，消息处理中间模块接收待检索的人脸图像后，送至人脸识别模块进行识别，人脸识别模块返回人脸图像识别结果及人脸图像质量。当待检索的人脸图像识别成功，消息处理中间模块提取人脸库中对应人脸图像的抓拍记录。
23.上述人脸库由消息处理中间模块在人脸识别模块上创建，人脸库用于存储人脸图像的特征值。
24.上述抓拍记录包括以下信息：记录id、文件id、抓拍时间、抓拍设备id、人脸图像特征值的唯一标识。
25.在实际应用中，上述人脸抓拍机通常有多个，分别对应不同监控点位。相应地，创建的人脸库也有多个，分别对应不同点位的人脸抓拍机。当用户向消息处理中间模块输入待检索的人脸图像，人脸识别模块基于不同点位的人脸抓拍机对应的人脸库中的人脸图像分别对待检索的人脸图像进行识别，消息处理中间模块提取识别成功的人脸库中对应人脸图像的抓拍记录，按照抓拍时间排列，形成待检索的人脸图像对应人员的轨迹。
26.上述人脸识别模块通过人脸图像的特征值比对进行人脸图像识别或人脸图像搜索，特征值一致时人脸图像识别或人脸图像搜索成功。
27.如图2所示，为基于以脸搜脸构建人员轨迹的方法，包括以下流程：（1）创建人脸库流程：
系统初始化时，用户在消息处理中间模块的操作页面上进行添加人脸抓拍机的操作。每添加一个人脸抓拍机，消息处理中间模块调用人脸识别模块的人脸库创建功能接口创建人脸库。人脸识别模块中针对每一个人脸抓拍机都保存了一个人脸库。人脸库中存储的是人脸图像的特征值feature，且为每一个人脸图像特征值生成一个唯一标识facetoken。
28.（2）抓拍照片上报流程：第一步，抓拍机通过国标gat1400协议接入软件平台侧的消息处理中间模块，抓拍机将实时抓拍的人脸图像送至消息处理中间模块，消息处理中间模块存储人脸图像到文件服务模块，同时获取文件id。文件id由文件服务模块生成，用于唯一标识一幅人脸图像。消息处理中间模块调用文件服务模块的文件存储功能接口存储抓拍的人脸图像，文件服务模块存储人脸图像的同时生成文件id，并将文件id返回给消息处理中间模块。消息处理中间模块将抓拍记录存储到本地数据库，抓拍记录包括记录id、文件id、抓拍时间、抓拍设备id以及人脸图像特征值的唯一标识facetoken。记录id由消息处理中间模块存储抓拍记录时生成，用于唯一标识一条抓拍记录。消息处理中间模块可以根据文件id到文件服务模块读取人脸图像文件。
29.第二步，消息处理中间模块查找抓拍机对应的人脸库。人脸识别模块采用gpu进行人脸特征提取操作，批量处理更能有效利用gpu的处理性能，因此消息处理中间模块可以将抓拍照在文件服务模块的内存中进行缓存（缓存文件id即可），缓存照片到一定数量时，统一发送到人脸识别模块进行人脸识别。即传入多张人脸抓拍照，在抓拍机对应的人脸库中搜索。
30.第三步，人脸识别模块对抓拍照进行特征值提取，并进行特征值比对，返回每一张人脸照片的比对结果，同时生成人脸照片特征值feature及人脸图像特征值的唯一标识facetoken。特征值比对，即将当前抓拍照片进行人脸特征值提取之后，获得的人脸特征值与人脸库中已经存在的人脸特征值进行比对。人脸特征值比对即计算两个人脸特征值之间的欧式距离。人脸识别模块在对人脸抓拍照进行特征值提取时，会同时计算人脸照片质量。人脸识别模块将人脸照片质量返回给消息处理中间模块。
31.第四步，针对比对成功的人脸图像，消息处理中间模块重新存储抓拍记录，抓拍记录包括记录id、文件id、抓拍时间、抓拍设备id以及人脸图像特征值的唯一标识facetoken。
32.第五步，针对比对失败的人脸图像，需要进行逐个处理。每一幅人脸图像的处理流程是：首先判断人脸图像质量是否达到设定的质量阈值，如果小于质量阈值，则无须添加至人脸库中。若质量阈值大于等于设定的质量阈值，使用人脸图像特征值feature在相应抓拍机对应的人脸库中进行人脸搜索，根据人脸识别模块返回的搜索结果，如果搜索成功，消息处理中间模块存储抓拍记录，包括记录id、文件id、抓拍时间、抓拍设备id以及人脸图像特征值的唯一标识facetoken。如果搜索失败，则将人脸图像特征值feature添加至人脸库，人脸识别模块生成人脸照片特征值的唯一标识facetoken。消息处理中间模块存储抓拍记录，包括记录id、文件id、抓拍时间、抓拍设备id以及人脸图像特征值的唯一标识facetoken。人脸搜索，即将待搜索的人脸图像片的特征值与人脸库中已存在的所有人脸图像特征值进行逐一比对，找出比对分值最高的人脸图像特征值，并用这个人脸图像特征值对应的facetoken标识。
33.（5）人员轨迹检索流程：第一步，用户输入待检索的人脸图像到消息处理中间模块，消息处理中间模块将人脸图像送到人脸识别模块进行特征值提取，人脸识别模块返回人脸图像特征值。
34.第二步，消息处理中间模块根据用户输入的待搜索的范围（即抓拍机的点位），确定搜索的人脸库。然后调用人脸识别模块的人脸检索接口，输入人脸图像特征值以及各人脸库的标识id（与抓拍机id一一对应）。人脸识别模块返回搜索结果，包括每个人脸库的标识id，相似度（即人脸特征值比对产生的分值）超过阈值的人脸图像特征值的唯一标识facetoken。
35.第三步，消息处理中间模块根据人脸库的标识id确定抓拍机，根据返回的facetoken确定抓拍时间和抓拍照片。
36.第四步，消息处理中间模块根据用户输入的待搜索的范围，确定对应的抓拍机的抓拍记录中，facetoken一致的抓拍记录。
37.第五步：消息处理中间模块将轨迹内容按照时间排列（顺序或倒序均可），组合形成人员轨迹返回给用户。轨迹内容包括：人脸出现的时间（用对应点位的抓拍时间标识）、位置（用对应点位的抓拍机id标识）、对应的人脸图像（根据facetoken对应得到文件id，根据文件id从文件服务模块中提取）。