一种基于实时摄像头画面下人脸识别与跟踪方法与流程

本发明涉及一种基于实时摄像头画面下人脸识别与跟踪方法，属于人脸识别。

背景技术：

1、在当前互联网盛行的时代，人脸识别不再是之前那种陌生且难以实现的技术，而是应用于大多数生活场景中的真实技术，该技术从最开始的人脸简单几何结构特征进化到了目前基于局部描述与神经网络的3d人脸识别，其应用场景也从最开始的人脸画像进化到了目前的人脸识别支付、人脸识别解锁、电子身份证等。不过大多数技术在应用场景中存在一定的缺陷：人们必须近距离注视摄像头，并停留一定时间后才可以完成人脸识别，且难以实现轨迹统计。本发明提出了一种不再需要人的注意，而是通过视频画面捕捉远距离人脸并识别的技术，进而实现摄像头下人物轨迹的捕捉和记录。

技术实现思路

1、为解决上述问题，本发明提出一种基于实时摄像头画面下人脸识别与跟踪方法，具体技术方案如下，

2、一种基于实时摄像头画面下人脸识别与跟踪方法，包括：

3、步骤a、通过摄像头实时获取视频流或从本地视频读取视频流；

4、步骤b、对获取的视频流图像进行图像预处理，进行图像多人脸检测；

5、步骤c、将人脸检测信息送入deepsort算法进行目标跟踪，并将人脸确信结果提交到人脸识别缓冲队列中；

6、步骤d、加载本地已知的人脸特征库并监听人脸识别缓冲队列，成功读取人脸识别缓冲队列中的图像信息后进行人脸特征提取，与本地特征库进行特征匹配，实现人脸识别；

7、步骤e、人脸识别结果展示。

8、优选的，所述步骤a中，如果配置中选择从摄像头中实时获取视频流，则使用ffmpeg实时读取摄像头的视频流并送入视频流缓冲队列，另开线程从视频流缓冲队列中读取视频画面进行人脸检测；如果配置选择本地视频则会直接读取。

9、优选的，所述步骤b中，通过ultra-light-fast-generic-face-detector模型对图像进行多人脸检测。

10、优选的，所述步骤c中，deepsort算法内部存有三个状态的track，即可确信、未确信与未匹配，只有已确信的track才会送去人脸识别并展示在画面中。

11、进一步的，所述deepsort算法接收步骤b人脸检测得到的结果并进行卡尔曼滤波，去除噪音与不符合规律的结果，然后将结果送入特征提取模型得到各个结果的128位特征值，然后根据此128位特征值与之前历史中已确信track进行特征匹配，匹配结果分为可确信、未确信与未匹配，其中未确信与未匹配再被送去iou匹配，最终可确信结果送入人脸识别缓冲队列，未确信结果不做处理，未匹配信息生成新的track。

12、优选的，所述步骤d中，使用facerecognition进行人脸特征的提取。

13、优选的，所述步骤e中，所述人脸识别结果展示分为本地视频流输出和页面展示，如果选择了本地视频流输出，则直接将识别结果写入的画面按顺序写入本地文件，保证视频文件的fps与原视频相同；如果选择了页面展示则使用ffmpeg向rtmp地址发送视频流，并使用nginx服务器将rtmp流转换为页面可展示的flv流，前端页面可以直接使用flv流进行视频流的展示。

14、本发明在人脸识别前使用的多人脸检测与facerecognition实现了较高精度的远距离人脸识别，并且不需要使用者对摄像头的特别注意。其中人物轨迹的跟踪记录上使用了deepsort目标跟踪算法，该算法可以结合当前识别结果与历史识别结果，可以实现历史画面中同一人物的匹配，并根据此匹配结果减少人脸识别的次数，从而减少资源占用与识别用时，确保结果展示时的视频帧数。

技术特征：

1.一种基于实时摄像头画面下人脸识别与跟踪方法，其特征在于，包括：

2.根据权利要求1所述的一种基于实时摄像头画面下人脸识别与跟踪方法，其特征在于，所述步骤a中，如果配置中选择从摄像头中实时获取视频流，则使用ffmpeg实时读取摄像头的视频流并送入视频流缓冲队列，另开线程从视频流缓冲队列中读取视频画面进行人脸检测；如果配置选择本地视频则会直接读取。

3.根据权利要求1所述的一种基于实时摄像头画面下人脸识别与跟踪方法，其特征在于，所述步骤b中，通过ultra-light-fast-generic-face-detector模型对图像进行多人脸检测。

4.根据权利要求1所述的一种基于实时摄像头画面下人脸识别与跟踪方法，其特征在于，所述步骤c中，deepsort算法内部存有三个状态的track，即可确信、未确信与未匹配，只有已确信的track才会送去人脸识别并展示在画面中。

5.根据权利要求4所述的一种基于实时摄像头画面下人脸识别与跟踪方法，其特征在于，所述deepsort算法接收步骤b人脸检测得到的结果并进行卡尔曼滤波，去除噪音与不符合规律的结果，然后将结果送入特征提取模型得到各个结果的128位特征值，然后根据此128位特征值与之前历史中已确信track进行特征匹配，匹配结果分为可确信、未确信与未匹配，其中未确信与未匹配再被送去iou匹配，最终可确信结果送入人脸识别缓冲队列，未确信结果不做处理，未匹配信息生成新的track。

6.根据权利要求1所述的一种基于实时摄像头画面下人脸识别与跟踪方法，其特征在于，所述步骤d中，使用facerecognition进行人脸特征的提取。

7.根据权利要求1所述的一种基于实时摄像头画面下人脸识别与跟踪方法，其特征在于，所述步骤e中，所述人脸识别结果展示分为本地视频流输出和页面展示，如果选择了本地视频流输出，则直接将识别结果写入的画面按顺序写入本地文件，保证视频文件的fps与原视频相同；如果选择了页面展示则使用ffmpeg向rtmp地址发送视频流，并使用nginx服务器将rtmp流转换为页面可展示的flv流，前端页面可以直接使用flv流进行视频流的展示。

技术总结
本发明提出一种基于实时摄像头画面下人脸识别与跟踪方法，包括：通过摄像头实时获取视频流或从本地视频读取视频流，对读取得到的图像进行多人脸检测，并将检测结果封装后送入DeepSort算法进行目标跟踪，目标跟踪过程中对新人脸进行人脸识别，人脸识别结果直接写入画面并展示在前端页面中或输出到本地。本发明在人脸识别前使用的多人脸检测与FaceRecognition实现了较高精度的远距离人脸识别，并且不需要使用者对摄像头的特别注意。其中人物轨迹的跟踪记录上使用了DeepSort目标跟踪算法，该算法可以结合当前识别结果与历史识别结果，可以实现历史画面中同一人物的匹配，并确保结果展示时的视频帧数。

技术研发人员：于凯,孟令龙,张道诚
受保护的技术使用者：山东华软金盾软件股份有限公司
技术研发日：
技术公布日：2024/6/23