一种人脸实时跟踪方法、设备及计算机可读存储介质与流程

本发明涉及电子技术领域，尤其涉及一种人脸实时跟踪方法、设备及计算机可读存储介质。

背景技术：

现有技术中，对于人员的跟踪广泛应用于各种安防场景中，例如，在写字楼门口跟踪人员的进出、在学校教室内跟踪人员的走动。随着技术的日新月异与发展，人们对安防场景的安防技术，人们对安防产品的相关安防技术要求越来越高。通过捕捉一些公开的身份识别的信息，例如人脸信息指纹信息、声纹信息，安防等级较高的场景中，甚至还有虹膜信息，来增强安防等级，同时也是对另外一些隐私信息的保护，例如身份证信息等。

在公开的身份信息中，获取人脸信息最为简便快捷，也即，通过人脸识别技术，对人脸进行识别，确定人员的身份。但是，在现有技术中，将人脸识别和人脸追踪结合起来的方案还不够完善。

技术实现要素：

为了解决现有技术中的上述技术缺陷，本发明提出了一种人脸实时跟踪方法，该方法包括：

获取获取人脸区域图像的帧数据；

在所述帧数据中，若前一帧的置信度高于预设阈值，则扩展所述人脸区域，作为后一帧的候选兴趣区域；

在所述候选兴趣区域内计算得到所述后一帧的人脸矩阵尺寸及坐标；

根据所述人脸矩阵尺寸及坐标筛选得到所述人脸区域的置信度最高、面积最大人脸。

可选的，本方法还包括：

对连续的丢失所述帧数据执行复检测操作。

可选的，所述对连续的丢失所述帧数据执行复检测操作，包括：

在人脸检测的帧数范围内，执行人员身份确定操作。

可选的，本方法还包括：

在所述人脸区域的跟踪阶段，去除在所述人脸区域内的人脸识别计算操作。

可选的，本方法还包括：

在所述人脸区域的跟踪阶段，执行所述人脸区域的图像渲染操作以及所述人脸区域的姿态估计操作。

本发明还提出了一种人脸实时跟踪设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现：

获取获取人脸区域图像的帧数据；

在所述帧数据中，若前一帧的置信度高于预设阈值，则扩展所述人脸区域，作为后一帧的候选兴趣区域；

在所述候选兴趣区域内计算得到所述后一帧的人脸矩阵尺寸及坐标；

根据所述人脸矩阵尺寸及坐标筛选得到所述人脸区域的置信度最高、面积最大人脸。

可选的，所述计算机程序被所述处理器执行时实现：

对连续的丢失所述帧数据执行复检测操作。

可选的，所述计算机程序被所述处理器执行时实现：

在人脸检测的帧数范围内，执行人员身份确定操作。

可选的，所述计算机程序被所述处理器执行时实现：

在所述人脸区域的跟踪阶段，去除在所述人脸区域内的人脸识别计算操作；

在所述人脸区域的跟踪阶段，执行所述人脸区域的图像渲染操作以及所述人脸区域的姿态估计操作。

本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有人脸实时跟踪程序，人脸实时跟踪程序被处理器执行时实现如上述任一项所述的人脸实时跟踪方法的步骤。

实施本发明的人脸实时跟踪方法、设备及计算机可读存储介质，通过获取获取人脸区域图像的帧数据；然后，在所述帧数据中，若前一帧的置信度高于预设阈值，则扩展所述人脸区域，作为后一帧的候选兴趣区域；再然后，在所述候选兴趣区域内计算得到所述后一帧的人脸矩阵尺寸及坐标；最后，根据所述人脸矩阵尺寸及坐标筛选得到所述人脸区域的置信度最高、面积最大人脸。实现了一种更为完善的人脸识别和人脸追踪结合方案，节省了处理时间与资源开销，提升了用户体验。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明人脸实时跟踪方法第一实施例的流程图；

图2是本发明人脸实时跟踪方法第二实施例的流程图；

图3是本发明人脸实时跟踪方法第三实施例的流程图；

图4是本发明人脸实时跟踪方法第四实施例的流程图；

图5是本发明人脸实时跟踪方法第五实施例的流程图；

图6是本发明人脸实时跟踪方法第六实施例的流程图；

图7是本发明人脸实时跟踪方法第七实施例的结构框图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

实施例一

图1是本发明人脸实时跟踪方法第一实施例的流程图。一种人脸实时跟踪方法，该方法包括：

s1、获取获取人脸区域图像的帧数据；

s2、在所述帧数据中，若前一帧的置信度高于预设阈值，则扩展所述人脸区域，作为后一帧的候选兴趣区域；

s3、在所述候选兴趣区域内计算得到所述后一帧的人脸矩阵尺寸及坐标；

s4、根据所述人脸矩阵尺寸及坐标筛选得到所述人脸区域的置信度最高、面积最大人脸。

在本实施例中，首先，获取获取人脸区域图像的帧数据；然后，在所述帧数据中，若前一帧的置信度高于预设阈值，则扩展所述人脸区域，作为后一帧的候选兴趣区域；再然后，在所述候选兴趣区域内计算得到所述后一帧的人脸矩阵尺寸及坐标；最后，根据所述人脸矩阵尺寸及坐标筛选得到所述人脸区域的置信度最高、面积最大人脸。

可选的，在本实施例中，将本方案的代码写为neon汇编源码，利用了arm平台的汇编指令集加速；

可选的，在本实施例中，将pnet-rnet-onet的网络结构的头部pnet收紧，降低后面两个级联网络rnet、onet的计算成本；

可选的，在本实施例中，当只检测一张最大人脸时，在算法流程上进行改进，也即，当前面的网络筛选出符合要求的最大人脸时便不再进行后面的检测备选框的计算，从而节省时间与资源开销。

可选的，本实施例可应用于armv7、armv8等嵌入式平台；

可选的，本实施例可应用于rk3288(armv7)嵌入式平台，其实时率可达42帧/秒。

可选的，在本实施例中，本方法还包括：

对连续的丢失所述帧数据执行复检测操作。

可选的，所述对连续的丢失所述帧数据执行复检测操作，包括：

在人脸检测的帧数范围内，执行人员身份确定操作。

可选的，在本实施例中，本方法还包括：

在所述人脸区域的跟踪阶段，去除在所述人脸区域内的人脸识别计算操作。

可选的，在本实施例中，本方法还包括：

在所述人脸区域的跟踪阶段，执行所述人脸区域的图像渲染操作以及所述人脸区域的姿态估计操作。

本实施例的有益效果在于，通过获取获取人脸区域图像的帧数据；然后，在所述帧数据中，若前一帧的置信度高于预设阈值，则扩展所述人脸区域，作为后一帧的候选兴趣区域；再然后，在所述候选兴趣区域内计算得到所述后一帧的人脸矩阵尺寸及坐标；最后，根据所述人脸矩阵尺寸及坐标筛选得到所述人脸区域的置信度最高、面积最大人脸。实现了一种更为完善的人脸识别和人脸追踪结合方案，节省了处理时间与资源开销，提升了用户体验。

实施例二

图2是本发明人脸实时跟踪方法第二实施例的流程图，基于上述实施例，本实施例提供了一种人脸识别的系统安装与初始化方案。

具体的，在本实施例中，首先，将人脸识别终端接入网络，然后，由终端向服务器发送特定格式的信息，继而判断服务器是否接收并响应该信息，若未接收，则提示用户未连接，等待预设时间后重新连接和验证，若已接收，则在终端接收到服务器响应时，提示用户已连接，此时，超级管理员可以登录管理系统，执行添加设备、添加管理员以及人员录入等操作。

可以理解的是，上述实施例的人脸实时跟踪方案可以建立在本实施例的经安装与初始化的系统之上，同样可以实现上述人脸实时跟踪方案相同的技术效果。

实施例三

图3是本发明人脸实时跟踪方法第三实施例的流程图，基于上述实施例，本实施例提供了一种人脸识别的门禁区域应用方案。

具体的，在本实施例中，首先，在系统中选中门禁区域，在该区域内检测人脸，从而获取人脸数据，然后，从当前门禁点的授权数据库中进行人脸数据的匹配操作，若未授权，则提示拒绝访问，请登记后访问，继而返回默认界面，而若已授权，则执行开门指令，同时，将访问记录保存并上传至管理系统。

同样的，可以理解的是，上述实施例的人脸实时跟踪方案可以建立在本实施例的门禁识别系统之上，同样可以实现上述人脸实时跟踪方案相同的技术效果。

实施例四

图4是本发明人脸实时跟踪方法第四实施例的流程图，基于上述实施例，本实施例提供了一种人脸识别的人脸入库的应用方案。

具体的，在本实施例中，首先，点击进入登陆页面，通过人脸识别或者账号密码登陆管理员账户，若登陆成功，则可以选择人员管理模块，在人员管理模块内，进一步选择人员入库模块，然后，通过设备捕获人脸图像并完善相关信息，最后，提交至本方案的人脸入库系统。

同样的，可以理解的是，上述实施例的人脸实时跟踪方案可以建立在本实施例的人脸入库系统之上，同样可以实现上述人脸实时跟踪方案相同的技术效果。

实施例五

图5是本发明人脸实时跟踪方法第五实施例的流程图，基于上述实施例，本实施例提供了一种人脸识别的人员账号管理的应用方案。

具体的，在本实施例中，首先，登陆管理页面，然后，根据需求选定人员管理模块或者账号管理模块，若选择人员管理模块，则可对已授权人员信息列表执行增加、筛选、更新以及删除等操作，从而对该信息列表完善和更新，而若选择账号管理模块，则可对个人信息进行更新，同样的，可对个人信息执行增加、筛选、更新以及删除等操作。

同样的，可以理解的是，上述实施例的人脸实时跟踪方案可以建立在本实施例的人员账号管理系统之上，同样可以实现上述人脸实时跟踪方案相同的技术效果。

实施例六

图6是本发明人脸实时跟踪方法第六实施例的流程图，基于上述实施例，本实施例提供了一种人脸识别的综合应用系统的应用方案。

具体的，在本实施例中，本综合应用系统包括人员管理模块、访问记录管理模块、系统管理模块以及账号管理模块，其中，人员管理模块、访问记录管理模块以及账号管理模块在前述实施例已有说明，在此不再赘述。需要说明的是，在本实施例中，新增系统日志模块，该模块可对系统日志执行筛选和更新操作。

同样的，可以理解的是，上述实施例的人脸实时跟踪方案可以建立在本实施例的综合应用系统之上，同样可以实现上述人脸实时跟踪方案相同的技术效果。

实施例七

图7是本发明人脸实时跟踪方法第七实施例的结构框图，基于上述实施例，本实施例提供了一种人脸识别的门禁系统的应用方案。

具体的，在本实施例中，包括与网络连接的web管理端以及人脸识别终端，其中，人脸识别终端与门禁控制器相连，门禁控制器与门禁设备相连，本实施例还包括应用程序管理端，例如，微信管理端等，该应用程序管理端可与云服务器相连，从而实现远程控制。

实施例八

基于上述实施例，本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有人脸实时跟踪程序，人脸实时跟踪程序被处理器执行时实现如上述任一项所述的人脸实时跟踪方法的步骤。

实施本发明的人脸实时跟踪方法、设备及计算机可读存储介质，通过获取获取人脸区域图像的帧数据；然后，在所述帧数据中，若前一帧的置信度高于预设阈值，则扩展所述人脸区域，作为后一帧的候选兴趣区域；再然后，在所述候选兴趣区域内计算得到所述后一帧的人脸矩阵尺寸及坐标；最后，根据所述人脸矩阵尺寸及坐标筛选得到所述人脸区域的置信度最高、面积最大人脸。实现了一种更为完善的人脸识别和人脸追踪结合方案，节省了处理时间与资源开销，提升了用户体验。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。