基于AR设备的身份核验方法、装置、设备及存储介质与流程

本申请涉及计算机图形处理技术领域，尤其涉及一种基于ar设备的身份核验方法、装置、设备及存储介质。

背景技术：

智慧园区旨在通过物联网技术在传统园区各板块间实现互联，并借助云计算、大数据等技术有效整合，使园区基础设施运行更加智能、管理更加高效、安保更有保障。目前部分园区已实现了一定程度的智能化，但对人力的依赖依然没有降低，在园区安保问题上，仍需要工作人员对区域内不同人员的身份进行核验，例如：安保工作人员需要阻止无关可疑人员进入未被允许进入的区域，前台工作人员需要对来园区的访客进行信息确认和引导等等。工作人员通常是借助手机或其他终端设备进行出入人员身份核验，但是，仍不能满足实时性要求。

技术实现要素：

针对上述技术问题，本申请提供了一种基于ar设备的身份核验方法、装置、设备及存储介质，能够满足安保工作人员在进行人员身份核验时的实时性。

为实现上述目的，本申请实施例第一方面提供了基于ar设备的身份核验方法，该方法包括：

接收预设图像采集设备采集的现场实时视频；

通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；

向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口。

结合第一方面，在一种可能的实施方式中，所述通过人脸检测算法对所述现场实时视频进行人脸检测，包括：

将所述现场实时视频的目标图像帧输入预训练的多任务卷积神经网络的第一子网络进行人脸识别，得到第一候选框；

利用所述多任务卷积神经网络的第二子网络对所述第一候选框进行过滤，得到第二候选框；

利用所述多任务卷积神经网络的第二子网络再次对所述第二候选框进行过滤及人脸关键点定位，得到所述目标图像帧中人脸的人脸检测框。

结合第一方面，在一种可能的实施方式中，所述对检测出的人脸进行跟踪以获取待核验人脸图像，包括：

以所述人脸检测框的中心为人脸质心，采用金字塔光流算法计算出所述人脸质心在所述目标图像帧的下一帧中的对应点；

采用匈牙利算法将所述人脸质心与所述对应点进行匹配以对检测出的人脸进行跟踪；

在对检测出的人脸进行跟踪的过程中截取多张人脸图像，并从所述多张人脸图像中确定出所述待核验人脸图像。

结合第一方面，在一种可能的实施方式中，在所述接收预设图像采集设备采集的现场实时视频之后，所述方法还包括：

将所述现场实时视频存储至预设存储空间，并设置所述现场实时视频的存储时长。

本申请实施例第二方面还提供了一种人脸图像上传方法，该方法包括：

接收ar设备发送的待核验人脸图像；

将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

将所述核验结果返回至所述ar设备，使得所述ar设备在信息展示窗口显示所述核验结果。

结合第二方面，在一种可能的实施方式中，在所述将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果之前，所述方法还包括：

采用高斯滤波器消除所述待核验人脸图像上的噪点；

对去噪后的所述待核验人脸图像进行增强处理提高所述待核验人脸图像的清晰度；

利用预训练的多任务卷积神经网络对清晰度增强的所述待核验人脸图像中的人脸进行矫正。

结合第二方面，在一种可能的实施方式中，所述将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果，包括：

提取经过人脸矫正的所述待核验人脸图像的第一特征向量；

从所述人脸数据库中获取存储的标准人脸图像的第二特征向量，并计算所述第一特征向量与所述第二特征向量之间的余弦相似度；

根据所述余弦相似度从大到小的顺序将前n个标准人脸图像对应的用户的身份信息作为所述核验结果。

结合第二方面，在一种可能的实施方式中，在所述接收预设图像采集设备采集的现场实时视频之前，所述方法还包括：

采集所有用户的标准人脸图像，提取每个用户的标准人脸图像的所述第二特征向量；

将每个用户的标准人脸图像、每个用户的标准人脸图像的所述第二特征向量及每个用户的身份信息对应存储至所述人脸数据库。

本申请实施例第三方面提供了一种基于ar设备的身份核验装置，该装置包括：

视频采集模块，用于接收预设图像采集设备采集的现场实时视频；

人脸抓拍模块，用于通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；

图像发送模块，用于向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

信息展示模块，用于接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口。

本申请实施例第四方面还提供了一种基于ar设备的身份核验装置，该装置包括：

图像接收模块，用于接收ar设备发送的待核验人脸图像；

人脸比对模块，用于将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

结果发送模块，用于将所述核验结果返回至所述ar设备，使得所述ar设备在信息展示窗口显示所述核验结果。

本申请实施例第五方面提供了一种电子设备，所述电子设备包括输入设备、输出设备，

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述的基于ar设备的身份核验方法。

本申请实施例第六方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行上述的基于ar设备的身份核验方法。

本申请的上述方案至少包括以下有益效果：与现有技术相比，本申请实施例通过接收预设图像采集设备采集的现场实时视频；之后再通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口。这样采用ar设备进行视频采集，同时通过ar设备中集成的算法进行人脸检测和人脸跟踪，ar设备与服务器之间的交互基于第五代移动通信技术实现，从而能够满足安保工作人员在进行人员身份核验时的实时性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种网络系统架构图；

图2为本申请实施例提供的一种基于ar设备的身份核验方法的流程示意图；

图3为本申请实施例提供的一种多任务卷积神经网络的结构示意图；

图4为本申请实施例提供的一种图像金字塔的示例图；

图5为本申请实施例提供的另一种基于ar设备的身份核验方法的流程示意图；

图6为本申请实施例提供的一种基于ar设备的身份核验装置的结构示意图；

图7为本申请实施例提供的另一种基于ar设备的身份核验装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。

首先结合相关附图来举例介绍下本申请实施例的方案可能应用到的网络系统架构。请参见图1，图1为本申请实施例提供的一种网络系统架构图，如图1所示，该系统架构中至少包括ar眼镜、服务器和基于5g(5thgenerationmobilenetworks，第五代移动通信技术)网络架构的信息传输模块。其中，ar眼镜包括但不限于视频采集模块、人脸抓拍模块、信息展示模块和视频存储模块，视频采集模块主要是指ar眼镜中内置的摄像头，用于安保工作人员在身份核验时采集现场的实时视频，人脸抓拍模块主要用于从视频采集模块采集的视频中截取人脸图像，并通过信息传输模块向服务器发送后续人脸比对需用到的人脸图像，视频存储模块主要用于将视频采集模块采集的视频存储至ar眼镜内置的存储卡中，信息展示模块主要用于将服务器的核验结果展示在ar眼镜上。服务器包括但不限于图像预处理模块、信息录入模块、人脸比对模块和人脸库模块，图像预处理模块用于对ar眼镜发送的人脸图像进行去噪、增强等预处理，信息录入模块提供给工作人员或者需要登记信息的用户进行标准人脸图像和身份信息的录入，人脸比对模块的主要作用是人脸识别，将ar眼镜发送的人脸图像与人脸库模块中的标准人脸图像进行比对，得到核验结果，并通过信息传输模块将核验结果返回至ar眼镜，人脸库模块则是存储有用户的标准人脸图像、身份信息和人脸特征向量，其中服务器可选为远端服务器。信息传输模块由于是建立在5g网络之上，其具有带宽大、低延迟、低功耗的优点，能够满足应用的高并发，低时延和省电的要求。基于上述网络系统架构，ar眼镜与服务器的交互时延大大降低，有效降缩短了工作人员对进入园区的人员进行身份核验的耗时，实时性有保证。

基于上述描述，请参见图2，图2为本申请实施例提供的一种基于ar设备的身份核验方法的流程示意图，该基于ar设备的身份核验方法应用于ar设备，ar设备为执行主体，如图2所示，包括步骤s21-s24：

s21，接收预设图像采集设备采集的现场实时视频；

本申请具体实施例中，ar设备即ar眼镜，ar设备内置有芯片，图像采集设备为ar设备内置的摄像头，摄像头依据实际使用场景来选择分辨率大小，通常情况下室外场景下的分辨率是大于室内场景的，同时，摄像头的分辨率应当满足服务器进行人脸比对的要求，摄像头的测光方式设置为中心点测光，使用时尽量确保待核验人员人脸位于画面中央区域；为了保证核验时画面不会产生动态模糊，摄像头的快门参数一般设置在1/200秒以内；光圈依据快门速度可动态进行调整，只要保证画面的曝光在合理的范围内即可。当有人员进入某特定区域时，负责执勤的工作人员可尽量将ar设备对准该人员脸部区域，进行现场实时视频的采集。

s22，通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；

本申请具体实施例中，ar设备集成有人脸检测算法，例如：基于adaboost框架的目标检测算法、可变形的组件模型算法、多任务卷积神经网络算法(multi-taskcascadedconvolutionalnetworks，mtcnn)、yolo目标检测算法等等，鉴于本方案对实时性和功耗的要求，可采用预训练的多任务卷积神经网络进行人脸检测。

在一种可能的实施方式中，上述通过人脸检测算法对所述现场实时视频进行人脸检测，包括：

将所述现场实时视频的目标图像帧输入预训练的多任务卷积神经网络的第一子网络进行人脸识别，得到第一候选框；

利用所述多任务卷积神经网络的第二子网络对所述第一候选框进行过滤，得到第二候选框；

利用所述多任务卷积神经网络的第二子网络再次对所述第二候选框进行过滤及人脸关键点定位，得到所述目标图像帧中人脸的人脸检测框。

具体的，如图3所示，多任务卷积神经网络的结构包括p-net、r-net和o-net，上述第一子网络即p-net、第二子网络即r-net、第三子网络即o-net，每个子网络的输出均包括是否是人脸的分类、边界框回归和人脸关键点。目标图像帧即目标对象首次在现场实时视频中出现的图像帧，将目标图像帧输入p-net进行初步的人脸识别和关键点定位，会得到很多的初始候选框，利用边界框回归对初始候选框进行校准，之后对其进行非极大值抑制，便得到一定数量的第一候选框。将p-net的输出作为r-net的输入，以对p-net的检测结果进行优化，具体是将第一候选框中不符合要求的候选框过滤掉，得到少量的第二候选框，将r-net的输出作为o-net的输入进行最后的人脸识别和关键点检测，继续对第二候选框进行过滤，得到最终的人脸检测框的中心点坐标、宽度和长度，同时显示目标图像帧中人脸的关键点。

在一种可能的实施方式中，上述对检测出的人脸进行跟踪以获取待核验人脸图像，包括：

以所述人脸检测框的中心为人脸质心，采用金字塔光流算法计算出所述人脸质心在所述目标图像帧的下一帧中的对应点；

采用匈牙利算法将所述人脸质心与所述对应点进行匹配以对检测出的人脸进行跟踪；

在对检测出的人脸进行跟踪的过程中截取多张人脸图像，并从所述多张人脸图像中确定出所述待核验人脸图像。

具体的，在采用人脸检测算法得到人脸检测框后，可在人脸检测框内选取一定数量的点进行跟踪，较佳的，可选取人脸质心、定位出的人脸关键点等，然后对目标图像帧进行转换和缩放，构建如图4所示的图像金字塔，然后定位出人脸质心在每层图像中的位置，计算出每层图像中的光流，经过层层迭代得到人脸质心在图像金字塔最底层图像(即目标图像帧)中的光流，根据人脸质心在目标图像帧中的位置和光流计算得到人脸质心下一帧中的对应点，然后采用匈牙利算法将人脸质心在下一帧中的对应点与人脸质心进行匹配，得到最优对应点，以最优对应点预测目标图像帧中人脸在下一帧中的位置，以实现跟踪。在跟踪的过程中会截取多张人脸图像，然后通过对每张人脸图像进行清晰度、尺寸等检测，从该多张人脸图像中确定出至少一张质量较好的人脸图像，将该人脸图像作为待核验人脸图像。

s23，向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

本申请具体实施例中，ar设备选取出待核验人脸图像后，通过信息传输模块将待核验人脸图像发送给服务器，服务器接收到待核验人脸图像后，可对其进行一系列预处理操作，然后将其与人脸数据库中存储的标准人脸图像进行匹配，并选取匹配度较高的预设数量个用户，将匹配度较高的预设数量个用户的身份信息作为核验结果。

s24，接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口。

本申请具体实施例中，信息展示窗口即ar设备的显示屏，服务器将核验结果返回至ar设备，ar设备对其进行解析，然后将结构化的核验结果显示在信息展示窗口，现实的画面和结构化的信息叠加在一起，工作人员仅仅需要看向目标人物就能够快速地核验目标人物的身份。

可以看出，本申请实施例通过接收预设图像采集设备采集的现场实时视频；之后再通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口。这样采用ar设备进行视频采集，同时通过ar设备中集成的算法进行人脸检测和人脸跟踪，ar设备与服务器之间的交互基于第五代移动通信技术实现，从而能够满足安保工作人员在进行人员身份核验时的实时性。

请参见图5，图5为本申请实施例提供的另一种基于ar设备的身份核验方法的流程示意图，该基于ar设备的身份核验方法应用于服务器，如图5所示，包括步骤s51-s53：

s51，接收ar设备发送的待核验人脸图像；

s52，将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

s53，将所述核验结果返回至所述ar设备，使得所述ar设备在信息展示窗口显示所述核验结果。

本申请具体实施例中，人脸数据库中存储的标准人脸图像都是已登记用户的人脸图像，已登记用户具有出入园区或特定区域的权限。进行人脸匹配时具体可采用基于几何特征的方法、局部特征分析的方法、特征脸方法、神经网络方法等，此处不作限定，例如：可采用尺寸不变特征转换进行特征点的选取以进行人脸匹配，或者可采用卷积神经网络进行特征提取以进行人脸匹配，最后将匹配度较高的的预设数量个用户的身份信息作为核验结果通过信息传输模块返回给ar设备。

在一种可能的实施方式中，在所述将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果之前，所述方法还包括：

采用高斯滤波器消除所述待核验人脸图像上的噪点；

对去噪后的所述待核验人脸图像进行增强处理提高所述待核验人脸图像的清晰度；

利用预训练的多任务卷积神经网络对清晰度增强的所述待核验人脸图像中的人脸进行矫正。

本申请具体实施例中，为了提高匹配的准确性，在进行人脸匹配前需要对待核验人脸图像进行预处理。高斯滤波器具体是通过一个模板扫描待核验人脸图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，适合消除高斯噪点，对于消除噪点的待核验人脸图像，通过直方图均衡化算法对其进行增强处理以期提高清晰度，最后将经过增强处理的待核验人脸图像输入训练的多任务卷积神经网络进行两个眼睛、鼻子、左右两侧嘴角五个人脸关键点的定位，基于五个人脸关键点的坐标进行人脸矫正。在一些示例中，预处理中还可以加入超分辨率算法进一步增加待核验人脸图像的分辨率。

在一种可能的实施方式中，所述将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果，包括：

提取经过人脸矫正的所述待核验人脸图像的第一特征向量；

从所述人脸数据库中获取存储的标准人脸图像的第二特征向量，并计算所述第一特征向量与所述第二特征向量之间的余弦相似度；

根据所述余弦相似度从大到小的顺序将前n个标准人脸图像对应的用户的身份信息作为所述核验结果。

本申请具体实施例中，采用卷积神经网络对经过人脸矫正的待核验人脸图像进行特征提取，得到多维的第一特征向量，同时，为了提高匹配速度，本方案会预先提取人脸数据库中的标准人脸图像的第二特征向量然后将其对应存储，减少了匹配时再提取第二特征向量的耗时。采用余弦计算公式计算出第一特征向量与第二特征向量之间的余弦相似度，根据余弦相似度从高到低的顺序进行排序，选取预设数量个标准人脸图像对应的用户的身份信息作为核验结果，预设数量可根据实际情况设定。

可以看出，本申请实施例通过接收ar设备发送的待核验人脸图像；将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；将所述核验结果返回至所述ar设备，使得所述ar设备在信息展示窗口显示所述核验结果，从而能够满足安保工作人员在进行人员身份核验时的实时性。

基于上述图2方法实施例的描述，请参见图6，图6为本申请实施例提供的一种基于ar设备的身份核验装置的结构示意图，如图6所示，该装置包括：

视频采集模块61，用于接收预设图像采集设备采集的现场实时视频；

人脸抓拍模块62，用于通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；

图像发送模块63，用于向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

信息展示模块64，用于接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口。

在一种可能的示例中，所述人脸抓拍模块62通过人脸检测算法对所述现场实时视频进行人脸检测方面，具体用于：

将所述现场实时视频的目标图像帧输入预训练的多任务卷积神经网络的第一子网络进行人脸识别，得到第一候选框；

利用所述多任务卷积神经网络的第二子网络对所述第一候选框进行过滤，得到第二候选框；

利用所述多任务卷积神经网络的第二子网络再次对所述第二候选框进行过滤及人脸关键点定位，得到所述目标图像帧中人脸的人脸检测框。

在一种可能的示例中，所述人脸抓拍模块62在对检测出的人脸进行跟踪以获取待核验人脸图像方面，具体用于：

以所述人脸检测框的中心为人脸质心，采用金字塔光流算法计算出所述人脸质心在所述目标图像帧的下一帧中的对应点；

采用匈牙利算法将所述人脸质心与所述对应点进行匹配以对检测出的人脸进行跟踪；

在对检测出的人脸进行跟踪的过程中截取多张人脸图像，并从所述多张人脸图像中确定出所述待核验人脸图像。

基于上述图5方法实施例的描述，请参见图7，图7为本申请实施例提供的另一种基于ar设备的身份核验装置的结构示意图，如图7所示，该装置包括：

图像接收模块71，用于接收ar设备发送的待核验人脸图像；

人脸比对模块72，用于将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

结果发送模块73，用于将所述核验结果返回至所述ar设备，使得所述ar设备在信息展示窗口显示所述核验结果。

在一种可能的示例中，所述人脸比对模块72在将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果之前，具体还用于：

采用高斯滤波器消除所述待核验人脸图像上的噪点；

对去噪后的所述待核验人脸图像进行增强处理提高所述待核验人脸图像的清晰度；

利用预训练的多任务卷积神经网络对清晰度增强的所述待核验人脸图像中的人脸进行矫正。

在一种可能的示例中，所述人脸比对模块72在将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果方面，具体用于：

提取经过人脸矫正的所述待核验人脸图像的第一特征向量；

从所述人脸数据库中获取存储的标准人脸图像的第二特征向量，并计算所述第一特征向量与所述第二特征向量之间的余弦相似度；

根据所述余弦相似度从大到小的顺序将前n个标准人脸图像对应的用户的身份信息作为所述核验结果。

根据本申请的一个实施例，图6和图7所示的基于ar设备的身份核验装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于ar设备的身份核验装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6或图7中所示的基于ar设备的身份核验装置设备，以及来实现本发明实施例的人脸图像上传方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种电子设备。请参见图8，该电子设备至少包括处理器81、输入设备82、输出设备83以及计算机存储介质84。其中，电子设备内的处理器81、输入设备82、输出设备83以及计算机存储介质84可通过总线或其他方式连接。

计算机存储介质84可以存储在电子设备的存储器中，所述计算机存储介质84用于存储计算机程序，所述计算机程序包括程序指令，所述处理器81用于执行所述计算机存储介质84存储的程序指令。处理器81(或称cpu(centralprocessingunit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

在一个实施例中，本申请实施例提供的电子设备的处理器81可以用于进行一系列基于ar设备的身份核验处理，包括：

接收预设图像采集设备采集的现场实时视频；

通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；

向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口。

在一种可能的示例中，处理器81执行所述通过人脸检测算法对所述现场实时视频进行人脸检测，包括：

将所述现场实时视频的目标图像帧输入预训练的多任务卷积神经网络的第一子网络进行人脸识别，得到第一候选框；

利用所述多任务卷积神经网络的第二子网络对所述第一候选框进行过滤，得到第二候选框；

利用所述多任务卷积神经网络的第二子网络再次对所述第二候选框进行过滤及人脸关键点定位，得到所述目标图像帧中人脸的人脸检测框。

在一种可能的示例中，处理器81执行所述对检测出的人脸进行跟踪以获取待核验人脸图像，包括：

以所述人脸检测框的中心为人脸质心，采用金字塔光流算法计算出所述人脸质心在所述目标图像帧的下一帧中的对应点；

采用匈牙利算法将所述人脸质心与所述对应点进行匹配以对检测出的人脸进行跟踪；

在对检测出的人脸进行跟踪的过程中截取多张人脸图像，并从所述多张人脸图像中确定出所述待核验人脸图像。

在一个实施例中，本申请实施例提供的电子设备的处理器81还可以用于进行另一系列基于ar设备的身份核验处理，包括：

接收ar设备发送的待核验人脸图像；

将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

将所述核验结果返回至所述ar设备，使得所述ar设备在信息展示窗口显示所述核验结果。

在一种可能的示例中，处理器81在所述将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果之前，还用于执行：

采用高斯滤波器消除所述待核验人脸图像上的噪点；

对去噪后的所述待核验人脸图像进行增强处理提高所述待核验人脸图像的清晰度；

利用预训练的多任务卷积神经网络对清晰度增强的所述待核验人脸图像中的人脸进行矫正。

在一种可能的示例中，处理器81执行所述将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果，包括：

提取经过人脸矫正的所述待核验人脸图像的第一特征向量；

从所述人脸数据库中获取存储的标准人脸图像的第二特征向量，并计算所述第一特征向量与所述第二特征向量之间的余弦相似度；

根据所述余弦相似度从大到小的顺序将前n个标准人脸图像对应的用户的身份信息作为所述核验结果。

示例性的，上述电子设备可以是ar设备或服务器、云端服务器、边缘侧服务器等设备。电子设备可包括但不仅限于处理器81、输入设备82、输出设备83以及计算机存储介质84。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

需要说明的是，由于电子设备的处理器81执行计算机程序时实现上述的基于ar设备的身份核验方法中的步骤，因此上述基于ar设备的身份核验方法的实施例或实施方式均适用于该电子设备，且均能达到相同或相似的有益效果。

本申请实施例还提供了一种计算机存储介质(memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器81加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器81的计算机存储介质。在一个实施例中，可由处理器81加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关基于ar设备的身份核验方法的相应步骤；具体实现中，计算机存储介质中的一条或多条指令由处理器81加载并执行如下步骤：

接收预设图像采集设备采集的现场实时视频；

通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；

向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口。

在一个可能的示例中，计算机存储介质中的一条或多条指令由处理器81加载时，还用于实现如下步骤：

将所述现场实时视频的目标图像帧输入预训练的多任务卷积神经网络的第一子网络进行人脸识别，得到第一候选框；

利用所述多任务卷积神经网络的第二子网络对所述第一候选框进行过滤，得到第二候选框；

利用所述多任务卷积神经网络的第二子网络再次对所述第二候选框进行过滤及人脸关键点定位，得到所述目标图像帧中人脸的人脸检测框。

在一个可能的示例中，计算机存储介质中的一条或多条指令由处理器81加载时，还用于实现如下步骤：

以所述人脸检测框的中心为人脸质心，采用金字塔光流算法计算出所述人脸质心在所述目标图像帧的下一帧中的对应点；

采用匈牙利算法将所述人脸质心与所述对应点进行匹配以对检测出的人脸进行跟踪；

在对检测出的人脸进行跟踪的过程中截取多张人脸图像，并从所述多张人脸图像中确定出所述待核验人脸图像。

在另一个实施例的具体实现中，计算机存储介质中的一条或多条指令由处理器81加载并执行如下步骤：

接收ar设备发送的待核验人脸图像；

将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

将所述核验结果返回至所述ar设备，使得所述ar设备在信息展示窗口显示所述核验结果。

在一个可能的示例中，计算机存储介质中的一条或多条指令由处理器81加载时，还用于实现如下步骤：

采用高斯滤波器消除所述待核验人脸图像上的噪点；

对去噪后的所述待核验人脸图像进行增强处理提高所述待核验人脸图像的清晰度；

利用预训练的多任务卷积神经网络对清晰度增强的所述待核验人脸图像中的人脸进行矫正。

在一个可能的示例中，计算机存储介质中的一条或多条指令由处理器81加载时，还用于实现如下步骤：

提取经过人脸矫正的所述待核验人脸图像的第一特征向量；

从所述人脸数据库中获取存储的标准人脸图像的第二特征向量，并计算所述第一特征向量与所述第二特征向量之间的余弦相似度；

根据所述余弦相似度从大到小的顺序将前n个标准人脸图像对应的用户的身份信息作为所述核验结果。

示例性的，所述计算机存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的基于ar设备的身份核验方法中的步骤，因此上述基于ar设备的身份核验方法的所有实施例或实施方式均适用于该计算机存储介质，且均能达到相同或相似的有益效果。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。