基于异源双目相机的人脸检测方法、终端以及存储介质与流程

1.本发明涉及人脸检测技术领域，尤其涉及一种基于异源双目相机的人脸检测方法、终端以及存储介质。


背景技术：

2.随着科技的进步和社会的发展，人脸识别的应用场景出现得越来越多。一旦虚假人脸攻击成功，极有可能造成重大损失，所以无论是支付还是其他场景，其安全性都应该得到重视。针对此场景的伪造攻击手段包括且不限于打印纸、电子屏或模型面具等。因此如何判别检测到的人脸是真脸还是假脸就是此项技术的核心之一。
3.现阶段活体检测方案分为动态活体检测和静默活体检测，存在以下几个问题：
4.①
现阶段的动态活体检测很难部署到需要快速响应的场景中：因为采用普通卷积设计方法倾向于使用长序列作为输入来提取动态特征，其模型输入是动态多帧图片，或需要完成眨眼、张嘴、摇头、点头等组合动作，这使得该方法耗时较长；
5.②
现阶段大多数的静默动态活体检测产品对未知域假脸攻击防范效果不好：同领域的现有产品是通过分类器的方法，对可见光下的单帧人脸图像进行识别，以确定该人脸是活体或者假体，采用交叉熵或者softmax损失函数对图像进行活体检测，这种检测方式的检测过程复杂，计算量大，使用该检测方式的产品硬件要求高，耗电量大，适应范围窄，且在环境变化(如不同的光照度)时容易失效，降低了用户的使用体验。


技术实现要素：

6.为了克服现有技术的不足，本发明提出一种基于异源双目相机的人脸检测方法、终端以及存储介质，在人脸检测时，获取检测对象的红外图像、rgb图像，提取红外图像、rgb图像中的人脸图像并融合得到检测图像，利用人脸检测模型和3d监督信息对检测图像进行人脸检测分类，从而有效利用了真假脸在不同传感器上的成像特性不同的特点进行真实人脸检测，计算量小，耗电低，降低了对硬件的要求，成本低且不容易受环境影响，稳定性好，提升了用户的使用体验。
7.为解决上述问题，本发明采用的一个技术方案为：一种基于异源双目相机的人脸检测方法，所述人脸检测方法包括：s101：获取检测对象的红外图像、 rgb图像，识别红外图像、rgb图像中的人脸，截取并融合所述人脸形成检测图像；s102：将所述检测图像输入人脸检测模型，根据人脸检测模型以及3d监督信息获取所述检测图像的人脸检测分类。
8.进一步地，所述获取检测对象的红外图像、rgb图像的步骤具体包括：在确定满足检测条件后，控制ir相机和rgb相机对准人脸，拍摄人脸的红外图像、rgb图像。
9.进一步地，所述识别红外图像、rgb图像中的人脸的步骤具体包括：将所述红外图像、rgb图像分别输入对应的人脸识别模型，通过人脸识别模型识别所述红外图像、rgb图像中的人脸。
10.进一步地，所述通过人脸识别模型识别所述红外图像、rgb图像中的人脸的步骤具
体包括：通过所述人脸识别模型中的卷积层对所述红外图像、rgb图像进行特征提取，根据提取结果识别人脸所在区域。
11.进一步地，所述截取并融合所述人脸形成检测图像的步骤具体包括：截取人脸所在区域的图像，将所述图像转换为相同大小的图像，根据所述图像的特征进行通道拼接得到检测图像。
12.进一步地，所述根据人脸检测模型以及3d监督信息获取所述检测图像的人脸检测分类的步骤之前还包括：获取人脸的监督图像，提取所述监督图像的3d 信息，对所述3d信息归一化形成3d监督信息。
13.进一步地，所述根据人脸检测模型以及3d监督信息获取所述检测图像的人脸检测分类的步骤具体包括：通过所述人脸检测模型的卷积层提取所述检测图像的特征，利用所述3d监督信息对所述特征进行监督，通过所述人脸检测模型的全连接层对监督结果、特征进行处理得到人脸检测分类。
14.进一步地，所述通过所述人脸检测模型的全连接层对监督结果、特征进行处理得到人脸检测分类的步骤具体包括：根据全连接层输出的结果获取所述检测图像属于不同检测结果的预测概率，根据所述预测概率获取检测图像的分类。
15.基于相同的发明构思，本发明还提出一种智能终端，所述智能终端包括处理器、存储器，所述存储器存储有计算机程序，所述处理器与所述存储器通信连接，通过所述计算机程序执行如上所述的基于异源双目相机的人脸检测方法。
16.基于相同的发明构思，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有程序数据，所述程序数据被用于执行如上所述的基于异源双目相机的人脸检测方法。
17.相比现有技术，本发明的有益效果在于：在人脸检测时，获取检测对象的红外图像、rgb图像，提取红外图像、rgb图像中的人脸图像并融合得到检测图像，利用人脸检测模型和3d监督信息对检测图像进行人脸检测分类，从而有效利用了真假脸在不同传感器上的成像特性不同的特点进行真实人脸检测，计算量小，耗电低，降低了对硬件的要求，成本低且不容易受环境影响，稳定性好，提升了用户的使用体验。
附图说明
18.图1为本发明基于异源双目相机的人脸检测方法一实施例的结构图；
19.图2为本发明基于异源双目相机的人脸检测方法一实施例的检测流程图；
20.图3为本发明智能终端一实施例的结构图；
21.图4为本发明计算机可读存储介质一实施例的结构图。
具体实施方式
22.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。需说明的是，通常在此处附图中描述和展示的各本公开实施例在不冲突的前提下，可相互组合，其中的结构部件或功能模块可以以各种不同
的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
23.在本技术公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数生式的“一种”、“所述”和“该”也旨在包括多数生式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
24.请参阅图1、图2，其中，图1为本发明基于异源双目相机的人脸检测方法一实施例的结构图；图2为本发明基于异源双目相机的人脸检测方法一实施例的检测流程图。结合图1、图2对本发明的基于异源双目相机的人脸检测方法进行说明。
25.在本实施例中，执行基于异源双目相机的人脸检测方法的设备可以为手机、笔记本电脑、平板电脑以及其他能够根据拍摄的图像进行人脸检测的智能终端。其中，异源双目相机包括红外相机、rgb相机，该异源双目相机可以设置在智能终端上，也可以将其与智能终端连接，智能终端根据异源双目相机拍摄的图像进行人脸检测分类。
26.在本实施例中，智能终端执行的基于异源双目相机的人脸检测方法包括：
27.s101：获取检测对象的红外图像、rgb图像，识别红外图像、rgb图像中的人脸，截取并融合人脸形成检测图像。
28.在本实施例中，获取检测对象的红外图像、rgb图像的步骤具体包括：在确定满足检测条件后，控制ir相机和rgb相机对准人脸，拍摄人脸的红外图像、rgb图像。
29.具体的，智能终端在确定当前满足检测条件后，控制ir相机和rgb相机对位于检测区域内的检测对象进行拍照，从而获取检测对象的人脸图像。其中，检测条件可以为收到人脸检测指令、检测对象出现在检测区域、当前为人脸检测时间、特定检测对象出现、识别到特定场景等预先设定的条件。
30.在本实施例中，在进行人脸检测时，智能终端可以先识别到检测对象的人脸，确定人脸的位置，再根据该位置控制ir相机和rgb相机对准人脸，以拍摄人脸的图像。在其他实施例中，智能终端也可以以语音、文字、图像等方式引导检测对象移动至指定位置或使脸部位于指定位置，进而拍摄人脸的图像。智能终端还可以通过焦距调节、改变ir相机、rgb相机的拍摄方向等方式使ir 相机和rgb相机对准检测对象的人脸。
31.在本实施例中，智能终端控制ir相机和rgb相机拍摄人脸时，控制ir相机和rgb相机同时拍摄检测对象的人脸。
32.在一个优选的实施例中，为了便于图像处理，智能终端还可以控制ir相机和rgb相机拍摄相同大小的图像。
33.在本实施例中，识别红外图像、rgb图像中的人脸的步骤具体包括：将红外图像、rgb图像分别输入对应的人脸识别模型，通过人脸识别模型识别红外图像、rgb图像中的人脸。
34.其中，通过人脸识别模型识别红外图像、rgb图像中的人脸的步骤具体包括：通过人脸识别模型中的卷积层对红外图像、rgb图像进行特征提取，根据提取结果识别人脸所在区域。
35.具体的，人脸识别模型为深度学习网络，该深度学习网络具有多个卷积层，在人脸识别模型得到红外图像、rgb图像后，先利用卷积层将红外图像、rgb 图像转换为大小为112*112*128的图片，进而利用其他的卷积层将该图片处理为大小64*64*256的图片，该图片即为人脸所在区域的图片。
36.在其他实施例中，也可以将通过卷积层对红外图像、rgb图像进行特征提取得到人脸所在区域的图片时，也可以生成不同大小的人脸所在区域的图片，根据预设的图片大小信息，将不符合该图片大小信息的图片进行放大或缩小处理以调整为与图片大小信息一致的图片。
37.在本实施例中，截取并融合人脸形成检测图像的步骤具体包括：截取人脸所在区域的图像，将图像转换为相同大小的图像，根据图像的特征进行通道拼接得到检测图像。
38.其中，可以通过人脸识别模型将得到的人脸所在区域的图片融合在一起生成检测图像。也可以在获取人脸识别模型输出的人脸所在区域的图片后，利用预设的图片融合工具将该图片融合在一起得到检测图像。
39.在本实施例中，人脸识别模型可以存储在智能终端，也可以设置在云端或智能终端连接的服务器等其他设备上，智能终端将拍摄的红外图像、rgb图像传输给该设备，得到该设备反馈的检测图像或人脸所在区域的图片。
40.s102：将检测图像输入人脸检测模型，根据人脸检测模型以及3d监督信息获取检测图像的人脸检测分类。
41.在本实施例中，人脸检测模型对输入的图像大小要求与检测图像的大小一致。在其他实施例中，也可以不一致，在检测图像输入人脸检测模型前，智能终端先对检测图像的大小进行判断，判断该大小是否符合人脸检测模型的图像检测要求，若符合，则直接将检测图像传输给人脸检测模型，若不符合，将对检测图像进行缩放处理，生成符合图像检测要求的检测图像。
42.在本实施例中，人脸检测模型为深度学习卷积网络，该深度学习卷积网络使用真实人脸图像以及虚假人脸图像、人脸照片的图像进行训练。
43.其中，为了提高识别的准确性，根据人脸检测模型以及3d监督信息获取检测图像的人脸检测分类的步骤之前还包括：获取人脸的监督图像，提取监督图像的3d信息，对3d信息归一化形成3d监督信息。利用2d照片全图的深度信息为0的特性，加入3d监督信息识别深度信息不满足要求的虚假人脸图像。
44.在一个具体的实施例中，基于人脸的单张静态图像进行3d人脸建模得到人脸的3d信息，根据3d信息进行深度归一化，使距离相机最近的点的深度为1，距离相机最远的点的深度为0，从而形成3d监督信息。
45.在本实施例中，可以获取每个检测对象的人脸的静态图像，进行3d人脸建模，得到每一个检测对象的人脸的3d信息。从而针对每个检测对象使用不同的 3d监督信息，提高人脸检测的准确性。
46.在本实施例中，根据人脸检测模型以及3d监督信息获取检测图像的人脸检测分类的步骤具体包括：通过人脸检测模型的卷积层提取检测图像的特征，利用3d监督信息对特征进行监督，通过人脸检测模型的全连接层对监督结果、特征进行处理得到人脸检测分类。
47.在一个具体的实施例中，人脸检测模型为深度学习卷积网络，该深度学习卷积网
络的卷积层对卷积图像进行特征提取生成两张大小为64*64*64的图片，这两张图片再利用不同的卷积层得到大小为64*64*64的图片，其中一张图片，通过对应的3d监督信息进行监督，得到表征3d信息的特征层，利用3d信息来预防照片或屏幕信息的欺骗。将两张图片输出给全连接层，通过全连接层得到人脸检测分类。
48.在本实施例中，通过人脸检测模型的全连接层对监督结果、特征进行处理得到人脸检测分类的步骤具体包括：根据全连接层输出的结果获取检测图像属于不同检测结果的预测概率，根据预测概率获取检测图像的分类。其中，预测概率包括为真脸的概率、3d假脸概率、2d假脸概率，通过监督信息处理预测概率得到检测图像的分类，该分类包括真脸、2d假脸、3d假脸。监督信息包括不同概率范围对应的分类。
49.有益效果：本发明基于异源双目相机的人脸检测方法在人脸检测时，获取检测对象的红外图像、rgb图像，提取红外图像、rgb图像中的人脸图像并融合得到检测图像，利用人脸检测模型和3d监督信息对检测图像进行人脸检测分类，从而有效利用了真假脸在不同传感器上的成像特性不同的特点进行真实人脸检测，计算量小，耗电低，降低了对硬件的要求，成本低且不容易受环境影响，稳定性好，提升了用户的使用体验。
50.基于相同的发明构思，本发明还提出一种智能终端，请参阅图3，图3为本发明智能终端一实施例的结构图，结合图3对本发明的智能终端进行具体说明。
51.在本实施例中，智能终端包括处理器、存储器，存储器存储有计算机程序，处理器与存储器通信连接，通过计算机程序执行如上述实施例所述的基于异源双目相机的人脸检测方法。
52.在一些实施例中，存储器可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。处理器可以是通用处理器，包括中央处理器(central processing unit，简称 cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器 (digital signal processing，简称dsp)、专用集成电路(application specificintegrated circuit，简称asic)、现场可编程门阵列(field－programmable gatearray，简称fpga)或者其他可编程功能器件、分立门或者晶体管功能器件、分立硬件组件。
53.基于相同的发明构思，本发明还提出一种计算机可读存储介质，请参阅图4，图4为本发明计算机可读存储介质一实施例的结构图，结合图4对本发明的计算机可读存储介质进行说明。
54.在本实施例中，计算机可读存储介质存储有程序数据，该程序数据被用于执行如上述实施例所述的网格划分方法。
55.其中，计算机可读存储介质可包括，但不限于，软盘、光盘、cd-rom(紧致盘－只读存储器)、磁光盘、rom(只读存储器)、ram(随机存取存储器)、 eprom(可擦除可编程只读存储器)、eeprom(电可擦除可编程只读存储器)、磁卡或光卡、闪存或适于存储机器可执行指令的其他类型的介质/机器可读介质。该计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
56.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明
将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。