人脸识别方法、人脸识别装置及终端设备与流程

1.本技术涉及人脸识别技术领域，尤其涉及一种人脸识别方法、人脸识别装置及终端设备。


背景技术：

2.人脸识别技术由于易用性好，具备一定的安全性，因此被广泛应用在各个领域。
3.目前，人脸识别技术主要对用户人脸拍摄可见光图片，直接基于拍摄的可见光图片获取用户的人脸特征，进而根据用户的人脸特征进行人脸识别。
4.然而，进行人脸识别时用户所处的光线环境以及用户人脸的肤色情况可能比较复杂，在某些情况下，直接使用可见光图像进行人脸识别时，识别率可能较低，误检率可能较高。


技术实现要素：

5.本技术实施例提供一种人脸识别方法、人脸识别装置及终端设备，用于解决现有技术中人脸识别用户体验差，以及对深肤色人群识别率较差的问题。
6.为达到上述目的，本技术的实施例采用如下技术方案：
7.第一方面，本技术实施例提供一种人脸识别方法，该人脸识别方法可以包括：先获取目标人脸的可见光图像和近红外图像。然后，根据可见光图像的特征参数确定目标人脸所处的光线环境的光照度，其中，特征参数包括清晰度、噪点和动态范围中的至少一项。之后，根据光照度确定目标人脸所处的光线环境的类型，光线环境的类型可以包括暗光环境和非暗光环境，其中，暗光环境的光照度小于光照度阈值，非暗光环境的光照度大于光照度阈值。并且，当光线环境的类型为暗光环境时，可以对近红外图像进行深度学习确定目标人脸的肤色类型，肤色类型可以包括浅肤色类型和深肤色类型。进而，可以根据目标人脸所处的光线环境的类型和/或目标人脸的肤色类型对目标人脸进行人脸识别。
8.基于第一方面提供的人脸识别方法，在进行人脸识别时，可以获取目标人脸的可见光图像和近红外图像，并且在人脸识别之前可以根据可见光图像判断人脸所处的光线环境的类型以及人脸的肤色类型。进而，可以根据目标人脸所处的光线环境的类型，和/或，目标人脸的肤色类型进行人脸识别。应理解，在进行人脸识别之前先进行光线环境判断和肤色类型判断，从而可以根据光线环境和/或肤色的情况分情况进行人脸识别，针对不同的光线环境或不同的肤色类型可以选择更适合该光线环境或肤色类型的人脸识别方式，以提高人脸识别的检出率和正确率，进而提高用户体验。
9.结合上述第一方面，作为一种可选的实现方式，当光线环境为暗光环境或目标人脸的肤色类型为深肤色类型时，根据近红外图像对目标人脸进行人脸识别。当光线环境为非暗光环境且目标人脸的肤色类型为浅肤色类型时，根据可见光图像对目标人脸进行人脸识别。基于该方案，可以根据不同的光线环境和/或肤色类型选择出更合适的图像进行人脸识别，从而提高人脸识别的检出率和正确率，提高用户体验。
10.结合上述第一方面，作为一种可选的实现方式，对可见光图像进行深度学习确定目标人脸的肤色类型可以包括：将可见光图像输入肤色分类网络模型，得到至少一个肤色置信度，至少一个肤色置信度与至少一个肤色一一对应，肤色置信度为可见光图像中出现肤色置信度对应的肤色的概率。之后，根据至少一个肤色置信度确定目标人脸的肤色类型。
11.结合上述第一方面，作为一种可选的实现方式，根据至少一个肤色置信度确定目标人脸的肤色类型可以包括：将至少一个肤色置信度中最高肤色置信度对应的肤色确定为目标人脸的肤色；当目标人脸的肤色为黑肤色、棕肤色或红肤色时，确定目标人脸的肤色类型为深肤色类型；当目标人脸的肤色为白肤色、黄肤色或未知肤色时，确定目标人脸的肤色类型为浅肤色类型。
12.结合上述第一方面，作为一种可选的实现方式，根据可见光图像对目标人脸进行人脸识别，可以包括：对可见光图像进行人脸检测，当人脸检测成功时，获取可见光图像中目标人脸的人脸特征；根据目标人脸的人脸特征建立目标人脸的人脸模型；将目标人脸的人脸模型与至少一个注册用户的人脸模型进行相似度对比，得到人脸识别的结果。
13.结合上述第一方面，作为一种可选的实现方式，根据近红外图像对目标人脸进行人脸识别，可以包括：对近红外图像进行人脸检测，在人脸检测成功时，获取近红外图像中的人脸特征；根据目标人脸的人脸特征建立目标人脸的人脸模型；将目标人脸的人脸模型与至少一个注册用户的人脸模型进行相似度对比，得到人脸识别的结果。
14.结合上述第一方面，作为一种可选的实现方式，根据目标人脸的人脸特征建立目标人脸的人脸模型，可以包括：根据目标人脸的人脸特征确定目标人脸的人脸姿态；当目标人脸的人脸姿态合格时，根据目标人脸的人脸特征建立目标人脸的人脸模型。
15.结合上述第一方面，作为一种可选的实现方式，人脸识别方法还可以包括：获取注册用户的可见光图像和近红外图像；根据注册用户的可见光图像确定注册用户的人脸所处的光线环境；当注册用户的人脸所处的光线环境为暗光环境时，根据注册用户的近红外图像建立注册用户的人脸模型；当注册用户的人脸所处的光线环境为非暗光环境时，根据注册用户的可见光图像确定注册用户的肤色类型；当注册用户的肤色类型为浅肤色类型时，根据注册用户的可见光图像建立注册用户的人脸模型；当注册用户的肤色类型为深肤色类型时，根据注册用户的近红外图像建立注册用户的人脸模型。
16.第二方面，本技术实施例提供一种人脸识别装置，该人脸识别装置可以实现上述第一方面或者第一方面可能的设计中的人脸识别方法，所述人脸识别方法可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。该人脸识别装置可以包括获取模块、确定模块和识别模块。其中，获取模块，可以用于获取目标人脸的可见光图像和近红外图像。确定模块，可以用于根据可见光图像的特征参数确定目标人脸所处的光线环境的光照度，其中，特征参数包括清晰度、噪点和动态范围中的至少一项。确定模块，还可以用于根据光照度确定目标人脸所处的光线环境的类型，光线环境的类型可以包括暗光环境和非暗光环境，其中，暗光环境的光照度小于光照度阈值，非暗光环境的光照度大于光照度阈值。确定模块，还可以用于当目标人脸所处的光线环境的类型为非暗光环境时，对可见光图像进行深度学习确定目标人脸的肤色类型，肤色类型包括浅肤色类型和深肤色类型。识别模块，可以用于根据目标人脸所处的光线环境的类型和/或目标人脸的肤色类型进行人脸识别。
17.结合上述第二方面，作为一种可选的实现方式，在根据目标人脸所处的光线环境的类型和/或目标人脸的肤色类型进行人脸识别，识别模块具体可以用于：当所述光线环境为暗光环境或所述目标人脸的肤色类型为深肤色类型时，根据所述近红外图像对所述目标人脸进行人脸识别。当所述光线环境为非暗光环境且所述目标人脸的肤色类型为浅肤色类型时，根据所述可见光图像对所述目标人脸进行人脸识别。
18.结合上述第二方面，作为一种可选的实现方式，在对可见光图像进行深度学习确定目标人脸的肤色类型时，确定模块具体可以用于：将可见光图像输入肤色分类网络模型，得到至少一个肤色置信度，至少一个肤色置信度与至少一个肤色一一对应，肤色置信度为可见光图像中出现肤色置信度对应的肤色的概率；根据至少一个肤色置信度确定目标人脸的肤色类型。
19.结合上述第二方面，作为一种可选的实现方式，在根据至少一个肤色置信度确定目标人脸的肤色类型，确定模块具体可以用于：将至少一个肤色置信度中最高肤色置信度对应的肤色确定为目标人脸的肤色；当目标人脸的肤色为黑肤色、棕肤色或红肤色时，确定目标人脸的肤色类型为深肤色类型；当目标人脸的肤色为白肤色、黄肤色或未知肤色时，确定目标人脸的肤色类型为浅肤色类型。
20.结合上述第二方面，作为一种可选的实现方式，识别模块可以包括检测模块、建模模块和对比模块，在根据可见光图像对目标人脸进行人脸识别时：检测模块，可以用于对可见光图像进行人脸检测，并可以在人脸检测成功时，获取可见光图像中目标人脸的人脸特征；建模模块，可以用于根据目标人脸的人脸特征建立目标人脸的人脸模型；对比模块，可以用于将目标人脸的人脸模型与至少一个注册用户的人脸模型进行相似度对比，得到人脸识别的结果。
21.结合上述第二方面，作为一种可选的实现方式，识别模块可以包括检测模块、建模模块和对比模块，在根据近红外图像对目标人脸进行人脸识别时：检测模块，可以用于对近红外图像进行人脸检测，并可以在人脸检测成功时，获取近红外图像中目标人脸的人脸特征；建模模块，可以用于根据目标人脸的人脸特征建立目标人脸的人脸模型；对比模块，可以用于将目标人脸的人脸模型与至少一个注册用户的人脸模型进行相似度对比，得到人脸识别的结果。
22.结合上述第二方面，作为一种可选的实现方式，在根据目标人脸的人脸特征建立目标人脸的人脸模型时，建模模块具体可以用于：根据目标人脸的人脸特征确定目标人脸的人脸姿态；当目标人脸的人脸姿态合格时，根据目标人脸的人脸特征建立目标人脸的人脸模型。
23.结合上述第二方面，作为一种可选的实现方式，获取模块，还可以用于获取注册用户的可见光图像和近红外图像；确定模块，还可以用于根据注册用户的可见光图像确定注册用户的人脸所处的光线环境；建模模块，还可以用于当注册用户的人脸所处的光线环境为暗光环境时，根据注册用户的近红外图像建立注册用户的人脸模型；确定模块，还可以用于当注册用户的人脸所处的光线环境为非暗光环境时，根据注册用户的可见光图像确定注册用户的肤色类型；建模模块，还可以用于当注册用户的肤色类型为浅肤色类型时，根据注册用户的可见光图像建立注册用户的人脸模型；建模模块，还可以用于当注册用户的肤色类型为深肤色类型时，根据注册用户的近红外图像建立注册用户的人脸模型。
24.第三方面，本技术实施例提供一种终端设备，该终端设备包括存储器和处理器。上述存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行该计算机指令时，以使终端设备执行如第一方面或者第一方面中任一种可选的实现方式所述的方法。
25.第四方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在终端设备上运行时，使得所述终端设备执行如第一方面或者第一方面中任一种可选的实现方式所述的方法。
26.第五方面，本技术提供一种计算机程序产品，该计算机程序产品包括计算机指令，当所述计算机指令在终端设备上运行时，使得所述终端设备执行如第一方面或者第一方面中任一种可选的实现方式所述的方法。
27.可以理解的是，上述提供的任一种人脸识别装置、终端设备、计算机可读存储介质、计算机程序产品或芯片等均可以应用于上文所提供的对应的方法，因此，其所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。
28.本技术的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
29.图1为本技术实施例提供的一种人脸识别方法的流程示意图；
30.图2为本技术实施例提供的一种根据近红外图像进行人脸识别过程的示意图；
31.图3为本技术实施例提供的一种根据可见光图像进行人脸识别过程的示意图；
32.图4为本技术实施例提供的一种建立注册用户的人脸模型的流程图；
33.图5为本技术实施例提供的另一种人脸识别方法的流程图；
34.图6为本技术实施例提供的一种人脸识别装置的结构示意图；
35.图7为本技术实施例提供的一种终端设备的结构示意图。
具体实施方式
36.首先，需要说明的是，在本技术的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，a/b可以表示a或b；本技术中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a,b可以是单数或者复数。并且，在本技术的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
37.本技术提供一种人脸识别方法，首先对待识别的目标人脸拍摄可见光图像和近红外图像(nearing infrared image)，并且还可以对目标人脸所处的光线环境的类型以及人脸的肤色类型进行判断，进而可以根据光线环境的类型和/或目标人脸的肤色类型对目标人脸进行人脸识别。在本技术提供的方法中，在进行人脸识别之前先进行光线环境判断和肤色类型判断，从而可以根据光线环境和/或肤色的情况分情况进行人脸识别，针对不同的光线环境或不同的肤色类型可以选择更适合该光线环境或肤色类型的人脸识别方式，可以显著的提高人脸识别的成功率和正确率。
38.本技术提供的人脸识别方法可以应用于门禁、安防等需要通过人脸对用户身份进行认证的场景。此外，本技术实施例描述的业务场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
39.下面结合说明书附图对本技术实施例的实施方式进行详细描述。
40.图1为本技术实施例提供的一种人脸识别方法的流程示意图，如图1所示，该人脸识别方法包括如下步骤。
41.步骤101、获取目标人脸的可见光图像和近红外图像。
42.其中，目标人脸是指待识别的人脸。在一些实施例中，获取目标人脸的可见光图像和近红外图像，可以包括：为目标人脸拍摄可见光图像和近红外图像。可选地，对于待识别的目标人脸，可以同时为目标人脸拍摄可见光图像和近红外图像。示例性的，可见光图像可以由可见光摄像头拍摄，近红外图像可以由近红外摄像头拍摄。应理解，可见光摄像头和近红外摄像头需要有较近的距离，比如相邻设置，确保可见光摄像头和近红外摄像从相近的角度对目标人脸进行拍摄，使得目标人脸的可见光图像和近红外图像中的人脸特征不会有太大差异。
43.需要说明的是，可见光图像是指基于目标物(比如本技术实施例中的目标人脸)反射的可见光所形成的图像，可见光图像的成像效果容易受光线环境的影响。近红外图像是遥感器接收目标物反射或辐射近红外谱段所形成的图像，近红外区域属于非可见光区域，近红外图像的成像效果不受光照环境的影响。
44.步骤102、根据可见光图像的特征参数确定所述目标人脸所处的光线环境的光照度。
45.其中，特征参数可以包括清晰度、噪点和动态范围中的至少一项。应理解，可见光图像的清晰度、噪点以及动态范围等特征参数可以反映出拍摄该可见光图像的光线环境(也即是目标人脸所处的光线环境)的光照度，从而可以根据该特征参数确定光照度。
46.可选地，也可以根据光敏器件来确定光线环境的光照度，本技术对此不做限定。
47.步骤103、根据光照度确定目标人脸所处的光线环境的类型。
48.本技术实施例中，光线环境的类型可以划分为暗光环境和非暗光环境。可选地，可以根据光线环境的光照度来划分光线环境类型是暗光环境还是非暗光环境。具体地，可以预先设置一个光照度阈值，当光线环境的光照度小于光照度阈值时，确定该光线环境为暗光环境；当光线环境的光照度大于光照度阈值时，确定该光线环境为非暗光环境。光照度等于光照度阈值时，可以确定为暗光环境，或者，可以确定为非暗光环境，不予限制。
49.示例地，该光照度阈值可以设置为70lux或者20lux，其中，lux为光照度的单位：勒克斯。应理解，光照度的阈值可以根据实际情况自行设定，本技术实施例对此不做限定。
50.在一种可能的实现方式中，根据光照度可以将光线环境划分为多个层级，本技术实施例可以基于光线环境的层级进一步划分暗光环境和非暗光环境。比如，可以将以下光线层级可以划分为暗光环境：黑光(0.0005lux～0.001lux)、星光(0.001lux～0.01lux)、月光(0.01lux～0.1lux)、暗光(0.1lux～1lux)、昏暗(1lux～20lux)、弱光(20lux～70lux)。换句话说，是将光照度小于70lux的光线层级划分为非暗光环境，光照度大于70lux的光线层级划分为非暗光环境。
51.需要说明的是，本技术实施例中描述的光线层级的划分以及光线层级的命名仅为示例性的，当然，可以根据其他的划分方式划分光线层级，对光线层级也可以有其他的命名方式，本技术实施例对此不作限定。
52.步骤104、当光线环境的类型为非暗光环境时，对可见光图像进行深度学习确定目标人脸的肤色类型。
53.本技术实施例中，目标人脸的肤色类型可以划分为深肤色类型和浅肤色类型。
54.可选地，对可见光图像进行深度学习确定目标人脸的肤色类型的方法具体可以为：首先，将可见光图像输入肤色分类网络模型，得到至少一个肤色置信度。然后，根据至少一个肤色置信度确定目标人脸的肤色类型。
55.需要说明的是，该肤色分类网络模型可以为深度学习中的分类网络模型，可以对深度学习中的分类网络模型进行训练，以使其可以用于肤色的分类。
56.需要说明的是，至少一个肤色置信度与至少一个肤色一一对应，肤色置信度为该可见光图像中出现某个肤色置信度对应的肤色的概率，这个概率表示该可见光图像中的人脸为这种肤色的可信程度。示例地，假设肤色分类网络模型确定该可见光图像出现黄肤色的概率为40％，出现红肤色的概率为25％，出现白肤色的概率为20％，出现棕肤色的概率为10％，出现黑肤色的概率为5％，那么肤色分类网络模型输出的至少一个肤色置信度中，黄肤色的肤色置信度为40％，红肤色的肤色置信度为25％，白肤色的肤色置信度为20％，棕肤色的肤色置信度为10％，黑肤色的肤色置信度为5％。
57.本技术实施例中，可以将至少一个肤色置信度中最高肤色置信度对应的肤色确定为目标人脸的肤色。之后，根据确定出的人脸的肤色判断人脸的肤色类型。
58.可选地，当目标人脸的肤色属于第一肤色集合时，确定目标人脸的肤色类型为深肤色类型；当目标人脸的肤色属于第二肤色集合时，确定目标人脸的肤色类型为浅肤色类型。作为一种可能的实现方式，第一肤色集合中的肤色可以包括：黑肤色、棕肤色和红肤色，第二肤色集合中的肤色可以包括：白肤色和黄肤色。
59.应理解的是，本技术实施例中出现的肤色名称，以及第一肤色集合和第二肤色集合中所包括的肤色数量和种类仅为示例性的。当然，依据其他对肤色的划分标准对肤色命名，以及根据其他标准划分第一肤色集合和第二肤色集合都是可行的。本技术实施例对此均不作限定。
60.需要说明的是，在利用肤色分类网络模型进行肤色识别时，该肤色分类网络模型对于在模型训练时未曾见过的肤色可以识别为未知肤色。进而，如果未知肤色的肤色置信度最高，则根据本技术实施例的方法，后续会将人脸的肤色确定为未知肤色。作为一种可能
的实现方式，本技术实施例中，可以将未知肤色包含在第二肤色集合中，也即是将未知肤色作为浅肤色类型进行处理。
61.步骤105、根据目标人脸所处的光线环境的类型和/或目标人脸的肤色类型进行人脸识别。
62.可选地，当光线环境为暗光环境或目标人脸的肤色类型为深肤色类型时，根据近红外图像对目标人脸进行人脸识别。
63.应理解的是，在暗光环境下，对目标人脸拍摄所获得的可见光图像中干扰信息较多，目标人脸的特征不清楚，很难从中获取到目标人脸的有效信息。或者，对于深肤色类型的目标人脸，也很难从可见光图像中获取到目标人脸的有效信息。而近红外图像不受光线环境和肤色类型的影响，因此在暗光环境下或者对于深肤色类型的目标人脸，近红外图像相比于可见光图像记录的目标人脸的特征更加清楚，能够从中获取更多的有效信息。从而，在确定光线环境为暗光环境时，选择根据近红外图像对目标人脸进行人脸识别，可以提高人脸识别的成功率和正确率。
64.可选地，根据近红外图像对目标人脸进行人脸识别可以具体包括如图2所示的步骤。
65.步骤201、对近红外图像进行人脸检测，并在人脸检测成功时，获取近红外图像中目标人脸的人脸特征。
66.其中，人脸检测是指对于任意一幅给定的图像(比如该近红外图像)，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果有则输出相应的人脸特征。
67.对于该近红外图像而言，如果人脸检测成功，即可获得目标人脸的人脸特征。
68.应理解的是，本技术实施例中，如果人脸检测失败(也即是没有从图像中检测到人脸)，那么需要重新获取目标人脸的可见光图像和近红外图像，重新执行图1所示的人脸检测方法。
69.步骤202、根据目标人脸的人脸特征建立目标人脸的人脸模型。
70.作为一种实现方式，可以使用深度学习的方法，利用神经网络来建立目标人脸的人脸模型。示例地，神经网络可以为卷积神经网络(convolutional neural networks，cnn)。
71.步骤203、将目标人脸的人脸模型与至少一个注册用户的人脸模型进行相似度对比，得到人脸识别的结果。
72.应理解，如果目标人脸为某个注册用户的人脸，那么根据目标人脸建立的人脸模型与该注册用户的人脸模型就会有极高的相似度，从而可以根据模型的相似度来判断人脸识别的结果。比如，如果存在注册用户的人脸模型与目标人脸的人脸模型相似度大于相似度阈值，可以确定目标人脸即为对应注册用户的人脸，人脸识别通过；如果没有注册用户的人脸模型与目标人脸的人脸模型相似度大于相似度阈值，则确定人脸识别失败。
73.综上所述，在本技术实施例提供的人脸识别方法中，可以为目标人脸拍摄可见光图像和近红外图像，并且在人脸识别之前可以先判断目标人脸所处的光线环境的类型以及目标人脸的肤色类型，进而基于光线环境以及目标人脸的肤色类型的判断结果来进行人脸识别。基于该方法，在进行人脸识别之前先进行光线环境的判断和肤色类型的判断，从而可以根据光线环境和/或肤色的情况分情况进行人脸识别，针对不同的光线环境或不同的肤
色类型可以选择更适合该光线环境或肤色类型的人脸识别方式，以提高人脸识别的检出率和正确率，进而可以提高用户体验。
74.可选地，在上述步骤105中，根据目标人脸所处的光线环境的类型和/或目标人脸的肤色类型进行人脸识别方法还可以包括：当目标人脸的肤色类型为浅肤色类型时，根据可见光图像对目标人脸进行人脸识别。
75.应理解，在非暗光环境下，如果人脸的肤色为浅肤色类型，那么可见光图像相比于近红外图像能够包含更多、更准确的人脸特征，该场景下使用可见光图像进行人脸识别更为合适。可以看出，本技术实施例提供的人脸识别方法，通过对光线环境以及人脸肤色的判断，能够选择出更为合适的图像进行人脸识别，从而有效提高人脸识别的检出率和正确率。
76.可选地，根据可见光图像对所述目标人脸进行人脸识别的过程还可以包括如图3所示的步骤。
77.步骤301、对可见光图像进行人脸检测，并在人脸检测成功时，获取可见光图像中目标人脸的人脸特征。
78.步骤302、根据目标人脸的人脸特征建立目标人脸的人脸模型。
79.步骤303、将目标人脸的人脸模型与至少一个注册用户的人脸模型进行相似度对比，得到人脸识别的结果。
80.应理解的是，步骤301至步骤303可以参考步骤201至步骤203的相关描述，此处不再赘述。
81.需要说明的是，在上述步骤202或步骤302中，根据目标人脸的人脸特征建立目标人脸的人脸模型的过程可以具体包括：
82.首先，根据目标人脸的人脸特征确定目标人脸的人脸姿态。之后，当目标人脸的人脸姿态合格时，根据目标人脸的人脸特征建立目标人脸的人脸模型。
83.其中，人脸姿态包括人脸的表情、人脸在三个方向(三维空间的三个方向：上下、左右、前后)的旋转角等。应理解，如果人脸姿态不合格，大概率是无法识别出该人脸的，即使该人脸是注册用户也难以识别，这样会浪费人脸识别的时间。因此，确定人脸姿态是否合格，可以提高人脸识别的效率，避免浪费时间和处理资源。
84.可选地，若人脸的表情平和(比如无表情或微笑表情)、人脸在三个方向的旋转角符合要求，可以认为人脸姿态合格。应理解，若人脸的表情狰狞、或者人脸的旋转角不符合要求，会使得人脸特征难以获取，影响人脸识别的成功率和正确率。
85.可选地，当目标人脸的人脸姿态不合格时，需要重新为该目标人脸拍摄可见光图像和近红外图像，重新执行图1所示的人脸识别方法。
86.需要说明的是，本技术实施例中，人脸识别所要使用的注册用户的人脸的录入过程，与目标人脸进行人脸识别的过程类似，都可以先进行光线环境以及人脸肤色的判断，之后选择合适图像建立人脸模型。
87.可选地，本技术实施例提供了一种建立注册用户的人脸模型的流程，如图4所示，该流程可以包括如图4所示的步骤。
88.步骤401、获取注册用户的可见光图像和近红外图像。
89.步骤402、确定注册用户的人脸所处的光线环境。
90.步骤403、当注册用户的人脸所处的光线环境为暗光环境时，根据注册用户的近红
外图像建立注册用户的人脸模型。
91.步骤404、当注册用户的人脸所处的光线环境为非暗光环境时，根据注册用户的可见光图像确定注册用户的肤色类型。
92.步骤405、当注册用户的肤色类型为浅肤色类型时，根据注册用户的可见光图像建立注册用户的人脸模型。
93.步骤406、当注册用户的肤色类型为深肤色类型时，根据注册用户的近红外图像建立注册用户的人脸模型。
94.需要说明的是，对于光线环境的确定方法、肤色类型的确定方法、以及根据可见光图像或近红外图像建立人脸模型的方法均可以参考图1所示的人脸识别方法的相关描述，在此不再赘述。
95.另外，根据可见光图像或者近红外图像建立注册用户的人脸模型的过程，与上述根据可见光图像或者近红外图像进行人脸识别的过程类似。首先，需要进行人脸检测获取注册用户的人脸特征；之后，根据人脸特征判断人脸姿态是否合格；最后，在人脸姿态合格时，根据人脸特征建立注册用户的人脸模型。
96.下面将结合前文所述对本技术实施例提供的人脸识别方法进行一个完整的描述。比如，图5为本技术提供的另一种人脸识别方法的流程图，如图5所示，该方法可以包括如下步骤。
97.步骤501、获取目标人脸的可见光图像和近红外图像。
98.步骤502、判断目标人脸所处的光线环境。
99.步骤503、在暗光环境下，确定采用近红外图像进行人脸识别。
100.步骤504、在非暗光环境下，还需要进行人脸肤色的判断。
101.步骤505、当人脸肤色为深肤色类型时，确定采用近红外图像进行人脸识别。
102.步骤506、当人脸肤色为浅肤色类型时，确定采用可见光图像进行人脸识别。
103.步骤507、对可见光图像或近红外图像进行人脸检测。
104.本技术实施例中，当人脸检测失败时，执行步骤508。当人脸检测成功时，可以执行步骤509。
105.步骤508、丢弃图像。
106.步骤509、获取人脸特征，并根据人脸特征确定人脸姿态。
107.步骤510、判断人脸姿态是否合格。
108.本技术实施例中，当人脸姿态合格时，可以继续执行步骤511。当人脸姿态不合格时，可以步骤508。
109.步骤511、根据人脸特征建立目标人脸的人脸模型。
110.步骤512、根据目标人脸的人脸模型与注册用户的人脸模型进行对比，得到人脸识别结果。
111.需要说明的是，本技术实施例中，注册用户的人脸模型的建立过程与上述步骤501至步骤511相同。
112.上述主要对本技术实施例提供的人脸识别方法进行了介绍。相应的，本技术实施例还提供了人脸识别装置，该人脸识别装置用于实现上述人脸识别方法。可以理解的是，该人脸识别装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。
本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
113.本技术实施例可以根据上述实施例中的人脸识别方法对人脸识别装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
114.图6示出了一种人脸识别装置60的结构示意图。该人脸识别装置60可以包括获取模块601、确定模块602以及识别模块603。可选地，识别模块603可以包括检测模块6031(图6中未示出)、建模模块6032(图6中未示出)和对比模块6033(图6中未示出)。
115.其中，获取模块601，可以用于获取目标人脸的可见光图像和近红外图像。确定模块602，可以用于根据可见光图像的特征参数确定目标人脸所处的光线环境的光照度，其中，特征参数包括清晰度、噪点和动态范围中的至少一项。确定模块602，还可以用于根据光照度确定目标人脸所处的光线环境的类型，光线环境的类型可以包括暗光环境和非暗光环境，其中，暗光环境的光照度小于光照度阈值，非暗光环境的光照度大于光照度阈值。确定模块602，还可以用于当目标人脸所处的光线环境的类型为非暗光环境时，对可见光图像进行深度学习确定目标人脸的肤色类型，肤色类型包括浅肤色类型和深肤色类型。识别模块603，可以用于根据目标人脸所处的光线环境的类型和/或目标人脸的肤色类型进行人脸识别。
116.可选地，在根据目标人脸所处的光线环境的类型和/或目标人脸的肤色类型进行人脸识别，识别模块603具体可以用于：当所述光线环境为暗光环境或所述目标人脸的肤色类型为深肤色类型时，根据所述近红外图像对所述目标人脸进行人脸识别。当所述光线环境为非暗光环境且所述目标人脸的肤色类型为浅肤色类型时，根据所述可见光图像对所述目标人脸进行人脸识别。
117.可选地，在对可见光图像进行深度学习确定目标人脸的肤色类型时，确定模块602具体可以用于：将可见光图像输入肤色分类网络模型，得到至少一个肤色置信度，至少一个肤色置信度与至少一个肤色一一对应，肤色置信度为可见光图像中出现肤色置信度对应的肤色的概率。根据至少一个肤色置信度确定目标人脸的肤色类型。
118.可选地，在根据至少一个肤色置信度确定目标人脸的肤色类型，确定模块602具体可以用于：将至少一个肤色置信度中最高肤色置信度对应的肤色确定为目标人脸的肤色。当目标人脸的肤色为黑肤色、棕肤色或红肤色时，确定目标人脸的肤色类型为深肤色类型。当目标人脸的肤色为白肤色、黄肤色或未知肤色时，确定目标人脸的肤色类型为浅肤色类型。
119.可选地，在根据可见光图像对目标人脸进行人脸识别时：检测模块6031，可以用于对可见光图像进行人脸检测，并可以在人脸检测成功时，获取可见光图像中目标人脸的人脸特征。建模模块6032，可以用于根据目标人脸的人脸特征建立目标人脸的人脸模型。对比
模块6033，可以用于将目标人脸的人脸模型与至少一个注册用户的人脸模型进行相似度对比，得到人脸识别的结果。
120.可选地，在根据近红外图像对目标人脸进行人脸识别时：检测模块6031，可以用于对近红外图像进行人脸检测，并可以在人脸检测成功时，获取近红外图像中的人脸特征。建模模块6032，可以用于根据目标人脸的人脸特征建立目标人脸的人脸模型。对比模块6033，可以用于将目标人脸的人脸模型与至少一个注册用户的人脸模型进行相似度对比，得到人脸识别的结果。
121.可选地，在根据目标人脸的人脸特征建立目标人脸的人脸模型时，建模模块6032具体可以用于：根据目标人脸的人脸特征确定目标人脸的人脸姿态。以及，当目标人脸的人脸姿态合格时，根据目标人脸的人脸特征建立目标人脸的人脸模型。
122.可选地，获取模块601，还可以用于获取注册用户的可见光图像和近红外图像。确定模块602，还可以用于根据注册用户的可见光图像确定注册用户的人脸所处的光线环境。建模模块6032，还可以用于当注册用户的人脸所处的光线环境为暗光环境时，根据注册用户的近红外图像建立注册用户的人脸模型。确定模块602，还可以用于当注册用户的人脸所处的光线环境为非暗光环境时，根据注册用户的可见光图像确定注册用户的肤色类型。建模模块605，还可以用于当注册用户的肤色类型为浅肤色类型时，根据注册用户的可见光图像建立注册用户的人脸模型。建模模块6032，还可以用于当注册用户的肤色类型为深肤色类型时，根据注册用户的近红外图像建立注册用户的人脸模型。
123.需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。由于本实施例提供的人脸识别装置60可执行上述人脸识别方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
124.需要说明的是，上述本技术介绍的用于执行人脸识别方法的各个模块仅为一种示例性的划分，当然，也可以将两个或两个以上的功能集成在一个模块中，或者将某个模块的功能拆分为两个模块来实现。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述模块的划分仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。并且，上述模块的名称也仅为一种示例，也可以有其他的命名。本技术实施例对上述情况均不作限定。
125.可选的，本技术实施例提供的人脸识别装置，可以是一个通用设备或者是一个专用设备，本技术实施例对此不作具体限定。
126.需要说明的是，在本实施例中，该人脸识别装置60以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定asic，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。在一个简单的实施例中，本领域的技术人员可以想到该人脸识别装置60可以采用图7所示的终端设备70的形式。
127.图7为本技术实施例提供的一种终端设备70的结构示意图。该终端设备70可以用于执行本技术实施例提供的人脸识别方法。如图7所示，该终端设备70可以包括处理器701、存储器702、通信接口703、通信总线704。处理器701、存储器702以及通信接口703之间可以通过通信总线704连接。
128.处理器701是终端设备的控制中心，处理器701可以是一个处理器，也可以是多个
处理元件的统称。例如，处理器701可以是一个通用中央处理单元(central processing unit，cpu)。该处理器701还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者品体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
129.作为一种实施例，处理器701可以包括一个或多个cpu，例如图7中的cpu0和cpu1。作为一种实施例，终端设备70可以包括多个处理器，图7中仅以包括一个处理器701为例。
130.存储器702可以是具有存储功能的装置。例如可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器702可以是独立存在，通过通信总线704与处理器701相连接。存储器702也可以和处理器701集成在一起。
131.其中，存储器702用于存储执行本技术方案的计算机执行指令，并由处理器701来控制执行。处理器701用于执行存储器702中存储的计算机执行指令，从而实现本技术实施例中提供的人脸识别方法。
132.可选的，本技术实施例中的计算机执行指令也可以称之为应用程序代码，本技术实施例对此不作具体限定。
133.通信接口703，用于使计算机装置与其他设备通过通信网络通信。通信接口703可以包括用于接收数据的接收单元，以及用于发送数据的发送单元。
134.通信总线704，可以是工业标准体系结构(industry standard architecture，isa)通信总线、外部设备互连(peripheral component interconnect，pci)通信总线或扩展工业标准体系结构(extended industry standard architecture，eisa)通信总线等。该通信总线可以分为地址通信总线、数据通信总线、控制通信总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根通信总线或一种类型的通信总线。
135.需要指出的是，图7中示出的结构并不构成对该终端设备的限定，除图7所示部件之外，该终端设备还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件的设置。
136.上述的终端设备70有时也可以称为人脸识别装置，其可以是一个通用设备或者是一个专用设备。例如终端设备70可以是有线终端设备、无线终端设备、嵌入式设备、或具有图7中类似结构的设备。本技术实施例不限定终端设备70的类型。
137.可选地，在上述人脸识别装置60采用图7所示的终端设备70的形式时，图6中的获取模块601、确定模块602、以及识别模块603的功能/实现过程可以通过图7所示的终端设备70中的处理器701调用存储器702中存储的计算机执行指令来实现。
138.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺
序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
139.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
140.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
141.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
142.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
143.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
144.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
145.如本技术所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的
各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
146.本技术围绕可包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是，各个系统可以包括另外的设备、组件、模块等，并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外，还可以使用这些方案的组合。
147.另外，在本技术实施例中，“示例的”一词用于表示作例子、例证或说明。本技术中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
148.本技术实施例中，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。“的(of)”，“相应的(corresponding，relevant)”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
149.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。