人脸识别方法及电子设备与流程

本发明涉及电子技术领域，特别涉及一种人脸识别方法及电子设备。

背景技术：

在智能终端设备上设置可以获取深度及彩色图像(rgbd)的深度相机已逐渐成为趋势，借助深度信息可以进行人脸重建、人脸识别与支付等功能。基于结构光(sl)技术、时间飞行法(tof)技术的深度相机已被成功应用在多种智能设备上，然而目前仍存在一些问题。

基于结构光sl以及时间飞行法tof技术的深度相机均包含投影模组以及采集模组，再加上用于提取彩色图像的彩色相机模组，完成rgbd图像采集功能需要集成多个器件，导致成本高、体积大，这对于一些微型设备，比如手机来说是非常局限的。

另外，在带有显示器的设备上采用由多个光学模组组成的深度相机，不仅会降低设备的屏占比，过多的模组也会加大产品的外观设计难度，使得产品不美观。

技术实现要素：

本发明的目的是为了解决现有技术中带有显示器的设备上采用由多个光学模组组成的深度相机，屏占比较低，并且产品的外观设计难度大、产品不美观的问题，提出一种人脸识别方法及电子设备。

本发明的人脸识别方法，包括以下步骤：s1：接收包含人脸的rgb图像与ir图像；s2：检测所述rgb图像和ir图像中的人脸；s3：对检测到的rgb图像与ir图像中的人脸进行识别；s4：根据识别结果执行相关的指令。

在优选的实施方式中，所述步骤s3包括以下子步骤：s31：将所述rgb图像转换成灰度图像；s32：利用双目视觉原理计算出所述灰度图像与所述ir图像中人脸的深度信息；s33：结合所述深度信息与所述rgb图像、灰度图像或者ir图像中的至少一种进行人脸识别。

在优选的实施方式中，所述步骤s3包括以下子步骤：s31：建立并训练神经网络模型；s32：将当前获取的rgb图像与ir图像中的人脸图像输入到神经网络模型中以进行人脸识别。更优选地，所述步骤s32又包括以下步骤：s321：检测所述rgb图像与所述ir图像中的人脸是否为立体人脸；s322：对所述rgb图像和/或所述ir图像中的人脸进行识别。

本发明的电子设备，包括壳体、设置在正面的显示屏、第一相机、第二相机、和光发射模组、存储器和处理器，所述第一相机用于采集外部人或物体在可见光照射下的图像，所述第二相机用于采集外部人或物体在红外光照射下的红外图像，所述光发射模组用于给所述第二相机提供红外光照明，所述第一相机与第二相机组成双目深度相机，所述第二相机设置在所述显示屏的背面；所述存储器存放有程序；所述处理器，运行所述程序，以控制所述第一相机与所述第二相机分别采集包含人脸的rgb图像与ir图像，以及控制所述电子设备执行上面任一所述的人脸识别方法。

在优选的实施方式中，所述第一相机与所述显示屏独立设置；或者，所述第一相机与所述显示屏耦合设置，所述显示屏的中间或者边缘开设有通孔，所述第一相机设置在与所述通孔相对应的位置处，所述通孔对应的显示屏区域用于透过光束且不用于显示图像，而仅让光束透过以确保所述第一相机的成像质量。

在优选的实施方式中，所述第一相机和第二相机均设置在所述显示屏的背面，所述显示屏包括第一子显示屏、第二子显示屏和第三子显示屏，所述第一相机和第二相机分别设置在所述第一子显示屏和第三子显示屏的背面。更优选地，所述第一子显示屏和第三子显示屏均为透明显示屏，所述第一子显示屏为由透明材质制成的透明窗口，仅用于让光束通过，不用于显示；所述第三子显示屏用于显示成像和让光束通过，所述第三子显示屏的分辨率比所述第二子显示屏的分辨率低，所述第三子显示屏的显示开口率比所述第二子显示屏的显示开口率高。

在优选的实施方式中，所述光发射模组与所述显示屏独立设置；或者，所述光发射模组与所述显示屏耦合设置，所述光发射模组设置在所述显示屏的背面，或者设置在显示屏的开孔中。

在优选的实施方式中，所述第二相机与所述显示屏之间还设置有滤光器，用于减少可见光的透过。更优选地，所述滤光器是光学开关，在断电时处于非透明状态，光线无法通过，在通电时处于透明状态，光线能够通过；或者，所述滤光器是单向透视膜，所述单向透视膜面向光学模组的一侧平面对于可见光的透过率小于反射率，面向显示屏的一侧平面对于红外光的透过率大于反射率，从而允许外部的红外光线通过显示屏进入光学模组而阻止内部光线通过显示屏；或者，所述滤光器是滤光片，用于阻止可见光通过而使得与所述第二相机对应波长区间的光束通过；并且当所述滤光器是滤光片时，所述第二相机仅包含图像传感器与成像透镜，无需再配置滤光片。

与现有技术相比，本发明的有益效果有：

本发明的人脸识别方法及电子设备，采用第一相机与第二相机组成的双目相机进行人脸识别，并且将采集红外图像的第二相机器件设置在屏下，不仅能够进行精准的人脸识别，还具有较低的成本、较高的屏占比。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。

图1是本发明一个实施例的电子设备的结构组成示意图。

图2是本发明一个实施例的电子设备正面示意图。

图3是本发明另一个实施例的电子设备正面示意图。

图4是本发明又一个实施例的电子设备正面示意图。

图5是本发明又一个实施例的电子设备正面示意图。

图6是本发明一个实施例的电子设备的截面结构示意图。

图7是本发明另一个实施例的电子设备的截面结构示意图。

图8是本发明一个实施例的人脸识别方法示意图。

图9是本发明一个实施例的利用rgb图像与ir图像进行人脸识别的方法示意图。

图10是本发明又一个实施例的利用rgb图像与ir图像进行人脸识别的方法示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

图1是根据本发明一个实施例的电子设备的结构组成示意图。电子设备10包括显示屏111、环境光/接近传感器101、相机112、深度相机110、处理器106、麦克风102、射频及基带处理器103、接口104、存储器105、电池107、mems传感器108、音频装置109等，不同的单元之间可以通过电路连接实现数据传输与信号通讯。这里仅以一个实施例的组成结构进行说明，在其他实施例中，电子设备也可以包含更少的结构或者包含更多的其他组成结构。电子设备可以是手机、电脑、游戏机、平板、电视、可穿戴设备等。

处理器106用于对整个电子设备进行整体控制，处理器106可以是单个的处理器也可以包含多个处理器单元，比如由不同功能的处理器单元组成。在一些实施例中，处理器106也可以是集成片上系统(soc)，包含中央处理单元、片上存储器、控制器、通信接口等。在一些实施例中，处理器106为应用处理器ap，比如移动应用处理器，主要负责电子设备中除通信外其他功能的实现，例如文本处理、图像处理、人脸识别等。

显示屏111用于在处理器106的控制下显示图像以将应用等呈现给用户，另外显示屏111也可以包含触控功能，此时显示器也作为人机交互接口，用于接收用户的输入。一般地，为了保护显示屏111不受损坏，在显示屏111表面还会设置盖板，比如玻璃盖板保护罩等。

麦克风102用于接收语音信息，可以用来实现与用户的语音交互。

射频及基带处理器103负责电子设备的通讯功能，比如接收及翻译语音或文字等信号以实现远程用户之间的信息交流。

接口104用于使得电子设备与外部进行连接，以进一步实现数据传输、电力传输等功能，接口104由处理器106中的通信接口来控制。接口104可以包括usb接口、wifi接口等。

存储器105用于保存数据，比如应用程序数据、系统数据、处理器106在执行过程中保存的临时代码和数据。存储器105可以由单个或多个存储器组成，其可以是ram、flash等任何可用于保存数据的存储器形式。可以理解的是，存储器即可以作为电子设备的一部分，也可以独立于电子设备存在，比如云端存储器，其保存的数据可以通过接口104等与电子设备通信。应用程序如人脸识别应用一般被保存在非易失性可读存储介质中，当执行该应用时，处理器将从该存储介质中调用相应的程序来执行，具体的人脸识别将在后文阐述。

环境光/接近传感器101，其可以是集成的单一传感器也可以是独立的环境光传感器以及接近传感器。其中环境光传感器用来获取电子设备所处当前环境的光照信息，在一个实施例中，基于该光照信息可以实现屏幕亮度的自动调整以提供对人眼更加舒适的显示亮度；接近传感器可以测量是否有物体靠近电子设备，基于此可以实现一些功能，比如在接听电话时当人脸足够靠近时关闭屏幕的触控功能防止误触。在一些实施例中，接近传感器还可以快速判断人脸与电子设备之间的大致距离。

电池107用于提供电力。扬声器109用于实现语音输出。

mems传感器108用于获取电子设备当前的状态信息，比如位置、方向、加速度、重力等，因此mems传感器108可以包含加速度计、重力计、陀螺仪等传感器。在一个实施例中，mems传感器108可以用来激活一些人脸识别应用，比如当用户拿起电子设备时，mems传感器108可以获取这一变化，同时将这一变化传输到处理器106，处理器106调用存储器105的人脸识别应用程序以进行人脸识别应用。

相机112用于采集图像，在一些应用中，比如自拍应用执行时，处理器控制相机112采集图像，并将图像传输到显示器进行显示。在一些实施例中，比如基于人脸识别的解锁程序，当解锁程序激活时，相机采集图像，处理器对图像进行处理，包括人脸检测与识别，并根据识别结果执行解锁任务。相机112可以是单个相机也可以是多个相机；在一些实施例中，相机112即可以包含用于采集可见光信息的rgb相机、灰度相机，也可以包含采集不可见光信息的红外、紫外相机等；在一些实施例中，相机112可以包含光场相机、广角相机、长焦相机等。

相机112可以设置在电子设备的任意位置，比如前置平面(与显示屏所在平面相同)的顶端或底端等、后置平面等位置，在图1所示实施例中，电子设备正面设置了相机112用于采集用户人脸图像；相机112也被设置在后置平面用于对场景进行拍照等。在一个实施例中，相机112被设置在前置以及后置平面，二者可以独立采集图像也可以被处理器106控制以同步采集图像。相机112被设置在前置平面时，与显示屏111既可以独立设置也可以是耦合设置，比如独立设置时，相机112被放置在显示屏111周边的电子设备区域中，当耦合设置时，相机112被设置在显示屏111的通孔中，具体的详见后面的阐述。

深度相机110可以是结构光、时间飞行(tof)、双目视觉等技术的深度相机，其用于获取目标深度图像，基于该深度图像可以进一步执行相关的应用，比如人脸重建、活体检测等等，本发明中将以双目视觉深度相机为例进行说明。

为了尽可能提升电子设备的屏占比，本发明采取将深度相机110与相机112融合的方式，以更少的器件实现相同的功能以减少成本、降低功耗，或者将至少部分器件设置在屏幕以下以进一步提升屏占比。

图2是根据本发明一个实施例的电子设备正面示意图。电子设备20包括壳体205、设置在正面的显示屏204以及顶部的传感器，其中顶部的传感器包括第一相机201、第二相机202、光发射模组203，还可以包括如扬声器、环境光/接近传感器等传感器(图中未示出)。显示屏204可以是液晶显示屏(lcd)、有机发光二极管显示屏(oled)等，用于显示应用程序图像，根据实际需要也可以是其他任意形式的显示屏。显示屏204同时还可以包含触摸功能，比如显示屏中设置电容触控电极，以作为人机交互的输入装置。

多个传感器可以设置在顶部，也可以设置在其他部位，或者分散设置在电子设备的不同部位。在一些实施例中，一些传感器也可以设置在电子设备的背面。传感器用于发送或收集电子设备外部信息，比如光照、声音等信息。

在图2所示实施例中，第一相机201可以用于采集外部物体在可见光照射下的图像，如彩色图像或白光图像，第二相机202用于采集外部物体在红外光照射下的红外图像，光发射模组103可以是红外泛光灯、红外投影仪等红外光源或者闪光灯中的至少一种，用于在部分场景应用下给第一相机201和/或第二相机202提供照明，其可以由垂直腔面激光发射器(vcsel)、发光二极管(led)等光源与漫射器、衍射光学元件(doe)等光学元件组成，光发射模组103也可以被接近传感器中的光源代替或者二者相互集成。优选地，光发射模组103包括红外光源，用于给第二相机202提供红外光照明。

在图2所示实施例中，第一相机201、光发射模组203与显示屏204独立设置，而第二相机202被设置在显示屏背面，第一相机201与第二相机202组成双目视觉深度相机，以实现对目标物体深度信息的识别能力。可以理解的是，与已有技术相比，由于第二相机202被设置在显示屏背面，相对而言，在一定程度上降低了显示屏周边区域的面积要求，从而提升了屏占比。

图3是根据本发明另一个实施例的电子设备正面示意图。电子设备30包括壳体305、设置在正面的显示屏304以及顶部的传感器，其中顶部的传感器包括第一相机301、第二相机302、光发射模组303。与图2所示实施例不同的是，第一相机301不再是与显示屏独立设置，而是耦合设置，即将第一相机301设置在与显示屏304中通孔306相对应的位置处，显示屏304中的通孔306对应的区域不再用于显示图像，而仅让光束透过以确保第一相机301的成像质量。另外，本实施例中，光发射模组303与第二相机302同样被设置在显示屏背面。与图2相比，本实施例的电子设备具备更高的屏占比。其他对图2的说明同样适用于本实施例。可以理解的是，通孔306的形状可以包含任意形式，比如圆形、方形或者不规则形式。

图4是根据本发明又一个实施例的电子设备正面示意图。电子设备40包括壳体405、设置在正面的显示屏404以及顶部的传感器，其中顶部的传感器包括第一相机401、第二相机402、光发射模组403。与图3所示实施例相比，显示屏404所开的通孔406位于屏的边缘位置，第一相机401被设置在通孔406相对应的位置，相对而言，本实施例具备更高的屏占比。其他对图2、图3的说明同样适用于本实施例。

图5是根据本发明又一个实施例的电子设备正面示意图。电子设备50包括壳体505、设置在正面的显示屏504以及顶部的传感器，其中顶部的传感器包括第一相机501、第二相机502、光发射模组503。与图3和图4所示实施例相比，第一相机501、第二相机502和光发射模组503均设置在显示屏504的背面，相对而言，本实施例具备更高的屏占比。其他对图2、图3、图4的说明同样适用于本实施例。

以上各实施例仅示例性给出几种传感器的设置示意，可以理解的是，传感器的设置方式与位置远不至以上几种。比如第一相机与第二相机可以水平、垂直、对角设置，第一相机与第二相机之间的基线距离根据实际需要可以较大也可以较小，另外第一相机、第二相机也可以设置在屏幕中线位置、中间位置或者其他任意位置处。

第一相机、第二相机以及屏幕之间的细节关系将在下文阐述。

图6是根据本发明一个实施例的电子设备的截面布置示意图，图中仅示意性给出电子设备的部分器件，该电子设备包括第一相机63、第二相机64、显示屏62以及盖板61。显示屏62在第一相机63的位置开有通孔(或者如图2所示，第一相机63与显示屏62独立设置)，相机被设置在通孔对应的区域内，具体地被设置在通孔内，这里的通孔可以是显示屏中间的孔洞(如图3所示)，也可以是显示屏边缘的缺口(如图4所示)等。第二相机64被设置在显示屏62背面(或下方)，以接收来自电子设备外部透过显示屏62的光束并进行成像。在一个实施例中，电子设备还包括光发射模组(图中未示出)，比如红外光源。

其中，第一相机63用于采集外部物体在可见光照射下的图像，如彩色图像或白光图像，第二相机64用于采集外部物体在红外光照射下的红外图像，第一相机63与第二相机64组成双目视觉深度相机，在进行图像采集时，第一相机63与第二相机64由于相互之间存在间隔(又称为基线)导致对同一物体进行成像时，获取的图像之间存在视差，而视差则反映出物体的真实距离，即深度信息。与传统双目不同的是，这里的双目采用的是不同波长的成像相机，即一个是可见光相机一个是红外相机，其优势在于可以获取目标更多的特征信息，这一设置在进行人脸识别应用时也有着较大的优势，具体见后续说明。

在一个实施例中，第一相机63与第二相机64的视场角、分辨率、焦距等参数中的至少一个不相同。比如第一相机63的分辨率高于第二相机64，除了可以进行深度成像之外，第一相机63还可以单独用于进行可见光拍照，而第二相机64仅在双目成像时使用；或者第二相机64的视场角小于第一相机63的视场角，这样可以获取更加精细的物体图像，有利于进行人脸检测与识别。

在一个实施例中，盖板61为玻璃材质覆盖在用于成像的显示屏62的表面起到保护作用，盖板61也可以是其他透明材质制成。在一个实施例中，盖板61也可以是显示屏62的一部分。

在一些实施例中，电子设备还包括滤光器(图中未示出)，设置在第二相机64与显示屏62之间，并被配置成用于减少可见光透过，从而使得外部的用户不能直接观察到第二相机64，提升视觉美感。

在一个实施例中，滤光器是光学开关，比如液晶快门，其在断电时处于非透明状态，光线无法通过；在通电时处于透明状态，光线可以通过。光学开关也可以是其他类型材料制成，比如电致变色材料、热变色材料，或者通过一定的光学结构使得可以改变光线是否通过。

在一个实施例中，滤光器是单向透视膜，单向透视膜尽可能允许外部的光线通过显示屏进入光学模组而阻止内部光线通过显示屏，即单向透视膜面向光学模组一侧平面对于可见光的透过率小于反射率(比如透过率为5％～30％，反射率为90％～95％)，而面向显示屏一侧平面对于可见光的透过率大于反射率(比如透过率为60％～95％，反射率为5％～30％)。当第二相机64是红外相机时，单向透视膜应被配置成对红外光具有较高的透光率，进一步地，单向透视膜面向显示屏一侧平面对于红外光有较高的透过率，一般要求透过率大于反射率，以确保成像质量。

在一个实施例中，滤光器是滤光片，用于阻止可见光通过而使得与第二相机64对应的波长区间的光束通过。比如，当第二相机64用于对840nm的红外光进行成像时，滤光片仅允许红外光通过，而不允许可见光通过。

在一个实施例中，滤光器是另外一种特制的滤光片，这种特制的滤光片对可见光的透过率较低，而对红外光的透过率较高，比如对可见光的透过率为10％～50％，而对红外光的透过率为60～99％，外界环境光通过这种特制的滤光片后照射到光学模组中，经光学模组反射后，重新透过这种特制滤光片的可能性大大降低，从而达到隐藏盖板下面第二相机64的作用。

对于滤光器是滤光片的情形，一种较佳的实现方式是，第二相机54仅包含图像传感器(比如ccd或者cmos)与成像透镜，无需再配置滤光片，与传统的红外相机内部在图像传感器表面设置滤光片的方式相比，可以进一步减少成本与制造难度。

可以理解的是，以上几种滤光器并非对本发明的限定，任何可以实现类似功能的滤光器均可以被用于本发明中。

可以理解的是，滤光器可以是独立的光学器件，也可以是与第二相机54或者盖板相结合，比如当滤光器是薄膜时，可以在盖板或第二相机光学器件表面以镀膜的形式设置滤光器。

图7是根据本发明另一个实施例的电子设备的截面布置示意图。该电子设备包括第一相机73、第二相机74、显示屏以及盖板71。第一相机73用于采集外部物体在可见光照射下的图像，如彩色图像或白光图像，第二相机74用于采集外部物体在红外光照射下的红外图像，第一相机73与第二相机74组成双目视觉深度相机。与图6所示实施例相比，显示屏包括至少三个部分：第一子显示屏721、第二子显示屏722以及第三子显示屏723。

考虑到显示屏内部周期性结构会影响相机的成像质量(比如光束衍射会影响成像质量)，第一子显示屏721与第三子显示屏723被配置成与第二子显示屏722不同的性能。在一个实施例中，第一子显示屏721与第三子显示屏723均为透明显示屏，比如由全透明材料制成的oled显示屏。此时，第二子显示屏722即可以是透明显示屏也可以是非透明显示屏，一般地，透明显示屏的成本高于非透明显示屏，因此，可以在一个实施例中，第二子显示屏722被设置成非透明显示屏以降低设备成本。

在一个实施例中，第一子显示屏721对应的第一相机73为可见光相机，为了提升第一相机73的成像质量，第一子显示屏721被设置成由透明材质制成的透明窗口，仅用于让光束通过，不用于显示；第三子显示屏723对应的第二相机74为红外相机，在一些应用中，红外相机对成像的质量要求相对低一些，因此第三子显示屏723仍可用于显示成像，但分辨率、开口率等性能与第二子显示屏722有所区别，比如分辨率相对较低，显示开口率相对较高。

可以理解的是，第一、二、三子显示屏的设置不局限于以上实施例，在相应的相机成像的具体要求下，可以对各子显示屏进行相应的配置。

在一个实施例中，电子设备还包括滤光器(图中未示出)，设置在第二相机74与第三子显示屏723之间并被配置成减少可见光透过，从而使得外部的用户不能直接观察到第二相机74，提升视觉美感。图6中关于滤光器的说明同样适用于本实施例。

对于图6、7所示的实施例，其中红外相机在成像时往往需要进行主动红外光照明，因此相关的电子设备还包含有光发射模组，比如红外泛光灯、红外投影仪等红外光源。光发射模组被设置在显示屏下方与红外相机耦合，也可以设置在显示屏开孔中，或者与显示屏独立分开、位于电子设备的其他部位，当红外相机工作时红外光源同步被打开。当相机或者光源被设置在显示屏下方时，为了尽可能提升成像或者照明质量，在显示屏以下的相机或者光源在成像或者照明时，显示屏上与相机或者光源对应的像素区域(比如第一、三子显示屏)处于关闭状态。在一个实施例，相机或者光源的成像或者照明频率正好与显示屏的刷新帧率相同，二者相互错开，以不会相互干扰。

上述各实施例所述的电子设备均含有至少两个相机，即用于进行可见光成像的第一相机以及用于红外成像的第二相机，基于该电子设备，本发明还将提供用于实现人脸识别的方法。

图8所示的是根据本发明一个实施例的人脸识别方法示意图。首先，如步骤s801，利用可见光相机以及红外相机(以彩色相机为例进行说明)采集包含人脸的rgb图像与红外图像，rgb图像与红外(ir)图像随后被传输至处理器以执行人脸识别，如步骤s801。其次，处理器对包含人脸的rgb图像以及ir图像进行人脸检测，如步骤s802，实现人脸检测的方式有多种，比如在一个实施例中，分别利用如特征脸、神经网络等人脸检测算法对rgb图像以及ir图像进行人脸检测，或者可以仅对rgb图像与ir图像中的一者进行人脸检测，随后根据两个相机之间的位置关系确定另一图像中的人脸位置，人脸检测的目的是找出图像中的人脸区域，根据不同的人脸识别算法需要，人脸检测的输出也可以有多种，比如仅包含人脸主要特征(如眼睛、鼻子和嘴巴)的方形像素区域，或者将检测出的人脸区域进行归一化后输出的图像，又或者是包含人脸的曲线轮廓区域图像等等。可以理解的是，该人脸检测步骤输出的结果不局限于以上几种情形。

再次，如步骤s803，处理器将进一步对检测到的rgb图像与ir图像中的人脸进行识别，人脸识别任务包含判断当前人脸是否与预先保存的人脸一致或者找出当前人脸是预先保存的人脸库中的一个等任务。理论上，仅利用rgb图像或者ir图像就可以完成人脸识别，但由于rgb图像与ir图像均是二维图像，因此容易被人脸照片破解。在本步骤中，将同时利用rgb图像与ir图像进行人脸识别，借助两幅图像之间存在视差以实现对人脸的立体检测从而提升人脸识别的精度与安全性。最后如步骤s804，再根据识别结果执行相关的指令，比如对于人脸解锁应用或人脸识别支付应用，若识别出当前人脸与预存储的人脸一致，将执行解锁或支付指令。更进一步地，利用rgb图像与ir图像进行人脸识别的方法将在后面阐述。

图9是根据本发明一个实施例的利用rgb图像与ir图像进行人脸识别的方法示意图。首先，如步骤s901，将rgb图像转换成灰度图像，即将原本三通道的彩色图像转换成单通道的灰度图像，转换的方式由多种，比如直接选择rgb三通道中的一种作为灰度图像，或者以一定的公式将三通道数据进行计算以转换成单通道数值等方式。其次，如步骤s902，利用双目视觉原理计算出灰度图像与ir图像中人脸的深度信息；一般地，对灰度图像与ir图像进行人脸特征的检测后进行相关特征的匹配，再计算出各个特征之间的视差，基于两个相机之间的相对位置关系以及三角法就可以直接计算出特征所在像素的深度值。最后，如步骤s903，结合深度信息进行人脸识别，由于深度信息反映出真实人脸的三维，由此可以避免二维照片出现的误识别。具体地，可以结合深度信息与rgb、灰度图像或者ir图像中的至少一种进行人脸识别，比如利用深度信息对人脸进行立体判断，若是立体则利用rgb图像、灰度图像以及ir图像中的至少一种进行人脸特征提取与人脸识别以识别出人脸的属性(是否与目标人脸相同、或是否是目标人脸库中的某个人脸)；最后如步骤s904，再根据识别结果执行相关的指令。在一个实施例中，还可以利用深度信息对人眼视线进行检测，以判断当前视线是否落入目标区域中，若是则进行后续指令执行，否则认为当前人眼并未注视(没有识别意图)，不执行后续指令，由此可以防止误触(误识别)。

以上的利用rgb图像与ir图像进行人脸识别的方法中，由于需要计算出深度图像，而视差计算需要消耗较大的计算资源导致速度缓慢，识别速度低，从而使得用户体验不佳。

图10是根据本发明又一个实施例的利用rgb图像与ir图像进行人脸识别的方法示意图。首先，如步骤s1001，建立并训练神经网络模型，该神经网络模型可以对rgb图像以及ir图像进行人脸特征提取与人脸识别。在训练过程中，将对多个真实人脸以及多个虚假人脸分别采集rgb图像与ir图像，并对这些图像进行标注；随后将这些rgb图像与ir图像输入到神经网络模型中，以对模型中各个参数进行训练，训练后的神经网络模型将对输入的rgb图像以及ir图像具备立体判断以及人脸识别两种功能。随后在人脸识别阶段，如步骤s1002，将当前获取的rgb图像与ir图像中的人脸图像输入到神经网络模型中以进行人脸识别。可以理解的是，由于在训练阶段采用的同一目标的两幅图像，对于真实人脸两幅图像中的像素存在与三维形状相关的视差区别，而对于平面照片等的虚假人脸，两幅图像中的像素之间将不存在与三维形状相关的视差区别，因此，与传统单视角图像训练的神经网络模型相比，这里训练出的神经网络模型将具备立体检测功能。最后如步骤s1003，再根据识别结果执行相关的指令。

在一个实施例中，神经网络模型也可以包含第一子神经网络模型与第二子神经网络模型，其中第一子神经网络模型用于实现对rgb图像与ir图像中人脸是否为立体人脸进行检测，第二子神经网络模型用于实现对rgb图像和/或ir图像中的人脸进行识别。第一子神经网络模型在训练阶段输入的是提前采集好的rgb图像、ir图像以及是否为真实人脸的标注信息；而第二子神经网络模型在训练阶段输入的是rgb图像与ir图像中的至少一种。在识别阶段，将首先利用第一子神经网络模型对rgb图像以及ir图像中的人脸是否为真实人脸(即是否为立体人脸)进行检测，若检测结果是真实人脸才会进行下一步的人脸识别，即利用第二子神经网络模型对rgb图像与ir图像中的至少一种进行人脸识别。即步骤s1002中将当前获取的rgb图像与ir图像中的人脸图像输入到神经网络模型中以进行人脸识别；该步骤又包括以下步骤：首先，检测所述rgb图像与所述ir图像中的人脸是否为立体人脸；然后，对所述rgb图像和/或所述ir图像中的人脸进行识别。

在图10所示实施例中，由于无需对视差进行计算，从而极大程度上降低了算法复杂度，可以大幅度提升识别效率，提升用户体验。

本发明所提供的电子设备以及基于该电子设备所执行的人脸识别方法，与传统的设备及方法相比，至少拥有以下有益效果：首先，屏占比更高。由于将红外相机等器件设置在屏下，而为了可见光成像质量仅将彩色相机设置在屏幕上，已有的双目视觉设备的屏幕上至少有两个开孔或者一个长方形较大的开孔，相比而言，本发明在更高的屏占比下实现了相同的功能。在优选的实施例中，将红外相机、彩色相机和光发射模组等器件均设置在显示屏的背面，使得本发明的电子设备具有更高的屏占比。

另外，本发明的电子设备成本更低。由于采用的彩色相机与红外相机组成的双目视觉，因此即满足了双目视觉反映到深度信息的要求，也实现了红外相机对光照不敏感的要求，可以实现白天或者夜晚的人脸识别任务。与传统的双彩色相机或者彩色相机与红外结构光、红外tof相机相比，成本更低。

另外，本发明的电子设备人脸识别效率更高。直接将rgb图像与ir图像进行人脸识别，无需经过视差计算这一计算量较大的算法过程，可以大幅度提升人脸识别效率，提升用户体验。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

上述根据本发明的人脸识别的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。