人脸图像显示方法、可读存储介质、程序产品及电子设备与流程

1.本技术涉及终端技术领域，特别涉及一种人脸图像显示方法、可读存储介质、程序产品及电子设备。


背景技术：

2.随着人工智能(artificial intelligence，ai)技术的快速发展，支持人脸识别功能的电子设备越来越多。通常为了实现人脸识别功能，电子设备首先要进行人脸录入。在一些场景下，对于不包含显示屏的电子设备，典型的例如智能门锁，用户无法直观地感知人脸当前是否位于电子设备的摄像头的取景范围，或者位于摄像头的取景范围的什么位置。一些解决方案中，电子设备可以将摄像头采集的图像发送给包含显示屏的其他电子设备进行显示，然而，包含显示屏的其他电子设备显示的图像与实际用于录入人脸信息的图像中人脸的位置可能存在差异，无法准确反应当前人脸在用于录入人脸信息的摄像头的取景范围中的位置。当前，尚没有一种方法能让用户直观、准确地感知人脸位置，这使得人脸录入过程用户体验较差。


技术实现要素：

3.本技术实施例提供了一种人脸图像显示方法、可读存储介质、程序产品及电子设备。
4.本技术的技术方案根据第一电子设备的第一摄像头和第二摄像头之间具有的成像映射关系，将第一摄像头拍摄的作为预览图像的人脸图像进行变换，使得变换后的预览图像中人脸的位置和第二摄像头在第一摄像头拍摄作为预览图像的人脸图像的同一时刻拍摄的用于人脸识别的人脸图像中人脸的位置相同，从而使得第一电子设备外接的第二电子设备显示的预览图像能够准确反映出人脸在第二摄像头的视场中的位置、朝向等情况，从而可以使用户能够通过第二电子设备显示的预览图像及时调整面部位置、朝向等，进而使第一电子设备的第二摄像头能够快速抓取到有效的人脸图像从而进行人脸录入，可以提高人脸录入的效率和准确度，提升用户体验。
5.第一方面，本技术实施例提供了一种人脸图像显示方法，应用于包含第一电子设备和第二电子设备的系统中，第一电子设备包括第一摄像头和第二摄像头，第一摄像头和第二摄像头之间具有成像映射关系，该方法包括：
6.第一电子设备获取第一摄像头在第一时刻采集的第一人脸图像，其中，第一人脸图像中的人脸位于第一人脸图像的第一位置；
7.第二电子设备显示第二人脸图像，其中，第二人脸图像是根据成像映射关系由第一人脸图像变换得到的图像，人脸在第二人脸图像中的位置与人脸在第二摄像头在第一时刻采集的图像中的位置相同。
8.其中，第一摄像头可以为广角摄像头，例如猫眼摄像头、鱼眼摄像头等；第二摄像头可以为tof摄像头、结构光摄像头、双目立体成像摄像头、深度摄像头、红外摄像头中的任
一种摄像头，第二摄像头用于采集图像的深度信息。
9.此外，第二电子设备显示的第二人脸图像可以是第一电子设备根据成像映射关系对第一人脸图像进行转换后得到的图像，也可以是第二电子设备根据成像映射关系对第一人脸图像进行转换后得到的图像。
10.基于上述成像映射关系，将第一摄像头拍摄的作为预览图像的人脸图像进行变换，使得变换后的预览图像中人脸的位置和第二摄像头在第一摄像头拍摄作为预览图像的人脸图像的同一时刻拍摄的用于人脸识别的人脸图像中人脸的位置相同，从而使得第一电子设备外接的第二电子设备显示的预览图像能够准确反映出人脸在第二摄像头的视场中的位置、朝向等情况，从而可以使用户能够通过第二电子设备显示的预览图像及时调整面部位置、朝向等，进而使第一电子设备的第二摄像头能够快速抓取到有效的人脸图像从而进行人脸录入，可以提高人脸录入的效率和准确度，提升用户体验。
11.在上述第一方面的一种可能的实现中，上述成像映射关系为第一摄像头图像坐标系和第二摄像头图像坐标系之间的映射关系，
12.其中，第一摄像头图像坐标系是与第一摄像头相关联的二维坐标系，第二摄像头图像坐标系是与第二摄像头相关联的二维坐标系。
13.在上述第一方面的一种可能的实现中，上述成像映射关系是预设的参数，或者，
14.成像映射关系是由第一电子设备或第二电子设备根据第一映射关系、第二映射关系以及第三映射关系确定的，
15.其中，第一映射关系是第一摄像头空间坐标系与第二摄像头空间坐标系之间的映射关系，第一摄像头空间坐标系是与第一摄像头关联的三维坐标系，第二摄像头空间坐标系是与第二摄像头关联的三维坐标系，
16.第二映射关系是第一摄像头空间坐标系与第一摄像头图像坐标系之间的映射关系，
17.第三映射关系是第二摄像头空间坐标系与第二摄像头图像坐标系之间的映射关系。
18.在一些实施例中，第一摄像头图像坐标系是与第一摄像头相关联的二维平面直角坐标系。例如，第一摄像头是猫眼摄像头，第一摄像头图像坐标系即为猫眼图像坐标系，则猫眼图像坐标系为以猫眼摄像头的感光芯片的中心位置为坐标原点的平面直角坐标系。
19.在一些实施例中，第二摄像头图像坐标系是与第二摄像头相关联的二维平面直角坐标系。例如，第二摄像头是tof摄像头，第二摄像头图像坐标系即为tof图像坐标系，则tof图像坐标系为以tof摄像头的感光芯片的中心位置为坐标原点的平面直角坐标系。
20.在一些实施例中，第一摄像头空间坐标系是与第一摄像头关联的三维坐标系。例如，第一摄像头是猫眼摄像头，第一摄像头空间坐标系即为猫眼空间坐标系，则猫眼空间坐标系为以猫眼摄像头的镜头的中心位置为坐标原点的三维空间坐标系。
21.在一些实施例中，第二摄像头空间坐标系是与第二摄像头关联的三维坐标系。例如，第二摄像头是tof摄像头，第二摄像头空间坐标系即为tof空间坐标系，则tof空间坐标系为以tof摄像头的镜头的中心位置为坐标原点的三维空间坐标系。
22.具体地，例如，假设a点为同时出现在猫眼摄像头和tof摄像头的视场中的三维空间中的一点，a点在猫眼空间坐标系下的三维坐标为：(x1、y1、z1)；a点在猫眼摄像头拍摄的
图像中对应的像素点的二维坐标为：(x2、y2)；a点在tof空间坐标系下的三维坐标为：(x1’、y1’、z1’)；a点在tof摄像头拍摄的图像中对应的像素点的二维坐标为：(x2’、y2’)。
23.则上述第一映射关系表征的是a点在猫眼空间坐标系下的三维坐标(x1、y1、z1)与a点在tof空间坐标系下的三维坐标(x1’、y1’、z1’)之间的映射关系。
24.上述第二映射关系表征的是a点在猫眼空间坐标系下的三维坐标(x1、y1、z1)与a点在猫眼摄像头拍摄的图像中对应的像素点的二维坐标(x2、y2)之间的映射关系。
25.上述第三映射关系表征的是a点在tof空间坐标系下的三维坐标(x1’、y1’、z1’)与a点在tof摄像头拍摄的图像中对应的像素点的二维坐标(x2’、y2’)之间的映射关系。
26.在上述第一方面的一种可能的实现中，上述方法还包括：
27.第二电子设备接收第一电子设备发送的第一人脸图像，根据成像映射关系处理第一人脸图像，得到第二人脸图像，
28.或者，
29.第二电子设备接收第一电子设备发送的第二人脸图像。
30.在上述第一方面的一种可能的实现中，上述第一电子设备或第二电子设备通过与第一电子设备相关联的应用程序获取成像映射关系。
31.例如，第一电子设备在和第二电子设备建立连接后，将第二电子设备作为第一电子设备的外接设备来显示人脸的预览图像时，第一电子设备可以将存储的上述成像映射关系发送给第二电子设备，或者第一电子设备基于存储的上述第一映射关系、第二映射关系以及第三映射关系计算出上述成像映射关系，然后再将计算出来的成像映射关系发送给第二电子设备，由第二电子设备基于该成像映射关系处理第一人脸图像，从而得到第二人脸图像。
32.又如，第一电子设备在和第二电子设备建立连接后，将第二电子设备作为第一电子设备的外接设备来显示人脸的预览图像时，第一电子设备可以根据存储的上述成像映射关系处理第一人脸图像，得到第二人脸图像，然后发送给第二电子设备。或者，第一电子设备基于存储的上述第一映射关系、第二映射关系以及第三映射关系计算出上述成像映射关系，再根据计算出来的上述成像映射关系处理第一人脸图像，得到第二人脸图像，然后发送给第二电子设备。
33.此外，第一电子设备还可以通过下载安装和第一电子设备相关联的应用程序来获取上述成像映射关系，然后将获取的映射关系发送给第二电子设备，由第二电子设备根据上述成像映射关系处理第一人脸图像，得到第二人脸图像。或者，第一电子设备根据获取的成像映射关系直接处理第一人脸图像，得到第二人脸图像，然后将第二人脸图像发送给第二电子设备。
34.此外，第二电子设备也可以通过下载安装和第一电子设备相关联的应用程序来获取上述成像映射关系，然后根据上述成像映射关系处理第一人脸图像，得到第二人脸图像。
35.在上述第一方面的一种可能的实现中，上述方法还包括：
36.第二电子设备显示用于提示用户调整人脸位置的第一提示信息。
37.例如，第二电子设备显示出“请向左移动脸部”、“请向右移动脸部”等的文字提示，以提示用户调整人脸位置。
38.在上述第一方面的一种可能的实现中，上述方法还包括：
39.在第二电子设备显示的第二人脸图像中，人脸的位置靠近第二人脸图像的中心位置时，第二电子设备不再显示第一提示信息。
40.例如，当人脸的位置处于第二人脸图像的中心位置或者人脸的位置处于第二人脸图像的中心位置周围预设距离以内，第二电子设备不再显示第一提示信息
41.在上述第一方面的一种可能的实现中，上述方法还包括：
42.第二电子设备显示用于提示用户调整人脸朝向的第二提示信息。
43.例如，当第二电子设备确定出人脸位于预览图像的中心位置或靠近中心位置时，显示出“请抬头”、“请低头”、“请将脸转向右边”、“请将脸转向左边”等的文字提示。
44.在上述第一方面的一种可能的实现中，上述第一提示信息和/或第二提示信息是根据第二人脸图像生成的。
45.在上述第一方面的一种可能的实现中，上述第一摄像头的视场角大于第二摄像头的视场角。
46.在上述第一方面的一种可能的实现中，上述第一摄像头为猫眼摄像头、鱼眼摄像头中的任一种摄像头，第二摄像头为tof摄像头、结构光摄像头、双目立体成像摄像头、深度摄像头、红外摄像头中的任一种摄像头，第二摄像头用于采集图像的深度信息。
47.在上述第一方面的一种可能的实现中，上述第一电子设备为智能门锁，第二电子设备为手机。
48.其中，第一电子设备可以为任意一种支持人脸识别功能的不具有显示屏的电子设备，包括但不限于智能门锁、机器人、安防设备等。
49.此外，第二电子设备可以为具有显示以及图像处理功能的各种便携终端设备，例如，除了手机之外，第二电子设备还可以为手环、手表、平板电脑等各种便携终端设备。
50.第二方面，本技术实施例提供了一种人脸图像显示方法，应用于第二电子设备，该方法包括：
51.显示第二人脸图像，其中，第二人脸图像是根据成像映射关系由第一人脸图像变换得到的图像，成像映射关系是第一摄像头和第二摄像头采集的图像之间的映射关系，第一摄像头和第二摄像头包含于不同于第二电子设备的第一电子设备中，第一人脸图像是第一摄像头在第一时刻采集的图像，第一人脸图像中的人脸位于第一人脸图像的第一位置，人脸在第二人脸图像中的位置与人脸在第二摄像头在第一时刻采集的图像中的位置相同。
52.在上述第二方面的一种可能的实现中，上述成像映射关系为第一摄像头图像坐标系和第二摄像头图像坐标系之间的映射关系，
53.其中，第一摄像头图像坐标系是与第一摄像头相关联的二维坐标系，第二摄像头图像坐标系是与第二摄像头相关联的二维坐标系。
54.在上述第二方面的一种可能的实现中，上述成像映射关系是预设的参数，或者，
55.成像映射关系是由第二电子设备根据第一映射关系、第二映射关系以及第三映射关系确定的，
56.其中，第一映射关系是第一摄像头空间坐标系与第二摄像头空间坐标系之间的映射关系，第一摄像头空间坐标系是与第一摄像头关联的三维坐标系，第二摄像头空间坐标系是与第二摄像头关联的三维坐标系，
57.第二映射关系是第一摄像头空间坐标系与第一摄像头图像坐标系之间的映射关
系，
58.第三映射关系是第二摄像头空间坐标系与第二摄像头图像坐标系之间的映射关系。
59.在上述第二方面的一种可能的实现中，上述方法还包括：接收第一电子设备发送的第一人脸图像，根据成像映射关系处理第一人脸图像，得到第二人脸图像，
60.或者，
61.接收第一电子设备发送的第二人脸图像。
62.在上述第二方面的一种可能的实现中，上述第二电子设备通过与第一电子设备相关联的应用程序获取成像映射关系。
63.在上述第二方面的一种可能的实现中，上述方法还包括：
64.显示用于提示用户调整人脸位置的第一提示信息。
65.在上述第二方面的一种可能的实现中，上述方法还包括：
66.显示的第二人脸图像中，人脸的位置靠近第二人脸图像的中心位置时，第二电子设备不再显示第一提示信息。
67.在上述第二方面的一种可能的实现中，上述方法还包括：
68.显示用于提示用户调整人脸朝向的第二提示信息。
69.在上述第二方面的一种可能的实现中，上述第一提示信息和/或第二提示信息是根据第二人脸图像生成的。
70.在上述第二方面的一种可能的实现中，上述第一摄像头的视场角大于第二摄像头的视场角。
71.在上述第二方面的一种可能的实现中，上述第一摄像头为猫眼摄像头、鱼眼摄像头中的任一种摄像头，第二摄像头为tof摄像头、结构光摄像头、双目立体成像摄像头、深度摄像头、红外摄像头中的任一种摄像头，第二摄像头用于采集图像的深度信息。
72.在上述第二方面的一种可能的实现中，上述第二电子设备为手机。
73.第三方面，本技术实施例提供了一种人脸图像显示方法，应用于第一电子设备，第一电子设备包括第一摄像头和第二摄像头，第一摄像头和第二摄像头之间具有成像映射关系，该方法包括：
74.获取第一摄像头在第一时刻采集的第一人脸图像，其中，第一人脸图像中的人脸位于第一人脸图像的第一位置，第一人脸图像用于根据成像映射关系变换得到第二人脸图像，人脸在第二人脸图像中的位置与人脸在第二摄像头在第一时刻采集的图像中的位置相同，第二人脸图像用于在不同于第一电子设备的第二电子设备中显示。
75.在上述第三方面的一种可能的实现中，上述成像映射关系为第一摄像头图像坐标系和第二摄像头图像坐标系之间的映射关系，
76.其中，第一摄像头图像坐标系是与第一摄像头相关联的二维坐标系，第二摄像头图像坐标系是与第二摄像头相关联的二维坐标系。
77.在上述第三方面的一种可能的实现中，上述成像映射关系是预设的参数，或者，
78.成像映射关系是由第一电子设备根据第一映射关系、第二映射关系以及第三映射关系确定的，
79.其中，第一映射关系是第一摄像头空间坐标系与第二摄像头空间坐标系之间的映
射关系，第一摄像头空间坐标系是与第一摄像头关联的三维坐标系，第二摄像头空间坐标系是与第二摄像头关联的三维坐标系，
80.第二映射关系是第一摄像头空间坐标系与第一摄像头图像坐标系之间的映射关系，
81.第三映射关系是第二摄像头空间坐标系与第二摄像头图像坐标系之间的映射关系。
82.在上述第三方面的一种可能的实现中，上述第一电子设备通过与第一电子设备相关联的应用程序获取成像映射关系。
83.在上述第三方面的一种可能的实现中，上述第一摄像头的视场角大于第二摄像头的视场角。
84.在上述第三方面的一种可能的实现中，上述第一摄像头为猫眼摄像头、鱼眼摄像头中的任一种摄像头，第二摄像头为tof摄像头、结构光摄像头、双目立体成像摄像头、深度摄像头、红外摄像头中的任一种摄像头，第二摄像头用于采集图像的深度信息。
85.在上述第三方面的一种可能的实现中，上述第一电子设备为智能门锁。
86.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有指令，该指令在电子设备上执行时使电子设备执行上述第二方面以及第二方面的各种可能实现中的任意一种方法，或者执行上述第三方面以及第三方面的各种可能实现中的任意一种方法。
87.第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括指令，指令用于实现如上述第二方面以及第二方面的各种可能实现中的任意一种方法，或者用于实现上述第三方面以及第三方面的各种可能实现中的任意一种方法。
88.第六方面，本技术实施例提供了一种芯片装置，芯片装置包括：
89.通信接口，用于输入和/或输出信息；
90.处理器，用于执行计算机可执行程序，使得安装有芯片装置的设备执行上述第二方面以及第二方面的各种可能实现中的任意一种方法，或者执行上述第三方面以及第三方面的各种可能实现中的任意一种方法。
91.第七方面，本技术实施例提供了一种电子设备，包括：
92.存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及
93.处理器，当指令被一个或多个处理器执行时，处理器用于执行上述第二方面以及第二方面的各种可能实现中的任意一种方法，或者执行上述第三方面以及第三方面的各种可能实现中的任意一种方法。
附图说明
94.图1根据本技术的一些实施例，示出了一种人脸识别智能门锁的使用场景图；
95.图2(a)至图2(f)示出了一些实施例中，电子设备显示的预览界面中的人脸位置与智能门锁中拍摄的用于人脸识别的人脸图像中的人脸位置不一致的情况；
96.图3示出了一些实施例中，电子设备通过语音、文字、人脸的模拟图片来提示用户调整人脸位置的流程图；
97.图4(a)至图4(i)根据本技术的一些实施例，示出了图3所示的技术方案中，电子设
备提示用户调整人脸位置的一些用户界面图；
98.图5示出了一些实施例中，电子设备通过生成可以模拟人脸图像的示意图来提示用户调整人脸位置的流程图；
99.图6根据本技术的一些实施例，示出了一种智能门锁的结构框图；
100.图7根据本技术的一些实施例，示出了一种由电子设备和智能门锁组成的系统的结构框图；
101.图8根据本技术的一些实施例，示出了一种手机和智能门锁的交互流程图；
102.图9(a)至图9(i)根据本技术的一些实施例，示出了图8所示的流程图中涉及的一些手机的用户界面图；
103.图10(a)至图10(c)根据本技术的一些实施例，示出了手机和智能门锁通过执行图8所示技术方案之后，手机显示的预览界面中人脸位置与智能门锁中拍摄的用于人脸识别的人脸图像中的人脸位置一致的情况；
104.图11(a)根据本技术的一些实施例，示出了一种手机将从智能门锁接收到的猫眼摄像头拍摄的人脸图像映射到tof摄像头坐标系下的处理流程；
105.图11(b)根据本技术的一些实施例，示出了另一种手机将从智能门锁接收到的猫眼摄像头拍摄的人脸图像映射到tof摄像头坐标系下的处理流程；
106.图12根据本技术的一些实施例，示出了另一种手机和智能门锁的交互流程图；
107.图13根据本技术的一些实施例，示出了一种手机的结构框图。
具体实施方式
108.本技术的说明性实施例包括但不限于一种人脸图像显示方法、可读存储介质、程序产品及电子设备。
109.为了更好地理解本技术实施例的技术方案，下面首先对本技术实施例可能涉及的相关术语和概念进行介绍。
110.tof摄像头：采用飞行时间(time-of-flight，tof)技术的一种摄像头，tof摄像头的视场角较小，拍摄图像时可以获取图像中的深度信息。即使tof摄像头的感光芯片最终成像得到的是二维的图像，但是由于tof摄像头拍摄图像时可以获取到图像中各个图像元素的深度信息，因此，一般将tof摄像头拍摄的图像称为三维(three dimensions，3d)图像。
111.tof摄像头拍摄的图像是黑白图像，并且按照相关规定，tof摄像头拍摄的原始的黑白图像作为人体的生物密码不允许被通过网络发送给tof摄像头所在的设备或装置以外的其他设备，即只能在本地进行处理和存储。
112.猫眼摄像头：猫眼摄像头拍摄的图像为二维的彩色图像，并且猫眼摄像头的视场角较大，拍摄的图像畸变较大。
113.下面将结合附图对本技术的实施例作进一步地详细介绍。
114.随着智能终端技术的发展，智能终端设备的应用越来越广泛，典型的对于智能门锁来说，由于用户不需要使用传统的钥匙进行开锁，可以直接通过手机app或人脸识别、指纹识别等方式开锁，操作方式简单、智能。并且，由于智能门锁具有更好的防盗性能，因此智能门锁在家庭或生产领域的应用越来越多。对于支持人脸识别功能的智能门锁，受限于智能门锁的成本和对智能门锁外观上的美感的追求，通常不会在智能门锁上设置显示屏，而
采用语音、灯光等方式提示用户调整脸部位置。虽然语音、灯光可以辅助用户调整面部位置，但是用户无法直观地看到自己的面部位置情况，用户体验较差。
115.为了提升在使用智能门锁过程中的用户体验，通常借助于智能门锁外接的电子设备实时显示出人脸的示意图或人脸的模拟图，而非真实的人脸图像，也会影响用户体验。
116.下面将以智能门锁的应用场景为例，详细介绍本技术的技术方案。可以理解的是，本技术的技术方案可以应用到任意一种支持人脸识别功能的不具有显示屏的电子设备中，包括但不限于智能门锁、机器人、安防设备等。
117.图1根据本技术的一些实施例，示出了一种人脸识别智能门锁的使用场景图。
118.其中包括电子设备100以及智能门锁200。智能门锁200包括第一摄像头201以及第二摄像头202。
119.其中，第一摄像头201用于采集不包含深度信息的2d图像，该2d图像不涉及用户的生物密码，可以被智能门锁200发送给外接的其他电子设备，并且由其他电子设备处理后作为预览图像进行显示。例如，用户可以通过其他电子设备远程监控家门外的情况。此外，当用户在室内时，还可以通过第一摄像头201查看门外的情况，例如，用户通过第一摄像头201查看门外是谁在敲门，或者查看门外是否有陌生人逗留等。出于监控的需求，第一摄像头201拍摄的图像需要覆盖尽量大的范围，因此，第一摄像头201通常是视场角较大的摄像头，例如猫眼摄像头、鱼眼摄像头等。
120.第二摄像头202用于采集包含深度信息的3d图像，该3d图像涉及用户生物密码，因此通常不允许将第二摄像头202拍摄的图像外发，只能在智能摄像头200本地进行处理和存储，以防泄露用户隐私。此外，采用包含深度信息的3d图像进行人脸识别时，可以从该3d图像中提取出更为准确的人脸特征，有助于提高人脸识别的准确度。因此出于人脸识别准确性的需求，智能门锁200通常需要安装第二摄像头202。第二摄像头202为视场角较小的摄像头，例如tof摄像头、结构光摄像头、双目立体成像摄像头、深度摄像头、红外摄像头等。
121.此外，电子设备100上安装有智能门锁应用。在需要进行人脸录入时，用户将脸部对准第一摄像头201和第二摄像头202，同时手持电子设备100，用户操作电子设备100安装的智能门锁应用使电子设备100和智能门锁200进行配对连接。例如，电子设备100通过无线保真(wireless-fidelity，wifi)、蓝牙(bluetooth，bt)、近场通信(near field communication，nfc)等通信方式和智能门锁200进行配对连接。电子设备100与智能门锁200连接成功后，电子设备100响应于用户的操作向智能门锁200发起人脸图像录入流程。
122.在人脸图像的录入过程中，智能门锁200和电子设备100通过执行本技术提供的人脸录入方法，智能门锁200的第一摄像头201和第二摄像头202分别对用户的面部进行拍摄。而后智能门锁200将第一摄像头201拍摄的人脸图像发送给电子设备100，用于人脸预览；智能门锁200对第二摄像头202拍摄的人脸图像进行特征提取、对图像质量评估以及对图像中的人脸进行识别。
123.由于用于拍摄预览图像的第一摄像头201通常还用于拍摄智能门锁200周围的监控图像，因此，为了能够较大范围地监控到智能门锁200周围环境，第一摄像头201的视场角fov1通常较大，使得第一摄像头201拍摄的图像中存在较大的畸变。
124.而为了能够有效地实现智能门锁200的人脸识别功能，需要第二摄像头202拍摄的作为人脸识别的图像存在较小的变形，要求人脸在图像中的比例较高，并且为了能够获取
用户面部尽量多的信息，需要第二摄像头202能够获取用户面部的深度信息，因此，需要第二摄像头202具有较小的视场角fov2，并且第二摄像头202需要具有获取用户面部的深度信息的功能。此外，由于第二摄像头202能够获取作为人体的生物密码的用户面部深度信息，因此通常不允许将第二摄像头202拍摄的图像通过网络发送给智能门锁200以外的其他设备，即只能在智能门锁200本地进行处理和存储。
125.可以理解，基于第一摄像头201和第二摄像头202安装位置的不同以及视场角的不同，使得在人脸录入过程中，用户的人脸在第一摄像头201和第二摄像头202的视场中所处的位置不同。如前所述，智能门锁200可以将第一摄像头201拍摄的图像通过网络发送给电子设备100，但不可以将第二摄像头202拍摄的图像通过网络发送给电子设备100。因此，电子设备100能够获取用于作为人脸录入预览图像进行显示的图像，是第一摄像头201拍摄的图像。从而使电子设备100显示的预览图像中人脸的位置和第二摄像头202拍摄的用于人脸识别的图像中人脸的位置不同。例如，用户人脸出现在第一摄像头201的视场范围内，而未出现在第二摄像头202的视场范围内，具体地，例如，在图2(a)所示的实施例中，第一摄像头201拍摄的图像103a中包括人脸106a，人脸106a位于图像103a左侧偏下的位置；同样地，图2(b)所示的电子设备100的人脸预览界面中显示出来的预览画面104也包括人脸107a，由于该预览画面104来自第一摄像头201拍摄的图像，因此人脸107a也位于预览画面104左侧偏下的位置；然而，由于第一摄像头201和第二摄像头202安装位置、视场角的不同，在第一摄像头201拍摄的图像包括人脸的情况下，第二摄像头202拍摄的图像有可能并不包括人脸。例如，图2(c)所示的第二摄像头202拍摄的图像105a就未包括人脸，即第二摄像头202未拍摄到用户的面部五官，这使得智能门锁200在对第二摄像头202拍摄的没有用户的面部五官进行特征提取时，提取不到用户的面部五官特征，从而导致人脸录入不成功。
126.又如，即使用户人脸同时出现在第一摄像头201以及第二摄像头202的视场范围内，但是用户人脸处于第一摄像头201的视场中心，而处于第二摄像头202的视场边缘，使得第二摄像头202无法完整拍摄到用户的面部五官。例如，在图2(d)所示的实施例中，第一摄像头201拍摄的图像103b中的人脸106b位于图像103b的中心位置。同样地，在图2(e)所示的电子设备100的人脸预览界面中显示出来的预览画面104中的人脸107b也处于预览画面104的中心位置。然而在图2(f)所示的第二摄像头202拍摄的图像105b中人脸108却处于图像105b的边缘位置，且图像105b中人脸108不包括用户的嘴巴，即第二摄像头202未完整拍摄到用户的面部五官，使得智能门锁200在对第二摄像头202拍摄的面部五官不完整的图像进行特征提取时，无法完整提到用户的面部五官特征，从而导致人脸录入不成功。
127.在一些智能门锁技术中，为了能实时提醒用户调整人脸到第二摄像头202的拍摄范围，智能门锁200通过如图3所示的步骤300至步骤306实现外接电子设备100产生语音、文字、图片来提醒用户调整人脸位置。具体地，如图3所示，包括：
128.步骤300：电子设备100向智能门锁200发送人脸录入指令；例如，如图4(a)所示，电子设备100和智能门锁200连接成功后，电子设备100检测到用户点击电子设备100桌面的人脸识别图标121后，向智能门锁200发送人脸录入指令。
129.步骤301：智能门锁200响应于人脸录入指令拍摄人脸图像；例如，第一摄像头201和第二摄像头202同时开启拍摄功能。
130.步骤302：智能门锁200向电子设备100发送拍摄的人脸图像；例如，智能门锁200将
第一摄像头201拍摄的图像发送给电子设备100。
131.步骤303：电子设备100根据接收到的人脸图像产生提示信息，提示用户将人脸调整到最佳位置。
132.在一些实施例中，电子设备100根据接收到的人脸图像产生语音、文字和图片等提示信息，并在电子设备100的用户界面上显示出来，以提示用户调整人脸位置。其中，该图片并非人脸的真实图片，该图片只是一个能够示意当前人脸位置的图片，例如，动态的人脸的简笔画、卡通形象或示意图等。
133.例如，如图4(b)所示的电子设备100的界面中显示出的“请站在离锁半米的距离，针对锁具摄像头，根据语音提示来进行人脸录制”的文字提示。当用户点击图4(b)中所示的“下一步”控件122之后，出现如图4(c)或图4(d)所示的用户界面。图4(c)和图4(d)中显示的界面中均包括带有上述图片的预览框123以及相应的文字提示。上述文字提示可以是例如图4(c)所示的“请向左移动脸部”的文字提示124a、图4(d)所示的“请向右移动脸部”的文字提示124b。用户根据图4(c)和图4(d)中的提示信息移动脸部之后，将人脸调整到最佳位置，例如，用户将人脸调整到智能门锁200的第二摄像头202的视场中心。
134.步骤304：智能门锁200采集最佳位置的人脸图像，并且生成人脸录入成功的通知消息。其中，最佳位置可以是第二摄像头202的视场中心所处的位置。智能门锁200采集的最佳位置的人脸图像可以是用户的人脸位于第二摄像头202的视场中心时，智能门锁200的第一摄像头201采集的人脸图像。
135.在一些实施例中，当用户的人脸调整至最佳位置之后，为了使录入的人脸信息更加完整，以及为了提升人脸识别的安全性，电子设备100的用户界面还可以生成采集用户面部不同角度的图像的提示信息。例如，如图4(e)所示的“请抬头”的文字提示124c，图4(f)所示的“请低头”的文字提示124d，图4(g)所示的“请将脸转向右边”的文字提示124e，以及图4(h)所示的“请将脸转向左边”的文字提示124f。
136.此外，上述预览框123还可以提示用户人脸录入的进度，示例性地，当用户根据文字提示124c完成抬头动作后，预览框123外围的4个圆弧图形中上方的圆弧图形可以改变颜色或闪烁，用于提示用户抬头动作的人脸已录入；当用户根据文字提示124d完成低头动作后，预览框123外围的4个圆弧图形中下方的圆弧图形可以改变颜色或闪烁，用于提示用户低头动作的人脸已录入等等。此外，在一些实施例中，当用户将人脸调整至前述最佳位置，并且根据电子设备100生成的提示信息完成抬头、低头、将脸部转向左边、将脸部转向右边等动作之后，智能门锁200的第二摄像头202分别采集到用户处于前述最佳位置并且用户在抬头、低头、脸部转向左边、脸部转向右边时对应的人脸图像，在智能门锁200将第二摄像头202采集的这些人脸图像进行特征提取、对图像质量进行评估，在智能门锁200确定出第二摄像头202采集的这些人脸图像中人脸的各个角度的特征信息能够满足预设要求的情况下，生成人脸录入成功的通知消息。
137.步骤305：智能门锁200向电子设备100发送人脸录入成功的通知消息。
138.步骤306：电子设备100根据接收到的人脸录入成功的通知消息产生人脸录入成功的提示信息。例如在图4(i)所示的电子设备100的界面中显示的“操作成功”的文字以及符合提示125，当用户点击图4(i)所示的“完成”控件124e之后，即完成人脸录入。
139.然而在如图3所示的技术方案中，由于智能门锁200外接电子设备100是基于智能
门锁200的第一摄像头201拍摄的人脸图像产生语音、文字和图片等提示信息，而由于智能门锁200的第一摄像头202和第二摄像头202存在的安装位置和视场的差异，会使智能门锁200外接电子设备100产生的提示信息不准确，影响人脸录入的效率。并且，智能门锁200外接的电子设备100显示的图片并非人脸的真实图片，该图片只是一个能够示意当前人脸位置的图片，例如动态的人脸的简笔画、卡通形象或示意图等无法为用户提供能够在人脸录入过程中看到真实人脸的用户体验。
140.此外，在一些智能门锁技术中，为了能实时提醒用户调整人脸到第二摄像头202的拍摄范围，智能门锁200通过如图5所示的步骤500至步骤508实现外接电子设备100通过人脸的模拟示意图来提醒用户调整人脸位置。具体地，如图5所示，包括：
141.步骤500：电子设备100向智能门锁200发送人脸录入指令，以控制智能门锁200开启人脸录入流程。
142.步骤501：智能门锁200响应于人脸录入指令拍摄人脸图像，例如，第一摄像头201和第二摄像头202同时开启拍摄功能。
143.步骤502：智能门锁200对拍摄的人脸图像进行质量评估以及人脸特征信息提取，例如，智能门锁200将第一摄像头201拍摄的图像采用特征提取算法提取出人脸的关键特征点信息，例如提取出人的眼睛、嘴巴、鼻子、眉毛等的特征信息。
144.步骤503：智能门锁200向电子设备100发送提取的人脸特征信息。
145.步骤504：电子设备100绘制人脸图像示意图，例如，电子设备100根据从智能门锁200接收到的第一摄像头201拍摄的图像中的人脸特征信息，进行三维图像建模，模拟出人脸的示意图。；
146.步骤505：电子设备100提示用户将人脸调整到最佳位置；
147.步骤506：智能门锁200采集最佳位置的人脸图像；
148.步骤507：智能门锁200向电子设备100发送人脸录入成功的消息；
149.步骤508：电子设备100提示录入成功。
150.然而，如图5所示的技术方案中，电子设备100是基于智能门锁200的第一摄像头201拍摄的图像绘制出人脸图像示意图，然后进行提示用户调整人脸位置。但是，由于智能门锁200的第一摄像头202和第二摄像头202存在的安装位置和视场的差异，仍然会使智能门锁200外接电子设备100显示出来的人脸预览图像不能准确反映出人脸在第二摄像头202的视场中所处的位置，影响人脸识别的准确度。并且，在如图5所示的技术方案中，智能门锁200外接的电子设备100显示的人脸的模拟示意图并非人脸的真实图片，依然无法为用户提供能够在人脸录入过程中看到真实人脸的用户体验。
151.为了解决上述技术问题，更好地为用户能够在人脸录入过程中看到真实人脸的用户体验，本技术提供了一种技术方案，可以直接在智能门锁200外接的电子设备100上显示真实人脸的预览图像，比人脸的简笔画以及的人脸的模拟示意图更加直观，并且电子设备100显示出的人脸预览图像所反映出的人脸的位置、角度、表情等情况，能够和智能门锁200的第二摄像头202拍摄的用于人脸识别的图像中人脸的情况一致。
152.具体地，例如，图1所示的电子设备100可以通过本技术实施例提供的预设的图像处理方法，将从智能门锁200接收到的第一摄像头201拍摄的图像，转换到第二摄像头202拍摄的图像的坐标系下，从而使电子设备100显示出的人脸预览图像能够准确反映出人脸在
第二摄像头202的视场中的位置、角度、表情等情况，从而可以使用户能够通过电子设备100的人脸预览界面和提示信息及时调整面部位置、角度、表情等情况，进而使智能门锁200的第二摄像头202能够快速抓取到有效的人脸图像，例如多个角度的包含完整的人脸五官特征的人脸图像，从而提升人脸录入的效率和准确度，提升用户体验。
153.可以理解的是，在图1所示的智能门锁200进行人脸图像录入的过程中，为了使智能门锁200的第一摄像头201和第二摄像头202能够有效拍摄到人脸图像，用户手持的电子设备100不能遮挡第一摄像头201和第二摄像头202以及用户的面部。
154.此外，可以理解，适用于本技术实施例的电子设备100可以为具有显示以及图像处理功能的各种便携的终端设备，例如：手机、手环、手表、平板电脑等。
155.为了便于说明本技术的技术方案，下面以第一摄像头201为猫眼摄像头、第二摄像头202为tof摄像为例，对本技术的技术方案进行详细介绍。
156.下面将结合附图对图1所示的智能门锁200的硬件结构以及系统结构进行详细介绍。
157.首先介绍智能门锁200的硬件结构。图6根据本技术的一些实施例，示出了一种智能门锁200的硬件结构框图。其中，智能门锁200包括处理器204、存储器205、猫眼摄像头201、tof摄像头202、电源206、通信模块207、传感器模块209以及音频模块210。
158.处理器204可以包括一个或多个处理单元，例如，可以包括中央处理器cpu(central processing unit)、图像处理器gpu(graphics processing unit)、数字信号处理器dsp(digital signal processor)、微处理器mcu(micro-programmed control unit)、ai(artificial intelligence，人工智能)处理器或可编程逻辑器件fpga(field programmable gate array)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。在一些实施例中，处理器204用于对tof摄像头202拍摄的人脸图像进行质量评估，例如对人脸图像的清晰度、人脸图像中面部五官特征是否完整进行评估。在一些实施例中，处理器204用于对tof摄像头202拍摄的人脸图像进行人脸特征信息的提取，并且基于提取的人脸特征信息进行人脸识别，从而在识别出用户的人脸的情况下，为用户开锁，使用户进入室内。在一些实施例中，处理器204还用于在确定人脸录入成功的情况下，产生人脸录入成功的消息，通过通信模块207发送给外接的电子设备100。
159.存储器205用于存储软件程序以及数据，可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)，双倍数据率同步动态随机存取存储器(double data rate synchronous dynamic random access memory，ddr sdram)，也可以是非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，rom)，电可擦可编程只读存储器(electrically erasable programmable read only memory，eeprom)、快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)。处理器204通过运行存储在存储器205的软件程序以及数据，执行智能门锁200的各种功能应用以及数据处理。例如，在本技术的一些实施例中，存储器205可以存储智能门锁200的各个摄像头拍摄的照片、提取的人脸特征信息以及开锁的历史记录等等。
160.猫眼摄像头201用于拍摄用于预览的人脸图像。
161.tof摄像头202用于拍摄用于人脸识别的人脸图像。
162.传感器模块209用于获取用户或智能门锁200的状态，可以包括压力传感器、红外传感器等。
163.通信模块207可以用来智能门锁200和其他电子设备进行通信。例如，在本技术的一些实施例中，智能门锁200可以通过wifi、蓝牙、nfc等通信方式与电子设备100建立通信连接，智能门锁200可以通过通信模块207接收由电子设备100发送的指令，智能门锁200可以通过通信模块207向电子设备100发送猫眼摄像头201拍摄的人脸图像，以及在确定人脸录入成功时，智能门锁200通过通信模块207向电子设备100发送人脸录入成功的消息。
164.音频模块210用于将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块210还可以用于对音频信号编码和解码。在一些实施例中，音频模块210可以用于向用户播放语音提示。
165.电源206用于为智能门锁200的各个部件进行供电。在一些实施例中，电源206包括电池。
166.可以理解，图6所示的智能门锁200的结构只是一种示例，在另一些实施例中，智能门锁200还可以包括更多或更少的模块，也可以组合或拆分部分模块，本技术实施例不做限定。
167.下面将介绍图1所示的智能门锁200和电子设备100的分层系统架构图。图7示出了能够实现本技术技术方案的一种智能门锁200和电子设备100的分层系统架构图。如图7所示，智能门锁200包括处理模块212、传输模块211、猫眼摄像头201以及tof摄像头202等。
168.其中，处理模块212用于产生控制指令，控制猫眼摄像头201和tof摄像头202采集人脸图像，以及对tof摄像头202采集的人脸图像进行质量评估、人脸特征信息提取以及人脸识别等。例如，对人脸图像的清晰度、人脸图像中面部五官特征是否完整进行评估。对满足质量要求的图像，例如当用户的人脸处于tof摄像头202的视场中心时，处理模块212可以对tof摄像头202拍摄的人脸图像进行人脸的特征信息提取之后，根据提取出的特征信息与智能门锁200预先存储的人脸特征信息作比对，从而在比对成功时，控制智能门锁200开锁，使用户进入室内。
169.猫眼摄像头201用于拍摄用于预览的人脸图像，该人脸图像为二维图像，其中人脸存在的畸变较大。
170.tof摄像头202用于拍摄用于人脸识别的人脸图像，该图像为黑白的包括人脸的深度信息的三维图像。
171.传输模块211用于响应处理模块212的图像发送指令，将猫眼摄像头201拍摄的用于预览的人脸图像发送给电子设备100。传输模块211还可以用于在处理模块212确定人脸录入成功时，响应于处理模块212的消息发送指令，向电子设备100发送人脸录入成功的消息。传输模块211还可以用于从电子设备100接收开启人脸录入流程的指令等。
172.继续参考图7，电子设备100包括处理模块116、传输模块115、显示屏102、麦克风132以及智能门锁应用128、相机应用129、视频应用131和畅联通话应用114等。
173.其中，处理模块116用于将从智能门锁200接收到的用于预览的人脸图像经过预设的图像处理方法进行处理，将用于预览的人脸图像转换到智能门锁200的tof摄像头202拍摄的图像的坐标系下，以使处理后的用于预览的人脸图像能够准确反映出人脸在智能门锁
200的tof摄像头202的视场中的姿态、位置等信息。处理模块116还用于在检测到用户对于电子设备100的智能门锁应用128的操作的情况下，产生发起人脸录入过程的指令，并经过传输模块115发送给智能门锁200。
174.传输模块115用于从智能门锁200接收用于预览的人脸图像、人脸录入成功的消息，以及向智能门锁200发送人脸录入指令等。
175.显示屏102用于显示智能门锁应用128的人脸预览界面、提示信息以及其他应用程序的用户界面等。
176.麦克风132用于播放语音提示信息，以辅助用户进行面部的位置、角度、表情等的调整。
177.可以理解的是，图7所示的系统结构作为一种示意性的系统结构，并不构成对可以实现本技术技术方案的智能门锁200和电子设备100的具体限定。在本技术的另一些实施例中，智能门锁200和电子设备100可以包括比图7所示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图7所示的部件可以以硬件，软件或软件和硬件的组合实现。
178.实施例一
179.下面将结合图7所示的系统结构图，以电子设备100为手机为例，对本技术提供的技术方案进行详细介绍。具体地，如图8所示，智能门锁200和手机100之间的交互图包括以下步骤：
180.步骤800：手机100向智能门锁200发送人脸录入指令。
181.例如，在一些实施例中，手机100的智能门锁应用128响应于用户操作，产生中断消息。可以理解，此处中断消息是指手机100的智能门锁应用128产生的，以请求手机100的处理模块116产生使智能门锁200开启人脸录入功能的控制指令。
182.例如，在图9(a)所示的实施例中，用户点击智能门锁应用128的图标，手机100响应于用户的点击操作，打开智能门锁应用128，显示出如图9(b)所示的智能门锁应用128的登录界面。在图9(b)所示的智能门锁应用128的登录界面中，包括“账号”输入框111、“密码”输入框112以及“登录”按钮113。用户分别在“账号”输入框111中输入账号，在“密码”输入框112中输入密码，并且点击“登录”按钮113之后，手机进入如图9(c)所示的智能门锁应用128的用户界面。在图9(c)所示的智能门锁应用128的用户界面中，用户点击人脸预览图标1281，即可触发智能门锁应用128产生中断消息，以使手机100基于该中断消息生成智能门锁200开始人脸录入的指令。
183.然后，手机100的智能门锁应用128将产生的中断消息发送给手机100的处理模块116，手机100的处理模块116基于接收到的中断消息产生人脸录入指令，该指令用于使智能门锁200开启人脸录入功能。
184.在一些实施例中，手机100的处理模块116将产生的人脸录入指令经由传输模块115发送到智能门锁200，其中，传输模块115可以为wifi模块、蓝牙模块等。例如，在一些实施例中，手机100的处理模块116将产生的人脸录入指令经由手机100的传输模块115发送给智能门锁200的传输模块211。
185.步骤801：智能门锁200接收到人脸录入指令后，控制猫眼摄像头201采集人脸图像。
186.例如，在一些实施例中，智能门锁200的传输模块211将接收到的人脸录入指令发送给智能门锁200的处理模块212。智能门锁200的处理模块212接收到该人脸录入指令后，响应于接收到的人脸录入指令，产生控制猫眼摄像头201采集图像的控制指令。
187.在一些实施例中，智能门锁200的处理模块212响应于接收到的人脸录入指令，产生同时控制猫眼摄像头201和tof摄像头202采集图像的控制指令。在一些实施例中，智能门锁200的处理模块212响应于接收到的人脸录入指令，还可以产生控制猫眼摄像头201先采集用于预览的图像，待用户将人脸调整到最佳位置、最佳姿态之后，再控制tof摄像头202采集用于人脸识别的图像的控制指令。
188.在一些实施例中，智能门锁200的处理模块212将产生的猫眼摄像头201采集图像的控制指令发送给智能门锁200的猫眼摄像头201。智能门锁200的猫眼摄像头201响应于接收到的控制指令，采集人脸图像。例如，猫眼摄像头201以每秒30帧的速度采集人脸图像。
189.步骤802：智能门锁200向手机100发送猫眼摄像头201采集的人脸图像。
190.例如，智能门锁200的猫眼摄像头201将采集的人脸图像通过智能门锁200的传输模块211发送给手机100的传输模块115，手机100的传输模块115再将接收到的人脸图像发送给手机100的处理模块116。
191.步骤803：手机100将接收到的猫眼摄像头201采集的人脸图像按照预设的图像处理方法，转换到tof图像坐标系下，得到作为预览图像的人脸图像。
192.例如，在图10(a)所示的实施例中，猫眼摄像头201拍摄的人脸图像117a中，人脸118a处于人脸图像117a左下角的边缘处。手机将从智能门锁200接收到的猫眼摄像头201拍摄的人脸图像117a按照预设的图像处理方法转换到tof图像坐标系下，并且显示在如图10(b)所示的手机100的人脸预览界面中。如图10(b)所示，人脸预览画面117c中的人脸图像118c处于人脸预览画面117c的中心位置，与图10(c)所示的tof摄像头拍摄的图像117b中的人脸118b所处的位置相同。从而使猫眼摄像头201采集的用于预览的人脸图像能够准确反映出人脸在tof拍摄的用于人脸识别的图像中的位置情况，从而使用户能够通过手机100的人脸预览界面及时调整面部位置、角度、表情等情况，进而使智能门锁200的tof摄像头202能够快速抓取到有效的人脸图像(即多个角度的包含完整的人脸五官的人脸图像)，提高人脸录入的效率和准确度，提升用户体验。其中，预设的图像处理方法将在下文中进行详细介绍。
193.在一些实现方式中，上述tof图像坐标系可以为以tof摄像头的感光芯片的中心位置为坐标原点的平面直角坐标系。
194.步骤804：手机100显示人脸预览图像，并提示用户调整人脸位置。
195.例如，手机100的处理模块116将接收到的猫眼摄像头201采集的人脸图像按照预设的图像处理方法，转换到tof图像坐标系下，得到作为预览图像的人脸图像之后产生显示预览图像的指令，并且发送给手机100的智能门锁应用128。
196.手机100的智能门锁应用128响应于接收到的显示预览图像的指令，显示出人脸预览图像，并且提示用户调整人脸位置。例如，手机100显示出如图9(d)所示的预览界面，其中包括人脸预览画面104、人脸预览画面104中的人脸图像109以及人脸预览画面104下方的提示信息119。人脸预览画面104中的人脸图像109即为转换到tof图像坐标系下的猫眼摄像头201拍摄的人脸图像。
197.其中，提示信息119可以为用于提示用户将人脸调整到最佳位置的文字提示，例如提示信息119可以为上述前述图4(c)所示的“请向左移动脸部”、“请向右移动脸部”的文字提示，用户根据图4(c)和图4(d)中的提示信息移动脸部之后，将人脸调整到最佳位置，例如，用户将人脸调整到手机100显示的人脸预览图像的中心位置，或者用户将人脸调整到靠近前述预览图像的中心位置。可以理解的是，由于手机100显示的人脸预览图像是转换到tof图像坐标系下的猫眼摄像头201拍摄的人脸图像，因此，手机100显示的人脸预览图像中人脸处于预览图像的中心位置时，人脸也位于智能门锁200的tof摄像头202的视场中心。在一些实施例中，当手机100确定出人脸的位置靠近显示的人脸预览图像的中心位置时，手机100不再显示上述提示用户移动人脸位置的提示信息。
198.步骤805：手机100向智能门锁200发送采集3d人脸图像的指令。
199.例如，在一些实施例中，当手机100的处理模块116确定用户的人脸调整到最佳位置之后，产生采集3d人脸图像的指令。
200.例如，在一些实施例中，手机100的处理模块116对转换得到的tof图像坐标系下的猫眼摄像头200拍摄的图像进行特征提取，确定出人脸处于tof图像坐标系下的猫眼摄像头200拍摄的图像的中心位置，则确定用户的人脸调整到最佳位置。当确定人脸调整到最佳位置之后，即表明人脸在tof摄像头202的视场中处于最佳位置，tof摄像头202在该最佳位置处采集的3d人脸图像可以获取有效的人脸特征信息，从而有效地进行人脸识别。
201.在一些实施例中，手机100的处理模块116将产生的采集3d人脸图像的指令发送给智能门锁200。例如，在一些实施例中，手机100将处理模块116产生的采集3d人脸图像的指令通过手机的传输模块115，发送至智能门锁200的传输模块211，然后智能门锁200的传输模块211再将接收到的采集3d人脸图像的指令发送给智能门锁200的处理模块212。智能门锁200的处理模块212响应于接收到的采集3d人脸图像的指令，产生控制tof摄像头202采集3d人脸图像的控制指令，并且发送给智能门锁200的tof摄像头202
202.步骤806：智能门锁200接收到采集3d人脸图像的指令后，控制tof摄像头202采集3d人脸图像。
203.例如，在一些实施例中，智能门锁200的tof摄像头202响应于接收到的采集3d人脸图像的控制指令，采集3d人脸图像。
204.在一些实施例中，为了使录入的人脸信息更加完整，以及为了提升人脸识别的安全性，在tof摄像头202采集3d人脸图像的过程中，在手机100的预览界面中实时显示出人脸预览画面104的同时，手机100还可以生成用于提示用户调整人脸朝向或者调整面部表情、动作的提示信息。例如，手机100生成用于提示拍摄用户的正面、左侧面、右侧面、仰视、俯视、张嘴、闭嘴、眨眼的多个角度的人脸图像的提示信息。例如，手机100在人脸预览画面104下方分别显示出如图9(e)至图9(h)中所示的“请低头”、“请抬头”、“请将脸转向右边”以及“请将脸转向左边”的提示信息119。
205.步骤807：智能门锁200在确定出人脸录入成功的情况下，生成人脸录入成功的通知消息。
206.例如，在一些实施例中，在智能门锁200将tof摄像头202采集的3d人脸图像进行特征提取、对图像质量进行评估，在智能门锁200确定出tof摄像头202采集的3d人脸图像中人脸的各个角度的特征信息能够满足预设标准的情况下，确定人脸录入成功，生成人脸录入
成功的通知消息。例如，智能门锁200的处理模块212对tof摄像头202采集的3d人脸图像进行特征信息的提取，当智能门锁200的处理模块212在确定提取出了用户的正面、左侧面、右侧面、抬头、低头等不同角度下的完整的眼睛、嘴巴、鼻子、眉毛等面部五官特征，并且这些面部五官特征之间的比例满足预设的比例阈值的情况下，确定人脸录入成功，并且生成人脸录入成功的通知消息。
207.步骤808：智能门锁200向手机100发送人脸录入成功的通知消息。
208.例如，在一些实施例中，智能门锁200的处理模块212在生成人脸录入成功的通知消息之后，将该通知消息通过智能门锁200的传输模块211发送给手机100。
209.步骤809：手机100根据接收到的人脸录入成功的通知消息，提示用户人脸录入成功。
210.例如，在一些实施例中，手机100经由传输模块115接收到智能门锁200发送的人脸录入成功的通知消息之后，手机100的处理模块116基于接收到的人脸录入成功的消息产生控制指令，并且将产生的控制指令发送给手机100的智能门锁应用128，手机100的智能门锁应用128根据接收到的控制指令，提示用户人脸录入成功。
211.例如，在图9(i)所示的手机100的界面中显示出表示人脸录入成功的提示信息126，其中包括一“对号”符号和一“人脸录入成功”的文字提示，用户点击“完成”按钮127之后，则确定智能门锁200完成人脸录入。
212.从以上关于图8的介绍中可知，手机100通过预设的图像处理方法将从智能门锁200接收到的猫眼摄像头201拍摄的人脸图像，转换到tof图像坐标系下，从而使手机100显示出的人脸预览图像能够准确反映出人脸在tof摄像头202的视场中的位置、角度、表情等情况，从而可以使用户能够通过手机100的人脸预览界面和提示信息及时调整面部的位置、角度、表情等，进而使智能门锁200的tof摄像头202能够快速抓取到有效的人脸图像(即多个角度的包含完整的人脸五官的人脸图像)，提升人脸录入的效率和准确度，提升用户体验。
213.下面将对步骤803中涉及的手机100通过预设的图像处理方法将从智能门锁200接收到的猫眼摄像头201拍摄的图像，转换到tof图像坐标系下的过程进行详细介绍。
214.图11(a)根据本技术的一些实施例，示出了手机100将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的图像转换到tof图像坐标系下的处理过程。参考图11(a)，前述预设的图像处理方法具体为包括以下步骤：
215.步骤1101：手机100获取猫眼空间坐标系和tof空间坐标系之间的映射关系(记作“第一映射关系”)、猫眼空间坐标系和猫眼图像坐标系之间的映射关系(记作“第二映射关系”)以及tof空间坐标系和tof图像坐标系之间的映射关系(记作“第三映射关系”)。
216.在一些实现方式中，猫眼空间坐标系是指以猫眼摄像头201的镜头中心为坐标原点的三维空间坐标系；tof空间坐标系是指以tof摄像头202的镜头中心为坐标原点的三维空间坐标系；猫眼图像坐标系是指以猫眼摄像头201的感光芯片的中心为坐标原点的二维的平面直角坐标系；tof图像坐标系是指以tof摄像头202的感光芯片的中心为坐标原点的二维的平面直角坐标系。
217.此外，假设a点为同时出现在猫眼摄像头201和tof摄像头202的视场中的三维空间中的一点，a点在猫眼空间坐标系下的三维坐标为：(x1、y1、z1)；a点在猫眼摄像头201拍摄
的图像中对应的像素点的二维坐标为：(x2、y2)；a点在tof空间坐标系下的三维坐标为：(x1’、y1’、z1’)；a点在tof摄像头202拍摄的图像中对应的像素点的二维坐标为：(x2’、y2’)。
218.则上述第一映射关系表征的是a点在猫眼空间坐标系下的三维坐标(x1、y1、z1)与a点在tof空间坐标系下的三维坐标(x1’、y1’、z1’)之间的映射关系。
219.上述第二映射关系表征的是a点在猫眼空间坐标系下的三维坐标(x1、y1、z1)与a点在猫眼摄像头201拍摄的图像中对应的像素点的二维坐标(x2、y2)之间的映射关系。
220.上述第三映射关系表征的是a点在tof空间坐标系下的三维坐标(x1’、y1’、z1’)与a点在tof摄像头202拍摄的图像中对应的像素点的二维坐标(x2’、y2’)之间的映射关系。
221.此外，需要说明的是，上述第一映射关系至第三映射关系可以在智能门锁200出厂之前，由研发人员采用相机标定算法标定出来，然后存储在智能门锁200的存储器中。智能门锁200在和手机100建立连接，采用手机100作为外接设备来显示人脸的预览图像时，可以将存储的上述第一映射关系至第三映射关系发送给手机100。或者，手机100通过下载安装智能门锁应用128获取上述第一映射关系至第三映射关系。
222.例如，在一些实施例中，在智能门锁200出厂之前，研发人员采用张正友标定算法通过标定板，例如单平面棋盘格，标定出猫眼摄像头201和tof摄像头202之间的上述第一映射关系，以及猫眼摄像头201自身的第二映射关系和tof摄像头202自身的第三映射关系。从而得到例如以下公式(1)中所示的猫眼空间坐标系和tof空间坐标系之间的第一映射关系、例如以下公式(2)中所示的猫眼空间坐标系和猫眼图像坐标系之间的第二映射关系，以及例如以下公式(3)中所示的tof空间坐标系和tof图像坐标系之间的第三映射关系：
[0223][0224][0225][0226]
上述公式(1)中各个符号的含义如下：
[0227]
xm：猫眼空间坐标系下的某点在标定板坐标下的三维坐标。
[0228]
x
t
：tof空间坐标系下某点(同上述xm涉及的某点)在标定板上坐标下的三维坐标。
[0229]
r：tof空间坐标系相对于猫眼空间坐标系的旋转矩阵，可通过双目标定算法得到。
[0230]
t：tof空间坐标系相对于猫眼空间坐标系的平移矩阵，可通过双目标定算法得到。
[0231]
公式(1)中的矩阵为猫眼摄像头201和tof摄像头之间的外参矩阵。
[0232]
上述公式(2)中各个符号的含义如下：
[0233]
um，vm：猫眼图像坐标下某点的像素坐标。
[0234]
zm：第一标定常量。
[0235]
矩阵：为猫眼空间坐标系到标定板坐标系的外参矩阵；
[0236]rm
，tm：猫眼摄像头201的相机外参，分别为标定板坐标系相对于猫眼空间坐标系的旋转矩阵和平移矩阵，可通过双目标定算法得到。
[0237]
xm，ym，zm：为公式(1)中xm的具体坐标值，即xm的坐标可以表示为：(xm，ym，zm)，表征猫眼空间坐标系下某点在标定板坐标系下的三维坐标。
[0238]
矩阵：为猫眼摄像头201自身的相机内参矩阵，其中的参数f
mx
，f
my
为猫眼摄像头201的焦距参数，u
m0
，v
m0
为猫眼摄像头201拍摄的图像中的二维像素坐标的坐标原点，可以通过双目标定算法得到。
[0239]
上述公式(3)中各个符号的含义如下：
[0240]ut
，v
t
：tof图像坐标系下某点的像素坐标。
[0241]zt
：第二标定常量。
[0242]
矩阵：为tof摄像头202自身的相机内参矩阵，f
tx
，f
ty
为tof摄像头202的焦距参数，u
t0
，v
t0
为tof摄像头202拍摄的图像中的二维像素坐标的坐标原点，可以通过双目标定算法得到。
[0243]rt
，t
t
：tof摄像头202的相机外参，分别为标定板坐标系相对tof,空间坐标系的旋转矩阵和平移矩阵，可通过双目标定算法得到。
[0244]
x
t
，y
t
，z
t
：为公式(1)中的x
t
的具体坐标值，即x
t
的坐标可以表示为：(x
t
，y
t
，z
t
)，表征tof空间坐标系下某点在标定板坐标系下的三维坐标。
[0245]
矩阵：为tof空间坐标系到标定板坐标系的外参矩阵。
[0246]
步骤1102：手机100基于获取的猫眼空间坐标系和tof空间坐标系之间的第一映射关系、猫眼空间坐标系和猫眼图像坐标系之间的第二映射关系以及tof空间坐标系和tof图像坐标系之间的第三映射关系，确定出猫眼图像坐标系和tof图像坐标系之间的映射关系(记为“第四映射关系”)。
[0247]
例如，在一些实施例中，手机100可以根据从智能门锁200获取的上述公式(1)中示出的猫眼空间坐标系和tof空间坐标系之间的第一映射关系、上述公式(2)中示出的猫眼空间坐标系和猫眼图像坐标系之间的第二映射关系以及tof空间坐标系，以及上述公式(3)示出的tof空间坐标系和tof图像坐标系之间的第三映射关系，对上述公式(1)、公式(2)以及公式(3)进行解方程计算，即可确定出如公式(4)示出的猫眼图像坐标系和tof图像坐标系之间的第四映射关系：
[0248][0249]
上述公式(4)中各个符号的含义如下：
[0250]ut
，v
t
为tof图像坐标系下某点的像素坐标；
[0251]
um，vm为猫眼图像坐标系下某点的像素坐标；
[0252]
t1，t2：猫眼图像坐标系相对于tof图像坐标系的平移转换参数。
[0253]
矩阵：为猫眼图像坐标系下某点的像素坐标相对于tof图像坐标系下同一点的像素坐标的变换矩阵。
[0254]
步骤1103：手机100基于确定出的猫眼图像坐标系和tof图像坐标系之间的映射关系，将猫眼摄像头201拍摄的人脸图像中各像素点的坐标转到tof图像坐标系下。
[0255]
例如，手机100通过上述公式(4)所示的转换关系，将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的人脸图像中的各像素点的坐标转换到tof图像坐标系(以tof摄像头202的感光芯片的中心为坐标原点的二维的平面直角坐标系)下。
[0256]
如此，可以使得手机100将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的图像，转换到tof图像坐标系下，从而使手机100显示出的人脸预览图像能够准确反映出人脸在tof摄像头202的视场中的位置、角度、表情等情况，从而可以使用户能够通过手机100的人脸预览界面和提示信息及时调整面部的位置、角度、表情等情况，进而使智能门锁200的tof摄像头202能够快速抓取到有效的人脸图像，提高人脸录入的效率和准确度，提升用户体验。
[0257]
可以理解的是，上述公式(4)只是手机100将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的人脸图像中的各个像素点转换到tof图像坐标系下的一个转换的示例，具体如何转换，研发人员可以根据实际情况确定，本技术对此不作限定。
[0258]
在其他一些实施例中，上述猫眼图像坐标系和tof图像坐标系之间的映射关系(也即第四映射关系)可以预先计算好之后存储到智能门锁200的存储器中。智能门锁200在和手机100建立连接，采用手机100作为外接设备来显示人脸的预览图像时，可以将存储的上述第四映射关系发送给手机100。或者，手机100通过下载安装智能门锁应用128获取上述第四映射关系。
[0259]
下面具体结合图11(b),对步骤803中涉及的手机100通过预设的图像处理方法将从智能门锁200接收到的猫眼摄像头201拍摄的图像，转换到tof图像坐标系下的另一种实现过程进行详细介绍。
[0260]
图11(b)根据本技术的一些实施例，示出了手机100将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的图像转换到tof图像坐标系下的另一种处理过程。参考图11(b)，前述预设的图像处理方法具体为包括以下步骤：
[0261]
步骤1101'：手机100获取猫眼图像坐标系和tof图像坐标系之间的映射关系。
[0262]
在一些实施例中，在智能门锁200出厂之前，研发人员可以采用张正友标定算法通过标定板，例如单平面棋盘格，标定出猫眼空间坐标系和tof空间坐标系之间的映射关系(记作“第一映射关系”)、猫眼空间坐标系和猫眼图像坐标系之间的映射关系(记作“第二映射关系”)以及tof空间坐标系和tof图像坐标系之间的映射关系(记作“第三映射关系”)。从而得到例如上述公式(1)中所示的猫眼空间坐标系和tof空间坐标系之间的第一映射关系、例如上述公式(2)中所示的猫眼空间坐标系和猫眼图像坐标系之间的第二映射关系，以及
例如上述公式(3)中所示的tof空间坐标系和tof图像坐标系之间的第三映射关系。再基于标定出的上述第一映射关系、第二映射关系以及第三映射关系，计算出如上述公式(4)所示的猫眼图像坐标系和tof图像坐标系之间的映射关系(第四映射关系)，然后将计算出的第四映射关系存储到智能门锁200的存储器中。当智能门锁200在和手机100建立连接，采用手机100作为外接设备来显示人脸的预览图像时，可以将存储的上述第四映射关系发送给手机100。或者，手机100通过下载安装智能门锁应用128获取上述第四映射关系。
[0263]
其中，第一映射关系至第四映射关系的具体含义，以及具体的计算方法请参阅图11(a)中的对应的描述，在此不再赘述。
[0264]
步骤1102'：手机100基于获取的猫眼图像坐标系和tof图像坐标系之间的映射关系(也即第四映射关系)，将猫眼摄像头201拍摄的人脸图像中各像素点的坐标转到tof图像坐标系下。
[0265]
例如，手机100通过上述公式(4)所示的转换关系，将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的人脸图像中的各像素点的坐标转换到tof图像坐标系(以tof摄像头202的感光芯片的中心为坐标原点的二维的平面直角坐标系)下。
[0266]
如此，可以使得手机100将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的图像，转换到tof图像坐标系下，从而使手机100显示出的人脸预览图像能够准确反映出人脸在tof摄像头202的视场中的位置、角度、表情等情况，从而可以使用户能够通过手机100的人脸预览界面和提示信息及时调整面部的位置、角度、表情等情况，进而使智能门锁200的tof摄像头202能够快速抓取到有效的人脸图像，提高人脸录入的效率和准确度，提升用户体验。
[0267]
实施例二
[0268]
以上图8所示的实施例中，将猫眼摄像头201拍摄的用于人脸预览的人脸图像中的各个像素点转换到tof图像坐标系下的处理过程是由手机100来完成的。可以理解的是，该处理过程还可以由智能门锁200自身来完成。
[0269]
下面将继续结合图7所示的系统结构图，以电子设备100为手机为例，对本技术提供的技术方案的另一种实施例进行介绍。
[0270]
具体地，图12示出了由智能门锁200自身来实现将猫眼摄像头201拍摄的用于人脸预览的人脸图像中的各个像素点到tof图像坐标系下的转换的技术方案中的交互图。步骤12所示的交互图与实施例一中图8所示的交互的区别仅在于：图12中的步骤802'和步骤803'分别与图8中的步骤802、步骤803不同，图12中的其他步骤与图8均相同。因此，为了避免重复，以下将仅对图12中的步骤802'和步骤803'进行介绍，其他步骤请参考以上关于图8所示的交互图的文字描述，在此不再赘述。图12中的步骤802'和步骤803'的具体内容分别如下：
[0271]
步骤802'：智能门锁200将猫眼摄像头201采集的人脸图像按照预设图像处理方法，转换到tof图像坐标系下，得到作为预览图像的人脸图像。
[0272]
例如，在一些实施例中，智能门锁200的猫眼摄像头201将采集的人脸图像发送至智能门锁200的处理模块212。智能门锁200的处理模块212将接收到的猫眼摄像头201采集的人脸图像按照预设图像处理方法，转换到tof图像坐标系下。
[0273]
例如，在一些实施例中，智能门锁200的处理模块212接收到猫眼摄像头201采集的
人脸图像之后，按照如图11(a)所示的方法，基于从智能门锁200的存储器中获取的上述第一映射关系、第二映射关系以及第三映射关系确定出猫眼图像坐标系和tof图像坐标系之间的映射关系(也即第四映射关系)，然后按照确定出的例如上述公式(4)所示的第四映射关系，将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的人脸图像中的各个像素点转换到tof图像坐标系下。
[0274]
在一些实施例中，智能门锁200的处理模块212接收到猫眼摄像头201采集的人脸图像之后，按照如图11(b)所示的方法，按照从智能门锁200的存储器中获取的上述猫眼图像坐标系和tof图像坐标系之间的映射关系(也即第四映射关系)，将从智能门锁200接收到的猫眼摄像头201拍摄的用于人脸预览的人脸图像中的各个像素点转换到tof图像坐标系下。具体可参阅上述实施例一中的相关描述，在此不再赘述。
[0275]
步骤803'：智能门锁200向手机100发送作为预览图像的人脸图像。
[0276]
例如，在一些实施例中，智能门锁200的处理模块212经由智能门锁200的传输模块211，将转换到tof图像坐标系下的人脸图像发送给手机100的传输模块115，之后手机100的传输模块115再将接收到的转换到tof图像坐标系下的人脸图像发送给手机100的处理模块。手机100的处理模块116接收到转换后的人脸图像之后，产生显示预览图像的控制指令，用于控制手机100的智能门锁应用128显示出预览图像。如此，可以使手机100显示出的人脸预览图像能够准确反映出人脸在tof摄像头202的视场中的位置、角度、表情等情况，从而可以使用户能够通过手机100的人脸预览界面和提示信息及时调整面部的位置、角度、表情等情况，进而使智能门锁200的tof摄像头202能够快速抓取到有效的人脸图像，提高人脸录入效率和准确度，提升用户体验。
[0277]
下面将结合附图13对以上各实施例中涉及的手机100进行详细介绍。具体地，图13根据本技术的实施例，示出了一种手机100的硬件结构示意图。
[0278]
在图13中，相似的部件具有同样的附图标记。如图13所示，手机100可以包括处理器110、电源模块140、存储器180、摄像头170、移动通信模块130、无线通信模块120、传感器模块190、音频模块150、接口模块160以及按键101、显示屏102等。
[0279]
可以理解的是，本发明实施例示意的结构并不构成对手机100的具体限定。在本技术另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0280]
处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)、数字信号处理器(digital signal processor，dsp)、微处理器(micro-programmed control unit，mcu)、人工智能(artificial intelligence，ai)处理器或可编程逻辑器件(field programmable gate array，fpga)等的处理模块或处理电路。例如，在本技术的一些实例中，处理器110可以执行如图11(a)或图11(b)所示的方法，将从智能门锁200接收到的猫眼摄像头201拍摄的人脸图像转换到tof图像坐标系下，并根据转换后的tof坐标下的图像产生提示信息，提示用户将面部调整到合适的位置。
[0281]
存储器180可用于存储数据、软件程序以及模块。在申请的一些实施例中，存储器180可用于存储图11(a)或图11(b)所示的方法的软件程序，以供处理器110运行该软件程
序，将从智能门锁200接收到的猫眼摄像头201拍摄的人脸图像转换到tof图像坐标系下，并根据转换后的tof坐标下的图像产生提示信息，提示用户将面部调整到合适的位置。并且存储器180还可以用于存储从智能门锁200接收到的猫眼摄像头201拍摄的人脸图像，以及从智能门锁200接收到的猫眼摄像头201和tof摄像头202之间的三维坐标点之间的关系、猫眼摄像头201和tof摄像头202各自的三维坐标点和二维坐标点之间的关系等。
[0282]
电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。
[0283]
移动通信模块130可以包括但不限于天线、功率放大器、滤波器、低噪声放大器(low noise amplify，lna)等。移动通信模块130可以提供应用在手机100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块130可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块130的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块130至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0284]
无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在手机100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。在本技术的一些实施例中，手机100可以通过无线通信技术与智能门锁200进行通信。
[0285]
在一些实施例中，手机100的移动通信模块130和无线通信模块120也可以位于同一模块中。
[0286]
摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给isp(image signal processor，图像信号处理器)转换成数字图像信号。手机100可以通过isp，摄像头170，视频编解码器，gpu(graphic processing unit，图形处理器)，显示屏102以及应用处理器等实现拍摄功能。
[0287]
显示屏102包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light-emitting diode，amoled)，柔性发光二极管(flex light-emitting diode，fled)，mini led，micro led，micro oled，量子点发光二极管(quantum dot light-emitting diodes，qled)等。例如，显示屏102用于显示人脸的预览画面、提示用户调整面部位置、姿态的文字提示、图片提示以及提示用户人脸录入成功的符号提示、文字提示等。
[0288]
传感器模块190可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
[0289]
音频模块150可以将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中，音频模块150可以设置于处理器110中，或将音频模块150的部分功能模块设置于处理器110中。在一些实施例中，音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。例如，在本技术的一些实施例中，音频模块150用于播放手机100的语音提示信息，提示用户“请抬头”、“请低头”、“请将脸部转向左边”、“请将脸部转向右边”、“录入成功”等语音提示消息。
[0290]
接口模块160包括外部存储器接口、通用串行总线(universal serial bus，usb)接口及用户标识模块(subscriber identification module，sim)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如micro sd卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于手机100和其他手机进行通信。用户标识模块卡接口用于与安装至手机100的sim卡进行通信，例如读取sim卡中存储的电话号码，或将电话号码写入sim卡中。
[0291]
在一些实施例中，手机100还包括按键、马达以及指示器等。其中，按键可以包括音量键、开/关机键等。马达用于使手机100产生振动效果，例如在用户的手机100和智能门锁200连接成功时产生振动，还可以在智能门锁200完成人脸录入时产生振动，以提示用户人脸录入成功。指示器可以包括激光指示器、射频指示器、led指示器等。
[0292]
本技术公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本技术的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
[0293]
可将程序代码应用于输入指令，以执行本技术描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本技术的目的，处理系统包括具有诸如例如数字信号处理器(digital signal processor，dsp)、微控制器、专用集成电路(application specific integrated circuit，asic)或微处理器之类的处理器的任何系统。
[0294]
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本技术中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
[0295]
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如计算机)可读的形式存储或传输电子指令或信息
的任何类型的机器可读介质。
[0296]
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
[0297]
需要说明的是，本技术各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本技术所提出的技术问题的关键。此外，为了突出本技术的创新部分，本技术上述各设备实施例并没有将与解决本技术所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
[0298]
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0299]
虽然通过参照本技术的某些优选实施例，已经对本技术进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。