一种对焦的方法及相关设备与流程

1.本技术涉及终端技术领域，尤其涉及一种对焦的方法及相关设备。


背景技术：

2.随着智能终端设备的普及，人们在日常生活中经常使用智能终端设备进行照片或视频的拍摄。智能终端设备，如手机、平板电脑等，用户在使用这些设备拍摄照片或视频时，可以在设备显示的预览画面上触摸选择对焦点，设备可以基于用户选择的对焦点的位置驱动音圈马达调整镜片的位置，即改变镜片与图像传感器之间的距离，使得焦平面落在图像传感器上，实现对焦，从而拍摄出对焦点区域清晰的图像。
3.然而，在用户单手握持智能终端设备时，触摸选择对焦点的对焦方式存在操作不便的问题。


技术实现要素：

4.本技术实施例公开了一种对焦的方法及相关设备，可以根据用户注意力点自动对焦，减少用户操作，提高用户体验。
5.第一方面，本技术实施例公开在一种对焦的方法，包括：响应于用户的第一操作，电子设备开始拍摄，显示第一界面，在所述第一界面显示通过摄像头采集到的预览画面；所述电子设备在所述第一界面显示第一预览画面，所述第一预览画面为所述摄像头以满足预设条件的注意力点为对焦点采集的预览画面，所述注意力点为用户的视线落在所述第一界面的位置点。
6.其中，第一操作可以为用户点击屏幕的相机应用，用于开启拍摄的操作。
7.在本技术实施例中，在用户握持电子设备进行拍照时，电子设备也可以基于获取到的用户在预览画面中的注意力点的位置进行自动对焦，能够准确对焦到用户的注意力点，操作简便，可以提高用户体验。
8.在一种可能的实现方式中，所述电子设备在所述第一界面显示第一预览画面，具体包括：所述电子设备通过前置摄像头获取目标图像，所述目标图像包括用户的眼部的图像；所述电子设备基于所述目标图像确定用户的注意力点；在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面；在所述第一界面显示所述第一预览画面。这样，电子设备通过前置摄像头实时获取用户的目标图像并确定注意力点的位置，提供了一个稳定的对焦点的输入源，电子设备能够连续对焦，从而持续获得用户的感兴趣区域清晰的图像，从而可以提高用户体验。
9.在一种可能的实现方式中，所述方法还包括：所述电子设备检测到开启注意力点对焦功能的第二操作；响应于所述第二操作，所述电子设备在所述第一界面显示所述第一预览画面。
10.其中，第二操作，可以是开启注意力对焦功能的触发操作，还可以是开启注意力对
焦功能的语音指令，具体可以参考图4a
‑
图4c的相关描述。
11.在一种可能的实现方式中，所述电子设备基于所述目标图像确定用户的注意力点，具体包括：在基于所述目标图像检测到用户的注意力点时，所述电子设备确定检测到注意力点的持续时间；所述在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在所述注意力点的持续时间不小于第一时长阈值时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面。这样，当用户的视线稳定到某一注意力点时，可以对这一注意力点进行对焦，从而可以提高预览画面的稳定性。
12.其中，检测到注意力点的持续时间可以是用户针对某一注意力点的注视时长。具体描述可以参考图5a
‑
图5c的相关描述。
13.在一种可能的实现方式中，所述电子设备基于所述目标图像确定用户的注意力点，具体包括：在基于所述目标图像检测到用户的注意力点时，所述电子设备确定检测到注意力点的持续时间，以及检测不到注意力点的间断时间；所述在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在所述检测到注意力点的持续时间不小于第二时长阈值，且所述检测不到注意力点的间断时间小于第三时长阈值时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面。这样，当用户的视线不稳定时，比如，用户向其他地方瞟了一眼，又看回来时，预览画面的对焦点可以保持不变，从而可以提高画面的稳定性，以提高用户体验。
14.其中，所述检测到注意力点的持续时间可以为用户针对第一注意力点的注视时长，所述检测不到注意力点的间断时间可以为用户视线离开第一注意力点的时长。具体描述可以参考图5d的相关描述。
15.在一种可能的实现方式中，所述电子设备基于所述目标图像确定用户的注意力点，具体包括：所述电子设备基于所述目标图像确定用户的注意力点，并检测用户动作；所述在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：所述检测到目标图像中用户动作为设定动作时，以所述用户的当前注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，所述设定动作包括瞳孔放大、“点头”和“ok”手势的一种或多种。这样，电子设备可以感知用户的动作，表明用户对当前的注意力的物体点极为关注，获得的图像更加符合用户的意图，并且无需用户手动或其他操作，提高了用户体验。
16.其中，目标图像可以包括用户的眼部，还可以包括用户的面部，还可以包括用户的身体部分。
17.在一种可能的实现方式中，所述电子设备基于所述目标图像确定用户的注意力点，具体包括：在第一时刻，所述电子设备基于所述目标图像确定检测到所述用户在第一注意力点的第一持续时间；所述在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在检测到所述第一持续时间大于第四时长阈值时，以所述第一注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面；所述方法还包括：在第二时
刻，所述电子设备基于所述目标图像确定检测到所述用户在第二注意力点的第二持续时间，所述第一注意力点与第二注意力点为不同位置的注意力点，所述第二时刻在第一时刻之后；在检测到所述第二持续时间大于第四时长阈值时，以所述第二注意力点为对焦点，再次调整所述摄像头的焦距，通过所述摄像头采集所述第二预览画面。这样，在用户的注意力点从一个位置转移到其相邻的位置上时，每个对焦位置每次只需调整较小的马达距离，实现了平滑对焦，在提高了图像的成像质量的同时节省了电子设备的资源消耗。
18.其中，所述第一持续时间可以为用户针对第一注意力点的注视时长，所述第二持续时间可以为用户针对第二注意力点的注视时长。第一注意力点和第二注意力点用户的视线先后注意到的位置点，对应不同的景物。具体描述可以参考图6a
‑
图6d的相关描述。
19.在一种可能的实现方式中，所述电子设备基于所述目标图像确定用户的注意力点，具体包括：所述电子设备基于所述目标图像确定的所述用户的注意力点的位置；在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在所述用户的注意力点的位置处于目标画面中的多个物体的交界位置的情况下，所述电子设备基于所述用户声音信息匹配所述目标画面中的物体；当所述电子设备匹配到第一对焦物时，以所述第一对焦物为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，所述第一对焦物为所述目标画面中的多个物体中的一个景物或一个人。这样，可以更加准确地确定用户关注的物体，并对这一物体进行对焦，提高对焦的准确性。
20.其中，具体描述可以参考电子设备结合用户的语音信息进行对焦的实施方式的相关描述。
21.在一种可能的实现方式中，所述电子设备基于所述目标图像确定用户的注意力点，具体包括：所述电子设备基于所述目标图像确定的所述用户的注意力点的位置，以及所述注意力点的位置物体的种类；在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在所述注意力点处于目标画面中的多个种类的物体的交界位置的情况下，以上一次对焦物种类相同的对焦物为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面。这样，可以更加准确地确定用户关注的物体，并对这一物体进行对焦，提高对焦的准确性。
22.其中，具体描述可以参考电子设备基于上一次对焦的主体进行对焦的实施方式的相关描述。
23.在一种可能的实现方式中，所述第一预览画面包括对焦框，所述注意力点为所述对焦框的中心位置。这样，可以保证预览画面中对焦位置的准确性。
24.在一种可能的实现方式中，所述第一预览画面包括对焦框，所述注意力点的拍摄主体的中心为所述对焦框的中心位置。这样，可以保证预览画面中对焦位置的准确性。
25.在一种可能的实现方式中，所述电子设备基于所述目标图像确定用户的注意力点包括：
26.所述第一人的注意力点为p
g
，表示为：
27.p
g
＝o
e
+c
·
v
o
+λ
·
v
g
28.其中，λ为角膜中心oc与注意力点pg的模，表示为：
[0029][0030]
所述第一人的眼球结构参数中，包括：眼球中心o
e
，kappa角为实收和光轴的夹角，kappa角的水平分量α，kappa角垂直分量β，r为旋转参数，t为平移参数，为头部坐标系的坐标，v
s
为电子设备的显示屏所在平面的单位法向量；
[0031]
光轴单位向量vo的偏转角为vo为光轴单位向量，表示为：
[0032][0033]
vg为视轴单位向量，表示为：
[0034][0035]
第二方面，本技术实施例公开一种电子设备，包括：处理器、摄像头和触控屏。其中，所述处理器，用于响应于用户的第一操作，指示所述摄像头开始拍摄，指示所述触控屏显示第一界面，在所述第一界面显示通过摄像头采集到的预览画面；所述处理器，还用于指示所述触控屏在所述第一界面显示第一预览画面，所述第一预览画面为所述摄像头以满足预设条件的注意力点为对焦点采集的预览画面，所述注意力点为用户的视线落在所述第一界面的位置点。
[0036]
其中，第一操作可以为用户点击屏幕的相机应用，用于开启拍摄的操作。
[0037]
在本技术实施例中，在用户握持电子设备进行拍照时，电子设备也可以基于获取到的用户在预览画面中的注意力点的位置进行自动对焦，能够准确对焦到用户的注意力点，操作简便，可以提高用户体验。
[0038]
在一种可能的实现方式中，所述处理器指示所述触控屏显示第一界面显示第一预览画面，具体包括：所述处理器，用于通过前置摄像头获取目标图像，所述目标图像包括用户的眼部的图像；所述处理器，还用于基于所述目标图像确定用户的注意力点；在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面；在所述第一界面显示所述第一预览画面。这样，电子设备通过前置摄像头实时获取用户的目标图像并确定注意力点的位置，提供了一个稳定的对焦点的输入源，电子设备能够连续对焦，从而持续获得用户的感兴趣区域清晰的图像，从而可以提高用户体验。
[0039]
在一种可能的实现方式中，所述处理器，还用于检测到开启注意力点对焦功能的第二操作；所述处理器，还用于响应于所述第二操作，指示所述触控屏在所述第一界面显示所述第一预览画面。
[0040]
其中，第二操作，可以是开启注意力对焦功能的触发操作，还可以是开启注意力对焦功能的语音指令，具体可以参考图4a
‑
图4c的相关描述。
[0041]
在一种可能的实现方式中，所述处理器基于所述目标图像确定用户的注意力点，具体包括：在基于所述目标图像检测到用户的注意力点时，所述电子设备确定检测到注意力点的持续时间；所述在所述用户的注意力点满足所述预设条件时，以所述用户的注意力
点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在所述注意力点的持续时间不小于第一时长阈值时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面。这样，当用户的视线稳定到某一注意力点时，可以对这一注意力点进行对焦，从而可以提高预览画面的稳定性。
[0042]
其中，检测到注意力点的持续时间可以是用户针对某一注意力点的注视时长。具体描述可以参考图5a
‑
图5c的相关描述。
[0043]
在一种可能的实现方式中，所述处理器基于所述目标图像确定用户的注意力点，具体包括：在基于所述目标图像检测到用户的注意力点时，确定检测到注意力点的持续时间，以及检测不到注意力点的间断时间；所述在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在所述检测到注意力点的持续时间不小于第二时长阈值，且所述检测不到注意力点的间断时间小于第三时长阈值时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面。这样，当用户的视线不稳定时，比如，用户向其他地方瞟了一眼，又看回来时，预览画面的对焦点可以保持不变，从而可以提高画面的稳定性，以提高用户体验。
[0044]
其中，所述检测到注意力点的持续时间可以为用户针对第一注意力点的注视时长，所述检测不到注意力点的间断时间可以为用户视线离开第一注意力点的时长。具体描述可以参考图5d的相关描述。
[0045]
在一种可能的实现方式中，所述处理器基于所述目标图像确定用户的注意力点，具体包括：基于所述目标图像确定用户的注意力点，并检测用户动作；所述在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：所述检测到目标图像中用户动作为设定动作时，以所述用户的当前注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，所述设定动作包括瞳孔放大、“点头”和“ok”手势的一种或多种。这样，电子设备可以感知用户的动作，表明用户对当前的注意力点的物体极为关注，获得的图像更加符合用户的意图，并且无需用户手动或其他操作，提高了用户体验。
[0046]
其中，目标图像可以包括用户的眼部，还可以包括用户的面部，还可以包括用户的身体部分。
[0047]
在一种可能的实现方式中，所述处理器基于所述目标图像确定用户的注意力点，具体包括：在第一时刻，基于所述目标图像确定检测到所述用户在第一注意力点的第一持续时间；所述在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在检测到所述第一持续时间大于第四时长阈值时，以所述第一注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面；所述处理器，还用于在第二时刻，基于所述目标图像确定检测到所述用户在第二注意力点的第二持续时间，所述第一注意力点与第二注意力点为不同位置的注意力点，所述第二时刻在第一时刻之后；在检测到所述第二持续时间大于第四时长阈值时，以所述第二注意力点为对焦点，再次调整所述摄像头的焦距，通过所述摄像头采集所述第二预览画面。这样，在用户的注意力点从一个位置转移到其相邻的位置上时，每个对焦位置每次只需调整较小的马达距离，实现了平滑对焦，在提高了图
像的成像质量的同时节省了电子设备的资源消耗。
[0048]
其中，所述第一持续时间可以为用户针对第一注意力点的注视时长，所述第二持续时间可以为用户针对第二注意力点的注视时长。第一注意力点和第二注意力点用户的视线先后注意到的位置点，对应不同的景物。具体描述可以参考图6a
‑
图6d的相关描述。
[0049]
在一种可能的实现方式中，所述处理器基于所述目标图像确定用户的注意力点，具体包括：基于所述目标图像确定的所述用户的注意力点的位置；在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在所述用户的注意力点的位置处于目标画面中的多个物体的交界位置的情况下，所述处理器基于所述用户声音信息匹配所述目标画面中的物体；当所述处理器匹配到第一对焦物时，以所述第一对焦物为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，所述第一对焦物为所述目标画面中的多个物体中的一个景物或一个人。这样，可以更加准确地确定用户关注的物体，并对这一物体进行对焦，提高对焦的准确性。
[0050]
其中，具体描述可以参考电子设备结合用户的语音信息进行对焦的实施方式的相关描述。
[0051]
在一种可能的实现方式中，所述处理器于所述目标图像确定用户的注意力点，具体包括：基于所述目标图像确定的所述用户的注意力点的位置，以及所述注意力点的位置物体的种类；在所述用户的注意力点满足所述预设条件时，以所述用户的注意力点为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面，具体包括：在所述注意力点处于目标画面中的多个种类的物体的交界位置的情况下，以上一次对焦物种类相同的对焦物为对焦点，调整所述摄像头的焦距，通过所述摄像头采集所述第一预览画面。这样，可以更加准确地确定用户关注的物体，并对这一物体进行对焦，提高对焦的准确性。
[0052]
其中，具体描述可以参考电子设备基于上一次对焦的主体进行对焦的实施方式的相关描述。
[0053]
在一种可能的实现方式中，所述第一预览画面包括对焦框，所述注意力点为所述对焦框的中心位置。这样，可以保证预览画面中对焦位置的准确性。
[0054]
在一种可能的实现方式中，所述第一预览画面包括对焦框，所述注意力点的拍摄主体的中心为所述对焦框的中心位置。这样，可以保证预览画面中对焦位置的准确性。
[0055]
在一种可能的实现方式中，所述电子设备基于所述目标图像确定用户的注意力点包括：
[0056]
所述第一人的注意力点为p
g
，表示为：
[0057]
p
g
＝o
e
+c
·
v
o
+λ
·
v
g
[0058]
其中，λ为角膜中心o
c
与注意力点p
g
的模，表示为：
[0059][0060]
所述第一人的眼球结构参数中，包括：眼球中心o
e
，kappa角为实收和光轴的夹角，kappa角的水平分量α，kappa角垂直分量β，r为旋转参数，t为平移参数，为头部坐标系的坐标，v
s
为电子设备的显示屏所在平面的单位法向量；
[0061]
光轴单位向量v
o
的偏转角为v
o
为光轴单位向量，表示为：
[0062][0063]
v
g
为视轴单位向量，表示为：
[0064][0065]
第三方面，本技术提供了一种电子设备，包括触控屏、摄像头、一个或多个处理器和一个或多个存储器。该一个或多个处理器与触控屏、摄像头、以及一个或多个存储器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述任一方面任一项可能的实现方式中的对焦的方法。
[0066]
第四方面，本技术提供了一种电子设备，包括：一个或多个功能模块。一个或多个功能模块用于执行上述任一方面任一项可能的实现方式中的对焦的方法。
[0067]
第五方面，本技术实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得上述装置执行上述任一方面任一项可能的实现方式中的对焦的方法。
[0068]
第六方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的对焦的方法。
附图说明
[0069]
图1a是本技术实施例提供的一种眼球结构模型的剖面示意图；
[0070]
图1b是本技术实施例提供的一种对焦方法的应用场景示意图；
[0071]
图2a、图2b、图3、图4a
‑
图4g、图5a
‑
图5e、图6a
‑
图6g、图7a
‑
图7c、图8a、图8b是本技术实施例提供的一些用户界面的示意图；
[0072]
图9是本技术实施例提供的一种对焦方法的流程示意图；
[0073]
图10是本技术实施例提供的一种3d眼睛模型的示意图；
[0074]
图11是本技术实施例提供的一种头部坐标系向世界坐标系转换的示意图；
[0075]
图12是本技术实施例提供的一种视轴和光轴的关系示意图；
[0076]
图13a
‑
图13c是本技术实施例提供的一些用户界面的示意图；
[0077]
图14是本技术实施例提供的一种电子设备100的结构示意图。
具体实施方式
[0078]
本技术以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本技术中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
[0079]
下面首先对本技术实施例涉及的术语进行解释。
[0080]
(1)对焦，通过照相机对焦机构改变镜片和成像面(图像传感器)的距离，使被拍物成像清晰的过程就是对焦。
[0081]
(2)手机的自动对焦，自动对焦是利用物体光反射的原理，将反射的光被手机中的相机上的图像传感器(ccd或cmos)接收，得到原始图像，通过对原始图像计算处理，带动电动对焦装置进行对焦的方式叫自动对焦。本质上是集成在手机isp(图像信号处理器)中的一套数据计算方法。当取景器捕捉到最原始的图像后，这些图像数据会被当作原始资料传送至isp中，此时isp便会对图像数据进行分析，得到需要调整镜片的距离，进而驱动音圈马达进行调整，使得图像清晰——这一过程反映在手机使用者眼中的，便是自动对焦过程。其中，在手机的自动对焦中，镜片被锁在音圈马达中，驱动音圈马达可以改变镜片的位置。
[0082]
其中，手机的自动对焦的实现方式包括三种：相位对焦、反差对焦和激光对焦，下面分别介绍三种自动对焦的方式。
[0083]
a、相位对焦，是在感光元件上先预留一些遮蔽像素点，专门用来进行相位检测，通过像素之间的距离及其变化等来确定镜片相对于焦平面的偏移量，从而根据该偏移量调整镜片位置实现对焦。相位对焦的原理是在感光元件(如图像传感器)上设置相差检测像素点，相差检测像素点为遮住左边一半或者右边一半的像素点，可以对场景中的物体进行光量等信息的检测。相差为左右两边的像素点接收到的光信号之间的相位差，电子设备通过相差检测像素点中左右两侧分别获得的图像计算相关值，得到一个对焦函数，使得相差和偏移量为一一对应的关系。
[0084]
b、反差对焦，是假设对焦成功后，相邻像素点的对比度最大，基于这种假设，在聚焦过程中确定一个对焦点，将该对焦点与相邻像素点的对比度进行判断，反复移动音圈马达后得到一个局部梯度最大值，完成对焦。
[0085]
c、激光对焦，电子设备通过红外激光传感器，向被拍摄的主体(对焦主体)发射红外激光，当激光到达对焦主体时就会原路返回，电子设备根据红外激光往返的时间计算电子设备距对焦主体的距离，进一步地，电子设备基于该距离驱动音圈马达调整镜片的位置。
[0086]
(3)音圈马达，主要由线圈，磁铁组和弹片构成，线圈通过上下两个弹片固定在磁铁组内，当给线圈通电时，线圈会产生磁场，线圈磁场和磁石组相互作用，线圈会向上移动，而锁在线圈里的镜片便一起移动，当断电时，线圈在弹片弹力下返回，这样就实现了自动对焦功能。
[0087]
由于本技术实施例涉及应用眼球结构的相关参数，下面介绍一种眼球结构模型。
[0088]
(4)眼球结构模型
[0089]
图1a为本技术实施例提供的一种眼球结构模型的剖面示意图，如图1a所示，眼球包括角膜1、虹膜2、瞳孔3、晶状体4、视网膜5、角膜中心6、眼球中心7，其中：
[0090]
角膜1是眼球前部的透明部分，是光线进入眼球的第一道关口，角膜1外表面中央3mm左右为球形弧面，称为光学区，周边曲率半径逐渐增大，呈非球面形。在本技术实施例所提供的一种眼球结构模型中，将角膜1假设为球形弧面。
[0091]
虹膜2是一圆盘状膜，中央有一孔称瞳孔3。如果光线过强，虹膜2内的括约肌收缩，则瞳孔3缩小；光线变弱，虹膜2的开大肌收缩，瞳孔3变大。
[0092]
瞳孔3是动物或人眼睛内虹膜中心的小圆孔，为光线进入眼睛的通道。
[0093]
视网膜5是眼球的感光部位，外界物体成像在视网膜5上。
[0094]
下面介绍本技术实施例涉及的应用场景。
[0095]
请参阅图1b，图1b示出了本技术实施例提供的一种对焦方法涉及的应用场景的示意图。示例性的，用户打开电子设备100的相机应用程序，使用摄像头拍摄场景20，电子设备100显示如图1b所示的界面100。如图1b所示，界面100中可以包括预览画面101、菜单栏102、相册103、拍摄控件104、转换摄像头控件105。其中，菜单栏102中可以包括光圈、夜景、人像、拍照、录像、专业、更多等选项，用户可以根据自己的需求选择拍照模式。当用户选择的是“拍照”模式时，并且，用户希望预览画面101中的汽车106的所在的区域(感兴趣区域)的图像更加清晰，可以选择汽车106为对焦点，当电子设备接收到用户的选择对焦点的操作后，响应于该操作，通过对焦系统基于预览画面101中选择的对焦点进行对焦，使得感兴趣区域中的图像更加清晰。
[0096]
确定对焦点的是电子设备对焦过程中重要的一个步骤，准确的对焦点的位置信息可以提高拍摄图像的质量，满足用户的需求。在现有技术中可以通过以下的方式进行对焦点的确定和基于对焦点对焦：
[0097]
在现有技术的一些实现方式中，选择对焦点的操作可以是触摸操作。示例性的，如图2a所示，用户对预览画面中101的一个景物(如图中的汽车106)感兴趣，这时可以选择汽车107为对焦点，用户可以针对预览画面101中的汽车107所在的位置输入触摸操作。电子设备100接收到该触摸操作，响应于该操作，获取汽车107在预览画面中的位置信息。进一步地，电子设备100基于汽车107在预览画面中的位置信息进行对焦，获得汽车107所在区域的清晰的预览画面。上述一些实现方式，当用户单手握持电子设备100时，单手难以输入触摸操作，即无法在预览画面中选择对焦点，造成电子设备100无法准确对焦，从而预览画面101中的感兴趣区域中的图像不会更加清晰，这样，获取不到满足用户需求的图像，用户体验较差。在一些实施例中，电子设备还可以显示如图2b所示的界面200，如图2b所示，界面200中包括预览画面202，预览画面202中可以显示感兴趣区域201，其中，感兴趣区域框201可以是根据对焦点汽车106的位置确定的，可以用于指示用户的感兴趣的主体所在的区域，可以用如图2b所示的虚线框201，或其他形状的图形如矩形框、圆形框、三角形等形状来指示感兴趣区域。
[0098]
在现有技术的另一些实现方式中，电子设备100可以根据获取到的预览画面中的特定的主体的特征，来识别出特定的主体，以该特定的主体在预览画面中的位置为对焦点的位置，进而基于该对焦点所在的位置进行对焦。例如人脸对焦，电子设备100可以识别出预览画面中的人脸，以人脸在预览画面中的位置为对焦点的位置，进而基于该人脸在预览画面中的位置进行对焦，获得预览画面中人脸所在的区域清晰的图像。然而，在大多数的不同的拍摄场景中，人们感兴趣的主体大不相同，电子设备100能识别的主体种类有限，而且，在一些场景中，电子设备100对预览画面识别出的主体也有可能不是用户感兴趣的主体，因此，这样的方式不能确定出对焦点，从而也不能满足用户对拍摄的图像的要求，即用户感兴趣的主体所在的区域的图像清晰。
[0099]
针对以上现有技术的所未能解决的问题，本技术实施例提供了一种对焦方法，该方法包括：电子设备(例如，手机、平板电脑等)通过显示屏显示预览画面，该预览画面可以是电子设备通过后置摄像头或前置摄像头采集到的图像；电子设备可以检测到用户的第一操作；响应于第一操作，电子设备通过前置摄像头获取用户的目标图像；电子设备基于用户
的目标图像，确定出用户在电子设备显示的预览画面上的注意力点所在的位置，该注意力点所在的区域即为用户的感兴趣区域；电子设备基于该注意力点所在的位置，对采集到预览画面的摄像头进行对焦。这样，在用户单手握持电子设备进行拍照时，电子设备也可以基于获取到的用户在预览画面中的注意力点的位置进行对焦，操作简便。而且，电子设备通过前置摄像头实时获取用户的目标图像并确定注意力点的位置，提供了一个稳定的对焦点的输入源，电子设备能够连续对焦，从而持续获得用户的感兴趣区域清晰的图像。其中，第二操作用于触发注意力点对焦功能，目标图像为电子设备通过前置摄像头采集到的图像，可以为包括用户的面部、眼部的图像。
[0100]
下面结合附图介绍本技术实施例提供的一种对焦方法所涉及的用户界面。
[0101]
本技术实施例提供的一种对焦方法可以应用在图1b所示的拍摄场景中，该场景可以是使用电子设备拍摄照片或拍摄视频，以用户使用电子设备拍摄一张照片为例，来说明本技术实施例提供的一种对焦方法所涉及的用户界面，该方法可以由图1b中的电子设备100执行。其中，该电子设备包括图3中所示的前置摄像头30，后置摄像头(图3中未示出)。用户打开自己的电子设备，使得电子设备的显示屏显示电子设备的桌面，图3为本技术实施例提供的一种用户的电子设备的界面示意图，如图3所示，该示意图包括状态栏31和菜单栏32。状态栏31包括运营商、当前时间、当前地理位置及当地天气、网络状态、信号状态和电源电量。如图3所示，运营商为中国移动；当前时间为2月9日星期五08：08；当前地理位置为北京，北京天气为多云且温度为6摄氏度；网络状态为wifi网络；信号状态为满格信号，表示当前信号较强；电源电量中的黑色部分可以表示电子设备的剩余电量。菜单栏32包括至少一个应用程序的图标，每个应用程序的图标下方具有相应的应用程序的名称，例如：相机110、邮箱115、云共享116、备忘录117、设置118、图库119、电话120、短消息121和浏览器122。其中，应用程序的图标以及相应的应用程序的名称的位置可以根据用户的喜好进行调整，本技术实施例对此不作限定。
[0102]
需要说明的是，图3所示的电子设备的界面示意图为本技术实施例的示例性的展示，电子设备的界面示意图也可以为其他样式，本技术实施例对此不作限定。
[0103]
下面通过图4a
‑
图4c来介绍电子设备触发基于注意力点进行对焦的操作。
[0104]
在一些实施例中，如图3所示，用户可以针对菜单栏32中的相机110输入操作，电子设备接收到该操作，进一步响应于该操作，显示如图4a所示的界面，该界面是本技术实施例提供的一种电子设备的相机的界面示意图。如图4a所示，该界面包括相机菜单栏41、预览画面42、注意力点对焦控件401、相册40a、拍摄控件40b、转换摄像头控件40c、智慧视觉开关40d、人工智能(ai)拍摄开关40e、闪光灯开关40f、滤镜开关40g、和设置控件40h。其中：
[0105]
相机菜单栏41，可以包括光圈、夜景、人像、拍照、录像、专业、更多等多种相机模式的选项，不同的相机模式可以实现不同的拍摄功能，相机菜单栏41中的“三角形”指向的相机模式用于指示初始的或用户选择的相机模式，如图4a中的402所示，“三角形”指向“拍照”，说明当前相机处于拍照模式。
[0106]
预览画面42，为电子设备通过前置摄像头或后置摄像头实时采集到的图像。
[0107]
注意力点对焦控件401，可以用于触发基于注意力点进行对焦，注意力点为用户眼睛视线落在电子设备的显示屏上的位置，即用户眼睛视线落在预览画面42上的位置。
[0108]
相册40a，用于供用户查看已拍摄的图片和视频。
[0109]
拍摄控件40b，用于响应于用户的操作，使得电子设备拍摄图片或者视频。
[0110]
转换摄像头控件40c，用于将采集图像的摄像头在前置摄像头和后置摄像头之间切换。
[0111]
智慧视觉开关40d，用于开启或关闭智慧视觉，智慧视觉可以用于识物、购物、翻译、扫码。
[0112]
人工智能(ai)拍摄开关40e，用于开启或关闭ai拍摄。
[0113]
闪光灯开关40f，用于开启或关闭闪光灯。
[0114]
滤镜开关40g，用于开启或关闭滤镜。
[0115]
设置控件40h，用于设置采集图像时的各类参数。
[0116]
这时，触发基于注意力点进行对焦的操作可以是针对如图4a所示的注意力点对焦控件401输入的触摸(点击)操作。
[0117]
在一些实施例中，如图3所示，用户可以针对菜单栏32中的相机110输入操作，电子设备接收到该操作，进一步响应于该操作，显示如图4b所示的界面，该界面是本技术实施例提供的另一种电子设备的相机的界面示意图。如图4b所示，该界面包括相机菜单栏43，预览画面44，相册40a、拍摄控件40b、转换摄像头控件40c、智慧视觉开关40d、人工智能(ai)拍摄开关40e、闪光灯开关40f、滤镜开关40g、和设置控件40h。关于相机菜单栏43、预览画面44和相关控件的说明可以参见上述图4a中的相关描述，此处不再赘述。如图4b中的403所示，“三角形”指向“拍照”，说明当前相机处于拍照模式。此时，用户希望选择相机菜单栏43中的“更多”，该选择相机菜单栏43中的“更多”的操作可以是针对相机菜单栏43输入滑动操作，该滑动操作具体可以为向图4b中相机菜单栏43处的箭头所指的方向进行滑动。可选地，上述选择相机菜单栏43中的“更多”的操作也可以是触摸操作。电子设备响应于选择相机菜单栏43中的“更多”的操作，显示如图4c所示的界面，该界面中包括相机菜单栏45和更多菜单栏46。其中：
[0118]
相机菜单栏45中的“三角形”指向“更多”，更多菜单栏46中可以包括短视频控件、专业录像控件、美肤控件、注意力点对焦控件405，3d动态全景控件、全景控件、hdr控件、超级夜景控件、延时摄影等。
[0119]
注意力点对焦控件405的说明可以参见上述图4a中注意力点对焦控件401的相关描述，此处不再赘述。这时，触发基于注意力点进行对焦的操作可以是针对如图4c所示的注意力点对焦控件405输入的触摸(点击)操作。
[0120]
在另一些实施例中，如图3所示，触发基于注意力点进行对焦的操作可以是针对菜单栏32中的相机110输入的触摸操作，即打开相机后，电子设备就开启基于注意力点进行对焦的过程。
[0121]
在又一些实施例中，触发基于注意力点进行对焦的操作不限于上述一些实施例中提供的方式，还可以是语音控制等操作。示例性的，以语音控制为例，用户在打开相机后，电子设备通过麦克风采集语音，可以识别语音中是否包括如“打开注意力点对焦”、“对焦”等语音控制信息，该语音控制信息用于触发基于注意力点进行对焦。
[0122]
需要说明的是，以上实施例中所描述的触发基于注意力点进行对焦的操作仅为示例，还可以是其他的触发操作，本技术实施例对此不作限定。
[0123]
需要说明的是，图4a
‑
图4c所示的电子设备的界面示意图为本技术实施例的示例
性的展示，电子设备的界面示意图也可以为其他样式，本技术实施例对此不作限定。
[0124]
当检测到触发基于注意力点进行对焦的操作后，电子设备响应于该操作，通过前置摄像头获取用户的目标图像，以确定用户的视线落在电子设备显示的预览画面上的位置信息，即用户的注意力点的位置信息。注意力点的位置信息可以包括注意力点在预览画面所在的平面坐标系(即显示屏坐标系)上的坐标。其中，电子设备确定用户的注意力点的位置信息的过程可以参见下述图9中s901
‑
s907的相关描述。
[0125]
在一种可选的实现方式中，当电子设备检测到用户针对如图4a所示的界面中注意力点对焦控件401输入操作后，响应于该操作，可以显示如图4d所示的界面，注意力点对焦控件401由第一颜色(例如，灰色)变化为第二颜色(例如，黑色)，表示已开启基于注意力点对焦功能。其中，指示开启或关闭基于注意力点对焦功能的注意力点对焦控件的显示形式不限于颜色的变化，也可以是不同透明度等显示形式。在一些实施方式中，电子设备响应于上述针对注意力点对焦控件输入的操作，显示如图4f所示的界面，该界面中包括提示信息，例如“请看向下面的圆点”，用于提示用户看向该界面中的标定点408，标定点408用于电子设备确定用户的人脸模型、眼球结构参数等，电子设备确定用户的人脸模型、眼球结构参数的具体过程说明可以参见下述图9中s903的相关描述。
[0126]
在另一种可选的实现方式中，当电子设备检测到用户针对如图4c所示的界面中注意力点对焦控件405输入操作后，响应于该操作，还可以显示如图4e所示的界面，如图4e所示，该界面中包括用于标识基于注意力点对焦功能已经开启的图标406，和关闭基于注意力点对焦功能的控件407。用户在使用基于注意力点对焦功能后，可以针对控件407输入操作关闭该功能。在一些实施方式中，电子设备响应于上述针对注意力点对焦控件输入的操作，显示如图4g所示的界面，该界面中包括提示信息，例如“请看向下面的圆点”，用于提示用户看向该界面中的标定点409，标定点409用于电子设备确定用户的人脸模型、眼球结构参数等，电子设备确定用户的人脸模型、眼球结构参数的具体过程说明可以参见下述图9中s903的相关描述。
[0127]
需要说明的是，电子设备显示的预览画面可以是通过后置摄像头采集的图像，也可以是通过前置摄像头采集的图像。例如，用户打开相机使用电子设备的前置摄像头进行自拍，电子设备显示通过前置摄像头采集的预览画面，电子设备响应于触发基于注意力点对焦的操作，通过获取到的用户的目标图像确定用户的视线落在显示屏上的注意力点的位置信息，进一步根据注意力点的位置信息进行对焦。其中，电子设备获取用户的目标图像可以是从预览画面中获取的，也可以是直接从前置摄像头采集到的图像(即前置摄像头采集到的图像分为两路，一路用于通过显示屏显示为预览画面，另一路用于确定用户的注意力点的位置信息)。
[0128]
电子设备基于确定的用户的注意力点的位置信息进行对焦。当电子设备确定出显示屏上的用户的注意力点的位置信息时，可以通过以下几种实现方式触发针对注意力点的对焦过程。需要说明的是，以预览画面为电子设备的后置摄像头采集到的图像为例来说明触发针对注意力点的对焦过程的几种实现方式。
[0129]
实现方式1、当用户针对一个注意力点的注视时长满足预设条件时，电子设备触发针对该注意力点的对焦过程。
[0130]
注视时长为用户的视线从落在显示屏上的注意力点到离开该注意力点之间的一
段时长。当检测到注视时间满足预设条件时，电子设备对采集预览画面的摄像头进行对焦。电子设备基于注意力点的位置信息，放置对焦框，进而根据对焦框中的相差数据执行对焦过程，该相差数据为对焦框中的相差。对焦过程包括电子设备根据对焦框中的相差数据确定镜片需要调整的距离和方向，驱动音圈马达调整摄像头中镜片的位置，即改变镜片与图像传感器之间的距离(像距)，使得用户注意力点所在区域的图像清晰。其中，电子设备对通过前置摄像头实时获取到的用户的目标图像，确定每个时刻用户的视线落在预览画面上的注意力点的位置信息，并记录用户针对每个注意力点的注视时长。
[0131]
在一种可能的实现方式中，预设条件为针对注意力点的注视时长不小于第一时长阈值，当满足预设条件时，电子设备执行对焦过程，对焦过程可以参见下述图9中s906
‑
s907的相关描述。具体的，当检测到用户的视线落在第一注意力点的时长不小于第一时长阈值时，电子设备基于第一注意力点的位置信息进行对焦。电子设备从检测到用户的视线落在第一注意力点时开始计时，直至电子设备确定出用户的注意力点发生改变，即确定出的注意力点的位置信息不为第一注意力点的位置信息，这时，电子设备重新开始计时。可选的，电子设备可以显示计时器，该计时器可以用于指示用户的视线落在注意力点的时长。
[0132]
示例性的，电子设备执行对焦的预设条件为检测到用户对第一注意力点的注视时长不小于3s。电子设备确定出用户的第一注意力点的位置信息，如图5a所示，如用户的第一注意力点为预览画面上的位置501，此时，电子设备显示计时器502，用于显示用户的视线落在位置501的时长，如图5a的计时器502所示，计时为从0.0s开始。当电子设备检测到计时器中的数值变化为如图5b所示的503中显示的3.0s时，即电子设备确定出用户的视线落在第一注意力点的时长为3.0s，执行基于第一注意力点的位置信息的对焦过程。
[0133]
可选的，计时器也可以是倒计时计时器，电子设备确定出用户的第一注意力点的位置信息时，显示如图5b所示的倒计时计时器503，倒计时计时器显示3.0s。当电子设备检测到倒计时计时器的数值变化为如图5a所示的502显示的0.0s时，执行基于第一注意力点的位置信息的对焦过程。
[0134]
如图5c所示，电子设备根据确定到的用户的注意力点的位置信息，检测到用户的注意力点从图5a中的位置501变化为图5c中的位置504，电子设备显示的计时器505重新开始计时，记录用户的注意力点在位置504上的时长。
[0135]
在另一种可能的实现方式中，预设条件为在用户针对第一注意力点的注视时长不小于第二时长阈值后，用户的视线离开第一注意力点的时长小于第三时长阈值时，电子设备执行基于第一注意力点的位置信息进行对焦。具体的，在用户针对第一注意力点的注视时长不小于第二时长阈值后的某一时刻，电子设备检测到用户的视线离开第一注意力点，且用户的视线离开第一注意力点第一时长后又落在第一注意力点上。这时，电子设备确定第一时长是否小于第三时长阈值，当第一时长小于第三时长阈值时，电子设备不改变基于第一注意力点的位置信息的对焦信息，即不进行调整音圈马达进行对焦的过程；当第一时长不小于第三时长阈值时，且第一时长不小于第二时长阈值，电子设备执行基于第二注意力点的位置信息进行对焦的过程，其中，第二注意力点为第一时长之间用户的视线落在预览画面上的位置。应理解，在检测到用户离开第一注意力点的时候，电子设备根据获取到的用户的目标图像确定的用户的注意力点可以是在预览画面上(如上述的第二注意力点)，也可以不在预览画面上，当电子设备检测到用户的注意力点不在预览画面上时，电子设备不
进行基于注意力点的对焦过程。
[0136]
示例性的，设置第二时长阈值为3s，第三时长阈值为1s。电子设备检测到用户的注意力点在图5d中的位置501上，并且在位置501的注视时长不小于3s后的某一时刻(如图5d中的计时器502显示的时长为4.0s)，电子设备检测到用户的注意力点变化到图5d中的位置506，且在针对位置506的注视时长为0.5s后，用户的注意力点又回到位置501。电子设备检测到用户的注意力点离开位置501的时长0.5s小于第三时长阈值1s，继续执行基于位置501的位置信息进行对焦。应理解，在电子设备检测到用户的注意力点在位置501的注视时长不小于3s后，就基于位置501的位置信息放置对焦框，并进行对焦，在检测到用户的实现离开位置501的时长小于第三时长阈值时，仍基于位置501的位置信息进行对焦，不改变对焦信息，因此电子设备无需再进行调整音圈马达的对焦过程，这样就减小了电子设备的资源消耗。
[0137]
在又一种可能的实现方式中，预设条件为用户的视线离开第一注意力点，落在第二注意力点，且落在第二注意力点时用户的生理特征发生变化。具体的，在用户针对第一注意力点的注视时长不小于第三时长阈值时，电子设备基于第一注意力点的位置信息进行对焦。之后的某一时刻，电子设备检测到用户的视线离开第一注意力点，落在第二注意力点，此时，电子设备通过采集到的用户的目标图像确定出用户的眼部生理特征发生变化，例如，瞳孔放大，电子设备执行基于第二注意力点的位置信息进行对焦的过程。当电子设备没有检测到的用户的眼部生理特征发生变化，则不改变基于第一注意力点的位置信息的对焦信息，即不进行调整音圈马达进行对焦的过程。应理解，在一些实施方式中，电子设备检测到用户的生理特征发生变化时，可以针对此时用户的注意力点的位置信息放置对焦框，并进行对焦，无需判断注视时长是否满足条件。
[0138]
示例性的，设置第三时长阈值为3s，如图5e所示，电子设备检测到用户的注意力点在图5e中的位置501上，并且在位置501的注视时长不小于3s后的某一时刻(如图5e中的计时器502显示的时长为4.0s)，电子设备检测到用户的注意力点变化到图5e中的位置504，而且，电子设备在识别到用户的目标图像中的瞳孔大小相较于注意力点在位置501时的瞳孔大小较大，即可判定瞳孔放大，这时，电子设备基于位置504的位置信息放置对焦框，并进行对焦。
[0139]
人们的眼部生理特征，例如瞳孔大小，瞳孔大小的变化会反映某些心理活动，凡在出现强烈兴趣或追求动机时，人们的瞳孔就会迅速扩大。因此，当电子设备识别到用户的瞳孔放大时，此时的用户的注意力点所在的区域为用户的感兴趣区域，可以基于此时的用户的注意力点的位置信息放置对焦框并进行对焦，获得用户的感兴趣区域清晰的图像。这样，获得的图像更加符合用户的意图，并且无需用户手动或其他操作，提高了用户体验。
[0140]
需要说明的是，上述第一时长阈值、第二时长阈值、第三时长阈值可以为同一个值，也可以不为同一个值，本技术实施例对上述时长阈值的取值不作限定。
[0141]
在又一种可能的实现方式中，电子设备可以根据用户的注意力点的变化进行平滑对焦。具体的，当电子设备检测到用户针对一个注意力点的注视时长不小于第四时长阈值时，就执行基于该注意力点的位置信息放置对焦框，进而驱动音圈马达调整镜片与图像传感器之间的距离进行对焦的过程。例如当预览画面中有多个景物或人物时，用户可能对每个景物或人物都感兴趣，用户的注意力点将会从一个景物或人物依次向其相邻的其他景物
或人物上转移，电子设备检测到用户的注意力点在第一景物或人物上的注视时长不小于第四时长阈值时，基于该注意力点的位置信息(第一景物或人物的位置信息)对焦，当检测到用户的注意力点转移到第一景物或人物相邻的第二景物或人物上，且在第二景物或人物上的注视时长不小于第四时长阈值时，就基于转移后的注意力点的位置信息(第二景物或人物的位置信息)进行对焦。在用户的注意力点从一个位置转移到其相邻的位置上时，电子设备驱动音圈马达调整镜片的位置，此时只需要将镜片移动较小的距离。
[0142]
示例性的，第四时长阈值为2s。如图6a所示，用户的注意力点首先在图6a中的人物601上，之后转移到人物601相邻的人物603上，最后又从人物603上转移到其相邻的人物605上。电子设备检测到用户的注意力点的变化过程如图6b
‑
图6d所示，电子设备检测到用户的注意力点在人物601的注视时长为3.0s，如图6b中的计时器602所示，这时，电子设备基于人物601的位置信息确定调整镜片的距离为第一距离，进一步驱动音圈马达调整第一距离，将镜片移动到第一位置。当电子设备检测到用户的注意力点由人物601转移到其相邻的人物603上，显示如图6c所示的计时器604，计时器604显示注视时长为2.0s不小于第四时长阈值2s时，电子设备基于人物603的位置信息确定调整镜片的距离为第二距离，进一步驱动音圈马达调整第二距离，将镜片移动到第二位置。当电子设备检测到用户的注意力点由人物603转移到其相邻的人物605上，显示如图6d所示的计时器606，计时器606显示注视时长为3.0s不小于第四时长阈值2s时，电子设备基于人物605的位置信息确定调整镜片的距离为第三距离，进一步驱动音圈马达调整第三距离，将镜片移动到第三位置。其中，人物603与人物601相邻，镜片的第二位置与第一位置相距的第二距离较小，人物605与人物603相邻，镜片的第三位置与第二位置相距的第三距离较小，因此，电子设备在基于人物601所在位置对焦之后，依次对人物603、人物605的对焦，只需调整镜片第二距离、第三距离，而第二距离、第三距离较小，这样，每次只需调整较小的距离，实现了平滑对焦，在提高了图像的成像质量的同时节省了电子设备的资源消耗。
[0143]
在一些实施例中，用户在使用连拍模式或录制视频时，电子设备检测用户的注意力点所在的位置，当检测到在连续帧的图像中注意力点向相邻的景物或人物依次转移时，电子设备执行平滑对焦过程，得到满足用户需求的多帧连拍照片或视频，连拍得到的每张图片或录制的视频的每帧图像都为基于其对应的注意力点进行对焦得到的。其中，用户可以长按如图6a中所示的拍摄控件40b开启连拍模式。在一种可选的实施方式中，当连拍照片或视频的前后两帧或多帧图像的注意力点所在区域的相差之间的差大于第一相差阈值时，可以采取分步对焦的方式。具体的，可以检测连拍照片或视频的前后两帧或多帧图像的注意力点相距的距离，当该距离大于第一阈值(例如60μm)时，电子设备可以依次以第一步长(例如30μm)推动音圈马达使得镜片到达相对应的位置，实现多帧图像的平滑对焦，提高对焦效果。
[0144]
可选的，在一些实施例中，电子设备检测到用户的注意力点的所在位置后，以该注意力点的位置信息确定一个感兴趣区域框。在一些实施方式中，可以预设感兴趣区域框的大小，在确定出用户的注意力点的位置信息后，以注意力点为感兴趣区域框的几何中心，显示该感兴趣区域框。在另一些实施方式中，电子设备可以通过智能检测注意力点周围的图像，例如通过人脸识别，识别出人脸，并根据人脸的大小确定出人脸框，也称为感兴趣区域框，示例性的，如图6e、图6f和图6g所示，电子设备分别基于用户的三个时刻的注意力点的
位置信息和人脸识别确定出三个感兴趣区域框607、608、609。
[0145]
实现方式2、当用户的面部、身体动作的匹配时，电子设备执行对焦过程。
[0146]
在一种可能的实现方式中，电子设备可以结合用户的生理特征信息进行对焦，该生理特征信息可以是用户的表情或动作，用于触发电子设备的对焦过程。具体的，电子设备可以通过前置摄像头获取用户的图像，电子设备可以判断用户的图像中脸部的表情、头部动作、肢体动作是否与预设的表情或动作指令匹配。当在用户的图像中识别到与预设的表情或指令匹配的生理特征信息时，电子设备基于注意力点的位置信息确定对焦框的位置，进而执行对焦过程。示例性的，当电子设备检测到用户“点头”、或“ok”手势等确认的动作时，或检测到用户的瞳孔放大时，电子设备进行对焦。其中，电子设备可以存储预设的表情或动作指令。
[0147]
实现方式3、电子设备结合用户的语音信息进行对焦。
[0148]
在一种可能的实现方式中，电子设备可以结合用户的语音信息进行对焦。具体的，电子设备响应于上述触发基于注意力点对焦的操作，通过麦克风实时获取环境中的声音，并识别环境中的声音中的语音信息。电子设备确定出用户的注意力点的位置信息，又检测到用户的语音信息中包括预览画面中的一个景物或人物的信息(即第一对焦物)时，在注意力点所在的预设范围内的区域中识别上述预览画面中的一个景物或人物(也称为拍摄主体)，进一步地，电子设备基于该拍摄主体的位置信息放置对焦框进行对焦。其中，注意力点所在的预设范围内的区域可以为以注意力点为中心的预设像素高、预设像素宽的一个范围内的区域。
[0149]
示例性的，图7a为本技术实施例提供的一种电子设备的界面，如图7a所示，麦克风图标701用于开启或关闭麦克风，可以指示麦克风开启或关闭的状态，图7a中701表示麦克风为开启状态，图7b中的702表示麦克风为关闭状态。电子设备确定出用户的注意力点的位置为位置703，在麦克风开启的期间，电子设备检测到麦克风采集的声音中包括“汽车”的语音信息，这时，电子设备识别用户注意力点预设范围内区域中的图像，识别到汽车704，电子设备将对焦点确定为图7a中的汽车704，进一步地，基于汽车704的位置信息放置对焦框进行对焦。
[0150]
可选的，电子设备在用户的注意力点703周围识别到汽车704后，可以根据汽车704的大小显示感兴趣区域框，如图7c所示的705。
[0151]
实现方式4、电子设备基于上一次对焦的主体进行对焦。
[0152]
电子设备确定出用户注意力点的位置信息后，识别用户的注意力点所在位置(位置a)上的主体(景物或人物)，进而基于位置a上的主体的位置信息进行对焦。在电子设备检测到用户的注意力点转移到另一个位置(位置b)时，电子设备识别位置b预设范围内的景物或人物，当识别到与位置a上的主体为同一种类时，记为位置b上的主体为拍摄主体，并确定拍摄主体的位置信息，进一步地，电子设备基于位置b上的主体的位置信息确定对焦框，进而执行对焦过程。其中，同一种类为具有相同的特征的景物或人物，种类例如人脸、建筑、道路、交通工具、植物、动物等，应理解，位置a的位置信息和位置a上的主体的位置信息可以相同，也可以有一定的偏差。
[0153]
示例性的，如图8a
‑
图8b所示，电子设备确定出用户的注意力点在如图8a中的位置801，识别位置801上的主体为人脸802，此时，电子设备基于人脸802的位置信息进行对焦。
当电子设备检测到用户的注意力点转移到图8b中的位置803时，识别位置803周围是否包括和人脸802为同一种类的主体。电子设备在位置803的预设范围内识别到人脸804，进一步地，基于人脸804的位置信息进行对焦。
[0154]
需要说明的是，在一些实施例中，电子设备检测到上述实现方式1
‑
实现方式4中的任意一种实现方式中所描述的情况时，就执行基于注意力点对焦的过程。
[0155]
下面结合附图详细介绍本技术实施例提供的一种对焦方法。本技术实施例提供的方法可以应用在如图1b所示的电子设备对焦的场景中，该方法可以由图1b中的电子设备100执行。如图9所示，该方法可以包括但不限于图9中所示的步骤：
[0156]
s901、电子设备接收到用户针对触发基于注意力点对焦功能的第一操作。
[0157]
第一操作可以为上文中所描述的触发基于注意力点进行对焦的操作，关于第一操作可以参考上文中的相关描述，此处不再赘述。
[0158]
s902、电子设备响应于上述第一操作，通过前置摄像头获取目标图像。
[0159]
目标图像为电子设备通过前置摄像头采集到的图像，可以为包括用户的面部、眼部的图像。
[0160]
在一些实施例中，在电子设备显示预览画面后，电子设备接收到第一操作，进而执行s902。
[0161]
在另一些实施例中，第一操作为针对上文图3中的相机110输入的触摸操作，电子设备接收到该第一操作，响应于该操作，显示通过默认摄像头采集到的预览画面，并通过前置摄像头获取目标图像。
[0162]
s903
‑
s905、电子设备基于目标图像确定用户在电子设备的显示屏上的注意力点的位置信息。
[0163]
在一种可能的实现方式中，电子设备通过图像处理的方法对获取到的目标图像进行处理得到图像参数和用户的眼睛结构参数，进一步地，电子设备应用得到的图像参数和眼睛结构参数用户在电子设备的显示屏上的注意力点的位置信息。
[0164]
请参阅图10，图10为本技术实施例提供的一种3d眼睛模型的示意图。如图10所示，以电子设备的显示屏的几何中心为世界坐标系的原点，p
i
为虹膜中心、o
c
为角膜中心、o
e
为眼球中心、v
o
为光轴单位向量、v
g
为视轴单位向量，定义眼睛的视轴为从角膜中心o
c
到电子设备的显示屏所在平面上的注意力点p
g
的连线，光轴为眼球中心与角膜中心的连线。
[0165]
在一种实现方式中，如图10所示，注意力点p
g
可以表示为：
[0166]
p
g
＝o
e
+c
·
v
o
+λ
·
v
g
(1)
[0167]
其中，c为眼球中心o
e
与角膜中心o
c
的模，c＝||o
e
o
c
||，c为固定值，通常为5.3mm；λ为角膜中心o
c
与注意力点p
g
的模，λ＝||o
e
o
c
||，λ可以由以下公式得到：
[0168][0169]
其中，v
s
为电子设备的显示屏所在平面的单位法向量，对于电子设备的显示屏所在平面上的任一点p，都有p
·
v
s
＝
‑
n，因此，对于注意力点p
g
，也有p
g
·
v
s
＝
‑
n，n可以通过电子设备的显示屏和前置摄像头的校准得到，与电子设备的显示屏和前置摄像头的位置关系有关，对于一个电子设备，n为固定值。
[0170]
这样，可以基于用户的目标图像确定出眼球中心o
e
、光轴单位向量v
o
和视轴单位向
量v
g
，进而得到c、λ并代入公式(1)即可得到注意力点p
g
的位置信息。
[0171]
下面通过步骤s903
‑
s905具体地介绍电子设备通过目标图像确定用户在电子设备的显示屏上的注意力点的位置信息。
[0172]
s903、电子设备基于目标图像确定图像参数和用户的眼球结构参数。
[0173]
其中，图像参数包括用户的眼球中心在头部坐标系向电子设备所在的世界坐标系转换所需要的转换关系(r，t)和虹膜中心pi的位置信息，上述转换关系(r，t)用于确定用户的眼球中心世界坐标系的位置信息，对于用户不同的头部姿态会有不同的转换关系，该转换关系可以包括旋转参数r和平移参数t，在本技术实施例中，旋转参数r可以为旋转矩阵，平移参数t可以为平移矩阵。
[0174]
眼球结构参数包括眼球中心oe的在头部坐标系的坐标以及图10中kappa角，kappa角为实收和光轴的夹角，包括的水平分量α和垂直分量β。
[0175]
在一些具体的实施方式中，电子设备确定眼球结构参数可以通过眼球中心的标定方法和kappa角的标定方法实现。每个人有固定的眼球结构参数电子设备标定眼球结构参数的过程可以包括是：电子设备建立用户的头部坐标系，当接收到触发注意力点对焦的操作时，电子设备响应于该操作，显示如图4g或图4g所示的界面，指示用户注视电子设备的显示屏上显示的一个标定点(如图4g中的408或图4g中的409)预设时长(例如1s)，这时，电子设备可以获取用户的图像，并计算得到用户的眼球结构参数
[0176]
可选的，电子设备基于目标图像确定眼球结构参数还可以通过多个标定点来实现，例如，电子设备依次显示不同位置的多个标定点，并指示用户依次注视每个标定点预设时长，电子设备通过获取到的用户注视各个标定点的图像确定用户的眼球结构参数
[0177]
在一些具体的实施方式中，电子设备基于目标图像确定图像参数(r，t，pi)可以包括以下过程：
[0178]
s9031、电子设备应用图像处理中的人脸识别技术和眼睛识别技术分别识别出目标图像中的人脸和眼部。
[0179]
s9032、电子设备基于目标图像中的人脸确定头部坐标系和世界坐标系的转换关系(r，t)。
[0180]
在一些实施例中，电子设备包括可以用于获取人脸的特征点的位置信息的传感器，例如，kinect传感器，电子设备通过传感器检测t’时刻的人脸的特征点的位置信息，再参考人脸模型中的特征点的位置信息和人脸模型中的特征点从头部坐标系向世界坐标转换的转换关系，确定出t’时刻人脸的特征点向世界坐标系转换的旋转矩阵r(包括偏航角、俯仰角和滚转角)和平移矩阵t，即头部坐标系和世界坐标系的转换关系(r，t)。其中，人脸模型为保持人脸正对电子设备的显示屏一段时间，通过前置摄像头采集到的图像确定到的参考模型。在一些实施例中，人脸模型可以是通过人脸正对电子设备的显示屏上的标定点(如图4g中的408或图4g中的409)，该过程可以与上述确定用户的眼球结构参数同时执行。
[0181]
s9033、电子设备基于目标图像中的眼部的图像确定虹膜中心p
i
的坐标。
[0182]
在一些实施例中，电子设备可以应用图像梯度法确定虹膜中心的坐标。具体的，电子设备可以应用如下面的公式来确定虹膜中心p
i
的坐标，
[0183][0184]
其中，h’为虹膜中心，即p
i
，h为潜在的虹膜中心，d
i
为位移向量，g
i
为梯度向量，n为图像的像素点数。在一些实施方式中，电子设备可以将位移向量di和梯度向量gi被缩放为单位向量，以获得所有像素点的同等权重。
[0185]
d
i
＝(x
i
‑
h)/||x
i
‑
h||
[0186]
||g
i
||＝1
[0187]
具体的，电子设备确定眼部的图像中像素点x
i
的梯度向量；确定x
i
与潜在虹膜中心h的位移向量，每一个像素点都为潜在虹膜中心，即为确定像素点x
i
与眼部的图像中每一个像素点的位移向量；确定像素点x
i
的梯度向量和像素点x
i
的所有位移向量的点积；确定像素点x
i
点积的均值为x
i
的梯度向量和所有位移向量的点积的均值；将点积的均值最大的像素点x
max
作为虹膜中心，以像素点x
max
的坐标为虹膜中心p
i
的坐标。
[0188]
s904、电子设备基于图像参数(r，t，p
i
)和用户的眼球结构参数确定眼球中心o
e
的位置信息、光轴单位向量v
o
和视轴单位向量v
g
。
[0189]
如图11所示，头部坐标系由人头的生理构造决定，世界坐标系由电子设备决定，眼球中心在两个坐标系里存在如下转换：
[0190][0191]
进一步地，已经得到虹膜中心p
i
和眼球中心o
e
，如图10所示，光轴单位向量v
o
可以根据下式确定：
[0192][0193]
其中，r
e
为眼球半径，通常在11
‑
13mm之间，光轴单位向量v
o
的三角函数表达式为：
[0194][0195]
其中，光轴单位向量v
o
的偏转角为
[0196]
如图12所示，光轴单位向量v
o
旋转kappa角得到视轴单位向量v
g
：
[0197][0198]
其中，光轴角的水平分量和竖直分量
[0199]
s905、电子设备应用确定到的眼球中心o
e
的位置信息、光轴单位向量v
o
和视轴单位向量v
g
确定用户在电子设备的显示屏上的注意力点p
g
的位置信息。
[0200]
具体的，电子设备将确定到的o
e
、v
o
和v
g
代入上述λ中，得到λ，进一步地，将确定到的o
e
、v
o
、v
g
和λ代入上述公式(1)中，得到用户的视线在电子设备的显示屏上的注意力点p
g
的三维坐标(世界坐标系)。
[0201]
在一些可选的实施方式中，电子设备可以分别确定用户两只眼睛的视线落在显示
屏上的注意力点p
g左
和p
g右
，则用户的视线在电子设备的显示屏上的注意力点p
g
＝(p
g左
+p
g右
)/2，其中，电子设备确定p
g左
和p
g右
的过程可以参见上述s903
‑
s905中的相关描述，此处不再赘述。
[0202]
应理解，上述确定注意力点的位置信息的实施方式仅为示例，还可以有其他的实现方式，例如深度学习等。
[0203]
s906
‑
s907、电子设备基于注意力点的位置信息进行对焦。
[0204]
电子设备首先基于注意力点的位置信息确定对焦框，进而利用对焦框中的相差数据进行对焦。
[0205]
s906、电子设备基于在显示屏上的注意力点的位置信息确定对焦框。
[0206]
电子设备可以预设对焦框的大小和数量，每个对焦框为相同的大小，当确定出注意力点的位置信息后，可以基于注意力点为中心确定多个对焦框的位置，进一步地，将各个对焦框放置在其分别对应的位置上。可选的，电子设备可以显示各个对焦框。
[0207]
具体的，电子设备可以以确定到的注意力点为中心确定对焦框的位置，也可以以基于注意力点的确定的拍摄主体的位置为中心确定对焦框的位置，下面通过实现方式a和实现方式b分别介绍两种确定对焦框的位置的过程。
[0208]
实现方式a、电子设备可以以确定到的注意力点为中心确定对焦框的位置。
[0209]
在一些实施例中，当确定出注意力点的位置信息后，电子设备检测到用户针对注意力点的注视时长满足上述实现方式1中所描述的预设条件时，以注意力点为中心，确定对焦框的位置。其中，实现方式1中所描述预设条件的相关描述可参见上文中的说明，此处不再赘述。
[0210]
在另一些实施例中，当确定出注意力点的位置信息后，电子设备可以首先判断用户的生理特征信息是否与预设的表情或动作指令匹配，当预设的表情或动作指令匹配时，电子设备以注意力点为中心，确定对焦框的放置位置。
[0211]
示例性的，电子设备可以预设5个相同如图13a所示的对焦框1301。如图13b所示，电子设备确定的注意力点的位置为位置1306，进一步地，电子设备以位置1306为中心基于注意力点确定如图13c所示的5个对焦框1301、1302、1303、1304、1305和1306。
[0212]
实现方式b、电子设备以基于注意力点的确定的拍摄主体的位置为中心确定对焦框的位置。
[0213]
在一些实施例中，当确定出注意力点的位置信息后，电子设备可以结合用户的语音信息确定对焦框的放置位置。具体的，电子设备响应于上述触发基于注意力点对焦的操作，通过麦克风实时获取环境中的声音，并识别环境中的声音中的语音信息。电子设备确定出用户的注意力点的位置信息，又检测到用户的语音信息中包括预览画面中的一个景物或人物的信息时，在注意力点所在的预设范围内的区域中识别上述预览画面中的一个景物或人物(也称为拍摄主体)，进一步地，电子设备以拍摄主体的位置为中心，确定对焦框的位置。其中，注意力点所在的预设范围内的区域可以为以注意力点为中心的预设像素高、预设像素宽的一个范围内的区域。相关电子设备结合用户的语音信息确定主体的位置信息的示例性的过程说明可以参见上述实现方式2中图7a
‑
图7c的描述，此处不再赘述。
[0214]
在另一些实施例中，电子设备确定出用户注意力点的位置信息后，识别用户的注意力点所在位置(位置a)上的主体(景物或人物)，进而基于位置a上的主体的位置信息进行
对焦。在电子设备检测到用户的注意力点转移到另一个位置(位置b)时，电子设备识别位置b预设范围内的景物或人物，当识别到与位置a上的主体为同一种类时，记为位置b上的主体为拍摄主体，并确定拍摄主体的位置信息，进一步地，电子设备以拍摄主体的位置为中心，确定对焦框，进而执行对焦过程。其中，同一种类为具有相同的特征的景物或人物，种类例如人脸、建筑、道路、交通工具、植物、动物等，应理解，位置a的位置信息和位置a上的主体的位置信息可以相同，也可以有一定的偏差。相关电子设备基于上一次对焦的主体进行对焦的示例性的过程说明可以参见上述实现方式4中图8a
‑
图8b的描述，此处不再赘述。
[0215]
示例性的，电子设备可以预设5个相同如图13a所示的对焦框1301。如图13b所示，电子设备基于注意力点的位置确定的拍摄主体的位置为位置1306，进一步地，电子设备以位置1306为中心基于注意力点确定如图13c所示的5个对焦框1301、1302、1303、1304、1305和1306。
[0216]
应理解，预设对焦框的数量可以为上述示例中的5个，也可以是其他，例如9个，本技术实施例对此不作限定。电子设备放置对焦框的方式可以不限于上述图13c中所示的十字形，也可以是回字型、九宫格型等，本技术实施例对对焦框的放置方式及位置不作限定。
[0217]
应理解，在一些实施例中，对焦框的位置和大小也可以基于上述图6e
‑
图6g、图7c、图8a和图8b中基于注意力点的位置信息确定的感兴趣区域框来确定，例如，对焦框的大小为感兴趣区域框，位置以感兴趣区域框的中心放置。其中，感兴趣区域框的确定可以参见上述图6e
‑
图6g、图7c、图8a和图8b中的相关描述。
[0218]
s907、电子设备利用对焦框中的相差数据进行对焦。
[0219]
在一些实施例中，电子设备应用相位对焦的方式进行对焦。具体的，电子设备通过带有相差检测像素点的图像传感器获得对焦框中的图像的相差数据(例如相差均值)，然后在查找表中查找该相差数据对应的目标偏移量，进一步地，电子设备驱动音圈马达移动目标偏移量以调整镜片的位置，实现对焦。其中，偏移量包括镜片与焦平面的距离和方向，查找表中包括多个相差数据和其分别对应的偏移量，该查找表可以通过固定图卡校准获得，即针对一个固定图卡，移动镜片，即改变偏移量，计算每个偏移量对应的相差，记录下来作为查找表。
[0220]
在利用相位对焦的一种实现方式中，电子设备确定多个对焦框中的相差的均值为目标相差数据，进一步地，电子设备查找目标相差数据对应的目标偏移量，从而驱动音圈马达移动目标偏移量以调整镜片的位置，实现对注意力点处的主体进行对焦。应理解，目标相差数据还可以是根据多个对焦框中的相差计算的其他值，例如目标相差数据是多个对焦框中的相差的最大值，本技术实施例对该目标相差数据的计算方式不作限定。
[0221]
示例性的，如图13c所示，目标相差数据可以为对焦框1301、1302、1303、1304、1305和1306中的相差的均值。
[0222]
在另一些实施例中，电子设备还可以应用反差对焦、激光对焦、或组合对焦的方式进行对焦。组合对焦为相位对焦、反差对焦、激光对焦中的任意两个或任意三个对焦的方式进行对焦。对于对焦的方式，本技术实施例不作限定。
[0223]
下面介绍本技术实施例提供的示例性电子设备100。
[0224]
图14示出了电子设备100的结构示意图。
[0225]
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行
总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0226]
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0227]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural
‑
network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0228]
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0229]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0230]
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter
‑
integrated circuit，i2c)接口，集成电路内置音频(inter
‑
integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general
‑
purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0231]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现电子设备100的触摸功能。
[0232]
i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0233]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0234]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0235]
mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备100的显示功能。
[0236]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0237]
usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
[0238]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0239]
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
[0240]
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
[0241]
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0242]
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆
盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0243]
移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0244]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
[0245]
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi
‑
fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0246]
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time
‑
division code division multiple access，td
‑
scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi
‑
zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0247]
电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0248]
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液
晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light
‑
emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active
‑
matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light
‑
emitting diode，fled)，miniled，microled，micro
‑
oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
[0249]
本技术实施例中，显示面板可采用oled、amoled、fled实现，使得显示屏194可以被弯折。本技术实施例中，将可以被弯折的显示屏称为可折叠显示屏。其中，该可折叠显示屏可以是一块屏幕，也可以是多块屏幕拼凑在一起组合成的显示屏，在此不作限定。
[0250]
电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
[0251]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal
‑
oxide
‑
semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
[0252]
本技术实施例中，摄像头193包括前置摄像头和后置摄像头，其中，前置摄像头可以用户获取目标图像，电子设备基于目标图像确定用户在电子设备的显示屏上的注意力点的位置信息，关于目标图像的说明可以参见上述图9中s902的相关描述，关于基于目标图像确定注意力点的位置信息的过程可以参见上述图9中s903
‑
s905的相关描述，此处不再赘述。
[0253]
isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0254]
在本技术实施例中，isp还可以用于基于注意力点的位置信息对注意力点处的主体进行自动对焦，具体的对焦过程可以参见上述图9中s906
‑
s907中的相关描述，此处不再赘述。
[0255]
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0256]
npu为神经网络(neural
‑
network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0257]
在本技术实施例中，npu可以用于识别目标图像中的人脸、眼部的图像，具体可以
参见上述图9中s903中的相关描述。npu也可以用于基于注意力点识别注意力点周围的拍摄主体，进一步可以基于拍摄主体的位置信息进行对焦，该过程具体说明可以参见上述图9中s906中实现方式b和s907的相关描述，此处不再赘述。
[0258]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0259]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
[0260]
电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0261]
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
[0262]
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
[0263]
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
[0264]
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0265]
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0266]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信
号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0267]
陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
[0268]
气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
[0269]
磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0270]
加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
[0271]
距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。
[0272]
接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
[0273]
环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
[0274]
指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0275]
温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
[0276]
触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触
摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
[0277]
骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0278]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
[0279]
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0280]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0281]
sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。
[0282]
上述实施例中所用，根据上下文，术语“当
…
时”可以被解释为意思是“如果
…”
或“在
…
后”或“响应于确定
…”
或“响应于检测到
…”
。类似地，根据上下文，短语“在确定
…
时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定
…”
或“响应于确定
…”
或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
[0283]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中
心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘)等。
[0284]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。