一种语音交互方法及电子设备与流程

1.本技术涉及人工智能领域，尤其涉及一种语音交互方法及电子设备。


背景技术：

2.随着电子设备的发展，越来越多的电子设备中配置有可以与用户进行语音交互的应用，例如语音助手。用户可以通过语音助手与电子设备进行语音交互，来实现以前需要多次手动操作才能实现的功能。例如，打电话、播放音乐等。
3.目前，用户通过语音助手与有屏幕的电子设备进行语音交互时，电子设备会直接点亮屏幕，显示语音助手的用户界面以及执行接收到的语音指令所得到的相关内容。


技术实现要素：

4.本技术提供了一种语音交互方法及电子设备。在该方法中，处于灭屏状态的电子设备可以在启动语音助手时，检测用户是否需要观看屏幕来智慧决策是否点亮屏幕。其中，在检测出用户不需要观看屏幕时，电子设备可以保持屏幕处于灭屏状态，通过语音的方式与用户交互。这样，电子设备可以节省功耗，并且避免误触。
5.第一方面，本技术实施提供了一种语音交互方法。该方法包括：电子设备可在屏幕处于灭屏状态下检测到用户的第一操作，第一操作可用于启动语音助手。电子设备可在第一情况下，在保持屏幕处于灭屏状态下启动语音助手，并使语音助手以第一方式与用户进行交互，第一方式为仅通过语音与用户进行交互。第一情况可以包括以下中的任一种：
6.通过第一传感器检测到屏幕的预设距离内不存在物体遮挡且通过第二传感器未检测到人脸；或，
7.通过第二传感器未检测到人脸；或，
8.通过第一传感器检测到屏幕的预设距离内存在物体遮挡。
9.结合第一方面，电子设备可以在第二情况下，点亮屏幕，启动语音助手，并使语音助手以第二方式与用户进行交互，第二方式包括通过图形界面与用户进行交互。第二情况包括以下中的任一种：
10.通过第一传感器检测到屏幕的预设距离内不存在物体遮挡且通过第二传感器检测到人脸；或，
11.通过第一传感器检测到屏幕的预设距离内不存在物体遮挡且通过第三传感器检测到电子设备的姿态从第一姿态切换到第二姿态；或
12.通过第二传感器检测到人脸；或，
13.通过第三传感器检测到电子设备的姿态从第一姿态切换到第二姿态。
14.结合第一方面，上述第一传感器可包括以下一项或多项：接近光传感器、红外光传感器、雷达传感器。上述第二传感器可包括摄像头。上述第三传感器肯包括运动传感器。其中，运动传感器包括以下一项或多项：加速度传感器、陀螺仪传感器。
15.上述第一情况可以为用户未观看电子设备的屏幕的情况。示例性的，在用户将电
子设备屏幕朝下放置于桌上时，电子设备的第一传感器可以检测到屏幕的预设距离内存在物体遮挡。从而，电子设备可以判断出用户未观看电子设备的屏幕。在用户将电子设备屏幕朝上放置于桌上，但并未将脸部与电子设备的屏幕相对时，电子设备的第一传感器可以检测到屏幕的预设距离内不存在物体，并通过第二传感器未检测到人脸。从而，电子设备可以判断出用户未观看电子设备的屏幕。
16.上述第二情况可以为用户观看电子设备的屏幕的情况。示例性的，在用户将电子设备的屏幕朝上放置于桌上，且将脸部与电子设备的屏幕相对时，电子设备的第一传感器可以检测到屏幕的预设距离内不存在物体遮挡，并通过第二传感器检测到人脸。从而，电子设备可以判断出用户观看电子设备的屏幕。在用户做抬手动作，例如将屏幕朝上的电子设备从水平放置的姿态变化为倾斜或竖直放置的姿态，姿态调整后的电子设备的屏幕可以与人脸相对，电子设备可以通过第三传感器检测到电子设备的姿态从第一姿态切换为第二姿态。从而，电子设备可以判断出用户观看电子设备的屏幕。上述第一姿态可以例如是电子设备屏幕朝上水平放置的姿态。上述第二姿态可以例如是屏幕朝上倾斜放置的姿态。
17.由上述方法可知，电子设备可以在检测到用户不需要观看屏幕时，保持屏幕处于灭屏状态，并与用户进行语音交互，从而节省电子设备的功耗，并且避免误触。
18.在一些实施例中，处于灭屏状态的电子设备可以启动语音助手时，先利用第一传感器(如接近光传感器)检测屏幕的预设距离内是否存在物体遮挡。若检测到屏幕的预设距离内存在物体遮挡，电子设备可以直接判断出用户未观看屏幕。这样，电子设备可以不启动第二传感器(如摄像头)来检测人脸，从而节省电子设备的功耗。由于在电子设备的屏幕未被遮挡时，电子设备无法直接判断出用户是否观看屏幕，电子设备可以进一步检测人脸来确定用户是否观看屏幕。即若先利用第一传感器检测到屏幕的预设距离内不存在物体遮挡，电子设备可以再启动第二传感器来检测是否存在人脸。若检测到人脸，则电子设备可以判断出用户观看屏幕，进而点亮屏幕，通过图形界面的方式和语音的方式与用户交互。若未检测到人脸，则电子设备可以判断出用户未观看屏幕，进而保持灭屏状态，仅通过语音的方式与用户交互。
19.结合第一方面，上述第一传感器、上述第二传感器、上述第三传感器均可在电子设备通过语音助手与用户交互的过程中持续工作。
20.在一些实施例中，在语音助手以第一方式与用户进行交互的过程中，电子设备检测到第二情况，则电子设备可以点亮屏幕并使得语音助手以第二方式与用户进行交互。也即是说，若在启动语音助手时判断出用户未观看屏幕，电子设备可以保持灭屏状态与用户仅通过语音的方式交互。进一步的，在上述仅通过语音的方式交互的过程中，若判断出用户观看屏幕，电子设备可以点亮屏幕通过图形界面和语音的方式与用户进行交互。
21.在一些实施例中，在语音助手以第一方式与用户进行交互的过程中，电子设备可以接收到用户输入的第一语音，并对第一语音进行识别。当识别出第一语音满足第一条件，电子设备可以点亮屏幕，并使得语音助手以第二方式与用户进行交互。其中，第一语音满足第一条件可包括：第一语音中包括以下一项或多项：第一类关键词、第二类关键词，其中，第一类关键词包括以下一类或多类应用程序名称：视频类、购物类、导航类；第二类关键词包括以下一项或多项动词：查看、显示。也即是说，电子设备还可以通过对接收到的用户输入的语音指令进行分析来判断用户是否需要观看屏幕。其中，对于视频类、购物类、导航类的
应用程序，往往是需要用户观看屏幕的。当检测到语音指令中包含有上述类别的应用程序，电子设备可以判断出用户需要观看屏幕。另外，若语音指令中有指示用户需要观看屏幕的动词，例如查看、显示等，电子设备也可以认为用户需要观看屏幕。
22.由于在启动语音助手时，电子设备根据上述第一传感器和/或上述第二传感器判断出用户未观看屏幕，电子设备可以先保持灭屏状态与用户仅通过语音的方式交互。在上述仅通过语音的方式交互的过程中，若检测到接收到的语音指令中包含上述第一类关键词和/或上述第二类关键词，电子设备可以点亮屏幕，通过图形界面的方式和语音的方式与用户交互。
23.在一些实施例中，在语音助手以第二方式与用户进行交互的过程中，电子设备检测到第一情况。进一步的，电子设备可以熄灭屏幕，并使语音助手以第一方式与用户进行交互。也即是说，若电子设备利用第一传感器、第二传感器、第三传感器中的一个或多个检测到用户观看屏幕，电子设备可以点亮屏幕，通过图形界面的方式和语音的方式与用户交互。在上述通过图形界面的方式和语音的方式与用户交互的过程中，若检测到用户未观看屏幕(如用户离开电子设备，用户的脸部不在与屏幕相对，或者用户将电子设备屏幕朝下放置于桌上)，电子设备可以熄灭屏幕，与用户仅通过语音的方式交互。这样，可以节省电子设备的共享，并避免误触。
24.在上述实施例中，在通过图形界面的方式和语音的方式与用户交互的过程中，电子设备可以响应于用户停止语音播放的用户操作，不再通过语音的方式与用户交互，而仅通过图形界面的方式与用户交互。
25.上述第一传感器、上述第二传感器、上述第三传感器在电子设备通过语音助手与用户交互的过程中持续工作。这样，电子设备可以在语音助手与用户交互的过程中，实时检测用户是否需要观看屏幕。若检测到用户需要观看屏幕，电子设备可以点亮屏幕。若检测到用户不需要观看屏幕，电子设备可以熄灭屏幕。由上述方法可知，电子设备可以在语音助手与用户交互的过程中，智慧决策是否点亮屏幕。这不仅可以节省电子设备的共享，避免误触，还可以提升用户使用语音助手的体验。
26.结合第一方面，电子设备检测到第一情况的时间可以包括以下情况中的任一种情况：
27.在检测到第一操作时，电子设备检测到第一情况。或者，
28.在检测到第一操作后的第一时间，电子设备检测到第一情况；其中，第一时间与电子设备检测到第一操作的时间之间的间隔小于第一时长。或者，
29.在检测到第一操作前的第二时间，电子设备检测到第一情况；其中，第二时间与电子设备检测到第一操作的时间之间的间隔小于第二时长。
30.结合第一方面，电子设备检测到第二情况的时间可以包括以下情况中的任一种情况：
31.在检测到第一操作时，电子设备检测到第二情况。或者，
32.在检测到第一操作后的第一时间，电子设备检测到第二情况；其中，第一时间与电子设备检测到第一操作的时间之间的间隔小于第一时长。或者，
33.在检测到第一操作前的第二时间，电子设备检测到第二情况；其中，第二时间与电子设备检测到第一操作的时间之间的间隔小于第二时长。
34.结合第一方面，电子设备使语音助手以第一方式与用户进行交互，具体可以为：电子设备可以使语音助手仅运行第一程序。或，电子设备可以使语音助手运行第二程序和第一程序。
35.其中，第一程序可以为用于与用户进行语音交互的程序，第二程序可以为用于得到与用户交互的图形界面的程序。
36.结合第一方面，电子设备在屏幕处于灭屏状态下检测到第一操作，具体可以为：电子设备在屏幕处于灭屏状态下接收到用户输入的第二语音。第二语音可包括用于启动语音助手的唤醒词。或者，电子设备在屏幕处于灭屏状态下检测到作用于第一按键的长按操作。第一按键可包括以下一项或多项：电源键、音量上键、音量下键。
37.第二方面，本技术实施提供了一种电子设备。该电子设备可包括：屏幕、输入装置、检测装置、至少一个处理器。上述检测装置包括以下一项或多项：第一传感器、第二传感器。输入装置可用于在屏幕处于灭屏状态下检测到用户的第一操作；第一操作用于启动语音助手。检测装置可用于在上述输入装置检测到用户的第一操作的情况下，检测是否存在第一情况。
38.其中，第一情况包括以下中的任一种：
39.通过第一传感器检测到屏幕的预设距离内不存在物体遮挡且通过第二传感器未检测到人脸；或，
40.通过第二传感器未检测到人脸；或，
41.通过第一传感器检测到屏幕的预设距离内存在物体遮挡；
42.处理器可用于在检测装置检测到第一情况时，在保持屏幕处于灭屏状态下启动语音助手，并使语音助手以第一方式与用户交互。第一方式可以为仅通过语音与用户进行交互。
43.结合第二方面，检测装置还包括第三传感器。
44.检测装置还可用于检测是否存在第二情况；其中，第二情况包括以下中的任一种：
45.通过第一传感器检测到屏幕的预设距离内不存在物体遮挡且通过第二传感器检测到人脸；或，
46.通过第一传感器检测到屏幕的预设距离内不存在物体遮挡且通过第三传感器检测到电子设备的姿态从第一姿态切换到第二姿态；或
47.通过第二传感器检测到人脸；或，
48.通过第三传感器检测到电子设备的姿态从第一姿态切换到第二姿态。
49.处理器还可用于在检测装置检测到第二情况时，点亮屏幕，启动语音助手，并使语音助手以第二方式与用户进行交互。第二方式可包括通过图形界面与用户进行交互。
50.在一些实施例中，第二方式可以为通过图形界面和语音与用户进行交互。
51.在本技术提供的一些实施例中，第一传感器可包括以下一项或多项：接近光传感器、红外光传感器、雷达传感器。第二传感器可包括摄像头。第三传感器可包括运动传感器；其中，运动传感器包括以下一项或多项：加速度传感器、陀螺仪传感器。
52.结合第二方面，上述第一传感器、上述第二传感器、上述第三传感器均可在电子设备通过语音助手与用户交互的过程中持续工作。
53.在一些实施例中，检测装置还可用于在语音助手以第一方式与用户进行交互的过
程中，检测是否存在第二情况。处理器还可用于在检测装置检测到第二情况时，点亮屏幕并使得语音助手以第二方式与用户进行交互，第二方式包括通过图形界面与用户进行交互。
54.在一些实施例中，输入装置还可用于在语音助手以第一方式与用户进行交互的过程中，接收到用户输入的第一语音。处理器还可用于对第一语音进行识别，并在识别出第一语音满足第一条件的情况下，点亮屏幕，使得语音助手以第二方式与用户进行交互。第二方式包括通过图形界面与所述用户进行交互。其中，第一语音满足第一条件可包括：第一语音中包括以下一项或多项：第一类关键词、第二类关键词，其中，第一类关键词包括以下一类或多类应用程序名称：视频类、购物类、导航类；第二类关键词包括以下一项或多项动词：查看、显示。
55.在一些实施例中，检测装置还可用于在语音助手以第二方式与用户进行交互的过程中，检测是否存在第一情况。处理器还可用于在检测装置检测到第一情况时，熄灭屏幕，并使语音助手以第一方式与用户进行交互。
56.由上述方法可知，电子设备可以在检测到用户不需要观看屏幕时，保持屏幕处于灭屏状态，并与用户进行语音交互，从而节省电子设备的功耗，并且避免误触。
57.第三方面，本技术实施还提供了一种语音交互方法。该方法包括：电子设备可以在屏幕处于灭屏状态下检测到用户的第一操作，第一操作用于启动语音助手。电子设备可以在第三情况下，在保持屏幕处于灭屏状态下启动语音助手，并使语音助手以第一方式与用户进行交互，第一方式为仅通过语音与用户进行交互。第三情况可以包括：通过摄像头检测到人脸且检测到第一手势。
58.结合第三方面，电子设备可以在第四情况下，点亮屏幕，启动语音助手，并使语音助手以第二方式与用户进行交互，第二方式包括通过图形界面与用户进行交互。第四情况可以包括：通过摄像头检测到人脸且未检测到第一手势。
59.由上述语音交互的方法可知，电子设备可以根据摄像头采集的图像来判断是否检测到人脸，以及是否检测到第一手势，进而检测用户是否需要观看屏幕。电子设备可以根据摄像头是否需要观看屏幕，来确定在灭屏状态下启动语音助手时是否点亮屏幕。当检测到用户不需要观看屏幕，电子设备可以保持屏幕处于灭屏状态，与用户进行语音交互。这样，在用户使用电子设备且不观看电子设备的屏幕的场景中，用户无需在电子设备点亮屏幕后，再进行相应的操作来熄灭屏幕，从而简化了用户将电子设备作为音箱使用的操作。
60.第四方面，本技术实施提供了一种电子设备。该电子设备可包括：屏幕、输入装置、摄像头、至少一个处理器。其中：输入装置可用于在屏幕处于灭屏状态下检测到用户的第一操作；第一操作用于启动语音助手。摄像头可用于在输入装置检测到用户的第一操作的情况下，检测是否存在第三情况；其中，第三情况包括：通过摄像头检测到人脸且检测到第一手势。处理器可用于在摄像头检测到第三情况时，在保持屏幕处于灭屏状态下启动语音助手，并使语音助手以第一方式与用户交互；第一方式为仅通过语音与用户进行交互。
61.结合第四方面，摄像头还可用于检测是否存在第四情况；第四情况包括：通过摄像头检测到人脸且未检测到第一手势。处理器还可用于在摄像头检测到第四情况时，点亮屏幕，启动语音助手，并使语音助手以第二方式与用户进行交互，第二方式包括通过图形界面与用户进行交互。
62.第五方面，本技术实施例提供一种芯片，该芯片应用于第二方面提供的电子设备
或第四方面提供的电子设备，该芯片包括一个或多个处理器，该一个或多个处理器用于调用计算机指令以使得第二方面提供的电子设备执行如第一方面中任一可能的实现方式，或使得第四方面提供的电子设备执行如第三方面中任一可能的实现方式。
63.第六方面，本技术实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在设备上运行时，使得上述第二方面提供的电子设备执行如第一方面中任一可能的实现方式，或使得上述第四方面提供的电子设备执行如第三方面中任一可能的实现方式。
64.第七方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在设备上运行时，使得上述第二方面提供的电子设备执行如第一方面中任一可能的实现方式，或使得上述第四方面提供的电子设备执行如第三方面中任一可能的实现方式。
65.可以理解地，上述第五方面提供的芯片、第六方面提供的计算机程序产品和第七方面提供的计算机可读存储介质均用于执行本技术实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
66.图1为本技术实施例提供的一种电子设备的结构示意图；
67.图2、图3为本技术实施例提供的电子设备保持屏幕处于灭屏状态与用户进行语音交互的场景示意图；
68.图4a、图4b、图5a、图5b、图6a和图6b为本技术实施例提供的电子设备点亮屏幕，通过图形界面和语音的方式与用户交互的场景示意图；
69.图7a～图7e为本技术实施例提供的一组语音交互的场景示意图；
70.图8a～图8d为本技术实施例提供的另一组语音交互的场景示意图；
71.图9为本技术实施例提供的一种语音交互的场景示意图；
72.图10为本技术实施例提供的另一种语音交互的场景示意图；
73.图11为本技术实施例提供的另一种电子设备的结构示意图；
74.图12为本技术实施例提供的一种语音交互的方法流程图；
75.图13为本技术实施例提供的另一种语音交互的方法流程图。
具体实施方式
76.下面将结合附图对本技术实施例中的技术方案进行清除、详尽地描述。其中，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
77.以下，本文中所涉及的“第一”、“第二
”……
之类的描述仅仅用来将一个对象或者操作与另一个对象或操作区分开来，而不一定要求或者暗示这些对象或操作之间存在任何这种实际的关系或者顺序，也不一定要求或者暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
78.目前，用户通过语音助手与有屏幕的电子设备进行语音交互时，电子设备可以输
出语音来响应用户的语音指令。另外，电子设备会直接点亮屏幕，显示语音助手的用户界面以及执行接收到的语音指令所得到的相关内容。但在一些场景中，例如电子设备放置于口袋中，用户通过语音助手与电子设备进行语音交互时，并不需要观看屏幕。而电子设备点亮屏幕显示语音助手的用户界面会浪费电子设备的功耗，并且容易导致误触。
79.基于上述问题，本技术实施例提供了一种语音交互的方法和电子设备。电子设备可配置有检测装置，例如，摄像头、接近光传感器、运动传感器。在该方法中，当接收到用于启动语音助手的第一操作，例如，当接收到包含有预设的唤醒词的语音输入，电子设备可以启动上述检测装置来检测用户是否需要观看屏幕。当根据检测装置的检测结果检测到用户不需要观看屏幕，电子设备可以与用户进行语音交互，而不点亮屏幕。这样，在一些用户无需观看屏幕的场景下，电子设备可以仅通过语音的方式与用户交互，而不点亮屏幕，从而节省了电子设备的功耗，并减少误触。
80.示例性的，电子设备可以利用摄像头采集图像，并根据摄像头采集的图像中是否包括人脸来检测用户是否需要观看屏幕。当上述摄像头采集的图像中不包括人脸，电子设备可以在后台运行语音助手，通过语音的方式与用户交互，而不显示语音助手的用户界面。
81.电子设备可以利用接近光传感器来判断电子设备的屏幕是否被遮挡。当电子设备的屏幕被遮挡，例如，电子设备放置于口袋中、电子设备的屏幕下放置于桌上，用户一般不需要观看屏幕。也即，当根据接近光传感器检测到电子设备的屏幕被遮挡，电子设备可以在后台运行语音助手，通过语音的方式与用户交互，而不显示语音助手的用户界面。
82.电子设备可以利用运动传感器来检测电子设备的姿态变化，并根据电子设备姿态的变化来检测用户是否需要观看屏幕。例如，用户拿起电子设备并执行抬手动作或翻转动作时，电子设备的姿态发生变化。电子设备可以点亮屏幕，以实现抬手亮屏。电子设备可以在不显示语音助手的用户界面的情况下，通过语音的方式与用户交互。当电子设备检测到抬手动作，电子设备可以点亮屏幕，显示语音助手的用户界面，并结合语音的方式与用户交互。
83.在本技术实施例中，不限于接近光传感器，电子设备还可以通过其它类型的传感器来检测屏幕是否被遮挡，例如红外光传感器、雷达传感器等。
84.不限于摄像头，电子设备还可以通过其它类型的传感器来检测屏幕是否与人脸相对。
85.图1示例性示出了一种电子设备100的结构示意图。
86.下面以电子设备100为例对本技术的实施例进行具体说明。应该理解的是，图1所示的电子设备100仅是一个范例，电子设备100可以具有比图1中所示的更多或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
87.电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180
可以包括压力传感器180a，陀螺仪传感器180b，加速度传感器180e，接近光传感器180g，指纹传感器180h，触摸传感器180k等。
88.可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
89.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
90.在一些实施例中，处理器110可以包括语音唤醒模块和语音指令识别模块。其中，语音唤醒模块和语音指令识别模块可以集成在不同的处理器芯片中，由不同的芯片执行。例如，语音唤醒模块可以集成在功耗较低的协处理器或dsp芯片中，语音指令识别模块可以集成在ap或npu或其他芯片中。这样，可以在语音唤醒模块识别到预设的语音唤醒词后，再启动语音指令识别的模块所在的芯片触发语音指令识别功能，从而节省电子设备的功耗。或者，语音唤醒模块和语音指令识别模块可以集成在相同的处理器芯片中，由同一芯片执行相关功能。例如，语音唤醒模块和语音指令识别模块均可集成在ap芯片或npu或其他芯片中。
91.处理器110还可以包括语音指令执行模块，即在识别到语音指令后，执行语音指令对应的操作。例如，语音助手。语音助手可以为包括语音指令识别功能的应用。当识别到语音指令后，语音助手可直接执语音指令对应的操作。或者，若语音指令对应的操作涉及第三应用，则语音助手可调用第三应用执行相应的操作。
92.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
93.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
94.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
95.电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。
96.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信
的解决方案。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
97.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。
98.电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
99.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
100.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
101.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。在一些实施例中，isp可以设置在摄像头193中。
102.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
103.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
104.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
105.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
106.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括
指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。
107.电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
108.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
109.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
110.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
111.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。
112.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。
113.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。
114.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，抬手亮屏，计步器等应用。
115.接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电和防误触的目的。电子设备100可以利用接近光传感器180g检测在语音助手启动时，电子设备100的屏幕是否被遮挡，以便在电子设备100的屏幕有遮挡时通过语音播报的方式与用户交互，而不点亮屏幕，达到省电和防误触的目的。
116.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
117.触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表
面，与显示屏194所处的位置不同。
118.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
119.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。
120.下面介绍电子设备100通过识别唤醒词来启动语音助手的方法。
121.在一些实施例中，电子设备100可以通过麦克风接收到语音输入。其中，当用户在电子设备100附近说出唤醒语音，该语音输入中可包含唤醒语音。在接收到该语音输入后，电子设备100可以从该语音输入中分离出用户的唤醒语音。接着，电子设备100可以从唤醒语音中，利用声学模型从用户的语音信号中的解码出音素序列。在从唤醒语音中解码出音素序列后，电子设备100可以判断该解码出的音素序列中是否与已存储的唤醒词音素序列匹配，若是，则表明该唤醒语音中有唤醒词。当确定该唤醒语音中有唤醒词，电子设备100可以启动语音助手。
122.在另一些实施例中，电子设备100可以通过麦克风接收到语音输入。其中，当用户在电子设备100附近说出唤醒语音时，该语音输入中可以包括有唤醒语音。在接收到该语音输入后，电子设备100可以从该语音输入中分离出用户的唤醒语音。接着，电子设备100可以从唤醒语音中，利用声学模型从用户的语音信号中的解码出音素序列。然后，通过语音模型以及语音模型的发音字典，从解码出来的音素序列中进一步解码出文字信息。在电子设备100解码出文字信息后，电子设备100可以判断从唤醒语音中解码出的文字信息是否包括有已存储的唤醒词文本，若是，则表明该用户的语音信号中有唤醒词。当确定该唤醒语音中有唤醒词，电子设备100可以启动语音助手。
123.在本技术实施例中，启动语音助手可以为电子设备100启动应用处理器中的语音指令识别模块和语音指令执行模块。启动后的语音指令识别模块可用于识别麦克风采集的语音输入中的语音指令，启动后的语音指令执行模块可用于执行所识别的语音指令。启动语音助手也可以称之为唤醒语音助手。
124.需要进行说明的是，当电子设备100的语音唤醒功能开启，电子设备100的语音唤醒模块可以时时处于工作状态。当语音唤醒模块从麦克风采集的语音输入中识别到唤醒词，电子设备100可以启动语音助手。
125.电子设备100识别语音指令的过程，可以参考前述电子设备100识别唤醒词的过程，这里不再赘述。
126.在本技术实施例中，电子设备100可通过麦克风采集语音输入。该语音输入可包括唤醒词和/或语音指令。其中，当用户一次性说出唤醒词和语音指令，例如“小艺小艺，我要给张三发短信”，电子设备100得到的语音输入中可包含唤醒词和语音指令。当用户只说出唤醒词，例如“小艺小艺”，电子设备100得到的语音输入即为唤醒词。在语音助手启动后，用户与语音助手进行语音交互的过程中用户可以只说语音指令，例如“我要给张三发短信”，电子设备100得到的语音输入即为语音指令。
127.除了上述通过识别唤醒词来启动语音助手，电子设备100还可以通过检测到的其他用户操作来启动语音助手。例如，响应于长按电源键的用户操作，电子设备100可以启动
语音助手。上述长按电源键的时间可以为1秒或2秒，本技术实施例对此不作限定。
128.本技术实施例对用于启动语音助手的第一操作不作限定，该第一操作还可以为其他用户启动语音助手的用户操作。
129.在一种可能的实现方式中，电子设备100可以从用户的语音信号中提取出唤醒词和用户的声纹特征，当唤醒词与已存储的唤醒词模板匹配且用户的声纹特征与已存储的声纹特征模板匹配时，电子设备100可以启动检测装置(如接近光传感器、摄像头、运动传感器)检测用户是否需要观看屏幕，并识别接下来用户输入的语音指令。这样，可以实现由特定的用户才能启动语音助手识别并执行语音指令，提高了终端的信息安全。
130.下面介绍本技术实施例提供的一种语音交互方法。
131.屏幕处于灭屏状态的电子设备100可以响应第一操作，启动语音助手以及检测装置。
132.其中，电子设备100的屏幕处于灭屏状态可以指电子设备100的屏幕熄灭。其中，电子设备100中包含于屏幕的发光器件，例如发光二极管，均未发光。或者，电子设备100的屏幕处于灭屏状态还可以指电子设备100中包含于屏幕的发光器件有较少部分发光。示例性的，电子设备100开启熄屏显示功能。响应于熄灭屏幕的用户操作，例如作用于电源键的用户操作，电子设备100可以熄灭屏幕并在屏幕上显示时间。上述灭屏状态也可以称为黑屏状态或熄屏状态。
133.另外，电子设备100可以处于亮屏状态。其中，电子设备100中包含于屏幕的发光器件，例如发光二极管，可以均处于发光状态。并且，电子设备100的应用处理器可以处于工作状态。
134.电子设备100可以利用接近光传感器和摄像头作为检测装置来检测用户是否需要观看屏幕。
135.其中，电子设备100检测用户是否需要观看屏幕的过程可以参考图12所示的方法流程图。
136.下面具体以第一操作为用户说出预设的唤醒词(如“小艺小艺”)进行说明。
137.电子设备100的屏幕处于灭屏状态。电子设备100的语音唤醒功能开启。当从麦克风采集的语音输入中识别到唤醒词，电子设备100可以先启动接近光传感器，来检测屏幕的预设距离内是否存在物体遮挡。
138.其中，屏幕的预设距离内存在物体遮挡，可以表示屏幕被遮挡，用户不需要观看电子设备的屏幕。例如，电子设备放置于口袋中，电子设备屏幕朝下放置于桌上。
139.屏幕的预设距离内不存在物体遮挡，可以表示屏幕未被遮挡。但在屏幕未被遮挡的情况下，用户可能需要观看电子设备的屏幕，也可能不需要观看电子设备的屏幕。例如，电子设备屏幕朝上放置于桌上，但用户没有看屏幕。
140.当根据接近光传感器检测到屏幕的预设距离内存在物体遮挡，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。例如，当接收到“查询天气”的语音指令，电子设备100可以保持屏幕处于灭屏状态，语音播报天气。上述语音指令还可以例如是：拨打电话、发送短信、播放音乐、控制智能家居设备。
141.当根据接近光传感器检测到屏幕的预设距离内不存在物体遮挡，电子设备100可以启动摄像头，来检测是否存在人脸。
142.其中，当用户需要观看屏幕时，用户的脸部会与屏幕相对，并且停留一段时间。电子设备通过摄像头(如前置摄像头)，在一段连续的时间段内(如1秒、2秒)，可以采集到多帧均包含人脸的图像。
143.当用户的脸部未与屏幕相对，摄像头采集的图像中不包含人脸。或者，当用户的脸部在屏幕前方闪过，摄像头在一段连续的时间段内采集的多帧图像中存在不包含人脸的图像。对于上述用户的脸部未与屏幕相对以及用户的脸部在屏幕前方闪过的场景，可以认为用户在这些场景中不需要观看屏幕。
144.当确定摄像头在预设时间段内采集的多帧图像中存在不包含人脸的图像，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。
145.当确定摄像头在预设时间段内采集的多帧图像中均包含人脸，电子设备100可以点亮屏幕，显示图形界面，并与用户进行语音交互。
146.其中，摄像头采集的一帧图像中包含人脸可以表示这一帧图像中包含完整的人脸或正面的人脸。若一帧图像中包含侧脸或不完整的人脸，电子设备100可以确定出这一帧图像中不包含人脸。
147.上述图形界面可以是语音助手的用户界面。或者，当语音指令中涉及显示第三应用的用户界面，例如，语音指令为“查看图库”、“播放视频”，上述图形界面可以是第三应用的用户界面。
148.在上述语音交互方法中，在电子设备100仅通过语音与用户进行交互时，电子设备100可以运行用于得到与用户进行交互的语音的第一程序以及用于得到与用户进行交互的图形界面的第二程序。其中，当判断出用户不需要观看屏幕，电子设备100可以保持屏幕处于灭屏状态。即电子设备100不会在屏幕上显示运行上述第二程序得到的图形界面。当判断出用户需要观看屏幕，电子设备100可以点亮屏幕，在屏幕上显示运行上述第二程序得到的图形界面。这样，在电子设备100利用语音助手与用户进行交互时，若判断出用户需要观看屏幕，电子设备100可以迅速将运行第二程序得到的图形界面显示在屏幕上，从而减少绘制图形界面的时延。
149.可选的，在电子设备100仅通过语音与用户进行交互时，电子设备100可以仅运行上述第一程序。然后，电子设备100可以通过扬声器输出运行上述第一程序得到的语音，来实现与用户的交互。电子设备100可以在判断出用户需要观看屏幕时，运行上述第二程序。进一步的，电子设备100点亮屏幕，在屏幕上显示运行上述第二程序得到的图形界面。这样，电子设备100可以在判断出用户不需要观看屏幕时只运行上述第一程序，从而节省功耗。
150.相较于摄像头工作的功耗，接近光传感器工作的功耗较低。电子设备100先通过接近光传感器判断屏幕是否被遮挡，并在屏幕被遮挡的情况下，也即此时用户没有观看屏幕的需求，电子设备100可以保持屏幕处于灭屏状态，在后台启动和运行语音助手，与用户进行语音交互。当通过接近光传感器无法判定用户是否需要观看屏幕时，即在屏幕未被遮挡的情况下，电子设备100可以启动摄像头作进一步检测。这样，电子设备100可以节省在检测用户是否需要观看屏幕时的功耗。
151.需要进行说明的是，在上述语音交互方法中，本技术实施例对电子设备100启动语音助手和启动检测装置的时间先后顺序不作限定。
152.在一种可能的实现方式中，上述接近光传感器和上述摄像头可以实时处于工作状
态。电子设备可以在检测到上述第一操作后获取上述接近光传感器和/或上述摄像头采集的数据，来确定用户是否需要观看屏幕。
153.在一种可能的实现方式中，电子设备100在启动语音助手时，可以输出开启提示，来提示用户输入语音指令。该开启提示可以是语音提示、文本提示、机械振动提示中的一种或多种。例如，该语音提示可以为电子设备100语音播报“嗨，我正在听”。该文本提示可以为电子设备100在屏幕上显示文本“嗨，我正在听”。
154.可选的，响应于第一操作，电子设备100可以同时启动语音助手和检测装置。电子设备100可以先在屏幕为灭屏状态时，通过语音的方式输出开启提示。也即电子设备100可以先语音播报“嗨，我正在听”。待通过检测装置进行检测之后，电子设备100可以确定是否点亮屏幕。例如，当确定检测到人脸，电子设备100可以点亮屏幕，通过文本的方式输出开启提示。也即电子设备100可以在屏幕上显示文本“嗨，我正在听”。若根据检测装置检测到用户不需要观看屏幕，电子设备100可以保持屏幕处于灭屏状态。
155.可选的，响应于第一操作，电子设备100可以先启动检测装置进行检测，待确定用户是否需要观看屏幕后，再启动语音助手。若根据检测装置检测到用户需要观看屏幕，电子设备100可以点亮屏幕，显示文本“嗨，我正在听”，并且语音播报“嗨，我正在听”。也即电子设备100可以通过文本和语音的方式输出开启提示。若根据检测装置检测到用户不需要观看屏幕，电子设备100可以保持屏幕处于灭屏状态，通过语音的方式输出开启提示。
156.下面结合应用场景，具体介绍本技术提供的语音交互方法。
157.图2示例性示出了一种电子设备保持屏幕处于灭屏状态与用户进行语音交互的场景示意图。
158.如图2所示，电子设备100被放置于口袋中。电子设备100的屏幕处于灭屏状态。电子设备100的语音唤醒功能开启，麦克风可实时采集电子设备100附近的语音输入，电子设备100可以识别该语音输入中是否包含有预设的唤醒词。这样，用户可以通过说出预设的唤醒词来启动语音助手。
159.当用户在电子设备100附近说出“小艺小艺，我要给张三发短信”，电子设备100可以识别到唤醒词“小艺小艺”。进而，电子设备100可以启动检测装置来检测用户是否需要观看屏幕。当启动接近光传感器进行检测，电子设备100可以确定屏幕被遮挡。进一步的，电子设备100可以保持屏幕处于灭屏状态(即屏幕处于黑屏状态)，在后台运行语音助手，与用户进行语音交互。其中，当识别到语音指令“我要给张三发短信”，电子设备100可以执行该语音指令对应的操作。例如，电子设备100可以调用通讯录应用查看是否存在名称为“张三”的联系人。若确定存在该联系人，电子设备100可以通过扬声器语音提示“好的，请说短信内容”，并调用短信应用为用户提供发送短信的服务
160.这样，当屏幕被遮挡，例如放置于口袋中、屏幕朝下放置于桌上，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互，从而节省电子设备的功耗，并且避免误触。
161.图3示例性示出了另一种电子设备保持屏幕处于灭屏状态与用户进行语音交互的场景示意图。
162.如图3所示，电子设备100屏幕朝上放置于桌上。电子设备100的屏幕处于灭屏状态。电子设备100的语音唤醒功能开启。
163.当用户在电子设备100附近说出“小艺小艺，开空调”，电子设备100可以识别到唤
醒词“小艺小艺”。进而，电子设备100可以启动检测装置来检测用户是否需要观看屏幕。当启动接近光传感器进行检测，电子设备100可以确定屏幕未被遮挡。然后，电子设备100可以启动摄像头。根据摄像头采集的图像，电子设备100可以确定未检测到人脸。进一步的，电子设备可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。其中，当识别到语音指令“开空调”，电子设备100可以执行该语音指令对应的操作。例如，电子设备100可以在保持屏幕处于灭屏状态时，调用控制智能家居设备的应用，开启空调。并且，电子设备100可以通过扬声器语音提示“好的，正在开启空调”，以对用户说出的语音指令进行回复。这样，用户可以知道电子设备100已启动语音助手来识别和执行语音指令。
164.在上述实施例中，当屏幕未被遮挡，电子设备100可以启动摄像头作进一步检测。这样可以对用户是否需要观看屏幕进行更准确地判断。在屏幕未被遮挡，且未检测到人脸的场景下，电子设备可以保持屏幕处于灭屏状态，与用户进行语音交互，节省电子设备的功耗。
165.不限于上述发送短信、控制智能家居设备(如空调、点灯、电视、音箱)的场景，电子设备还可以根据检测装置的检测结果，在检测到用户不需要观看屏幕的时，保持屏幕处于灭屏状态，通过语音的方式为用户提供播放音乐，拨打和接听电话、查询天气、导航等功能。
166.需要进行说明的是，在上述图2和图3所示的实施例中，若识别到用户的语音指令为显示特定应用的用户界面，例如，语音指令为“查看图库”、“播放视频”等，电子设备100难以仅通过语音交互的方式为用户播报图库应用、视频应用等应用的用户界面。上述显示特定应用的用户界面的应用场景中，用户往往会观看电子设备的屏幕，即电子设备一般可以通过接近光传感器和摄像头来检测用户需要观看屏幕。若在上述应用场景中，电子设备通过接近光传感器检测到屏幕被遮挡，或者通过接近光传感器检测到屏幕未被遮挡，且通过摄像头未检测到人脸，电子设备100可以保持屏幕处于灭屏状态，并通过扬声器语音提示“已经为您找到，快来查看吧”。进一步的，当用户根据电子设备的语音提示查看屏幕，电子设备可以通过接近光传感器和摄像头检测到用户需要观看屏幕。进而电子设备100可以点亮屏幕，显示相关应用的用户界面。
167.这样，电子设备可以在检测到用户不需要观看屏幕时，保持屏幕处于灭屏状态，并与用户进行语音交互，从而节省电子设备的功耗，并且避免误触。
168.图4a和图4b示例性示出了一种电子设备点亮屏幕，通过图形界面和语音的方式与用户交互的场景示意图。
169.如图4a所示，用户手持电子设备100，且保持面部与电子设备100的屏幕相对。电子设备100的屏幕处于灭屏状态。电子设备100的语音唤醒功能开启。
170.当用户在电子设备100附近说出“小艺小艺，我要给张三发短信”，电子设备100可以识别到唤醒词“小艺小艺”。进而，电子设备100可以启动检测装置来检测用户是否需要观看屏幕。当启动接近光传感器进行检测，电子设备100可以检测到屏幕未被遮挡。然后电子设备100可以启动摄像头。根据摄像头采集的图像，电子设备100可以确定检测到人脸。
171.进一步的，电子设备100可以运行语音助手，并显示语音助手的用户界面，例如显示如图4a所示的语音转文本框202。该语音转文本框202可用于显示电子设备100识别出的语音指令“我要给张三发短信”。这样，用户可以比较电子设备100识别出的语音指令与自己说出的语音指令是否一致。
172.当识别出语音指令，电子设备100可以执行该语音指令对应的操作。示例性的，响应于语音指令“我要给张三发短信”，电子设备100可以先调用通讯录应用查看是否存在名称为“张三”的联系人。若确定存在该联系人，电子设备100可以通过文本显示和语音播报的方式提示用户说出短信内容。示例性的，电子设备100可以显示如图4b所示的用户界面，并通过扬声器语音提示“好的，请说短信内容”，来提示用户说出短信内容。
173.其中，图4b所示的用户界面可包括文本提示框203。该文本提示框203中的内容可以与电子设备100语音提示的内容相同，如“好的，请说短信内容”。
174.在上述实施例中，在屏幕未被遮挡，且检测到人脸的场景下，电子设备可以点亮屏幕，显示语音助手的用户界面，或者，当识别到语音指令中涉及显示第三应用的用户界面，电子设备可以调用第三应用，显示第三应用的用户界面。电子设备还可以结合语音播报的方式与用户交互。电子设备可以智慧决策是否点亮屏幕。当检测到用户需要观看屏幕，电子设备可以通过图形界面和语音的方式与用户交互，给用户良好的使用体验。
175.本技术实施例对电子设备语音播报的内容、文本提示的内容均不作限定。
176.在一些实施例中，电子设备100可以只利用接近光传感器来检测用户是否需要观看屏幕。
177.具体的，电子设备100的屏幕处于灭屏状态。响应于用于启动语音助手的第一操作，电子设备100可以启动接近光传感器。示例性的，若第一操作为用户说出唤醒词，电子设备100中的语音唤醒模块可以获取并处理麦克风采集的语音输入。当确定该语音输入中包含预设的唤醒词，电子设备100可以启动接近光传感器。
178.若根据接近光传感器的检测结果确定屏幕被遮挡，电子设备100可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。
179.若根据接近光传感器的检测结果确定屏幕未被遮挡，电子设备100可以点亮屏幕，运行语音助手。其中，电子设备100可以显示语音助手的用户界面，并与用户进行语音交互。这样，电子设备100可以通过图形界面与语音的方式与用户交互。
180.可选的，接近光传感器可以实时处于工作状态。若电子设备100通过接近光传感器在接收到第一操作之前的预设时间内确定屏幕未被遮挡，电子设备100可以在接收到第一操作后，启动语音助手。其中，电子设备100可以点亮屏幕，结合图形界面和语音的方式与用户进行交互。上述接收到第一操作之前的预设时间可以为1秒、2秒，本技术实施例对此不作限定。
181.在一些实施例中，电子设备100可以只利用摄像头来检测用户是否需要观看屏幕。
182.具体的，电子设备100的屏幕处于灭屏状态。响应于用于启动语音助手的第一操作，电子设备100可以启动摄像头。示例性的，若第一操作为用户说出唤醒词，电子设备100中的语音唤醒模块可以获取并处理麦克风采集的语音输入。当确定语音输入中包含预设的唤醒词，电子设备100可以启动摄像头。
183.当确定摄像头在预设时间段内采集的多帧图像中存在不包含人脸的图像，电子设备100可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。
184.当确定摄像头在预设时间段内采集的多帧图像中均包含人脸，电子设备100可以点亮屏幕，运行语音助手。其中，电子设备100可以显示语音助手的用户界面，并与用户进行语音交互。这样，电子设备100可以通过图形界面与语音的方式与用户交互。
185.可选的，摄像头可以实时处于工作状态。若电子设备100通过摄像头在接收到第一操作之前的预设时间内检测到人脸，电子设备100可以在接收到第一操作后，启动语音助手。其中，电子设备100可以点亮屏幕，结合图形界面和语音的方式与用户进行交互。上述接收到第一操作之前的预设时间可以为1秒、2秒，本技术实施例对此不作限定。
186.在一些实施例中，电子设备100可以只利用运动传感器来检测用户是否需要观看屏幕。
187.具体的，电子设备100的屏幕处于灭屏状态。响应于用于启动语音助手的第一操作，电子设备100可以启动运动传感器。示例性的，若第一操作为用户说出唤醒词，电子设备100中的语音唤醒模块可以获取并处理麦克风采集的语音输入。当确定语音输入中包含预设的唤醒词，电子设备100可以启动运动传感器。该运动传感器可以包括加速度传感器、陀螺仪传感器。该运动传感器可用于检测电子设备100的姿态变化。不限于加速度传感器、陀螺仪传感器，该运动传感器还可以为其它类型可用于检测电子设备100的姿态变化的传感器。
188.当电子设备100根据运动传感器未检测到抬手动作，电子设备100可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。其中，电子设备100检测到抬手动作，电子设备的姿态变化可以为：电子设备100在屏幕朝上时从水平放置的姿态变化为倾斜或竖直放置的姿态。
189.当电子设备100根据运动传感器检测到抬手动作，电子设备100可以点亮屏幕，运行语音助手。其中，电子设备100可以显示语音助手的用户界面，并与用户进行语音交互。这样，电子设备100可以通过图形界面与语音的方式与用户交互。
190.图5a、图5b、图6a和图6b示例性示出了电子设备100在运行语音助手时，根据运动传感器智慧决策是否点亮屏幕的场景示意图。
191.如图5a所示，电子设备100的屏幕处于灭屏状态。响应于第一操作(如用户说出唤醒词“小艺小艺”)，电子设备100可以启动运动传感器。当未检测到抬手动作，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。例如，响应于用户询问当日天气的语音指令“今天天气怎么样”，电子设备100可以搜索天气，并通过扬声器语音播报当日天气“纽约今天发布雷电黄色预警，全天有雷阵雨
…”
。
192.在上述电子设备100语音播报天气的过程中，若检测到抬手动作，电子设备100可以点亮屏幕，显示如图5b所示的用户界面210，并继续语音播报天气。用户界面210中可包括文本提示框211。该文本提示框211可用于通过图标和文本的方式显示位置、日期以及天气等数据。
193.不限于上述抬手动作，当根据运动传感器检测到翻转动作、掏出口袋动作，电子设备100可以点亮屏幕，启动并运行语音助手，通过图形界面和语音的方式与用户交互。
194.可选的，运动传感器可以实时处于工作状态。若电子设备100通过运动传感器在接收到第一操作之前的预设时间内检测到抬手动作，电子设备100可以在接收到第一操作后，启动语音助手。其中，电子设备100可以点亮屏幕，结合图形界面和语音的方式与用户进行交互。上述接收到第一操作之前的预设时间可以为1秒、2秒，本技术实施例对此不作限定。
195.示例性的，如图6a所示，电子设备100的屏幕处于灭屏状态。电子设备100可以通过运动传感器检测到抬手动作。电子设备100的屏幕仍然保持灭屏状态。如图6b所示，在检测
到抬手动作的预设时间内(如1秒、2秒)，若检测到唤醒词“小艺小艺”，电子设备100可以点亮屏幕，执行用户的语音指令“今天天气怎么样”。其中，电子设备100可以显示如图6b所示的用户界面210，并通过扬声器语音播报当日天气“纽约今天发布雷电黄色预警，全天有雷阵雨
…”
。
196.也即是说，用户可以先拿起手机并做抬手动作。若用户在做抬手动作之后的预设时间内，例如1秒或者2秒内，用户说出唤醒词，电子设备100可以启动语音助手，点亮屏幕，结合图形界面和语音的方式与用户交互。
197.可选的，运动传感器可以实时处于工作状态。若电子设备100在接收到第一操作的同时检测到抬手动作，电子设备100可以在接收到第一操作后，启动语音助手。其中，电子设备100可以点亮屏幕，结合图形界面和语音的方式与用户进行交互。
198.也即是说，若用户一边拿起手机做抬手动作，一边说出唤醒词，电子设备100可以启动语音助手，点亮屏幕，结合图形界面和语音的方式与用户交互。
199.在一些实施例中，电子设备100可以结合接近光传感器和运动传感器来检测用户是否需要观看屏幕。
200.具体的，电子设备100的屏幕处于灭屏状态。响应于用于启动语音助手的第一操作，电子设备100可以先启动接近光传感器。示例性的，若第一操作为用户说出唤醒词，电子设备100中的语音唤醒模块可以获取并处理麦克风采集的语音输入。当确定语音输入中包含预设的唤醒词，电子设备100可以启动接近光传感器。
201.电子设备100可以利用接近光传感器来检测屏幕是否被遮挡。若确定屏幕被遮挡，电子设备100可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。
202.若确定屏幕未被遮挡，电子设备100可以启动运动传感器。电子设备100可以根据运动传感器检测电子设备100的姿态变化。例如，当检测到抬手动作，电子设备100可以点亮屏幕，运行语音助手，通过图形界面和语音的方式与用户交互。
203.下面对电子设备100利用检测装置(如接近光传感器、摄像头、运动传感器)进行检测的时间进行说明。
204.在一些实施例中，检测装置可以从电子设备100接收到第一操作开始，持续检测至该次语音交互结束。
205.上述语音交互结束可以表示语音助手停止运行，需要用户再次进行前述实施例中提及的第一操作，来启动语音助手。例如，在语音指令为发送短信的应用场景中。当调用短信应用发送完短信，电子设备100可以停止运行语音助手。或者，在语音指令为查询天气的应用场景中。当播报完天气，电子设备100可以停止运行语音助手。当上述语音交互结束，响应于上述第一操作，电子设备100可以再次启动并运行语音助手。
206.图7a～图7e示例性示出了在从电子设备100识别到语音助手的唤醒词至该次语音交互结束这一过程中，检测装置持续进行检测的场景示意图。
207.如图7a所示，电子设备100屏幕朝上放置于桌上。电子设备100的屏幕处于灭屏状态。电子设备100的语音唤醒功能开启。
208.当用户在电子设备100附近说出“小艺小艺，给我讲白雪公主的故事”，电子设备100中的语音唤醒模块可以识别到唤醒词“小艺小艺”。进而，电子设备100可以启动检测装置来检测用户是否需要观看屏幕。
209.具体的，当启动接近光传感器进行检测，电子设备100可以检测到屏幕未被遮挡。然后，电子设备100可以启动摄像头。根据摄像头采集的图像，电子设备100可以确定未检测到人脸。进一步的，电子设备可以在后台运行语音助手，与用户进行语音交互。其中，电子设备100可以从麦克风采集的语音输入中识别语音指令“给我讲白雪公主的故事”，并执行该语音指令对应的操作。例如，电子设备100可以在保持屏幕处于灭屏状态时，调用浏览器应用搜索“白雪公主”的故事，并通过扬声器语音播报该故事“很久很久以前，有一个王后在冬季生下一个女孩
…”
。
210.在上述实施例中，从识别到唤醒词至该次语音交互结束的这一过程中，电子设备100可以持续利用检测装置来检测用户是否需要观看屏幕，并根据判断结果智慧决策是否点亮屏幕。
211.在一种可能的实现方式中，接近光传感器和摄像头处于关闭状态。当识别到上述唤醒词，电子设备100可以先启动接近光传感器，来检测屏幕是否被遮挡。
212.若在第一时刻确定屏幕未被遮挡，电子设备100可以在上述第一时刻关闭接近光传感器，并启动摄像头。电子设备100可以先利用接近光传感器进行检测，在确定屏幕未被遮挡后再开启摄像头进行检测。即摄像头在屏幕被遮挡时可以处于关闭状态。电子设备100可以在该次语音交互结束时，关闭摄像头。
213.电子设备100可以根据摄像头来检测是否有人脸。在未检测到人脸时，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。当检测到人脸，电子设备100可以点亮屏幕，在屏幕上显示对应的用户界面。这样，电子设备100可以通过图形界面和语音的方式与用户交互。
214.由上述分析可知，接近光传感器的工作时间可从识别到上述唤醒词开始至上述确定屏幕未被遮挡的第一时刻结束。摄像头的工作时间可从上述第一时刻开始至该次语音交互结束时结束。若屏幕一直处于被遮挡的状态，电子设备100可以只开启接近光传感器进行检测，从而节省功耗。
215.如图7a所示，电子设备100屏幕朝上放置于桌上。电子设备100根据接近光传感器可以确定屏幕未被遮挡。然后电子设备100可以开启摄像头进行检测。
216.如图7b所示，用户朝电子设备100走去，并拿起电子设备100。用户的面部与电子设备100的屏幕相对。电子设备100可以根据摄像头采集的图像检测到人脸。电子设备100可以点亮屏幕，显示如图7b所示的用户界面。该用户界面可包括文本提示框204。该文本提示框204可用于显示电子设备100根据识别到的语音指令所搜索到的结果。例如，语音指令为“给我讲白雪公主的故事”，文本提示框204可显示电子设备100搜索到的“白雪公主”的故事“嘴唇赤红如雪，头发黑如乌木一样漂亮
…”
。如图7c所示，用户放下并离开电子设备100。电子设备100放置于桌上。电子设备100的摄像头处于工作状态。当根据摄像头采集的图像确定检测不到人脸，例如在预设时间段内摄像头采集的多帧图像中存在不包含人脸的图像，电子设备100可以熄灭屏幕，通过语音的方式与用户交互。例如，电子设备100可以熄灭屏幕，继续语音播报白雪公主的故事。
217.当上述白雪公主的故事语音播报完成，电子设备100可以停止运行语音助手，并关闭摄像头。
218.本技术实施例对接近光传感器和摄像头的工作时间不作限定。例如，在识别到有
唤醒词时，电子设备100可以开启接近光传感器和摄像头。在该次语音交互结束时，电子设备100可以关闭接近光传感器和摄像头。或者，从识别到唤醒词至该次语音交互结束的这一过程中，接近光传感器和摄像头可以交替工作。
219.在一种可能的实现方式中，在结合图形界面和语音的方式与用户交互时，响应于相关的用户操作，电子设备100可以停止或继续通过语音的方式与用户交互。
220.如图7d所示，当根据检测装置检测到用户需要观看屏幕，电子设备100可以显示语音助手的用户界面，并与用户进行语音交互。例如，电子设备100可以显示如图7d所示的文本提示框204。该文本提示框204可包含“白雪公主”的故事的文字内容，还可以包含上一页控件204a、下一页控件204b和停止语音播报控件204c。其中，上一页控件204a和下一页控件204b可用于控制显示在文本提示框204中的文字内容。例如，响应于作用在上一页控件204a的触摸操作，电子设备100可以显示如图7b所示的用户界面。图7d所示的文本提示框204中的内容可以为图7b所示的文本提示框204中内容的续接。停止语音播报控件204c可用于电子设备100停止与用户语音交互。例如，响应于作用在图7d所示的停止语音播报控件204c的触摸操作，电子设备100可以停止语音播报“白雪公主”的故事。
221.另外，如图7e所示，响应于作用在停止语音播报控件204c的触摸操作，电子设备100可以将停止语音播报控件204c切换为继续语音播报控件204d。该继续语音播报控件204d可用于电子设备100继续与用户进行语音交互。例如，响应于作用在继续语音播报控件204d的触摸操作，电子设备100可以从停止语音播报时播报的内容处继续语音播报。或者，电子设备100可以语音播报当前显示在文本提示框204中的内容。
222.上述文本提示框204还可以包含更多或更少的控件，本技术实施例对此不作限定。
223.可选的，在上述图7a～图7e所示的实施例中，电子设备100可以利用接近光传感器和运动传感器来检测用户是否需要观看屏幕，进而确定是否点亮屏幕。
224.其中，当识别到唤醒词，电子设备100可以先开启接近光传感器。当确定屏幕被遮挡，电子设备100可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。并且，接近光传感器可以持续工作，以检测屏幕是否被遮挡。若在第一时刻，电子设备100根据接近光传感器确定屏幕未被遮挡，电子设备100可以关闭接近光传感器，并开启运动传感器。在未检测到抬手动作时，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。当根据运动传感器检测到抬手动作，电子设备100可以点亮屏幕，通过图形界面和语音的方式与用户交互。即接近光传感器的工作时间可以从识别到唤醒词开始，至上述第一时刻结束。运动传感器的工作时间可以从上述第一时刻开始，至该次语音交互结束时结束。这样，根据屏幕是否被遮挡以及电子设备100的姿态变化，例如电子设备100是否检测到抬手动作、翻转动作、掏出口袋动作，电子设备100智慧决策是否点亮屏幕，从而节省电子设备的功耗，避免误触。并且，电子设备100可以在检测到用户需要观看屏幕时点亮屏幕，不影响用户查看相关的用户界面。
225.可选的，在上述图7a～图7e所示的实施例中，电子设备100可以只利用接近光传感器作为检测装置来检测用户是否需要观看屏幕，进而确定是否点亮屏幕。即接近光传感器的工作时间可以从识别到唤醒词开始，在该次语音交互结束时结束。其中，当确定屏幕未被遮挡时，电子设备100可以点亮屏幕，运行语音助手，通过图形界面和语音的方式与用户交互。当确定屏幕被遮挡时，电子设备100可以熄灭屏幕，与用户进行语音交互。这样，根据屏
幕是否被遮挡，电子设备100的屏幕可以在灭屏状态和亮屏状态之间切换，不仅不影响用户在需要时观看屏幕，查看相关的用户界面，还可以节省电子设备的功耗，并避免误触。
226.可选的，在上述图7a～图7e所示的实施例中，电子设备100可以只利用摄像头作为检测装置来检测用户是否需要观看屏幕，进而确定是否点亮屏幕。即摄像头的工作时间可以从识别到唤醒词开始，在该次语音交互结束时结束。其中，当检测到人脸，电子设备100可以点亮屏幕，运行语音助手，通过图形界面和语音的方式与用户交互。当未检测到人脸，电子设备100可以熄灭屏幕，与用户进行语音交互。这样，根据是否能检测到人脸，电子设备100的屏幕可以在灭屏状态和亮屏状态之间切换，不仅不影响用户在需要时观看屏幕，查看相关的用户界面，还可以节省电子设备的功耗，并避免误触。
227.可选的，在上述图7a～图7e所示的实施例中，电子设备100可以只利用运动传感器作为检测装置来检测用户是否需要观看屏幕，进而确定是否点亮屏幕。即运动传感器的工作时间可以从识别到唤醒词开始，在该次语音交互结束时结束。其中，在未检测到抬手动作时，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。当检测到抬手动作，电子设备100可以点亮屏幕，运行语音助手，通过图形界面和语音的方式与用户交互。这样，根据电子设备100的姿态变化，例如电子设备100是否检测到抬手动作、翻转动作、掏出口袋动作，电子设备100可以智慧决策是否点亮屏幕，从而节省电子设备的功耗，避免误触。并且，电子设备100可以在检测到用户需要观看屏幕时点亮屏幕，不影响用户查看相关的用户界面。
228.从识别到有唤醒词至该次语音交互结束的这一过程中，电子设备100可以持续利用检测装置来检测用户是否需要观看屏幕。这样，在检测到用户不需要观看屏幕时，电子设备可以在屏幕处于灭屏状态下，通过语音的方式与用户交互。在检测到用户需要观看屏幕时，点亮屏幕，通过图形界面和语音的方式与用户交互。这样，电子设备可以智慧决策是否点亮屏幕。屏幕可以在灭屏状态与屏幕亮屏状态之间进行切换。在用户不需要观看屏幕的场景中，电子设备的屏幕处于灭屏状态，可以节省电子设备的功耗，并且避免误触。在用户需要观看屏幕的场景中，电子设备可以显示对应的用户界面，不会影响用户的体验。
229.在一些实施例中，检测装置可以从电子设备100识别到语音助手的唤醒词开始进行检测，并在点亮屏幕后结束检测。
230.仍以图7a～图7c所示的实施例进行说明。
231.如图7a所示，电子设备100屏幕朝上放置于桌上。电子设备100的屏幕处于灭屏状态。电子设备100的语音唤醒功能开启。当识别到唤醒词，电子设备100可以先开启接近光传感器进行检测，并在检测到屏幕未被遮挡时，关闭接近光传感器，开启摄像头进行检测。当利用摄像头确定未检测到人脸，电子设备100可以保持屏幕处于灭屏状态，在后台运行语音助手，通过语音的方式和用户交互。
232.如图7b所示，用户的面部与电子设备100的屏幕相对。电子设备100可以根据摄像头采集的图像检测到人脸。电子设备100可以点亮屏幕，显示如图7b所示的用户界面，通过图形界面和语音的方式与用户交互。另外，电子设备100可以关闭摄像头。
233.即当检测到用户需要观看屏幕，电子设备100可以关闭检测装置，不再检测后续阶段用户是否需要观看屏幕。那么在电子设备100点亮屏幕，显示如图7b所示的用户界面之后，在该次语音交互结束之前，若用户的面部与电子设备100的屏幕不再相对，例如，如图7c
所示，用户放下并离开电子设备100，电子设备100的屏幕仍可以保持亮屏状态。
234.在一些实施例中，检测装置可以从电子设备100识别到语音助手的唤醒词开始进行检测，并在与用户完成一轮语音交互后结束检测。
235.上述与用户完成一轮语音交互可以为用户说出一条语音指令，电子设备100运行语音助手，对上述用户说出的一条语音指令进行回复。例如，如图2所示用户说出语音指令“我要给张三发短信”和电子设备100可以回复语音提示“好的，请说短信内容”，即为一轮语音交互。如图3所示用户说出语音指令“开空调”和电子设备100回复“好的，正在开启空调”，即为一轮语音交互。
236.以图2所示的实施例进行说明。
237.如图2所示，电子设备100放置于口袋中。电子设备100的屏幕处于灭屏状态。电子设备100的语音唤醒功能开启。从识别到唤醒词“小艺小艺”至电子设备100运行语音助手回复“好的，请说短信内容”这一过程中，电子设备100可以利用检测装置，如接近光传感器和摄像头来检测用户是否需要观看屏幕。当检测到用户不需要观看屏幕，电子设备100可以保持屏幕处于灭屏状态，通过语音的方式与用户交互。当检测到用户需要观看屏幕，电子设备100可以点亮屏幕，通过图形界面和语音的方式与用户交互。即屏幕可以从灭屏状态切换为亮屏状态。
238.当完成上述一轮语音交互，电子设备100可以关闭检测装置。电子设备100的屏幕为灭屏状态还是为亮屏状态可以由电子设备100关闭检测装置时，屏幕的状态的来确定。当电子设备100关闭检测装置时，屏幕的状态为灭屏状态，电子设备100可以保持屏幕处于灭屏状态，在该次语音交互过程中的后续阶段通过语音的方式与用户交互。当电子设备100关闭检测装置时，屏幕的状态为亮屏状态，电子设备100可以保持屏幕为亮屏状态，在该次语音交互过程中的后续阶段通过图形界面和语音的方式与用户交互。
239.电子设备100利用检测装置来检测用户是否需要观看屏幕的方法可以参考前述实施例的说明，这里不再赘述。
240.在另一些实施例中，检测装置可以从电子设备100识别到语音助手的唤醒词开始进行检测，并在与用户完成n轮语音交互后结束检测。n可以为大于1的整数。
241.本技术实施例对电子设备利用检测装置检测用户是否需要观看屏幕的检测时间不作限定。
242.在一些实施例中，电子设备100可以结合检测装置的检测结果和分析接收到的语音指令中是否包含特定关键词的分析结果，来检测用户是否需要观看屏幕。
243.上述特定关键词可以包括第一类关键词和第二类关键词。其中，第一类关键词可以为涉及特定类别的应用的关键词，这些特定类别的应用一般通过用户界面与用户交互。例如，视频类的应用：华为视频、爱奇艺等，购物类的应用：淘宝、京东等，导航类的应用：百度地图、google maps等。第二类关键词可以为涉及特定动作的关键词，这些特定动作可以为指示用户需要观看屏幕的动作。例如：查看、显示等。
244.在一些应用场景中，电子设备100在识别到唤醒词后，根据检测装置的检测结果检测到用户不需要观看屏幕，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。但接收到的语音指令中涉及显示用户界面，且电子设备100无法通过语音播报的形式为用户描述需要显示的用户界面时，例如，语音指令为“查看图库”、“播放视频”，电子设备100
可以点亮屏幕，显示语音指令中涉及的用户界面。
245.在利用检测装置的检测结果检测到用户不需要观看屏幕的基础上，电子设备100可以进一步识别语音指令中是否包含上述第一类关键词和/或上述第二类关键词，来确定是否点亮屏幕。
246.在一种可能的实现方式中，电子设备100可以先识别语音指令中是否包含第一类关键词。若确定语音指令中包含第一类关键词，电子设备100可以点亮屏幕，显示语音指令中涉及的用户界面。这样，电子设备100可以通过图形界面和语音的方式与用户交互。若确定语音指令中不包含第一类关键词，电子设备100可以再识别语音指令中是否包含第二类关键词。若确定语音指令中包含第二类关键词，电子设备100可以点亮屏幕，显示语音指令中涉及的用户界面。这样，电子设备100可以通过图形界面和语音的方式与用户交互。若确定语音指令中不包含上述第一类关键词和上述第二类关键词，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。
247.在另一种可能的实现方式中，电子设备100也可以先识别语音指令中是否包含上述第二类关键词。若确定语音指令中不包含第二类关键词，电子设备100可以再识别语音指令中是否包含上述第一类关键词，来检测用户是否需要观看屏幕，进而智慧决策是否点亮屏幕。
248.电子设备100识别语音指令的方法可以参考前述实施例，这里不再赘述。
249.图8a～图8d示例性示出了电子设备100结合检测装置的检测结果和分析接收到的语音指令中是否包含特定关键词的分析结果，来检测用户是否需要观看屏幕的实施例。
250.如图8a所示，电子设备100屏幕朝上放置于桌上。电子设备100的屏幕处于灭屏状态，且语音唤醒功能开启。用户在电子设备100附近说出唤醒词“小艺小艺”。电子设备100中的麦克风可以采集到电子设备100附近的语音输入。电子设备100中的语音唤醒模块可以获取麦克风采集的语音输入，并识别到该语音输入中包含唤醒词。然后，电子设备100可以启动检测装置来检测用户是否需要观看屏幕。电子设备100可以利用接近光传感器、摄像头和运动传感器中的一个或多个来检测用户是否需要观看屏幕，具体的检测方法可以参考前述实施例，这里不再赘述。
251.当根据检测装置检测到用户不需要观看屏幕，电子设备100可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。例如，电子设备100可以保持屏幕处于灭屏状态，通过扬声器语音提示“嗨，我正在听”，来提示用户说出语音指令。
252.如图8b所示，在识别到唤醒词后，电子设备100中的麦克风可以采集电子设备100附近的语音输入。电子设备100可以从该语音输入中识别出语音指令。示例性的，用户在电子设备100附近说出语音指令“查看图库”。电子设备100可以识别出该语音指令中包含第一类关键词“图库”。电子设备100可以执行该语音指令。具体的，电子设备100可以调用图库应用，显示如图8b所示的图库应用的用户界面。另外，电子设备100还可以通过扬声器语音提示“已打开图库，快来查看吧”。
253.如图8c所示，在识别到唤醒词后，电子设备100中的麦克风可以采集电子设备100附近的语音输入。电子设备100可以从该语音输入中识别出语音指令。示例性的，用户在电子设备100附近说出语音指令“我要看视频a”。电子设备100可以先识别该语音指令中是否包含第一类关键词。该语音指令中不包含第一类关键词。当确定该语音指令中不包含第一
类关键词，电子设备100可以再识别该语音指令中是否包含第二类关键词。该语音指令中包含第二类关键词“看”。当确定该语音指令中包含第二类关键词，电子设备100可以执行该语音指令。具体的，电子设备100可以调用华为视频应用，显示如图8c所示的华为视频应用的用户界面。该用户界面中可包含语音指令中指示的视频a。另外，电子设备100还可以通过扬声器语音提示“以为您打开，快来查看吧”。
254.由上述实施例可知，在根据检测装置检测到用户不需要观看屏幕的情况下，电子设备100可以先保持屏幕处于灭屏状态，与用户进行语音交互。当接收到语音指令，电子设备100可以进一步根据语音指令中是否包含有第一类关键词和/或第二类关键词，来检测用户是否需要观看屏幕。在一些用户想要观看屏幕但还没有观看屏幕的场景中，例如，电子设备100放置于桌上，用户一边说出唤醒词以及语音指令“查看图库”，一边走向电子设备100准备观看屏幕，电子设备100可以根据语音指令中包含有第一类关键词和/或第二类关键词，来点亮屏幕，显示语音指令中涉及的用户界面。这样，电子设备100可以更加准确地检测用户是否需要观看屏幕。
255.在一些实施例中，电子设备100的屏幕处于灭屏状态，且处于锁屏状态。电子设备100显示语音指令中涉及的用户界面之前，提示用户对电子设备100解锁。
256.如图8a和图8d所示，用户在电子设备100附近说出唤醒词“小艺小艺”和语音指令“查看图库”。在识别到唤醒词后，电子设备100可以根据检测装置检测到用户不需要观看屏幕。电子设备100中的麦克风可以采集电子设备100附近的语音输入。电子设备100可以从该语音输入中识别出语音指令。该语音指令中包含第一类关键词。电子设备100可以显示如图8d所示的解锁界面，并通过扬声器语音提示“请先帮我解锁”，来提示用户对电子设备100解锁。例如，用户可以在如图8d所示的解锁界面输入解锁密码。电子设备100可以接收该解锁密码，并将该解锁密码与已存储的解锁密码进行匹配。若接收到的解锁密码与已存储的解锁密码匹配，电子设备100可以调用图库应用，显示如图8b所示的图库应用的用户界面。
257.本技术实施例对上述解锁的方式不作限定。例如，电子设备100还可以根据接收到的语音输入的声纹特征进行解锁。或者，电子设备100可以根据人脸识别进行解锁。上述解锁的方式可以参考现有技术中的实现方式。
258.在一些实施例中，电子设备100可以仅分析接收到的语音指令中是否包含特定关键词，来判断用户是否需要观看屏幕。
259.示例性的，当确定接收到的语音指令中包含上述第一类关键词和/或上述第二类关键词，电子设备100可以点亮屏幕，通过图形界面和语音的方式与用户交互。当确定接收到的语音指令不包含上述第一类关键词和上述第二类关键词，电子设备100可以保持屏幕为灭屏状态，仅通过语音的方式与用户交互。
260.电子设备100根据语音指令中是否包含特定关键词来判断用户是否需要观看屏幕的实现方式可以参考前述实施例，这里不再赘述。
261.在一些实施例中，电子设备100可以为智能电视等大屏设备，或者为有屏幕的智能音箱。用户可以在使用这些设备时，不观看这些设备的屏幕。例如，用户利用智能电视或者有屏幕的智能音箱播放音乐、控制智能家居设备时，可以不需要观看屏幕。
262.目前，用户在使用电子设备100时，例如通过遥控器或语音指令让电子设备100播放音乐，电子设备100会点亮屏幕。为了在电子设备100的屏幕保持熄灭的状态下使用电子
设备100，用户需通过遥控器或者语音指令让电子设备100的屏幕熄灭。
263.上述控制电子设备100的屏幕熄灭的用户操作复杂，电子设备100不能在屏幕处于灭屏状态时，根据用户是否需要观看屏幕来智慧决策是否点亮屏幕。
264.下面介绍本技术实施例提供的另一种语音交互方法。
265.其中，该语音交互方法可以参考图13所示的方法流程图。
266.屏幕处于灭屏状态的电子设备100可以响应第一操作，启动语音助手以及检测装置。其中，电子设备100可以利用摄像头作为检测装置来检测用户是否需要观看屏幕，进而智慧决策是否点亮屏幕。
267.上述第一操作可以为作用于电子设备100上的物理按键的用户操作，或者，为作用于用于控制电子设备100的遥控器上的按键的用户操作。例如，电子设备100为智能电视。第一操作可以为作用于智能电视上的电源键的用户操作，或者，为作用于智能电视的遥控器上的开/关机键的用户操作。
268.若电子设备100开启语音唤醒功能，上述第一操作还可以为用户说出预设的唤醒词(如“小艺小艺”)。
269.下面具体以第一操作为用户说出预设的唤醒词进行说明。
270.电子设备100的屏幕处于灭屏状态。电子设备100的语音唤醒功能开启。当从麦克风采集的语音输入中识别到唤醒词，电子设备100可以启动摄像头，来判断是否检测到人脸。
271.其中，若确定摄像头在预设时间段内采集的多帧图像中存在不包含人脸的图像，电子设备100可以确定未检测到人脸。电子设备100未检测到人脸，可以表示用户的面部未与电子设备100的屏幕相对，即用户不需要观看屏幕。
272.当确定未检测到人脸，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。例如，当接收到“播放音乐”的语音指令，电子设备100可以保持屏幕处于灭屏状态，播放音乐。上述语音指令还可以例如是：拨打电话、发送短信、播放音乐、控制智能家居设备。
273.若确定摄像头在预设时间段内采集的多帧图像中均包含人脸，电子设备100可以确定检测到人脸。对于智能电视、有屏幕的智能音箱等设备，用户的面部与屏幕相对不一定表示用户需要观看屏幕。例如，在用户坐在智能电视前面，通过唤醒词启动智能电视的语音助手，来播放音乐的场景中，用户可以不观看智能电视的屏幕。
274.当确定检测到人脸，电子设备100可以判断摄像头采集的图像中是否包含第一手势，进而检测用户是否需要观看屏幕。
275.上述第一手势可用于指示用户不需要观看屏幕。例如，用户坐在智能电视前面，在启动智能电视的语音助手且不需要观看屏幕时，可以在说出唤醒词时做第一手势。
276.上述第一手势可以为握拳的手势、张开手掌的手势等等。本技术实施例对上述第一手势不作限定。
277.可以理解的是，检测到人脸不一定表示用户需要观看屏幕。但在检测到人脸的条件下，电子设备100还可以在摄像头采集的图像中识别出第一手势，可以表示用户不需要观看屏幕。
278.当检测到人脸，且检测到第一手势，电子设备100可以保持屏幕处于灭屏状态，与用户进行语音交互。
279.当检测到人脸，且未检测到第一手势，电子设备100可以点亮屏幕，显示图形界面，并与用户进行语音交互。这样，电子设备100可以结合图形界面和语音的方式与用户进行交互。
280.上述图形界面可以是语音助手的用户界面。或者，当语音指令中涉及显示第三应用的用户界面，例如，语音指令为“播放视频”，上述图形界面可以是第三应用的用户界面。
281.由上述语音交互的方法可知，电子设备可以根据摄像头采集的图像来判断是否检测到人脸，以及是否检测到第一手势，进而检测用户是否需要观看屏幕。电子设备100可以根据摄像头是否需要观看屏幕，来确定在灭屏状态下启动语音助手时是否点亮屏幕。当检测到用户不需要观看屏幕，电子设备可以保持屏幕处于灭屏状态，与用户进行语音交互。这样，在用户使用电子设备100且不观看电子设备100的屏幕的场景中，用户无需在电子设备100点亮屏幕后，再进行相应的操作来熄灭屏幕，从而简化了用户将电子设备100作为音箱使用的操作。
282.下面结合应用场景，具体介绍上述语音交互方法。
283.图9示例性示出了一种电子设备100保持屏幕处于灭屏状态与用户进行语音交互的场景示意图。
284.如图9所示，电子设备100可以为智能电视。智能电视的屏幕处于灭屏状态，且语音唤醒功能开启。智能电视的麦克风可实时采集智能电视附近的语音输入，并发送给语音唤醒模块，由语音唤醒模块识别该语音输入中是否包含有预设的唤醒词。这样，用户可以通过说出预设的唤醒词来启动语音助手。
285.当用户在智能电视附近说出“小艺小艺，我要听歌”，智能电视中的语音唤醒模块可以识别到唤醒词“小艺小艺”。进而，智能电视可以启动检测装置来检测用户是否需要观看屏幕。如图9所示，用户的脸部未与智能电视的屏幕相对，或者用户的脸部在智能电视的前面闪过。当启动摄像头进行检测，智能电视可以确定摄像头在预设时间段内采集的多帧图像中存在不包含人脸的图像。智能电视可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。其中，智能电视可以识别语音指令“我要听歌”，并执行该语音指令对应的操作。例如，智能电视可以在保持屏幕处于灭屏状态时，调用音乐应用播放音乐。
286.在本技术提供的一些实施例中，上述摄像头可以是低功耗摄像头。例如，红外摄像头。上述摄像头可以实时处于工作状态。当检测到第一操作，电子设备100可以获取上述摄像头采集的数据，来确定用户是否需要观看屏幕。进而，电子设备100可以确定在启动语音助手时是否点亮屏幕。
287.图10示例性示出了另一种电子设备100保持屏幕处于灭屏状态与用户进行语音交互的场景示意图。
288.如图10所示，电子设备100可以为智能电视。智能电视的屏幕处于灭屏状态，且语音唤醒功能开启。智能电视的麦克风可实时采集智能电视附近的语音输入，并发送给语音唤醒模块，由语音唤醒模块识别该语音输入中是否包含有预设的唤醒词。这样，用户可以通过说出预设的唤醒词来启动语音助手。
289.当用户在智能电视附近说出“小艺小艺，我要听歌”，智能电视中的语音唤醒模块可以识别到唤醒词“小艺小艺”。进而，智能电视可以启动检测装置来检测用户是否需要观看屏幕。如图10所示，用户的脸部与智能电视的屏幕相对，且用户做握拳手势。该握拳手势
可以为前述实施例的第一手势，可用于指示用户不需要观看电子设备100的屏幕。当启动摄像头进行检测，智能电视可以确定摄像头在预设时间段内采集的多帧图像中均包含人脸，且摄像头采集的图像中包含握拳手势。智能电视可以保持屏幕处于灭屏状态，在后台运行语音助手，与用户进行语音交互。其中，智能电视可以识别语音指令“我要听歌”，并执行该语音指令对应的操作。例如，智能电视可以在保持屏幕处于灭屏状态时，调用音乐应用播放音乐。
290.在图9和图10所示的场景中，电子设备在灭屏状态下启动语音助手时，可以不直接点亮屏幕，而是先利用摄像头采集的图像来检测用户是否需要观看屏幕，进而确定是否点亮屏幕。在用户希望将电子设备100作为音箱使用的场景中，用户无需在电子设备100点亮屏幕后，再进行相应的操作来熄灭屏幕，这样可以简化用户操作。
291.下面结合本技术实施例提供的语音交互方法，介绍电子设备100的另一种结构示意图。
292.如图11所示，电子设备100可以包括：ap310、检测装置320、麦克风330、低功耗处理器340、扬声器350、显示屏360。其中，ap310中可包含语音助手370。语音助手370可包含语音指令识别模块311和语音指令执行模块312。检测装置320中可包含接近光传感器321、摄像头322、运动传感器323。
293.上述ap310可以是图1中的处理器110，或者是处理器110包括的多个处理器中的一个或多个处理器。上述麦克风330可以是图1中的麦克风170c。上述扬声器350可以是图1中的扬声器170a。上述显示屏360可以是图1中的显示屏194中的一个或多个。上述接近光传感器321可以是图1中的接近光传感器180g。上述摄像头322可以是图1中的摄像头193中的一个或多个。上述运动传感器323可以包括图1中的加速度传感器180e和陀螺仪传感器180b。
294.扬声器350、显示屏360和检测装置320可与ap310连接。麦克风330、接近光传感器321、摄像头322和运动传感器323均可通过低功耗处理器340与ap310连接。低功耗处理器340中可集成有语音唤醒模块，可用于在识别到唤醒词时唤醒ap310。
295.当电子设备100的屏幕处于灭屏状态，且语音唤醒功能开启，麦克风330和低功耗处理器340可以时时处于工作状态，接近光传感器321、摄像头322和运动传感器323中的一个或多个可以时时处于工作状态，ap310可以处于休眠状态，显示屏360熄灭。麦克风可以时时采集电子设备100附近的语音输入，并将该语音输入发送给低功耗处理器340。低功耗处理器340可用于识别该语音输入中是否包含预设的唤醒词(或称为唤醒指令，如“小艺小艺”)。当识别到预设的唤醒词，低功耗处理器340可以唤醒ap310。
296.在一种可能的实现方式中，在被低功耗处理器340唤醒后，ap310可以先通过低功耗处理器340获取检测装置320的检测结果，在得到检测结果后再启动语音助手370。上述启动语音助手370可以包括启动语音指令识别模块311和语音指令执行模块312。ap310可以根据检测结果利用扬声器350和/或显示屏360与用户交互。
297.若根据检测装置320检测到用户不需要观看屏幕，ap310中的语音指令执行模块311可执行识别到的语音指令，通过扬声器350为用户进行语音播报。其中，显示屏360保持灭屏状态。示例性的，麦克风330采集的语音输入中包含语音指令“查询当日天气”。语音指令识别模块311可以获取该语音输入，并识别其中的语音指令。语音指令执行模块312可执行该语音指令对应的操作。具体的，语音指令执行模块312可调用天气应用查询当日天气
(如温度、空气质量)，并通过扬声器将当日天气的查询的结果进行语音播报。
298.若根据检测装置320检测到用户需要观看屏幕，ap310中的语音指令识别模块311可执行识别到的语音指令，通过扬声器350为用户进行语音播报，以及通过显示屏360显示语音指令中涉及的用户界面。示例性的，麦克风330采集的语音输入中包含语音指令“查询当日天气”。语音指令识别模块311可以获取该语音输入，并识别其中的语音指令。语音指令执行模块312可执行该语音指令对应的操作。具体的，语音指令执行模块312可调用天气应用查询当日天气(如温度、空气质量)，并通过扬声器将当日天气的查询的结果进行语音播报，以及显示如图5b所示的用户界面210。
299.在本技术提供的一些实施例中，上述摄像头322可以为低功耗摄像头，例如红外摄像头。
300.接近光传感器321、摄像头322和运动传感器中的一种或多种均可时时处于工作状态，并将采集的数据传输给低功耗处理器340。当低功耗处理器340识别到麦克风330接收的语音输入中包含有唤醒词，低功耗处理器340可以唤醒ap310。然后，ap310可以从低功耗处理器340获取检测装置320采集的数据，并确定用户是否观看显示屏360。
301.或者，接近光传感器321、摄像头322、运动传感器323可以与ap310连接。当低功耗处理器340识别到麦克风330接收的语音输入中包含有唤醒词，低功耗处理器340可以唤醒ap310。然后。ap310可以启动接近光传感器321、摄像头322、运动传感器323中的一种或多种。进一步的，ap310可以根据检测装置320采集的数据来确定用户是否观看显示屏360。
302.上述ap310通过检测装置320检测用户是否需要观看屏幕的方法可以参考前述实施例，这里不再赘述。
303.在另一种可能的实现方式中，响应于作用在预置的物理按键上用于启动语音助手的用户操作，屏幕处于灭屏状态的电子设备100可以唤醒ap310。上述预置的物理按键可以为电子设备100上的以下一种或多种按键：电源键、音量上键、音量下键。示例性的，上述用于启动语音助手的用户操作可以为作用在电源键上的长按操作，长按时间例如是1秒或2秒，本技术实施例对此不作限定。
304.也即是说，用户可以通过长按电源键来启动语音助手。
305.当被用于启动语音助手的用户操作唤醒，ap310可以按照前述实施例通过检测装置320进行检测，以及启动语音指令识别模块311和语音指令执行模块312来执行用户的语音指令，这里不再赘述。
306.不限于图11所示的部件，电子设备100还可以包含更多或更少的部件。
307.由图11所示的电子设备100可知，电子设备100在启动语音助手时，可以利用检测装置来检测用户是否需要观看屏幕，进而智慧决策是否点亮屏幕。若检测到用户不需要观看屏幕，电子设备100可以在后台运行语音助手，与用户进行语音交互。这样，可以节省电子设备的功耗，并且避免误触。若检测到用户需要观看屏幕，电子设备100可以点亮屏幕，结合图形界面和语音的方式与用户进行交互。
308.在本技术提供的一些实施例中，电子设备可以在屏幕处于灭屏状态下检测到用户的第一操作。该第一操作可用于启动语音助手。其中，上述第一操作可以为前述实施例中用户说出唤醒词(如“小艺小艺”)的用户操作。或者，可以为前述实施例中用户长按第一按键的用户操作。该第一按键可以包括以下一项或多项：电源键、音量上键、音量下键。
309.在本技术提供的一些实施例中，电子设备在第一情况下，在保持屏幕处于灭屏状态下启动语音助手，并使语音助手以第一方式与用户进行交互。其中，上述第一情况可以为用户未观看电子设备的屏幕的情况。示例性的，在用户将电子设备屏幕朝下放置于桌上或如前述图2所示放置与口袋中时，电子设备的第一传感器可以检测到屏幕的预设距离内存在物体遮挡。从而，电子设备可以判断出用户未观看电子设备的屏幕。如图3所示，在用户将电子设备屏幕朝上放置于桌上，但并未将脸部与电子设备的屏幕相对时，电子设备的第一传感器可以检测到屏幕的预设距离内不存在物体，并通过第二传感器未检测到人脸。从而，电子设备可以判断出用户未观看电子设备的屏幕。上述第一方式可以为仅通过语音与用户交互。
310.在本技术提供的一些实施例中，电子设备可以在第二情况下，点亮屏幕，启动语音助手，并使语音助手以第二方式与用户进行交互。其中，上述第二方式包括通过图形界面与用户进行交互。上述第二情况可以为用户观看电子设备的屏幕的情况。示例性的，在用户将电子设备的屏幕朝上放置于桌上，且将脸部与电子设备的屏幕相对时，电子设备的第一传感器可以检测到屏幕的预设距离内不存在物体遮挡，并通过第二传感器检测到人脸。从而，电子设备可以判断出用户观看电子设备的屏幕。如图5b所示，在用户做抬手动作，例如将屏幕朝上的电子设备从水平放置的姿态变化为倾斜或竖直放置的姿态，姿态调整后的电子设备的屏幕可以与人脸相对，电子设备可以通过第三传感器检测到电子设备的姿态从第一姿态切换为第二姿态。从而，电子设备可以判断出用户观看电子设备的屏幕。上述第一姿态可以例如是电子设备屏幕朝上水平放置的姿态。上述第二姿态可以例如是屏幕朝上倾斜放置的姿态。
311.在本技术提供的一些实施例中，电子设备使语音助手以第一方式与用户进行交互具体可以为电子设备使语音助手仅运行第一程序。第一程序可以为用于与用户进行语音交互的程序。其中，当语音助手仅运行第一程序，电子设备可以仅通过语音的方式与用户进行交互。进一步的，当检测到用户需要观看屏幕，电子设备可以再运行第二程序。第二程序可以为用于得到与用户交互的图形界面的程序。也即是说，在语音助手与用户交互的过程中，电子设备可以在需要电量屏幕时，在使语音助手运行绘制图形界面的相关程序。
312.电子设备使语音助手以第一方式与用户进行交互具体还可以为电子设备使语音助手运行第二程序和第一程序。也即是说，当检测到用户不需要观看屏幕，电子设备仍可使语音助手运行绘制图形界面的相关程序。但电子设备并不点亮屏幕进行显示。进一步的，当检测到用户需要观看屏幕，电子设备可以直接将已运行第二程序得到的图形界面显示在屏幕上。这样，电子设备可以减少绘制图形界面的时延。
313.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。