语音控制设备的方法及电子设备与流程

语音控制设备的方法及电子设备
1.本技术是分案申请，原申请的申请号是202010273843.4，原申请日是2020年04月09日，原申请的全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及人工智能领域以及电子设备领域，并且更具体地，涉及一种语音控制设备的方法及电子设备。


背景技术：

3.用户可以通过大屏显示装置观看电视直播、网络视频资源、本地视频资源，并收听网络音频资源、本地音频资源等。在用户观看视频或收听音乐之前，用户可以根据大屏显示装置显示的用户界面，说出想要播放的视音频资源；大屏显示装置或与大屏显示装置连接的机顶盒可以捕获并响应用户的语音。
4.为保证语音识别的准确性和高效性，通常为大屏显示装置配置了用于语音识别的文件，该语音识别文件可以用于识别调取大屏显示装置上配置的数据资源的语音指令。为获得相对优良的用户体验感，需要经常更新在大屏显示装置上显示或播放的数据资源。例如，大屏显示装置可以播放最新上映的电视剧。相应地，需要耗费较大的工作量来在大屏显示装置上更新语音识别文件。这可能会降低语音识别的效率。


技术实现要素：

5.本技术提供一种语音控制设备的方法及电子设备，其目的在于提高语音识别的效率。
6.第一方面，提供了一种语音控制设备的方法，包括：获取用户的语音指令，所述语音指令用于指示目标指令；获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面；确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
7.可选的，所述语音控制设备的方法可以由客户端设备(又可以被称为终端设备)或服务器(又可以被称为网络设备)完成。
8.可选的，所述语音控制设备的方法可以由客户端设备上的语音助手完成。
9.用户界面信息可以包括指示当前用户界面的各种信息。
10.在本技术中，与客户端设备能够显示、播放的数据资源相比，当前用户界面上的信息内容相对较少，获取用户界面信息的时间可以相对较短。并且，客户端设备在显示用户界面信息的同时，还可以获取至少部分用户界面信息，因此获取用户界面信息的效率可以相对较高。然后，在更新客户端设备的用户显示界面的同时，还可以将用户界面信息更新，更新的方式相对简便。在当前用户界面被更新的情况下，由于客户端设备在显示该更新后的用户界面时就已经获知了该更新后的用户界面的至少部分用户界面信息，因此当前用户界面的更新对语音识别效率的影响通常相对较小。另外，用户界面信息可以反映用户在当前
用户界面上可以观察到的信息，参考用户界面信息识别用户的语音指令，有利于提升语音识别的正确率。
11.结合第一方面，在第一方面的某些实现方式中，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
12.图标可以被分类为菜单图标、资源合集图标、功能图标等。
13.在本技术中，用户界面信息可以从多个角度反映用户界面上的内容，以便于用户使用多种方式操控客户端设备。
14.结合第一方面，在第一方面的某些实现方式中，所述目标角标信息与目标图标或目标操控指令对应。
15.可选的，所述用户界面信息还包括所述目标角标信息与目标图标之间的对应关系。
16.可选的，所述用户界面信息还包括所述目标角标信息与目标合集之间的对应关系。
17.可选的，所述用户界面信息还包括所述目标角标信息与目标操控指令之间的对应关系。
18.在本技术中，通过在当前用户界面上显示角标，有利于增加可识别的语音指令数量，有利于提升语音识别的正确率。例如，在用户无法用语言描述图案的情况下，用户可以根据角标反映的信息，相对快速地表述语音指令。
19.结合第一方面，在第一方面的某些实现方式中，所述获取用户的语音指令，包括：接收所述客户端设备发送的所述语音指令；所述获取当前用户界面的用户界面信息，包括：接收所述客户端设备发送的所述用户界面信息；所述确定所述语音指令所对应的目标指令，包括：根据所述语音指令以及所述用户界面信息，确定所述目标指令。
20.服务器例如可以通过语音识别(automatic speech recognition，asr)模块、语义理解(natural language understanding，nlu)模块实现语音识别的操作。可选的，服务器或客户端设备还可以包括对话控制(dialogue state tracking，dst)模块、对话管理(dialogue manager，dm)模块、对话生成(natural language generation，nlg)模块和语音播报(text to speech，tts)模块等实现语音识别的操作。
21.在本技术中，服务器在获取用户界面信息之后，可以参考客户端当前显示的内容，识别用户做出的语音指令，有利于服务器排除无用的语音识别数据，相对快速、准确地将用户的语音指令转换为对应的目标指令。
22.结合第一方面，在第一方面的某些实现方式中，所述方法还包括：将所述目标指令发送给所述客户端设备。
23.在本技术中，使用服务器识别语音指令，并通过通信网络进行数据传送，可以降低对客户端设备的处理能力的要求。例如客户端设备可以不具有语音识别能力，或者客户端设备的处理器速度、存储器容量可以相对普通。
24.结合第一方面，在第一方面的某些实现方式中，所述确定所述语音指令所对应的目标指令，包括：所述客户端设备根据所述语音指令以及所述用户界面信息，确定所述目标指令。
25.在本技术中，客户端设备可以具备语音识别的能力。由于用户界面信息缩小了语
音识别的参考数据量，因此有利于提升客户端设备的语音识别效果。
26.结合第一方面，在第一方面的某些实现方式中，在所述确定所述语音指令所对应的目标指令之前，所述方法还包括：将所述用户界面信息以及所述语音指令发送给服务器；所述确定所述语音指令所对应的目标指令，包括：接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
27.在本技术中，服务器在获取用户界面信息之后，可以参考客户端当前显示的内容，识别用户做出的语音指令，有利于服务器排除无用的语音识别数据，相对快速、准确地将用户的语音指令转换为对应的目标指令。另外，使用服务器识别语音指令，并通过通信网络进行数据传送，可以降低对客户端设备的处理能力的要求。例如客户端设备可以不具有语音识别能力，或者客户端设备的处理器速度、存储器容量可以相对普通。
28.结合第一方面，在第一方面的某些实现方式中，在所述获取当前用户界面的用户界面信息之前，所述方法还包括：向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息；所述获取当前用户界面的用户界面信息，包括：接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台应用检索与所述当前用户界面相关的信息得到。
29.前台应用例如可以是视频播放应用、音频播放应用、桌面应用、设置应用、电视直播应用、电台应用等。
30.检索还可以被解释为搜索、扫描等含义。
31.前台应用确定用户界面信息的方式可以是，搜索用于显示当前用户界面的文档，得到该用户界面信息。该文档例如可以包括超级文本标记语言(hyper text markup language，html)文件、可扩展标记语言(extensible markup language，xml)文件、脚本文件等。
32.前台应用确定用户界面信息的方式可以是，扫描当前用户界面的元素，根据该元素得到该用户界面信息。元素可以包括图标、图标对应的合集信息、所述当前用户界面对应的操控指令等。
33.在本技术中，前台应用的标识可以将语音指令、前台应用当前显示的当前用户界面、用于控制前台应用的目标指令关联起来，使得用户可以通过语音指令控制多个前台应用，具有相对更强的灵活性。
34.结合第一方面，在第一方面的某些实现方式中，所述用户界面信息还包括所述前台应用的标识。
35.在本技术中，语音助手可以根据该用户界面信息，获知当前用户界面是由所述前台应用提供，进而可以通过语音指令对应的目标指令，控制前台应用根据当前用户界面执行与目标指令对应的操作。
36.结合第一方面，在第一方面的某些实现方式中，所述目标指令还包括所述前台应用的标识。
37.在本技术中，语音助手可以根据该目标指令，获知目标指令是用于指示所述前台应用执行目标操作，进而使得前台应用可以执行用于满足用户期望的操作。
38.结合第一方面，在第一方面的某些实现方式中，所述用户界面信息包括目标角标信息，在所述获取用户的语音指令之前，所述方法还包括：在所述当前用户界面上显示角
标；在所述获取用户的语音指令之后，所述方法还包括：去除所述当前用户界面上的角标。
39.在本技术中，显示角标可以为用户提供更多可选的语音指令方式，在合适的时间去除角标显示，有利于使用户界面具有相对简洁的显示效果。
40.第二方面，提供了一种电子设备，包括：获取模块，用于获取用户的语音指令，所述语音指令用于指示目标指令；所述获取模块还用于，获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面；处理模块，用于确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
41.结合第二方面，在第二方面的某些实现方式中，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
42.结合第二方面，在第二方面的某些实现方式中，所述目标角标信息与目标图标或目标操控指令对应。
43.结合第二方面，在第二方面的某些实现方式中，所述电子设备为服务器，所述获取模块具体用于，接收所述客户端设备发送的所述语音指令；所述获取模块具体用于，接收所述客户端设备发送的所述用户界面信息；所述处理模块具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
44.结合第二方面，在第二方面的某些实现方式中，所述服务器还包括：收发模块，用于将所述目标指令发送给所述客户端设备。
45.结合第二方面，在第二方面的某些实现方式中，所述电子设备为所述客户端设备，所述处理模块具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
46.结合第二方面，在第二方面的某些实现方式中，所述电子设备为所述客户端设备，所述客户端设备还包括收发模块，用于在所述处理模块确定所述语音指令所对应的目标指令之前，将所述用户界面信息以及所述语音指令发送给服务器；所述处理模块具体用于，接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
47.结合第二方面，在第二方面的某些实现方式中，所述电子设备还包括：发送模块，用于在所述获取模块获取当前用户界面的用户界面信息之前，向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息所述获取模块具体用于，接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台应用检索与所述当前用户界面相关的信息得到。
48.结合第二方面，在第二方面的某些实现方式中，所述用户界面信息还包括所述前台应用的标识。
49.结合第二方面，在第二方面的某些实现方式中，所述目标指令还包括所述前台应用的标识。
50.结合第二方面，在第二方面的某些实现方式中，所述用户界面信息包括目标角标信息，所述处理模块还用于，在所述获取模块获取用户的语音指令之前，在所述当前用户界面上显示角标；所述处理模块还用于，在所述获取模块获取用户的语音指令之后，去除所述当前用户界面上的角标。
51.第三方面，提供了一种电子设备，包括：处理器，用于获取用户的语音指令，所述语音指令用于指示目标指令；所述处理器还用于，获取当前用户界面的用户界面信息，所述当
前用户界面为客户端设备当前显示的用户界面；所述处理器还用于，确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
52.结合第三方面，在第三方面的某些实现方式中，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
53.结合第三方面，在第三方面的某些实现方式中，所述目标角标信息与目标图标或目标操控指令对应。
54.结合第三方面，在第三方面的某些实现方式中，所述电子设备为服务器，所述处理器具体用于，接收所述客户端设备发送的所述语音指令；所述处理器具体用于，接收所述客户端设备发送的所述用户界面信息；所述处理器具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
55.结合第三方面，在第三方面的某些实现方式中，所述电子设备还包括：收发器，用于将所述目标指令发送给所述客户端设备。
56.结合第三方面，在第三方面的某些实现方式中，所述电子设备为所述客户端设备，所述处理器具体用于，根据所述语音指令以及所述用户界面信息，确定所述目标指令。
57.结合第三方面，在第三方面的某些实现方式中，所述电子设备为所述客户端设备，所述客户端设备还包括收发器，用于在所述处理器确定所述语音指令所对应的目标指令之前，将所述用户界面信息以及所述语音指令发送给服务器；所述处理器具体用于：接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
58.结合第三方面，在第三方面的某些实现方式中，所述电子设备还包括：收发器，用于在所述处理器获取当前用户界面的用户界面信息之前，向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息，所述处理器具体用于，接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台应用检索与所述当前用户界面相关的信息得到。
59.结合第三方面，在第三方面的某些实现方式中，所述用户界面信息还包括所述前台应用的标识。
60.结合第三方面，在第三方面的某些实现方式中，所述目标指令还包括所述前台应用的标识。
61.结合第三方面，在第三方面的某些实现方式中，所述用户界面信息包括目标角标信息，所述处理器还用于，在所述处理器获取用户的语音指令之前，在所述当前用户界面上显示角标；所述处理器还用于，在所述处理器获取用户的语音指令之后，去除所述当前用户界面上的角标。
62.第四方面，本技术方案提供了一种电子设备，包括：一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被电子设备执行时，使得电子设备执行第一方面中的任意一种实现方式中的方法。
63.第五方面，本技术方案提供了一种电子设备，包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，
使得电子设备执行第一方面中的任意一种实现方式中的方法。
64.第六方面，提供了一种通信装置，所述装置包括：处理器、存储器和收发器，所述存储器，用于存储计算机程序，所述处理器，用于执行所述存储器中存储的计算机程序，以使得所述装置执行上述第一方面的任一种可能的实现方式所述的方法。
65.第七方面，提供了一种通信装置，所述通信装置包括：至少一个处理器和通信接口，所述通信接口用于所述通信装置与其它通信装置进行信息交互，当程序指令在所述至少一个处理器中执行时，使得所述通信装置实现第一方面的任一种可能的实现方式所述的方法。
66.第八方面，本技术方案提供了一种非易失性计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行第一方面中的任意一种实现方式中的方法。
67.第九方面，本技术方案提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行第一方面中的任意一种实现方式中的方法。
68.第十方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面中的任意一种实现方式中的方法。
69.可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的任意一种实现方式中的方法。
附图说明
70.图1是本技术实施例提供的一种电子设备的硬件结构示意图。
71.图2是本技术实施例提供的一种电子设备的软件结构示意图。
72.图3是本技术实施例提供的一种用户界面示意图。
73.图4是本技术实施例提供的一种语音控制设备的方法的示意性流程图。
74.图5是本技术实施例提供的一种语音控制设备的方法的示意性流程图。
75.图6是本技术实施例提供的一种用户界面示意图。
76.图7是本技术实施例提供的一种语音识别模块的示意性交互图。
77.图8是本技术实施例提供的一种语音控制设备的方法的示意性流程图。
78.图9是本技术实施例提供的一种语音控制设备的方法的示意性流程图。
79.图10是本技术实施例提供的一种电子设备的示意性框图。
具体实施方式
80.下面将结合附图，对本技术中的技术方案进行描述。
81.以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本技术以下各实施例中，“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情
purpose input/output，gpio)接口，和/或usb接口等。其中，usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备101充电，也可以用于电子设备101与外围设备之间传输数据。该usb接口130也可以用于连接耳机，通过耳机播放音频。
88.可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
89.电子设备100的无线通信功能可以通过天线、无线通信模块160，调制解调处理器以及基带处理器等实现。
90.天线可以用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。在另外一些实施例中，天线可以和调谐开关结合使用。
91.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
92.电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
93.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。
94.电子设备100的显示屏194可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言，电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此，用户在配置有可折叠显示屏的电子设备上使用分屏功能，也越来越频繁。
95.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
96.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处
理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
97.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。
98.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
99.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
100.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
101.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
102.内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备101执行本技术一些实施例中所提供的灭屏显示的方法，以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(universal flash storage，ufs)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备101执行本技术实施例中所提供的灭屏显示的方法，以及其他应用及数据处理。
103.电子设备100可以通过扬声器170，麦克风171，耳机接口172，以及应用处理器等实现音频功能。例如音乐播放，录音等。
104.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
105.电子设备100可以通过高清多媒体接口(high definition multimedia interface，hdmi)181接收数据，并通过显示屏194、扬声器170、耳机接口172实现显示功能，
例如分屏(又可以被称为扩展屏幕)功能、视频播放功能等。
106.电子设备100可以通过复合视频(audio video，av)接口182接收视频资源数据，并通过显示屏194、扬声器170、耳机接口172实现显示功能，例如分屏功能、视频播放功能等。av接口182可以包括v(video接口)183、l(left)接口184、r(right)接口185。v接口183可以用于输入混合视频信号。l接口184可以用于输入左声道声音信号。r接口185可以用于输入右声道声音信号。
107.图2是本技术实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
108.如图2所示，应用程序包可以包括语音助手、电视播放、电视剧播放、电影播放、音频播放、图库、浏览器、时钟、设置等应用程序。
109.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
110.如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
111.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
112.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，浏览历史和书签等。
113.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，电视剧播放界面可以包括显示文字的视图、显示图像的视图以及显示视频的视图。
114.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
115.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音等。
116.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
117.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
118.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
119.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
120.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
121.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。
122.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
123.2d图形引擎是2d绘图的绘图引擎。
124.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
125.应用程序包中的语音助手可以是系统级应用。语音助手也可称为人机交互机器人、人机对话机器人或聊天机器人(chatbot)等。语音助手应用也可以称为智慧助手应用等。语音助手目前广泛应用于手机、平板电脑、智能音箱、智能电视等多类电子设备，为用户提供了智能化的语音交互方式。语音助手是人机交互的核心之一。
126.图3所示为电子设备100的用户界面的示意图。该电子设备100可以是如图1所示的电子设备100。例如，电子设备100可以是电视、投影设备等大屏显示装置。在该用户界面中可以显示有多个图标。例如用户界面可以包括多个菜单图标301、多个资源合集图标302、多个功能图标303等。可以理解的是，本技术实施例示意的用户界面并不构成对用户界面300的具体限定。在本技术另一些实施例中，用户界面300可以包括比图示更多或更少的图标，或者组合某些图标，或者拆分某些图标，或者不同的图标布置。
127.在如图3所示的用户界面上，多个菜单图标301可以包括：“首页”图标、“电视剧”图标、“电影”图标、“少儿”图标、“应用”图标、“音乐”图标、“电台”图标、“教育”图标、“综艺”图标等。应理解，电子设备100还可以为用户提供更多的菜单图标301，然而由于用户界面的尺寸有限，该用户界面可以显示全部菜单图标301中的一部分。用户例如可以通过红外遥控器或语音选择菜单图标301。
128.在一个示例中，用户选择“首页”图标，电子设备100可以显示多种资源合集图标302。该多种资源合集的类型可以包括电视剧合集、电影合集、少儿合集、应用程序合集、音乐合集、电台合集、教育合集、综艺合集等。例如，电子设备100可以显示当前热度最高的3部电视剧合集的图标，和热度最高的3部电影合集的图标。
129.在一个示例中，用户选择“电视剧”图标，如图3所示，电子设备100可以显示多个电视剧合集的图标。例如，电子设备100可以显示当前热度最高的3部电视剧合集的图标，以及正在更新且热度相对较高的3部电视剧合集的图标。如图3所示，当前热度最高的3部电视剧合集可以包括“如懿传”、“沙海”、“将夜”。正在更新且热度相对较高的3部电视剧合集可以包括“幕后之王”、“纸牌屋”、“知否知否应是红肥绿瘦”。可选的，每个电视剧合集的图标可以包括电视剧合集的示意图3021(如该电视剧的剧照)、该电视剧合集的名称3022(如该电视剧的名称)、该电视剧合集的集数3023(如该电视剧的最新集数)。如果该电视剧合集已经更新完毕，则可以显示“全x集”(如图3中“如懿传”所对应的图标上显示有“全87集”)；如果该电视剧合集尚未更新完毕，则可以显示“更新至y集”(如图3中“幕后之王”所对应的图标上显示有“更新至8集”)。
130.在一个示例中，用户选择“电影”图标，电子设备100可以显示多个电影合集的图标。例如，电子设备100可以显示当前热度最高的3部电影合集的图标，以及刚刚上映的3部
电影合集的图标。
131.在一个示例中，用户选择“少儿”图标，电子设备100可以显示多个少儿合集的图标。例如，电子设备100可以显示当前热度最高的3部少儿节目的图标，以及刚刚热度最高的3部少儿动画片的图标。
132.在一个示例中，用户选择“应用”图标，电子设备100可以显示多个应用程序的图标。例如，电子设备100可以显示最近用户使用的3个应用程序的图标，以及用于最常用的3个应用图标。
133.在一个示例中，用户选择“音乐”图标，电子设备100可以显示多个音乐合集的图标。例如，电子设备100可以显示刚刚发布的3个音乐专辑的图标，以及用户最新收藏的3个音乐播放列表的图标。
134.在一个示例中，用户选择“电台”图标，电子设备100可以显示多个电台合集的图标。例如，电子设备100可以显示当前热度最高的3个电台节目的图标，以及用户最新收藏的3个电台节目的图标。
135.在一个示例中，用户选择“教育”图标，电子设备100可以显示多个教育合集的图标。例如，电子设备100可以显示当前热度最高的3个教育合集的图标，以及用户最近播放的3个教育合集的图标。
136.在一个示例中，用户选择“综艺”图标，电子设备100可以显示多个综艺合集的图标。例如，电子设备100可以显示当前热度最高的3个综艺合集的图标，以及用户最近播放的3个综艺合集的图标。
137.用户界面中的多个功能图标303可以包括返回图标、用户信息图标、设置图标、无线连接图标、时钟图标等。用户选择返回图标，可以返回上一层用户界面。用户选择用户信息图标，可以查看在电子设备100上登录的用户账号信息。用户选择设置图标，可以进入设置界面，并可以调整电子设备100的参数。用户选择无线连接图标，可以使用电子设备100的无线连接功能，例如搜索电子设备100周围的可用无线网络，并接入该可用无线网络。用户可以查看时钟图标，了解当前的时间。用户选择时钟图标，可以设置电子设备100的时钟参数。
138.图4是一种语音控制设备的方法。在图4所示的方法中，客户端设备可以是如图1所示的电子设备100。
139.401，客户端设备显示当前用户界面。
140.例如，客户端设备显示的当前用户界面可以是如图3所示的用户界面300。
141.402，客户端设备获取用户的语音指令，所述语音指令用于指示目标操作。
142.用户可以说出语音指令，如“播放如懿传30集”。也就是说，用户在观察该当前用户界面之后，选择该当前用户界面上的电视剧合集“如懿传”，并选择观看该“如懿传”合集中的第30集视频资源。该语音指令可以用于指示客户端设备播放电视剧合集“如懿传”中的第30集视频资源。
143.可选的，骤402可以由客户端设备上的语音助手完成。
144.可选的，用户可以说出唤醒词，以唤醒客户端设备捕获用户的语音指令。
145.可选的，如图3中的304所示，客户端设备在捕获用户的语音指令的过程中，可以在当前用户界面上显示提示信息，以提示用户正在使用客户端设备的语音识别功能。
146.403，所述客户端设备根据语音识别文件以及所述语音指令，确定所述目标操作，所述语音识别文件用于确定所述语音指令所对应的目标操作。
147.403可以由客户端设备上的语音助手完成。
148.语音识别文件可以包括用于确定目标操作的多种信息，因此客户端设备可以确定语音指令所对应的操作。例如，语音识别文件可以包括用于确定语音指令为播放视频指令的数据。又如，语音识别文件可以包括用于确定语音指令为下载应用指令的数据。
149.客户端设备例如可以通过语音识别(automatic speech recognition，asr)模块、语义理解(natural language understanding，nlu)模块实现语音识别的操作。
150.404，所述客户端设备执行所述目标操作。
151.也就是说，客户端设备可以执行目标操作，以响应用户发出的语音指令。
152.综上所述，客户端设备可以根据语音识别文件，识别用户的语音。而为获得优良的用户体验感，需要经常更新数据资源库、用户界面等内容。另外，还需要更新语音识别文件，以便于用户便捷地使用语音指令。因此需要耗费较大的工作量来更新语音识别文件。另外，语音包的数据量通常较大，不利于语音识别的效率。
153.图5是本技术实施例提供的一种语音控制设备的方法。在图4所示的方法中，客户端设备可以是如图1所示的电子设备100。
154.501，客户端设备获取用户的语音指令，所述语音指令用于指示目标指令或目标操作。
155.可选的，501可以由客户端设备上的语音助手完成。
156.可选的，用户可以说出唤醒词，以唤醒客户端设备捕获用户的语音指令。
157.目标指令例如可以是语音指令的文本内容。
158.目标操作例如可以是目标指令所指示的响应操作。
159.在一个示例中，用户可以说出语音指令，如“播放如懿传30集”。也就是说，用户在观察到客户端设备显示的用户界面之后，可以选择该用户界面上的电视剧合集“如懿传”，并选择观看该“如懿传”合集中的第30集视频资源。该语音指令可以用于指示客户端设备播放电视剧合集“如懿传”中的第30集视频资源。
160.在一个示例中，用户可以说出语音指令，如“显示电影页面”。也就是说，用户在观察到客户端设备显示的用户界面之后，可以选择该用户界面上的电影合集，从而可以继续浏览电影合集中的电影资源。该语音指令可以用于指示客户端设备显示电影合集所对应的用户界面。
161.在一个示例中，用户可以说出语音指令，如“打开wifi(即无线保真(wireless fidelity))”。也就是说，在观察到客户端设备显示的用户界面之后，用户可以选择该用户界面上的无线连接图标，并设置客户端设备的无线连接参数。该语音指令可以用于指示客户端设备启动无线连接模块。
162.在一个示例中，用户可以说出语音指令，如“第3个”。也就是说，在观察到客户端设备显示的用户界面之后，用户可以选择角标3对应的图标或操控指令。该语音指令可以用于指示客户端设备执行角标3所对应的操作。
163.在一个示例中，用户可以说出语音指令，如“下一页”。也就是说，在观察到客户端设备显示的用户界面之后，用户可以控制客户端设备执行翻页操作，从而用户可以继续浏
览下一页用户界面。该语音指令可以用于指示客户端设备显示下一页用户界面。
164.可选的，如图3中的304所示，客户端设备在捕获用户的语音指令的过程中，可以在当前用户界面上显示提示信息，以提示用户正在使用客户端设备的语音识别功能。
165.502，所述客户端设备获取当前用户界面的用户界面信息，所述当前用户界面为所述客户端设备当前显示的用户界面。
166.当前用户界面可以是501中用户观察到的用户界面。当前用户界面例如可以是如图3所示的用户界面300。用户界面信息可以包括指示当前用户界面的各种信息。
167.可选的，502可以由客户端设备上的语音助手完成。
168.可选的，501与502的执行顺序可以调换。如先执行501，后执行502。或者，先执行502，后执行501。
169.可选的，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
170.在一个示例中，用户界面信息可以包括所述当前用户界面的图标名称。
171.以如图3所示的用户界面300为例，用户界面300可以包括“首页”图标、“电视剧”图标、“电影”图标、“少儿”图标、“应用”图标、“音乐”图标、“电台”图标、“教育”图标、“综艺”图标、“如懿传”合集图标、“沙海”合集图标、“将夜”合集图标、“幕后之王”合集图标、“纸牌屋”合集图标、“知否知否应是红肥绿瘦”合集图标、返回图标、用户信息图标、设置图标、无线连接图标、时钟图标等。因此，与用户界面300对应的用户界面信息可以包括：首页、电视剧、电影、少儿、应用、音乐、电台、教育、综艺、如懿传、沙海、将夜、幕后之王、纸牌屋、知否知否应是红肥绿瘦、返回、用户信息、设置、无线连接、时钟等。应理解，合集可以指数据资源的集合。例如，“如懿传”合集可以是包含“如懿传”全集电视剧视频的资源集合。
172.在一个示例中，所述用户界面信息包括热词信息。
173.例如，“少儿”被称为“儿童”等。也就是说“少儿”可以对应热词“儿童”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：儿童。
174.又如，“音乐”被称为“歌曲”等。也就是说“音乐”可以对应热词“歌曲”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：歌曲。
175.又如，“电台”被称为“广播”等。也就是说“电台”可以对应热词“广播”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：广播。
176.又如，“如懿传”常被简称为“如懿”等。也就是说“如懿传”可以对应热词“如懿”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：如懿。
177.又如，“知否知否应是红肥绿瘦”常被简称为“知否”、“知否知否”等。也就是说“知否知否应是红肥绿瘦”可以对应热词“知否”、热词“知否知否”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：知否、知否知否。
178.又如，“复仇者联盟”常被简称为“复联”、“复仇者”等。也就是说“复仇者联盟”可以对应热词“复联”、热词“复仇者”。因此，在当前用户界面包含“复仇者联盟”合集图标的情况下，用户界面信息所包括的热词信息可以有：复联、复仇者。
179.又如，“用户信息”常被称为“账户”、“登录信息”等。也就是说“用户信息”可以对应热词“账户”、热词“登录信息”等。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：账户、登录信息。
180.又如，“无线连接”应用的功能可以包括连接无线保真(wireless fidelity，wifi)，因此“无线连接”可以对应热词“wifi”、“无线”、“热点”、“网络”等。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：wifi、无线、热点、网络。
181.又如，“时钟”应用的功能是查看时间，因此“时钟”可以对应热词“时间”、“几点”。因此，与用户界面300对应的用户界面信息所包括的热词信息可以有：时间、几点。
182.在一个示例中，所述用户界面信息包括操控指令的指示信息。
183.可选的，所述操控指令可以包括以下中的至少一个：刷新用户界面指令、移动用户界面指令、翻页指令、移动选择框指令等。
184.例如，在操控指令包括刷新用户界面指令的情况下，用户界面信息可以包括“刷新”、“刷新页面”、“刷新一下”、“刷新界面”、“刷新用户界面”等信息中的至少一个。
185.又如，在操控指令包括移动用户界面指令的情况下，用户界面信息可以包括“左移”、“右移”、“上移”、“下移”、“移动”、“滑动”、“移动用户界面”等信息中的至少一个。
186.又如，在操控指令包括翻页指令的情况下，用户界面信息可以包括“上一页”、“下一页”、“翻页”、“左翻”、“右翻”等信息中的至少一个。
187.又如，在操控指令包括移动选择框指令的情况下，用户界面信息可以包括“下一个”、“上一个”、“移动选择框”等信息中的至少一个。
188.可以看出，用户可以通过多种不同的表述，指示同一操控指令。因此，用户界面信息可以包括用户可能用到的表述，该表述可以指示对应的操控指令。
189.在一个示例中，所述用户界面信息还包括所述当前用户界面上显示的目标角标信息。
190.所述目标角标信息例如可以与目标图标、目标合集或目标操控指令对应。
191.可选的，所述用户界面信息还包括所述目标角标信息与目标图标之间的对应关系。
192.可选的，所述用户界面信息还包括所述目标角标信息与目标合集之间的对应关系。
193.如图6所示，当前用户界面可以显示多个角标601，包括角标1、角标2、角标3、角标4、角标5、角标6。其中，角标1可以与电视剧合集“如懿传”的图标对应；角标2可以与电视剧合集“沙海”的图标对应；角标3可以与电视剧合集“将夜”的图标对应；角标4可以与电视剧合集“幕后之王”的图标对应；角标5可以与电视剧合集“纸牌屋”的图标对应；角标6可以与电视剧合集“知否知否应是红肥绿瘦”的图标对应。因此，用户界面信息可以包括指示“角标1—如懿传”的信息，指示“角标2—沙海”的信息，指示“角标3—将夜”的信息，指示“角标4—幕后之王”的信息，指示“角标5—纸牌屋”的信息，以及，指示“角标6—知否知否应是红肥绿瘦”的信息。
194.可选的，所述用户界面信息还包括所述目标角标信息与目标操控指令之间的对应关系。
195.例如，当前用户界面显示角标1和角标2。其中，角标1对应的目标操控指令为：按照分辨率720p播放视频；角标2对应的目标操控指令为：按照分辨率1080p播放视频。因此，用户界面信息可以包括指示“角标1—720p”的信息，以及，指示“角标2—1080p”的信息。
196.又如，当前用户界面显示角标1和角标2。其中，角标1对应的目标操控指令为：按照
倍速1.0x播放视频；角标2对应的目标操控指令为：按照倍速2.0x播放视频。因此，用户界面信息可以包括指示“角标1—1.0x”的信息，以及，指示“角标2—2.0x”的信息。
197.可选的，所述获取当前用户界面的用户界面信息，包括：向前台应用发送第一指示信息，所述第一指示信息用于指示所述前台应用反馈所述用户界面信息；接收所述前台应用发送的所述用户界面信息，所述用户界面信息由所述前台检索与所述当前用户界面相关的信息得到。
198.前台应用例如可以是视频播放应用、音频播放应用、桌面应用、设置应用、电视直播应用、电台应用等。
199.例如，所述客户端设备的语音助手在检测到用户的语音指令后，可以通过调用所述客户端设备的前台应用的软件接口，向前台应用发送第一指示信息，该第一指示信息可以指示所述前台应用反馈所述用户界面信息。所述前台应用可以根据所述第一指示信息，通过所述软件接口将所述用户界面信息发送给所述语音助手。
200.前台应用确定用户界面信息的方式可以是扫描当前用户界面的元素。元素可以包括图标、图标对应的合集信息、所述当前用户界面对应的操控指令等。
201.前台应用确定用户界面信息的方式还可以包括从网络设备(例如云服务器)获取与当前用户界面上的元素相关的数据。例如，获取与“如懿传”相关的热词包括“如懿”。
202.前台应用确定用户界面信息的方式可以是，搜索用于显示当前用户界面的文档，得到该用户界面信息。该文档例如可以包括超级文本标记语言(hyper text markup language，html)文件、可扩展标记语言(extensible markup language，xml)文件、脚本文件等。
203.可选的，所述用户界面信息还包括所述前台应用的标识。
204.也就是说，语音助手可以根据该用户界面信息，获知当前用户界面是由所述前台应用提供，且所述用户界面信息是由所述前台应用提供。
205.假设当前用户界面被更新，例如在当前用户界面上增加了一部电视剧的图标。由于语音助手可以通过前台应用获取用户界面信息，而前台应用在显示该更新后的用户界面时就已经获知了该更新后的用户界面上的元素，因此当前用户界面的更新不会影响语音助手的语音识别效率。
206.下面表1提供一种语音助手从前台应用获取用户界面信息的代码。具体地，该用户界面信息可以包括热词信息、操控指令的指示信息、角标最大值。
207.表1
[0208][0209][0210]
可选的，在所述获取用户的语音指令之前，所述方法还包括：在所述当前用户界面上显示角标。
[0211]
例如，所述用户界面信息包括目标角标信息，在语音助手获取到用户的语音指令之前，所述方法还包括：语音助手向所述前台应用发送第二指示信息，所述第二指示信息用于指示所述前台应用在所述当前用户界面上显示角标。也就是说，当用户说出唤醒词唤醒语音助手后，语音助手可以向前台应用发送第二指示信息，从而前台应用可以在当前显示的界面上显示角标。之后，用户可以观察显示有角标的用户界面，并说出包含角标信息的语音。前台应用反馈给语音助手的用户界面信息可以包括角标的信息。
[0212]
可选的，在所述获取用户的语音指令之后，所述方法还包括：去除所述当前用户界面上的角标。
[0213]
在语音助手获取到语音指令之后，前台应用就可以去除当前用户界面上的角标。例如，在所述前台应用将所述用户界面信息反馈给所述语音助手之后，所述前台应用可以去除所述用户界面上的角标。不包括角标的用户界面可以具有相对简洁的显示效果。
[0214]
503，所述客户端设备将所述用户界面信息以及所述语音指令发送给服务器。
[0215]
相应地，所述服务器接收所述客户端设备发送的所述用户界面信息以及所述语音指令。
[0216]
可选的，503可以由客户端设备上的语音助手完成。
[0217]
客户端设备可以不具备语音识别的能力，即客户端设备可能无法将用户的语音指令转换为与该语音指令对应的设备控制指令的能力。客户端设备可以将用户的语音指令发送至服务器，由服务器执行语音识别的操作。并且，服务器可以根据客户端设备当前显示的用户界面，执行语音识别的操作。因此，客户端设备可以将用于指示当前显示的用户界面的用户界面指示信息发送给服务器。
[0218]
504，所述服务器根据所述用户界面信息以及所述用户的语音指令，确定目标指令，所述目标指令用于指示所述客户端设备执行所述目标操作。
[0219]
在一个示例中，语音指令为“播放如懿传30集”。用户界面信息包括：如懿传。服务器可以根据语音指令中的“播放”确定目标操作的类型为播放音视频，将语音指令中的“如懿传”与用户界面信息中的“如懿传”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：播放电视剧合集“如懿传”中的第30集视频资源。
[0220]
在一个示例中，语音指令为“显示电影页面”。用户界面信息包括：电影。服务器可以根据语音指令中的“显示”确定目标操作的类型为显示特定用户界面，将语音指令中的“电影”与用户界面信息中的“电影”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：显示电影合集所对应的用户界面。
[0221]
在一个示例中，语音指令为“打开wifi”。用户界面信息包括：wifi。服务器可以根据语音指令中的“打开”确定目标操作的类型为启动特定功能，将语音指令中的“wifi”与用户界面信息中的“wifi”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：启动客户端设备的无线连接模块。
[0222]
在一个示例中，语音指令为“第3个”。用户界面信息包括：角标3—将夜。服务器可以根据语音指令确定目标操作的类型为点击，将语音指令中的“3”与用户界面信息中的“角标3—将夜”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：点击电视剧合集“将夜”的图标。
[0223]
在一个示例中，语音指令为“下一页”。用户界面信息包括：下一页。服务器可以根据语音指令确定目标操作的类型为翻页操作，将语音指令中的“下一页”与用户界面信息中的“下一页”对应起来，从而服务器可以确定目标指令，该目标指令对应的目标操作为：显示下一页用户界面。
[0224]
服务器例如可以通过语音识别(automatic speech recognition，asr)模块、语义理解(natural language understanding，nlu)模块实现语音识别的操作。可选的，服务器或客户端设备还可以包括对话控制(dialogue state tracking，dst)模块、对话管理(dialogue manager，dm)模块、对话生成(natural language generation，nlg)模块和语音播报(text to speech，tts)模块等实现语音识别的操作。下面通过图7阐述各个模块的作用，其中图7中的701可以表示语音指令。
[0225]
(1)asr模块
[0226]
asr模块的主要作用是将用户的语音识别为文字内容。asr模块可以根据用户界面
信息，用户的语音指令进行处理，将一段语音变成对应的文字。例如，可以将语音指令中的一部分与用户界面信息所包含的图标名称对应。由于近年来机器学习能力的发展，大幅提升了asr语音识别模块的识别准确率，这才让人与机器的语音交互成为可能，因此asr是语音交互真正意义上的起点。虽然asr模块可以获知用户在说什么，但其无法理解用户的意思，对语义的理解会交由nlu模块来处理。
[0227]
(2)nlu模块
[0228]
nlu模块的主要作用是理解用户的意图(intent)，进行槽位(slot)解析。nlu模块可以根据用户界面信息，确定语音指令的意图和槽位。例如，可以将asr模块得到的文字与用户界面信息所包含的图标名称对应。
[0229]
示例性的，当前显示的用户界面如图3所示。用户表达：播放如懿传30集。
[0230]
由于当前显示的用户界面包括电视剧合集“如懿传”的图标，因此nlu模块可以解析得出表2所示的内容。
[0231]
表2
[0232][0233]
因此，nlu模块可以将语音指令“播放如懿传30集”转变为对应的目标指令。
[0234]
上述示例中提到了2个概念，分别是意图和槽位，下面对这两个概念进行详细解释。
[0235]
意图
[0236]
意图可以理解成是一个分类器，确定用户表达的这句话是哪个类型，进而由这个类型对应的程序做专门的解析。在一种实现方式中，“这个类型对应的程序”可以是机器人(bot)，比如用户说：“给我放一个喜剧电影吧”，nlu模块判断用户的意图分类是电影，因此召唤出电影机器人(bot)给用户推荐一部电影播放，用户听着觉得不对的时候，说：“换一部”，还是这个电影机器人继续为用户服务，直到用户表达别的问题，意图已经不是电影的时候，再切换成别的机器人为用户服务。
[0237]
槽位
[0238]
当用户意图被确定之后，nlu模块就需要进一步理解对话中的内容，为简便起见，可以选择最核心的部分进行理解，其他可以忽略，那些最重要的部分可以称之为槽位(slot)。
[0239]
在“播放如懿传30集”这个例子中定义了2个核心槽位，分别是“视频名称”、“集数”。如果要全面考虑用户播放视频需要输入的内容，我们肯定能想到更多，比如播放起点、播放速度、播放分辨率等，对于语音交互的设计者来说，设计的起点就是定义槽位。
[0240]
下面提供几种确定目标指令的代码。
[0241]
示例1
[0242][0243]
示例2
[0244][0245]
示例3
[0246][0247]
[0248]
(3)dst模块和dm模块
[0249]
dst模块主要的作用是进行槽位检验与合并，dm模块的主要作用是做顺序填槽澄清、消歧。
[0250]
示例性的，用户表达的是“播放如懿传”，此时nlu模块可以确定用户的意图为“播放”，该意图相关的槽位信息为“视频名称”和“集数”。而用户的表达的语句中只有“视频名称”这一个槽位信息，那么此时dst模块“集数”这一槽位信息缺失，dst模块可以将缺失的槽位信息发送给dm模块，并由dm模块控制nlg模块生成向用户询问缺失的槽位信息的对话。
[0251]
示例性的，用户：我想看视频；
[0252]
bot：请问视频的名称是什么？
[0253]
用户：如懿传；
[0254]
bot：请问您想从第几集开始播放？
[0255]
…
[0256]
当用户将“播放”这一意图中所有的槽位信息都补充完整后，dm模块可以先对各个槽位信息进行按照预设的顺序进行跳槽。示例性的，填槽的顺序可以依次为“视频名称”，“集数”，其中分别对应的槽位信息为“如懿传、“第30集”。
[0257]
在填槽完成后，dm模块可以控制命令执行模块去执行“播放”这一操作。示例性的，命令执行模块可以打开电视剧应用，并从如懿传第30集开始播放。
[0258]
应理解，在不同的对话系统中，对话管理器各模块的叫法与设计都不尽相同，这里可以统一认为dst模块与dm模块是一个整体，用于进行对话状态控制和管理。举例来说，如果用户表达了“播放”的需求，但是什么信息都没说清楚，我们就需要对话系统询问用户必须获知的槽位信息。
[0259]
(4)对话生成nlg模块
[0260]
nlg模块的主要作用是生成对话。
[0261]
示例性的，当dm模块确定“集数”这一槽位信息缺失时，可以控制nlg模块生成对应的对话为“请问您想从第几集开始播放？”。
[0262]
示例性的，当命令执行模块在完成“播放”这一操作后，可以告知dm模块该操作已经完成，此时dm模块可以控制nlg模块生成对应的对话为“现在为您播放如懿传第30集
…”
。
[0263]
(5)tts模块
[0264]
tts模块的主要作用是向用户播报对话。
[0265]
tts是语音合成播报技术，主要目标是处理好播报的“音韵”问题，这需要对符号、多音字，句型等等信息做判断、统一考虑，处理播报中的字音读法。另一方面，为适应不同人群喜好，也要关注“音色”。总的来说就是处理好“音韵”和“音色”。
[0266]
为了提升tts播报质量，会邀请真人录制标准的模板部分，这样整个对话系统听起来会更加自然。
[0267]
505，所述服务器将所述目标指令发送至所述客户端设备。
[0268]
相应地，所述客户端设备接收所述服务器发送的所述目标指令。可选的，客户端设备上的语音助手可以接收所述服务器发送的所述目标指令。
[0269]
也就是说，服务器将对语音指令的识别结果反馈给客户端设备。
[0270]
可选的，还包括506，所述客户端设备根据所述目标指令，确定并执行所述目标操
作。
[0271]
也就是说，客户端设备可以根据服务器发送的目标指令，确定目标指令所指示的目标操作，并执行该目标操作，以响应用户发出的语音指令。
[0272]
可选的，所述目标指令包括所述前台应用的标识。
[0273]
例如，前台应用将包含前台应用标识的用户界面信息发送给语音助手，语音助手再将该用户界面信息发送给服务器。服务器根据用户界面信息和语音指令，确定所述目标指令，并且该目标指令可以携带前台应用的标识。从而，语音助手可以根据服务器发送的该前台应用的标识，调用该前台应用的软件接口，并将该目标指令发送给前台应用。前台应用可以根据该目标指令，执行目标操作。
[0274]
下面通过图8所示的示例详细阐述本技术提供的语音控制设备的方法。
[0275]
801，用户说出唤醒词唤醒语音助手。
[0276]
语音助手例如可以是客户端设备的语音助手。
[0277]
802，语音助手建立语音助手与前台应用之间的绑定关系。
[0278]
前台应用例如可以是客户端设备的前台应用。
[0279]
例如，语音助手可以调用前台应用的软件接口，从而建立语音助手与前台应用之间的绑定关系。
[0280]
803，前台应用显示角标。
[0281]
也就是说，客户端设备可以在当前显示的用户界面上显示一个或多个角标。当前显示的用户界面可以是当前用户界面。
[0282]
804，用户说出语音指令。
[0283]
相应地，语音助手获取用户的语音指令。
[0284]
804的具体实现方式可以参考图5所示实施例中的501，在此就不必赘述。
[0285]
805，前台应用将所述当前用户界面的用户界面信息发送给语音助手。
[0286]
相应地，语音助手接收前应用发送的所述用户界面信息。
[0287]
805的具体实现方式可以参考图5所示实施例中的502，在此就不必赘述。
[0288]
例如，如图8所示，在语音助手与前台应用绑定后的一段时间内，前台应用可以将用户界面信息发送给语音助手，且该段时间未超过预设阈值(如100ms)，则语音助手可以将用户界面信息发送给云服务器的接入平台。如果在语音助手与前台应用绑定后的较长时间内，语音助手未接收到用户界面信息，则客户端与云服务器之间的接口不携带参数。
[0289]
806，语音助手将所述语音指令和所述用户界面信息发送给服务器的接入平台。
[0290]
相应地，服务器的接入平台接收语音助手发送的所述语音指令和所述用户界面信息。
[0291]
806的具体实现方式可以参考图5所示实施例中的503，在此就不必赘述。
[0292]
807，语音助手解除语音助手与前台应用之间的绑定关系。
[0293]
例如，语音助手可以解除对前台应用的软件接口的调用。
[0294]
808，前台应用去除当前用户界面上的角标。
[0295]
809，所述接入平台可以将语音助手发送的所述语音指令和所述用户界面信息发送给服务器的asr模块。
[0296]
相应地，所述asr模块可以接收所述接入平台发送的所述语音指令和所述用户界
面信息。
[0297]
810，所述asr模块可以根据所述用户界面信息，将所述语音指令转换为文本，并将所述文本发送给所述接入平台。
[0298]
相应地，所述接入平台接收所述asr模块发送的所述文本。
[0299]
811，所述接入平台可以将语音助手发送的所述用户界面信息和所述asr模块发送的所述文本发送给服务器的dm模块。
[0300]
相应地，所述dm模块接收所述文本和所述用户界面信息。
[0301]
812，所述dm模块根据所述用户界面信息，对所述文本进行意图、槽位的解析，得到与所述语音指令对应的目标指令。
[0302]
813，所述dm模块将所述目标指令发送给所述接入平台。
[0303]
相应地，所述接入平台接收所述dm模块发送的所述目标指令。
[0304]
809至813的具体实现方式可以参考图5所示实施例中的504，在此就不必赘述。
[0305]
814，所述接入平台将所述目标指令发送给所述语音助手。
[0306]
相应地，所述语音助手接收所述接入平台发送的所述目标指令。
[0307]
814的具体实现方式可以参考图5所示实施例中的505，在此就不必赘述。
[0308]
815，所述语音助手调用所述前台应用的软件接口。
[0309]
816，所述语音助手将所述目标指令发送给所述前台应用。
[0310]
相应地，所述前台应用接收所述语音助手发送的所述目标指令。
[0311]
817，所述前台应用根据所述目标指令，执行所述语音指令所指示的目标操作。
[0312]
815至817的具体实现方式可以参考图5所示实施例中的506，在此就不必赘述。
[0313]
818，所述前台应用向所述语音助手发送反馈结果。
[0314]
该反馈结果例如可以指示所述前台应用成功接收到所述目标指令。
[0315]
819，所述前台应用向用户展示所述目标操作的执行结果。
[0316]
也就是说，用户可以感知到客户端设备通过执行目标操作来响应用户的语音指令。
[0317]
图9是本技术实施例提供的一种语音控制设备的方法的示意性流程图。
[0318]
901，获取用户的语音指令，所述语音指令用于指示目标指令。
[0319]
902，获取当前用户界面的用户界面信息，所述当前用户界面为客户端设备当前显示的用户界面。
[0320]
903，确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
[0321]
可选的，所述用户界面信息包括以下至少一种信息：所述当前用户界面的图标名称、热词信息、操控指令的指示信息、目标角标信息。
[0322]
可选的，所述目标角标信息与目标图标或目标操控指令对应。
[0323]
一种可能的实现方式是，图9所示的方法900由客户端设备执行。
[0324]
可选的，所述确定所述语音指令所对应的目标指令，包括：所述客户端设备根据所述语音指令以及所述用户界面信息，确定所述目标指令。
[0325]
客户端设备例如可以通过语音识别(automatic speech recognition，asr)模块、语义理解(natural language understanding，nlu)模块，并结合用户界面信息，实现语音
识别的操作。
[0326]
在此情况下，901至902的具体实现方式可以参考图5所示实施例中的501、502，903的具体实现方式可以参考图5所示实施例中的504，在此就不必赘述。
[0327]
一种可能的实现方式是，图9所示的方法900由客户端设备执行。
[0328]
可选的，在所述确定所述语音指令所对应的目标指令之前，所述方法还包括：将所述用户界面信息以及所述语音指令发送给服务器；所述确定所述语音指令所对应的目标指令，包括：接收所述服务器发送的目标指令，所述目标指令由所述服务器根据所述用户界面信息以及所述用户的语音指令确定。
[0329]
在此情况下，901至902的具体实现方式可以参考图5所示实施例中的501、502，903的具体实现方式可以参考图5所示实施例中的503-505，在此就不必赘述。
[0330]
一种可能的实现方式是，图9所示的方法900由服务器执行。
[0331]
可选的，所述获取用户的语音指令，包括：接收所述客户端设备发送的所述语音指令；所述获取当前用户界面的用户界面信息，包括：接收所述客户端设备发送的所述用户界面信息；所述确定所述语音指令所对应的目标指令，包括：根据所述语音指令以及所述用户界面信息，确定所述目标指令。
[0332]
可选的，所述方法还包括：将所述目标指令发送给所述客户端设备。
[0333]
在此情况下，901至902的具体实现方式可以参考图5所示实施例中的503，903的具体实现方式可以参考图5所示实施例中的4，在此就不必赘述。
[0334]
可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0335]
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0336]
在采用对应各个功能划分各个功能模块的情况下，图10示出了上述实施例中涉及的电子设备1000的一种可能的组成示意图，如图10所示，该电子设备1000可以包括：获取模块1001、处理模块1002。电子设备1000例如可以是上文所述的客户端设备或服务器。
[0337]
其中，获取模块1001可以用于获取用户的语音指令，所述语音指令用于指示目标指令。
[0338]
示例性的，图2中的语音助手可以用于实现获取单元1001的功能。
[0339]
所述获取模块1001还可以用于，获取当前用户界面的用户界面信息，所述当前用户界面为所述客户端设备当前显示的用户界面。
[0340]
示例性的，图2中的语音助手可以用于实现获取单元1001的功能。
[0341]
处理模块1002，用于确定所述语音指令所对应的所述目标指令，所述目标指令是由所述语音指令以及所述用户界面信息得到。
[0342]
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
[0343]
本实施例提供的电子设备，用于执行上述语音控制设备的方法，因此可以达到与上述实现方法相同的效果。
[0344]
在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理，例如，可以用于支持电子设备执行上述各个单元执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。
[0345]
其中，处理模块可以是处理器或控制器。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，dsp)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、wi-fi芯片等与其他电子设备交互的设备。
[0346]
在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图1所示结构的设备。
[0347]
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的语音控制设备的方法。
[0348]
另外，本技术的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的语音控制设备的方法。
[0349]
本技术实施例提供了一种终端设备，该终端设备具有实现上述任一方法实施例中终端设备的行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能中各个子功能相对应的模块。具体地，该终端设备可以是用户设备。
[0350]
本技术实施例还提供了一种通信系统，该系统包括上述任一实施例所述的网络设备(如云服务器)和终端设备。
[0351]
本技术实施例还提供了一种通信系统，该系统包括上述任一实施例所述的电子设备和服务器。
[0352]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例中与终端设备相关的方法流程。具体地，该计算机可以为上述终端设备。
[0353]
本技术实施例还提供了一种计算机程序或包括计算机程序的一种计算机程序产品，该计算机程序在某一计算机上执行时，将会使所述计算机实现上述任一方法实施例中与终端设备相关的方法流程。具体地，该计算机可以为上述终端设备。
[0354]
本技术实施例还提供了一种装置，应用于终端设备中，所述装置与存储器耦合，用于读取并执行所述存储器中存储的指令，使得所述终端设备能执行上述任一方法实施例中与终端设备相关的方法流程。所述存储器可以集成在所述处理器中，也可以独立于所述处理器之外。所述装置可以为所述终端设备上的芯片(如片上系统(system on a chip，
soc))。
[0355]
应理解，本技术实施例中提及的处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0356]
还应理解，本技术实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0357]
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0358]
还应理解，本文中涉及的第一、第二以及各种数字编号仅为描述方便进行的区分，并不用来限制本技术的范围。
[0359]
本技术中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
[0360]
本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，“a、b、或c中的至少一项(个)”，或，“a、b、和c中的至少一项(个)”，均可以表示：a、b、c、a-b(即a和b)、a-c、b-c、或a-b-c，其中a、b、c分别可以是单个，也可以是多个。
[0361]
应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，部分或全部步骤可以并行执行或先后执行，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0362]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0363]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0364]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0365]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0366]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0367]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，网络设备或者终端设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0368]
本技术各方法实施例之间相关部分可以相互参考；各装置实施例所提供的装置用于执行对应的方法实施例所提供的方法，故各装置实施例可以参考相关的方法实施例中的相关部分进行理解。
[0369]
本技术各装置实施例中给出的装置结构图仅示出了对应的装置的简化设计。在实际应用中，该装置可以包含任意数量的发射器，接收器，处理器，存储器等，以实现本技术各装置实施例中该装置所执行的功能或操作，而所有可以实现本技术的装置都在本技术的保护范围之内。
[0370]
本技术各实施例中提供的消息/帧/指示信息、模块或单元等的名称仅为示例，可以使用其他名称，只要消息/帧/指示信息、模块或单元等的作用相同即可。
[0371]
在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0372]
应当理解，尽管在本技术实施例中可能采用术语第一、第二、第三等来描述各种消息、请求和终端，但这些消息、请求和终端不应限于这些术语。这些术语仅用来将消息、请求和终端彼此区分开。例如，在不脱离本技术实施例范围的情况下，第一终端也可以被称为第二终端，类似地，第二终端也可以被称为第一终端。
[0373]
取决于语境，如在此所使用的词语“如果”或“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
[0374]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关硬件来完成，所述的程序可以存储于一个设备的可读存储介质中，该程序在执行时，包括上述全部或部分步骤，所述的存储介质，如：flash、eeprom等。
[0375]
以上所述的具体实施方式，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，不同的实施例可以进行组合，以上所述仅为本技术的具体实施方式而已，并不用于限定本技术的保护范围，凡在本技术的精神和原则之内，所做的任何组合、修改、等同替换、改进等，均应包含在本技术的保护范围之内。