语音控制方法、装置、设备及介质与流程

1.本公开涉及语音识别技术领域，尤其涉及一种语音控制方法、装置、设备及介质。


背景技术：

2.随着技术不断进步，越来越多的场景引入了具有语音控制功能的电子设备，例如在车辆中引入具有语音控制功能的车载终端。
3.一般情况下，电子设备内会预先存储有每个交互界面对应的一些控制指令，用户可以通过说出这些控制指令实现对电子设备的各个交互界面的操作控制。但是，由于预先存储的控制指令的数量有限，用户无法基于这些控制指令完全实现对各个交互界面的全部语音控制。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种语音控制方法、装置、设备及介质。
5.第一方面，本公开提供了一种语音控制方法，包括：
6.显示目标交互界面；
7.加载目标交互界面对应的目标控制指令集，目标控制指令集包括根据目标交互界面的界面控件数据生成的控制指令；
8.当接收到用户控制语音时，在目标控制指令集中查询与用户控制语音相匹配的目标控制指令；
9.若查询到目标控制指令，执行目标控制指令对应的目标控制操作。
10.第二方面，本公开提供了一种语音控制装置，包括：
11.界面显示模块，配置为显示目标交互界面；
12.指令加载模块，配置为加载目标交互界面对应的目标控制指令集，目标控制指令集包括根据目标交互界面的界面控件数据生成的控制指令；
13.指令匹配模块，配置为当接收到用户控制语音时，在目标控制指令集中查询与用户控制语音相匹配的目标控制指令；
14.指令执行模块，配置为若查询到目标控制指令，执行目标控制指令对应的目标控制操作。
15.第三方面，本公开提供了一种语音控制设备，包括：
16.处理器；
17.存储器，用于存储可执行指令；
18.其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现第一方面所述的语音控制方法。
19.第四方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现第一方面所述的语音控制方法。
20.本公开实施例提供的技术方案与现有技术相比具有如下优点：
21.本公开实施例的语音控制方法、装置、设备及介质，能够在显示目标交互界面之后，对目标交互界面对应的目标控制指令集进行加载，进而在接收到用户控制语音时，在目标控制指令集中查询与接收到的用户控制语音相匹配的目标控制指令，并执行该查询到的目标控制指令，进而实现用户对目标交互界面的语音控制，由于加载的目标控制指令集包括根据目标交互界面的界面控件数据生成的控制指令，该界面控件数据可以涵盖目标交互界面内的全部界面控件，因此，可以完全实现对目标交互界面的全部语音控制，进而达到了对目标交互界面的可见即可说(display can be said，dcs)的效果，提升用户的使用体验。
附图说明
22.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
23.图1为本公开实施例提供的一种语音控制方法的流程示意图；
24.图2为本公开实施例提供的一种车载终端的主界面的示意图；
25.图3a为本公开实施例提供的一种车载终端的应用界面的示意图；
26.图3b为本公开实施例提供的另一种车载终端的应用界面的示意图；
27.图4为本公开实施例提供的一种动态控件数据的处理过程的流程示意图；
28.图5为本公开实施例提供的另一种语音控制方法的流程示意图；
29.图6为本公开实施例提供的一种语音控制装置的结构示意图；
30.图7为本公开实施例提供的一种语音控制设备的结构示意图。
具体实施方式
31.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
32.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
33.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
34.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
35.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
36.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性
的目的，而并不是用于对这些消息或信息的范围进行限制。
37.随着技术不断进步，越来越多的场景引入了具有语音控制功能的电子设备。
38.一般情况下，电子设备内会预先存储有每个交互界面对应的一些控制指令，用户可以通过说出这些控制指令实现对电子设备的各个交互界面的操作控制。
39.例如，在基于唤醒的语音控制中，控制指令可以为唤醒词，每个交互界面可以注册有固定数量的唤醒词，用户可以通过说出这些唤醒词来满足对各个交互界面的语音控制需求。
40.但是，控制指令需要预先设置，意为各个交互界面上的唤醒词都需要被提前设计，如果交互界面上的内容是动态加载，由于预先存储的控制指令的数量有限，会导致用户无法基于这些控制指令完全实现对各个交互界面的全部语音控制。
41.此外，基于唤醒词形成的唤醒模型往往较小，无法做到一个场景上支持多个复杂和较多数量的唤醒词，如果一个交互界面上注册的唤醒词过多，也会导致唤醒模型出现误唤醒的问题。
42.为了解决上述的问题，本公开实施例提供了一种能够实现可见即可说的语音控制方法、装置、设备及介质。
43.下面首先结合图1-图5对本公开实施例提供的语音控制方法进行说明。
44.在本公开实施例中，该语音控制方法可以由电子设备执行。其中，电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴电子设备、智能家居设备等具有语音控制功能的设备。
45.图1示出了本公开实施例提供的一种语音控制方法的流程示意图。
46.如图1所示，该语音控制方法可以包括如下步骤。
47.s110、显示目标交互界面。
48.在本公开实施例中，目标交互界面可以为通过电子设备的显示屏幕直观展示的界面。
49.可选地，目标交互界面内可以显示有至少一个界面控件。界面控件可以为界面中的按钮、选项、图标或者链接等能够被用户操控的控件，在此不作限制。
50.在一些实施例中，目标交互界面可以包括电子设备开机后或者处于待机状态时所显示的主界面。
51.在这些实施例中，目标交互界面中所显示的界面控件可以为应用程序的图标。
52.图2示出了本公开实施例提供的一种车载终端的主界面的示意图。
53.如图2所示，该车载终端可以显示有主界面201，在主界面201中可以显示有多个界面控件，例如“设置应用”图标202、“文件应用”图标203、“浏览器应用”图标204和“音乐应用”图标205。
54.在另一些实施例中，目标交互界面可以包括电子设备中安装的任意应用程序的应用界面。
55.在这些实施例中，目标交互界面中所显示的界面控件可以为应用界面中的按钮、选项、图标或者链接等。
56.图3a示出了本公开实施例提供的一种车载终端的应用界面的示意图。
57.如图3a所示，该车载终端可以显示有设置应用程序的应用主界面301，在应用界面
301可以显示有多个界面控件，例如“我的设备”按钮302、“控制中心”按钮303和“更多设置”按钮304。
58.图3b示出了本公开实施例提供的另一种车载终端的应用界面的示意图。
59.如图3b所示，该车载终端可以显示有音乐应用程序的应用主界面305，在应用界面305中可以显示有多个界面控件，例如“每日推荐”选项306、“歌单”选项307、“本地音乐”选项308、“设置”选项309、各种播放控制按钮310、各个歌单链接311和“返回”按钮312。
60.s120、加载目标交互界面对应的目标控制指令集，目标控制指令集包括根据目标交互界面的界面控件数据生成的控制指令。
61.在本公开实施例中，在电子设备显示目标交互界面之后，可以加载目标交互界面对应的目标控制指令集，该目标控制指令集中的各个控制指令均为根据目标交互界面的界面控件数据所生成的，界面控件数据可以包含全部界面控件对应的控件数据，即目标交互界面内的全部界面控件分别具有相应的控制指令。
62.具体地，目标控制指令集可以为目标交互界面内的各个界面控件对应的控制指令的集合。
63.在一些实施例中，控制指令可以包括根据界面控件数据中的静态控件数据生成的第一控制指令。第一控制指令即静态控件的控制指令。
64.其中，静态控件数据可以为目标交互界面中的静态控件对应的控件数据。静态控件可以为始终固定显示的界面控件，即静态控件不会随着用户喜好或者设置而改变。
65.以目标交互界面为主界面为例，静态控件可以为设备出厂时自带的、不会动态更新也不可被用户更改的界面控件。
66.继续参见图2，由于设置应用、文件应用和浏览器应用为设备出厂时主界面201内自带的应用程序，因此，这些应用程序对应的“设置应用”图标202、“文件应用”图标203和“浏览器应用”图标204属于主界面201的静态控件，基于“设置应用”图标202、“文件应用”图标203和“浏览器应用”图标204对应的控件数据生成的控制指令即为主界面201对应的第一控制指令。
67.以目标交互界面为应用界面为例，静态控件可以为界面框架内固定显示且不会随着用户喜好更改的界面控件，例如被预置在界面工程内的内置资源，这些内置资源可以在应用界面的界面内容推送给用户之前被提前感知。
68.继续参见图3a，由于我的设备、控制中心和更多设置为设置应用程序的应用主界面301内固定的设置功能，因此，这些设置功能对应的“我的设备”按钮302、“控制中心”按钮303和“更多设置”按钮304属于应用主界面301的静态控件，基于“我的设备”按钮302、“控制中心”按钮303和“更多设置”按钮304对应的控件数据生成的控制指令即为应用主界面301对应的第一控制指令。
69.继续参见图3b，由于每日推荐、排行、本地音乐、设置为音乐应用程序的应用主界面305内固定的模块功能，并且返回、各种播放控制为音乐应用程序的应用主界面301内固定的界面功能，因此，这些功能对应的“每日推荐”选项306、“歌单”选项307、“本地音乐”选项308、“设置”选项309、各种播放控制按钮310和“返回”按钮312属于应用主界面305的静态控件，基于“每日推荐”选项306、“排行”选项307、“本地音乐”选项308、“设置”选项309、各种播放控制按钮310和“返回”按钮312对应的控件数据生成的控制指令即为应用主界面305对
应的第一控制指令。
70.在另一些实施例中，控制指令还可以包括根据界面控件数据中的动态控件数据生成的第二控制指令。第一控制指令即动态控件的控制指令。
71.其中，动态控件数据可以为目标交互界面中的动态控件对应的控件数据。动态控件可以为能够动态更新、或者随着用户喜好或设置而改变的界面控件。
72.以目标交互界面为主界面为例，动态控件可以为用户自行添加的界面控件。
73.继续参见图2，由于音乐应用为用户可以自主下载的应用程序，因此，音乐应用对应的“音乐应用”图标205属于主界面201的动态控件，基于“音乐应用”图标205对应的控件数据生成的控制指令即为主界面201对应的第二控制指令。
74.以目标交互界面为应用界面为例，动态控件可以为界面框架内会动态更新的界面控件，例如基于网络信源检索之后填充的资源。
75.继续参见图3b，由于“歌单”选项307的选项卡内所显示的各个歌单名称可以动态更新，因此，这些歌单名称对应的歌单链接311属于应用主界面305的动态控件，基于各个歌单链接311对应的控件数据生成的控制指令即为应用主界面305对应的第二控制指令。
76.需要说明的是，在目标交互界面为应用界面的情况下，动态控件还可以为界面框架内会随着用户喜好而改变的界面控件，在此不做赘述。
77.在本公开实施例中，所加载的目标交互界面对应的目标控制指令集，既可以用于控制目标交互界面内的静态控件，又可以用于控制目标交互界面内的动态控件。由此，电子设备可以通过加载目标交互界面对应的目标控制指令集，使得目标交互界面中的各界面控件都分别具有对应的控制指令，以使用户能够更全面的对目标交互界面进行语音控制。
78.s130、当接收到用户控制语音时，在目标控制指令集中查询与用户控制语音相匹配的目标控制指令。
79.在本公开实施例中，在电子设备加载目标控制指令集之后，可以对用户控制语音进行监测，并且在接收到用户控制语音之后，在目标控制指令集的各个控制指令中查询与用户控制语音相匹配的目标控制指令。
80.可选地，s130可以具体包括：将用户控制语音转换为目标语音文本；在目标控制指令集中查询与目标语音文本相匹配的目标控制指令。
81.具体地，电子设备可以将用户控制语音输入离线设置的自动语音识别(automatic speech recognition，asr)引擎中，得到asr引擎输出的目标语音文本，进而在目标控制指令集的各个控制指令中查询与目标语音文本相匹配的目标控制指令。
82.其中，目标控制指令与目标语音文本相匹配可以为目标语音文本包含目标控制指令中的任一动词和任一控件文本分词，也可以为目标语音文本中的动词与目标控制指令中的任一动词相同且目标语音文本中的名词与目标控制指令中的任一控件文本分词的相似度大于或等于预设的相似度阈值。
83.由此，电子设备可以通过在目标控制指令集中查询与用户控制语音相匹配的目标控制指令，来确定用户的语音控制意图。
84.s140、若查询到目标控制指令，执行目标控制指令对应的目标控制操作。
85.在本公开实施例中，如果电子设备确定其查询到与用户控制语音相匹配的目标控制指令，则可以执行该目标控制指令对应的目标控制操作；如果电子设备确定未查询到与
用户控制语音相匹配的目标控制指令，则可以继续对用户语音进行检测，等待下一个用户控制语音。
86.可选地，s140可以具体包括：针对目标控制指令所涉及的目标界面控件，执行目标控制操作。
87.由于每个控制指令是根据对应界面控件的控件数据生成的，因此，每个控制指令能够用于触发对该控制指令所涉及的目标界面控件执行目标控制操作，即每个控制指令能够用于触发生成该控制指令的控件数据所属的目标界面控件执行目标控制操作。
88.进一步地，目标控制操作可以按照目标控制指令所指示的目标控制方式来实现的控制操作。
89.具体地，电子设备可以在查询到目标控制指令之后，按照目标控制指令所指示的目标控制方式，对生成该控制指令的控件数据所属的目标界面控件进行控制操作。
90.在本公开实施例中，可选地，在s140之后，电子设备可以进入新的交互界面，也可以保留在目标交互界面中。
91.在一些实施例中，在电子设备保留在目标交互界面中的情况下，电子设备无需重新加载控制指令集，可以继续基于目标控制指令集实现用户对目标交互界面的语音控制。
92.在另一些实施例中，在电子设备进入新的交互界面的情况下，电子设备需要重新加载新的交互界面对应的控制指令集，以基于重新加载的控制指令集实现用户对目标交互界面的语音控制。
93.继续参见图2，当用户控制电子设备执行“打开音乐应用”这一控制操作时，电子设备可以进入音乐应用程序的应用主界面，因此，在由主界面201跳转至音乐应用程序的应用主界面之后，需要重新获取音乐应用程序的应用主界面对应的控制指令集，以基于重新加载的控制指令集实现用户对音乐应用程序的应用主界面的语音控制。
94.继续参见图3b，当用户控制电子设备执行“播放每日推荐”这一控制操作时，电子设备可以在音乐应用程序的应用主界面305内直接播放每日推荐的歌曲，而无需跳转至其他的界面，因此，无需重新加载控制指令集，可以继续基于音乐应用程序的应用主界面305对应的控制指令集实现用户对音乐应用程序的应用主界面305的语音控制。
95.在本公开实施例中，能够在显示目标交互界面之后，对目标交互界面对应的目标控制指令集进行加载，进而在接收到用户控制语音时，在目标控制指令集中查询与接收到的用户控制语音相匹配的目标控制指令，并执行该查询到的目标控制指令，进而实现用户对目标交互界面的语音控制，由于加载的目标控制指令集包括根据目标交互界面的界面控件数据生成的控制指令，该界面控件数据可以涵盖目标交互界面内的全部界面控件，因此，可以完全实现对目标交互界面的全部语音控制，进而达到了对目标交互界面的dcs的效果，提升用户的使用体验。
96.在本公开另一种实施方式中，在控制指令包括根据界面控件数据中的静态控件数据生成的第一控制指令的情况下，电子设备可以直接获取预先生成的第一控制指令。
97.可选地，s120可以具体包括：确定目标交互界面所属的目标应用；在预先存储的多个预设控制指令集中，查询目标应用对应的控制指令集；在目标应用对应的控制指令集中，提取第一控制指令。
98.在本公开实施例中，电子设备内可以预先存储有多个预设控制指令集，每个预设
控制指令集可以对应一个应用程序，即每个预设控制指令集可以包含有对应应用程序所涉及的全部静态控件的控制指令。
99.进一步地，目标应用可以为目标交互界面所属的应用程序。电子设备可以将显示目标交互界面时所需运行的应用程序作为目标交互界面所属的目标应用。
100.具体地，电子设备可以将显示目标交互界面时所需运行的应用程序作为目标应用，然后在多个预设控制指令集中查询目标应用对应的控制指令集，最后在目标应用对应的控制指令集中提取目标交互界面对应的第一控制指令，第一控制指令可以包括目标交互界面所涉及的全部静态控件的控制指令。
101.在本公开实施例中，电子设备在s110之前，可以首先接收服务器发送的预设控制指令集。
102.在一些实施例中，针对每个应用程序，服务器可以接收开发者输入的该应用程序的各个交互界面所对应的全部静态控件的控制指令和每个控制指令对应的控制方式。其中，每个静态控件的控制指令均包含有动词集合和该静态控件对应的控件文本分词集合，该静态控件对应的控件文本分词集合为开发者从该静态控件的控件数据即静态控件数据内的静态控件文本中提取的分词集合，该静态控件文本可以为该静态控件能够被用户看见的控件名，该控制指令中的动词集合包含有多个语义近似的动词。
103.在另一些实施例中，针对每个应用程序的每个交互界面内的每个静态控件，服务器可以从该静态控件的控件数据即静态控件数据内的静态控件文本中提取控件文本分词集合，然后利用预先设置的不同动词集合与控件文本分词集合进行组合，得到该静态控件的多个控制指令，每个控制指令中的动词集合包含有多个语义近似的动词。针对每个静态控件的每个控制指令，服务器还可以利用该控制指令中的动词集合对应的控制指令和控件文本分词集合对应的静态控件的控件功能，确定该控制指令对应的控制方式。
104.其中，控件文本分词集合内的各个分词可以通过“|”进行连接，动词集合中的各个动词也可以通过“|”进行连接。
105.由此，在本公开实施例中，可以得到符合扩展巴科斯范式(extended backus
–
naur form，ebnf)语法范式的分词集合内容，使得第一控制指令可以加载到语法(grammar)引擎的语言模型中。
106.继续参考图2，以“音乐应用”图标205对应的控制指令为例，如果一个控制指令用于打开音乐应用，则动词集合可以为“打开|开|进入|进|点|点击”，控件文本分词集合可以为“音乐|音乐应用|音乐的|音乐图标”。
107.在本公开实施例中，可选地，由于目标交互界面内的静态控件可能因版本升级等原因进行更新，因此，电子设备内存储的预设控制指令集也需要进行更新，以保证用户可以对更新后的目标交互界面内的全部静态控件进行语音控制。
108.在一些实施例中，在目标应用对应的控制指令集中，提取第一控制指令之前，该语音控制方法还可以包括：检测目标应用对应的控制指令集的指令集版本。
109.具体地，电子设备可以检测目标应用对应的控制指令集的指令集版本，得到目标应用对应的控制指令集的版本号。
110.相应地，在目标应用对应的控制指令集中，提取第一控制指令可以具体包括：若检测到指令集版本为最新版本，则在目标应用对应的控制指令集中，提取第一控制指令。
111.具体地，电子设备可以通过判断检测到的版本号是否为最新版本号，以确定目标应用对应的控制指令集的指令集版本是否为最新版本，如果电子设备确定版本号是最新版本号，则可以确定指令集版本为最新版本，此时无需更新目标应用对应的控制指令集，可以直接在目标应用对应的控制指令集中提取目标交互界面对应的第一控制指令。
112.在另一些实施例中，在检测目标应用对应的控制指令集的指令集版本之后，该语音控制方法还可以包括：若检测到指令集版本不是最新版本，则从服务器下载目标应用对应的待更新控制指令集；利用待更新控制指令集替换目标应用对应的控制指令集；在待更新控制指令集中，提取第一控制指令。
113.具体地，如果电子设备确定版本号不是最新版本号，则可以确定指令集版本不是最新版本，此时需要更新目标应用对应的控制指令集，电子设备可以向服务器发送针对目标应用的控制指令集更新请求，使服务器响应于接收到控制指令集更新请求，向电子设备反馈目标应用对应的最近版本的控制指令集即目标应用对应的待更新控制指令集，以从服务器下载目标应用对应的待更新控制指令集，进而利用待更新控制指令集替换目标应用对应的控制指令集，即将待更新控制指令集作为目标应用对应的新的控制指令集，并且删除不是最新版本的目标控制指令集，然后在待更新控制指令集即目标应用对应的新的控制指令集中提取目标交互界面对应的第一控制指令。
114.由此，在本公开实施例中，可以预先为各个应用程序的各个交互界面整理出全部静态控件的控制指令，进而在电子设备内预先存储其所安装的全部应用程序对应的全部静态控件的控制指令，并将这些控制指令作为静态预设内容，实现对目标交互界面的第一控制指令的快速加载。
115.在本公开又一种实施方式中，在控制指令包括根据界面控件数据中的动态控件数据生成的第二控制指令的情况下，电子设备可以根据动态控件数据生成第二控制指令。
116.在这些实施例中，加载目标交互界面对应的目标控制指令集可以具体包括：对动态控件数据进行处理，以生成第二控制指令。
117.具体地，动态控件为在动态内容预留字段内填充控件数据所形成的控件。
118.下面参考图4对本公开实施例提供的动态控件数据的处理过程进行详细说明。
119.图4示出了本公开实施例提供的一种动态控件数据的处理过程的流程示意图。
120.如图4所示，该动态控件数据的处理过程可以包括如下步骤。
121.s410、在动态控件数据中，提取动态控件文本。
122.在本公开实施例中，无论是静态控件数据还是动态控件数据，都可以包括控件的控件文本、控件显示参数等等。每个静态控件数据可以属于一个静态控件，每个动态控件数据可以属于一个动态控件。
123.具体地，电子设备可以从在目标交互界面对应的动态控件数据中提取该动态控件数据所属的动态控件的动态控件文本，该动态控件文本可以为该动态控件能够被用户看见的控件名。
124.继续参见图3b，歌单链接311属于应用主界面305的动态控件，以“氛围钢琴曲当灵魂与无尽虚空对话”的歌单链接311为例，其动态控件文本为“氛围钢琴曲当灵魂与无尽虚空对话”。
125.s420、对动态控件文本进行分词处理，得到动态控件文本对应的分词集合。
126.在本公开实施例中，电子设备可以在提取到任一动态控件的动态控件文本之后，对该动态控件文本进行分词处理，得到动态控件文本对应的分词集合即动态控件的控件文本分词集合。
127.具体地，电子设备可以利用任意的分词处理算法，将动态控件文本拆分为多个控件文本分词，然后将任意多个相邻的控件文本分词进行组合，得到多个分词组合，最后得到包含多个控件文本分词和多个分词组合的动态控件文本对应的分词集合。
128.可选地，将多个控件文本分词和多个分词组合进行组合得到分词集合的方法可以包括多个控件文本分词和多个分词组合利用“|”进行连接，得到分词集合。
129.由此，在本公开实施例中，可以得到符合ebnf语法范式的分词集合内容，使得生成的第二控制指令可以加载到grammar引擎的语言模型中。
130.s430、根据分词集合生成第二控制指令。
131.在本公开实施例中，电子设备在得到动态控件文本对应的分词集合之后，可以基于预设的控制指令生成方式，根据分词集合生成第二控制指令。
132.可选地，s430可以具体包括：根据预设的动词集合和分词集合，生成第二控制指令。
133.电子设备可以利用预先设置的不同动词集合与分词集合进行组合，得到该动态控件的多个控制指令，每个控制指令中的动词集合包含有多个语义近似的动词。针对每个动态控件的每个控制指令，电子设备还可以利用该控制指令中的动词集合对应的控制指令和分词集合对应的动态控件的控件功能，确定该控制指令对应的控制方式。
134.在本公开一些实施例中，在s420之前，该语音控制方法还可以包括：对动态控件文本进行预处理。
135.在本公开实施例中，电子设备在提取到动态控件文本之后，在对动态控件文本进行分词处理，得到动态控件文本对应的分词集合之前，还可以先对动态控件文本进行预处理，得到能够用于进行文本处理的动态控件文本。
136.可选地，预处理可以包括符号剔除处理、数字转换处理。
137.符号剔除处理可以用于剔除动态控件文本中的符号，例如标点符号、特殊符号、数学符号等任意不具有语义的符号。
138.数字转换处理可以用于将动态控件文本中的阿拉伯数字转换为中文数字。其中，如果阿拉伯数字有两位以上的数字，则可以将整个阿拉伯数字转换为一个中文数字，也可以将每个数字分别转换为一个数字。
139.具体地，电子设备在提取到动态控件文本之后，可以首先剔除动态控件文本中的符号，得到剔除符号后的动态控件文本。然后，电子设备可以将剔除符号后的动态控件文本中的阿拉伯数字转换为中文数字。以动态控件文本“语文课代表私藏小抄200首成语歌名”为例，阿拉伯数字“200”可以转换为中文数字“二百”，也可以转换为中文数字“二零零”，得到数字转换后的动态控件文本“语文课代表私藏小抄二百首成语歌名|语文课代表私藏小抄二零零首成语歌名”，电子设备可以对转换后的动态控件文本进行分词和分词组合，得到分词集合“语文课代表私藏小抄二百首成语歌名|语文课代表私藏小抄二零零首成语歌名|二百首成语歌名|二零零首成语歌名|成语歌名|语文课代表|私藏小抄”。
140.由此，在本公开实施例中，电子设备在显示目标交互界面之后，可以基于目标交互
界面内的各个动态控件数据生成目标交互界面内的全部动态控件的控制指令即第二控制指令，进而将这些控制指令作为动态加载内容，实现对目标交互界面的第二控制指令的可靠、高效地加载。
141.下面以一个示例，对本公开实施例所提供的语音控制方法进行详细说明。
142.图5示出了本公开实施例提供的另一种语音控制方法的流程示意图。
143.s510、显示目标交互界面。
144.在本公开实施例中，具备语音控制功能的电子设备可以显示目标交互界面，使用户可以对目标交互界面进行语音控制。
145.s520、加载目标交互界面对应的目标控制指令集。
146.在本公开实施例中，在显示目标交互界面之后，电子设备可以对asr引擎进行初始化，并且加载指令内容为空的语言模型。然后，向语言模型中加载目标交互界面对应的目标控制指令集。在asr引擎启动、初始化以及目标控制指令集的加载过程中，电子设备不接收用户语音。
147.其中，电子设备需要向语言模型中加载目标控制指令集中的第一控制指令和第二控制指令。
148.电子设备可以首先判断预加载的语言模型所属的应用程序是否为目标交互界面所属的目标应用，如果是，则将目标控制指令集加载到语言模型中；如果不是，则重新加载目标应用对应的空的语言模型，再将目标控制指令集加载到重新加载的语言模型中。
149.在一些实施例中，电子设备可以首先确定目标交互界面所属的目标应用，然后在多个预设控制指令集中查询目标应用对应的控制指令集，进而确定目标应用对应的控制指令集的指令集版本是否为最新版本，如果确定指令集版本为最新版本，此时无需更新目标应用对应的控制指令集，可以直接在目标应用对应的控制指令集中提取目标交互界面对应的第一控制指令；如果确定指令集版本不是最新版本，此时需要更新目标应用对应的控制指令集，可以从服务器下载目标应用对应的待更新控制指令集，并利用待更新控制指令集替换目标应用对应的控制指令集，以在待更新控制指令集中提取目标交互界面对应的第一控制指令。在电子设备获取的第一控制指令之后，可以将第一控制指令加载到语言模型中。
150.在另一些实施例中，电子设备可以获取目标交互界面中的全部动态控件对应的动态控件数据。针对每个动态控件对应的动态控件数据，电子设备可以从动态控件数据中提取该动态控件的动态控件文本，然后剔除动态控件文本中的符号并将动态控件文本中的阿拉伯数字转换为中文数字，得到预处理后的动态控件文本，接着对该动态控件文本进行分词处理，得到动态控件文本对应的分词集合，最后根据预设的动词集合和分词集合，生成第二控制指令。在电子设备获取的第二控制指令之后，可以将第二控制指令加载到语言模型中。
151.其中，在根据预设的动词集合和分词集合，生成第二控制指令之前，然后将不同的语法内容加入语言模型对应的代码位置，最后将更新后的语言模型编译为二进制的语言模型资源文件，并发给音频识别模型。
152.进一步地，电子设备还可以将第一控制指令和第二控制指令转化为二进制代码后，加载到语音模型中。
153.s530、接收用户控制语音。
154.在本公开实施例中，电子设备在完成对目标控制指令集的加载之后，可以等待用户输入语音。若基于语音端点检测(voice activity detection，vad)识别到人声开始时，持续录音。若基于vad识别到人声结束时，则停止录音。电子设备可以将录音得到的音频作为用户控制语音。电子设备进而可以将用户控制语音输入asr引擎，得到用户控制语音对应的目标语音文本。
155.s540、根据用户控制语音对应的目标语音文本，在目标控制指令集中查找与用户控制语音相匹配的目标控制指令。
156.在本公开实施例中，电子设备可以在目标控制指令集中查询与目标语音文本相匹配的目标控制指令。
157.s550、判断是否查找到目标控制指令。
158.在本公开实施例中，电子设备可以判断是否查找到目标控制指令，如果查询到目标控制指令，则执行s560，否则返回执行s530。
159.s560、执行目标控制指令对应的目标控制操作。
160.在本公开实施例中，电子设备可以按照目标控制指令所指示的目标控制方式，对生成该控制指令的控件数据所属的目标界面控件进行控制操作。
161.综上所述，在本公开实施例中，由于利用动词集合和分词集合生成控制指令，可以支持单个交互界面的数千级别说法的语音控制，同时控制指令包括了基于交互界面中的静态控件生成的静态控制指令和基于交互界面中的动态控件生成的动态控制指令，因此在能够支撑足够大的语法量级的基础上，还可以任意扩充控制指令，实现对交互界面的可见即可说的效果。另外，对控制指令的加载过程和对用户控制语音的识别过程相互独立，互不干扰，能够提高识别的准确率。
162.进一步地，在本公开实施例中，asr引擎和grammar引擎均为离线的引擎，可以做到运行在端侧(即在电子设备内实现运行)，不依赖网络。并且，引擎的模型足够小，对算力要求较低，可以让交互界面内需要支撑的控制指令以较快的速度被响应(平均比云端识别结果要快1.2s左右，比离线通用识别结果快500ms左右)，在车辆场景下，可以带来较高的收益。
163.图6示出了本公开实施例提供的一种语音控制装置的结构示意图。
164.在本公开一些实施例中，图6所示的装置可以应用于电子设备中。其中，电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴电子设备、智能家居设备等具有语音控制功能的设备。
165.如图6所示，该语音控制装置600可以包括界面显示模块610、指令加载模块620、指令匹配模块630和指令执行模块640。
166.该界面显示模块610可以配置为显示目标交互界面。
167.该指令加载模块620，可以配置为加载目标交互界面对应的目标控制指令集，目标控制指令集包括根据目标交互界面的界面控件数据生成的控制指令。
168.该指令匹配模块630，可以配置为当接收到用户控制语音时，在目标控制指令集中查询与用户控制语音相匹配的目标控制指令。
169.该指令执行模块640，可以配置为若查询到目标控制指令，执行目标控制指令对应的目标控制操作。
170.在本公开实施例中，能够在显示目标交互界面之后，对目标交互界面对应的目标控制指令集进行加载，进而在接收到用户控制语音时，在目标控制指令集中查询与接收到的用户控制语音相匹配的目标控制指令，并执行该查询到的目标控制指令，进而实现用户对目标交互界面的语音控制，由于加载的目标控制指令集包括根据目标交互界面的界面控件数据生成的控制指令，该界面控件数据可以涵盖目标交互界面内的全部界面控件，因此，可以完全实现对目标交互界面的全部语音控制，进而达到了对目标交互界面的可见即可说的效果，提升用户的使用体验。
171.在本公开一些实施例中，控制指令可以包括根据界面控件数据中的静态控件数据生成的第一控制指令。
172.在本公开一些实施例中，界面显示模块620还可以包括应用确定单元、第一查询单元和第一提取单元。
173.该应用确定单元可以配置为确定目标交互界面所属的目标应用。
174.该第一查询单元可以配置为在预先存储的多个预设控制指令集中，查询目标应用对应的目标控制指令集。
175.该第一提取单元还可以配置为在目标应用对应的控制指令集中，提取第一控制指令。
176.在本公开一些实施例中，界面显示模块620还可以包括版本检测单元，该版本检测单元可以配置为在目标控制指令集中提取第一控制指令之前，检测目标应用对应的控制指令集的指令集版本。
177.该第一提取单元可以进一步配置为在版本检测单元检测到指令集版本为最新版本时，则在目标控制指令集中，提取第一控制指令。
178.在本公开一些实施例中，界面显示模块620还可以包括指令集下载单元、第一处理单元和第二提取单元。
179.该指令集下载单元可以配置为在检测目标应用对应的控制指令集的指令集版本之后，若检测到指令集版本不是最新版本，则从服务器下载目标应用对应的待更新控制指令集。
180.该第一处理单元可以配置为利用待更新控制指令集替换目标控制指令集。
181.该第二提取单元可以配置为在待更新控制指令集中，提取第一控制指令。
182.在本公开一些实施例中，控制指令可以包括根据界面控件数据中的动态控件数据生成的第二控制指令。
183.在本公开一些实施例中，界面显示模块620还可以包括第三提取单元、第二处理单元和指令生成单元。
184.该第三提取单元可以配置为在动态控件数据中，提取动态控件文本。
185.该第二处理单元可以配置为对动态控件文本进行分词处理，得到动态控件文本对应的分词集合。
186.该指令生成单元可以配置为根据分词集合生成第二控制指令。
187.在本公开一些实施例中，界面显示模块620还可以包括第三处理单元，该第三处理单元可以配置为在对动态控件文本进行分词处理，得到动态控件文本对应的分词集合之前，对动态控件文本进行预处理，其中，预处理包括符号剔除处理、数字转换处理。
channel architecture，mca)总线、外围控件互连(peripheral component interconnect，pci)总线、pci-express(pci-x)总线、串行高级技术附件(serial advanced technology attachment，sata)总线、视频电子标准协会局部(video electronics standards association local bus，vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线704可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
203.本公开实施例还提供了一种计算机可读存储介质，该存储介质可以存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现本公开实施例所提供的语音控制方法。
204.上述的存储介质可以例如包括计算机程序指令的存储器702，上述指令可由语音控制设备的处理器701执行以完成本公开实施例所提供的语音控制方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(random access memory，ram)、光盘只读存储器(compact discrom，cd-rom)、磁带、软盘和光数据存储设备等。
205.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
206.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。