车载语音助手的指令确定方法、装置、设备及介质与流程

1.本发明实施例涉及语音识别技术，尤其涉及车载语音助手的指令确定方法、装置、设备及介质。


背景技术：

2.随着科学技术的不断发展，终端设备越来越智能化，为人们的生活带来了极大的便利。越来越多的终端设备，如手机、电视、智能屏、车载中控等，都搭载了智能化的操作系统，多种应用均可以在智能终端设备上运行。
3.现有的应用中，用户可以通过在交互界面上的点击、触摸、滑动等操作方式对应用进行控制。但是在很多场景下，用户无法空出于来进行控制操作，如正在开车的司机无法操控车载中控设备等。为了帮助司机解放双手，需要针对各种应用实现语音控制。


技术实现要素：

4.本发明提供一种车载语音助手的指令确定方法、装置、设备及介质，以提升指令确定的准确度及效率。
5.第一方面，本发明实施例提供了一种车载语音助手的指令确定方法，该方法包括：
6.响应于获取的用户语音信息，截取当前屏幕图像，并对所述当前屏幕图像进行识别得到识别结果；
7.基于预设的用户界面设计模板和所述识别结果，生成与所述当前屏幕图像关联的当前指令集；
8.对所述用户语音信息进行解析，确定语音意图；
9.将所述语音意图与所述当前指令集进行匹配，确定目标指令。
10.第二方面，本发明实施例还提供了一种车载语音助手的指令确定装置，该装置包括：
11.屏幕识别模块，用于响应于获取的用户语音信息，截取当前屏幕图像，并对所述当前屏幕图像进行识别得到识别结果；
12.指令集生成模块，用于基于预设的用户界面设计模板和所述识别结果，生成与所述当前屏幕图像关联的当前指令集；
13.意图确定模块，用于对所述用户语音信息进行解析，确定语音意图；
14.指令确定模块，用于将所述语音意图与所述当前指令集进行匹配，确定目标指令。
15.第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
16.一个或多个处理器；
17.存储装置，用于存储一个或多个程序，
18.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的车载语音助手的指令确定方法。
19.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机
程序，该程序被处理器执行时实现如本发明任意实施例所述的车载语音助手的指令确定方法。
20.本发明实施例提供的车载语音助手的指令确定方法、装置、设备及介质，通过响应于获取的用户语音信息，截取当前屏幕图像，并对所述当前屏幕图像进行识别得到识别结果；基于预设的用户界面设计模板和所述识别结果，生成与所述当前屏幕图像关联的当前指令集；对所述用户语音信息进行解析，确定语音意图；将所述语音意图与所述当前指令集进行匹配，确定目标指令，解决了现有技术中将语音意图与预设的全局指令集进行匹配准确度不高且效率低的问题，本技术中将语音意图与当前指令集进行匹配，缩小了待匹配的指令集范围，进而可以提高匹配准确度及匹配效率，有利于车载语音助手快速确定目标指令并准确执行，进而有利于提升用户体验，为指令确定提供了一种新思路。
附图说明
21.图1是本发明实施例一提供的一种车载语音助手的指令确定方法的流程图；
22.图2是本发明实施例二提供的一种车载语音助手的指令确定方法的流程图；
23.图3是本发明实施例三提供的一种车载语音助手的指令确定方法的流程图；
24.图4是本发明实施例四提供的一种车载语音助手的指令确定装置结构框图；
25.图5是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
26.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
27.实施例一
28.图1是本发明实施例一提供的一种车载语音助手的指令确定方法的流程图，本实施例可适用于实现可见即可说的情况，尤其适用于车载语音助手的指令确定。该方法可以由本发明实施例提供的车载语音助手的指令确定装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上。
29.具体的，如图1所示，本发明实施例提供的车载语音助手的指令确定方法，可以包括如下步骤：
30.s110、响应于获取的用户语音信息，截取当前屏幕图像，并对当前屏幕图像进行识别得到识别结果。
31.其中，用户语音信息，是指用户向车载语音助手发起的语音请求，用来表达用户的语音意图。优选的，用户语音信息是在车载语音助手处于唤醒状态的情况下获取的。示例性的，车载语音助手处于唤醒状态，具体可以是用户发出唤醒指令“hi，xx”唤醒车载语音助手后，也可以是用户发出唤醒指令的同时车载语音助手搭载的人脸识别模块检测到用户正在看车载屏幕，还可以采用其他唤醒方式唤醒语音助手之后。
32.当前屏幕图像，是指在获取用户语音信息时车载屏幕显示界面的截图。车载语音助手响应于获取的用户语音信息，截取当前屏幕图像，并对当前屏幕图像进行识别，得到识别结果。
33.可选的，对当前屏幕图像进行识别，可以包括识别如下至少一种：当前屏幕图像中的文字内容、文字字号、文字颜色和文字坐标。示例性的，可以利用光学字符识别(optical character recognition，ocr)相关技术识别当前屏幕图像中的文字内容，通过算法标记文字所在图像内的像素区域坐标(文字坐标)，通过该区域坐标能够定位文字所在的像素区域。相应的，识别结果可以包括如下至少一种：当前屏幕图像中的文字内容、文字字号、文字颜色和文字坐标。
34.需要说明的是，本实施例中，对当前屏幕图像进行识别包括但不限于识别以上内容，还可以是图像中的其他特征。示例性的，如序号列表，以导航到图书馆为例，根据关键词“图书馆”，可以确定目的地列表，该目的地列表中在纵向或横向上有连续的数字标号，车载中控主机可以自动存储该多个序号及序号右方文字为一个列表对象。在后续意图与指令匹配时，用来匹配用户多轮对话中说的第几个，执行点击列表对象中的指令，如“去第三个图书馆”。
35.为了保证识别结果的有效性，当识别到截取的当前屏幕图像为较为模糊的静态帧时，可以立即重新截取当前屏幕图像用以综合识别，直至得到识别结果。
36.s120、基于预设的用户界面设计模板和识别结果，生成与当前屏幕图像关联的当前指令集。
37.其中，用户界面(user interface，ui)设计模板，在软件ui初期设计阶段即可确定，可以作为配置文件写入代码中。ui设计模板中，可以包括如下至少一种：当前ui版本中统一设计的字号大小设计方案、颜色设计方案和区域规划划分方案。例如当前ui版本中，某些第一层级菜单指令只出现的屏幕特定区域，使用特定的颜色，使用特定的字号大小。
38.将包括字号大小设计方案、颜色设计方案及区域划分方案在内的用户界面设计模板作为配置文件，在生成指令集时加载以上配置文件，从而分析出识别的某些文字是否为指令，是否为一级指令，指令的优先级信息等内容。
39.此配置文件与软件ui版本迭代强相关，当有新的ui版本迭代时，更新对应的字号大小设计方案(例如：对于本ui版本的全部应用，18px为一级指令字号，16px为二级指令字号等)、颜色设计方案(例如：对于本ui版本的全部应用，一级指令为#ff0000，二级指令为#00ff00，图形指令为#0000ff色号等)、区域划分方案(对于本ui版本的全部应用，某特定矩形区域为一级菜单指令所在区域，其下方矩形区域为二级菜单指令所在区域)。
40.如此，当有新的ui版本迭代时，不像传统开发模式中，需要将全部应用的全部页面内的全部指令信息录入配置文件中，而只需要录入以上统一的，覆盖大多数应用的，信息量更少的配置文件。有了该配置文件，对当前屏幕的图像识别和设计模板匹配可以协调工作，基于预设的用户界面设计模板和识别结果，可以生成与当前屏幕图像关联的当前指令集。这样设计的好处在于，缩小了待匹配的指令集范围，进而提高了指令的匹配效率；同时，降低了指令集与ui设计版本的耦合度，将常规的人工标记当前ui设计版本中全部指令，替换为更新ui整体设计方案，进而提高投入产出比，提升软件开发迭代效率。
41.当前指令集，是与当前屏幕图像关联的指令集合，是一个临时的指令集。当发生新一轮语音交互且变换用户界面视图时，上一轮临时的指令集随即删除，不做存储。当前指令集中包含当前页面的各种指令，具体一个指令的基本信息至少包括如下至少一种：指令名称、指令所在(区域)层级、指令优先级及指令所在像素坐标区域。
42.s130、对用户语音信息进行解析，确定语音意图。
43.本实施例中，获取用户语音信息后，可以对用户语音信息进行语义解析，确定语音意图。具体的，可以使用现有的语义解析方法进行解析。
44.示例性的，在进行语义解析时，可以先将用户语音信息转换为文本信息，然后对文本信息进行分词处理，再根据各个分词确定与之匹配的意图集合，取各个分词匹配的意图集合的交集作为语音意图。
45.s140、将语音意图与当前指令集进行匹配，确定目标指令。
46.具体的，根据确定的语音意图，可以从当前指令集中匹配到关联的指令，并将该指令确定为目标指令。
47.本实施例的技术方案，通过响应于获取的用户语音信息，截取当前屏幕图像，并对当前屏幕图像进行识别得到识别结果；基于预设的用户界面设计模板和识别结果，生成与当前屏幕图像关联的当前指令集；对用户语音信息进行解析，确定语音意图；将语音意图与当前指令集进行匹配，确定目标指令，解决了现有技术中将语音意图与预设的全局指令集进行匹配准确度不高且效率低的问题，本技术中将语音意图与当前指令集进行匹配，缩小了待匹配的指令集范围，进而可以提高匹配准确度及匹配效率，有利于车载语音助手快速确定目标指令并准确执行，进而有利于提升用户体验。
48.实施例二
49.图2为本发明实施例二提供的一种车载语音助手的指令确定方法的流程图，该方法在上述实施例的基础上进一步的优化，给出了基于预设的用户界面设计模板和识别结果生成与当前屏幕图像关联的当前指令集的具体情况介绍。
50.具体的，如图2所示，该方法包括：
51.s210、响应于获取的用户语音信息，截取当前屏幕图像，并对当前屏幕图像进行识别得到识别结果。
52.s220、确定车载语音助手的用户界面版本。
53.由于用户界面设计模板作为配置文件，与软件ui版本迭代强相关。为了确定用户界面设计模板，需要先确定当前车载语音助手的用户界面版本。具体的，可以通过获取车载语音助手的应用版本号，确定车载语音助手的用户界面版本。
54.s230、根据用户界面版本，确定与用户界面版本匹配的用户界面设计模板。
55.其中，用户界面设计模板中至少包括如下至少一种：字号大小设计方案、颜色设计方案和区域划分方案。
56.确定车载语音助手的用户界面版本之后，可以根据用户界面版本，确定与用户界面版本匹配的用户界面设计模板。具体的，可以确定用户界面设计模板中字号大小设计方案(例如：对于本ui版本的全部应用，18px为一级指令字号，16px为二级指令字号等)、颜色设计方案(例如：对于本ui版本的全部应用，一级指令为#ff0000，二级指令为#00ff00，图形指令为#0000ff色号等)、区域划分方案(对于本ui版本的全部应用，某特定矩形区域为一级菜单指令所在区域，其下方矩形区域为二级菜单指令所在区域)。
57.字号大小设计方案、颜色设计方案和区域划分方案的具体作用为：识别文本所在菜单指令层级；区分是否为带指令文本；以及识别出特定区域内无文本，且带有特定颜色的图形操作指令。
58.s240、基于预设的用户界面设计模块和识别结果，从预设指令集中匹配与识别结果相关的候选指令。
59.其中，预设指令集中包括车载语音助手的全部指令，指令集范围较大。
60.本实施例中，可以在预设指令集中建立各个指令与识别结果的映射关系。基于预设的用户界面设计模块和识别结果，可以根据映射关系，从预设指令集中匹配与识别结果相关的指令，作为候选指令。
61.s250、根据候选指令，生成与当前屏幕图像关联的当前指令集。
62.s260、对用户语音信息进行解析，确定语音意图。
63.s270、将语音意图与当前指令集进行匹配，确定目标指令。
64.本实施例的技术方案，给出了基于预设的用户界面设计模板和识别结果生成与当前屏幕图像关联的当前指令集的具体情况介绍；根据车载语音助手的用户界面版本，确定匹配的用户界面设计模板，可以存储信息量更少的配置文件，降低了处理器的负担，进而提高匹配效率；基于预设的用户界面设计模块和识别结果，从预设指令集中匹配与识别结果相关的候选指令，再根据候选指令，生成与当前屏幕图像关联的当前指令集，可以缩小意图匹配时指令集的范围，提升匹配效率及匹配准确度，进而达到提高指令确定效率及准确性的目的。
65.实施例三
66.图3为本发明实施例三提供的一种车载语音助手的指令确定方法的流程图，该方法在上述实施例的基础上进一步的优化。
67.具体的，如图3所示，该方法包括：
68.s310、响应于获取的用户语音信息，截取当前屏幕图像，并对当前屏幕图像进行识别得到识别结果。
69.考虑到并非每一张截取的当前屏幕图像都满足识别条件，如当前屏幕图像较为模糊等。为了保证图像识别的有效性，在一种可选的实施方式中，截取当前屏幕图像，并对当前屏幕图像进行识别得到识别结果，可以包括：截取当前屏幕图像，并判断当前屏幕图像是否满足识别条件；若是，则对当前屏幕图像进行识别，确定包括文字内容在内的识别结果；否则，重新截取当前屏幕图像。其中，满足识别条件，可以理解为，能从当前屏幕图像中识别出文字内容。
70.对当前屏幕图像进行识别，确定包括文字内容在内的识别结果，包括：识别当前屏幕图像中的文字内容，并获取文字大小、颜色及文字所在图像内的像素坐标区域。
71.s320、基于预设的用户界面设计模板和识别结果，生成与当前屏幕图像关联的当前指令集。
72.s330、对用户语音信息进行解析，确定语音意图。
73.s340、将语音意图与当前指令集进行匹配，确定目标指令。
74.s350、根据目标指令，从当前指令集中获取目标指令所在的像素坐标区域，作为目标区域。
75.其中，当前指令集中包括每条指令的基本信息；其中，每条指令的基本信息至少包括如下至少一种：指令名称、指令所在层级、指令优先级及指令所在像素坐标区域。根据目标指令，可以从当前指令集中获取目标指令的指令名称、指令所在层级、指令优先级及指令
所在像素坐标区域。
76.本实施例中，根据目标指令，可以从当前指令集中获取目标指令所在的像素坐标区域，作为目标区域，用于模拟点击。
77.s360、通过调用系统指令模拟点击屏幕中的目标区域，并执行目标指令。
78.模拟点击屏幕中的目标区域可以是在该目标区域增加动画效果，具体的，可以改变该目标区域的背景颜色，也可以改变该目标区域的文本字体，还可以改变该目标区域的字号。需要说明的是，本实施例对具体的模拟点击方式不作具体限定，可以是能达到提醒用户目的的任何常规方式。
79.本实施例的技术方案，在确定目标指令之后，通过调用系统指令模拟点击屏幕中的目标区域，并执行目标指令，达到了控制应用界面且提醒用户的效果。
80.实施例四
81.图4是本发明实施例四所提供的一种车载语音助手的指令确定装置的结构示意图，该装置适用于执行本发明实施例提供的车载语音助手的指令确定方法，可以提升指令确定的准确度及效率。
82.如图4所示，该装置包括屏幕识别模块410、指令集生成模块420、意图确定模块430和指令确定模块440。
83.其中，屏幕识别模块410，用于响应于获取的用户语音信息，截取当前屏幕图像，并对当前屏幕图像进行识别得到识别结果；
84.指令集生成模块420，用于基于预设的用户界面设计模板和识别结果，生成与当前屏幕图像关联的当前指令集；
85.意图确定模块430，用于对用户语音信息进行解析，确定语音意图；
86.指令确定模块440，用于将语音意图与当前指令集进行匹配，确定目标指令。
87.本实施例的技术方案，通过响应于获取的用户语音信息，截取当前屏幕图像，并对当前屏幕图像进行识别得到识别结果；基于预设的用户界面设计模板和识别结果，生成与当前屏幕图像关联的当前指令集；对用户语音信息进行解析，确定语音意图；将语音意图与当前指令集进行匹配，确定目标指令，解决了现有技术中将语音意图与预设的全局指令集进行匹配准确度不高且效率低的问题，本技术中将语音意图与当前指令集进行匹配，缩小了待匹配的指令集范围，进而可以提高匹配准确度及匹配效率，有利于车载语音助手快速确定目标指令并准确执行，进而有利于提升用户体验，为指令确定提供了一种新思路。
88.优选的，上述指令集生成模块420具体包括：候选指令匹配单元和指令集生成单元。其中，候选指令匹配单元，用于基于预设的用户界面设计模块和识别结果，从预设指令集中匹配与识别结果相关的候选指令；指令集生成单单元，用于根据候选指令，生成与当前屏幕图像关联的当前指令集。
89.优选的，装置还包括：版本确定模块，用于确定车载语音助手的用户界面版本；界面模板确定模块，用于根据用户界面版本，确定与用户界面版本匹配的用户界面设计模板；其中，用户界面设计模板中至少包括如下至少一种：字号大小设计方案、颜色设计方案和区域划分方案。
90.优选的，装置还包括：模板区域获取模块，用于根据目标指令，从当前指令集中获取目标指令所在的像素坐标区域，作为目标区域；模板指令执行模块，用于通过调用系统指
令模拟点击屏幕中的目标区域，并执行目标指令。
91.优选的，当前指令集中包括每条指令的基本信息；其中，每条指令的基本信息至少包括如下至少一种：指令名称、指令所在层级、指令优先级及指令所在像素坐标区域。
92.优选的，上述屏幕识别模块410具体用于截取当前屏幕图像，并判断当前屏幕图像是否满足识别条件；若是，则对当前屏幕图像进行识别，确定包括文字内容在内的识别结果；否则，重新截取当前屏幕图像。
93.优选的，对当前屏幕图像进行识别，确定包括文字内容在内的识别结果，包括：识别当前屏幕图像中的文字内容，并获取文字大小、颜色及文字所在图像内的像素坐标区域。
94.本发明实施例所提供的车载语音助手的指令确定装置可执行本发明任意实施例所提供的车载语音助手的指令确定方法，具备执行方法相应的功能模块和有益效果。
95.实施例五
96.图5为本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
97.如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
98.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mca)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
99.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
100.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
101.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
102.电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)
通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
103.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的车载语音助手的指令确定方法。
104.实施例六
105.本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术任意发明实施例提供的车载语音助手的指令确定方法。
106.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
107.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
108.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
109.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
110.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还
可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。