一种车载语音交互方法、装置及车辆与流程

1.本发明涉及语音技术领域，尤其涉及一种车载语音交互方法、装置及车辆。


背景技术：

2.随着语音交互技术的快速发展，可见即可说已经成为一种不可阻挡的发展趋势。在这种趋势下，第三方应用的操作趋势由目前的触摸操作，发展成基于语音指令进行操作，将成为主流。
3.然而传统的语音交互，仅能实现对显示界面中的可点击的带有文本的按钮的控制，而对于显示界面中的图标按钮，仅能通过用户的触摸操作实现，无法通过语音指令进行控制。


技术实现要素：

4.本发明提供一种车载语音交互方法、装置及车辆，能够实现对显示界面中的图标按钮的语音控制。
5.为实现上述目的，本发明实施例提供了一种车载语音交互方法，包括：
6.获取显示界面的显示内容的文本数据集合；其中，所述文本数据集合包括文字文本数据和图标文本数据；
7.响应用户的语音指令，对所述语音指令进行识别，得到语音文本；
8.对所述语音文本进行语义理解，得到语义文本；
9.当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用对应的文本数据执行对应的操作。
10.作为上述方案的改进，通过以下步骤获取所述图标文本数据：
11.截取所述显示内容的若干图标；
12.对每一所述图标进行文本标记，得到所述显示内容的图标文本数据。
13.作为上述方案的改进，在所述截取所述显示内容的若干图标之后，所述车载语音交互方法还包括：
14.对每一所述图标进行位置标记，得到每一所述图标对应的图标位置。
15.作为上述方案的改进，所述当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用所述文本数据执行对应的操作，包括：
16.当所述语义文本在所述文本数据集合中匹配到对应的图标文本数据时，通过该图标文本数据对应的图标的图标位置，进行模拟点击操作。
17.作为上述方案的改进，通过以下步骤获取所述文字文本数据：
18.对所述显示内容进行文字扫描，得到所述显示内容的文字文本数据。
19.作为上述方案的改进，所述当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用所述文本数据执行对应的操作，包括：
20.当所述语义文本在所述文本数据集合中匹配到对应的文字文本数据时，获取该文
字文本数据对应的文本控件；
21.对所述文本控件执行模拟点击操作。
22.作为上述方案的改进，所述车载语音交互方法还包括：
23.当监听到显示界面的显示内容发生变化时，获取所述显示界面变化后的显示内容的文本数据集合。
24.为实现上述目的，本发明实施例还提供了一种车载语音交互装置，包括：
25.文本数据集合获取模块，用于获取显示界面的显示内容的文本数据集合；其中，所述文本数据集合包括文字文本数据和图标文本数据；
26.语音文本获取模块，用于响应用户的语音指令，对所述语音指令进行识别，得到语音文本；
27.语义文本获取模块，用于对所述语音文本进行语义理解，得到语义文本；
28.执行模块，用于当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用对应的文本数据执行对应的操作。
29.作为上述方案的改进，所述文本数据集合获取模块包括：
30.图标截取单元，用于截取所述显示内容的若干图标；
31.图标文本标记单元，用于对每一所述图标进行文本标记，得到图标文本数据。
32.作为上述方案的改进，所述当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用所述文本数据执行对应的操作，包括：
33.当所述语义文本在所述文本数据集合中匹配到对应的图标文本数据时，获取该图标文本数据对应的图标在所述显示界面的图标位置；
34.通过所述图标位置进行模拟点击操作。
35.为实现上述目的，本发明实施例还提供了一种车辆，包括：车辆本体和如上述的车载语音交互装置。
36.与现有技术相比，本发明实施例提供的一种车载语音交互方法、装置及车辆，通过获取显示界面的显示内容的文字文本数据和图标文本数据，并利用与用户语音输入的语义文本匹配到的文字文本数据或图标文本数据，实现对显示界面的文本按钮和图标按钮的语音控制，使得车载可见即可说功能更加完善，提高用户体验。
附图说明
37.图1是本发明实施例提供的一种车载语音交互方法的流程图；
38.图2是本发明实施例提供的一种车载语音交互装置的结构框图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.参见图1，图1是本发明实施例提供的一种车载语音交互方法的流程图，所述车载语音交互方法，包括：
41.s1、获取显示界面的显示内容的文本数据集合；其中，所述文本数据集合包括文字文本数据和图标文本数据；
42.s2、响应用户的语音指令，对所述语音指令进行识别，得到语音文本；
43.s3、对所述语音文本进行语义理解，得到语义文本；
44.s4、当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用对应的文本数据执行对应的操作。
45.可以理解的是，所述显示界面可以为车辆的中控屏屏幕，用户通过语音指令对中控屏屏幕当前显示的内容进行操作。
46.在一可选实施例中，所述车载语音交互方法还包括：
47.当监听到显示界面的显示内容发生变化时，获取所述显示界面变化后的显示内容的文本数据集合。
48.在本发明实施例中，当触发到另一车载设备进行工作，或触发到显示界面显示的可交互的文本按钮或图标按钮时，显示界面的显示内容会发生变化，此时获取变化后的显示内容的文本数据集合。可以理解的是，文本按钮和图标按钮是显示界面显示的虚拟按钮。
49.在又一可选实施例中，通过以下步骤获取所述图标文本数据：
50.截取所述显示内容的若干图标；
51.对每一所述图标进行文本标记，得到所述显示内容的图标文本数据。
52.在本发明实施例中，通过对显示界面的显示内容进行图像识别，截取显示内容的若干图标；通过对每一图标进行文本标记，得到由每一图标的每一文本标记内容组成的图标文本数据。
53.进一步地，在所述截取所述显示内容的若干图标之后，所述车载语音交互方法还包括：
54.对每一所述图标进行位置标记，得到每一所述图标对应的图标位置。
55.在本发明实施例中，通过对每一图标进行位置标记，得到每一图标位于显示界面上的图标位置，可以理解的是，所述图标位置可以为坐标，所述图标、图标文本数据、图标位置一一对应。
56.进一步地，所述当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用所述文本数据执行对应的操作，包括：
57.当所述语义文本在所述文本数据集合中匹配到对应的图标文本数据时，通过该图标文本数据对应的图标的图标位置，进行模拟点击操作。
58.在本发明实施例中，将语义文本与文本数据集合中的若干图标文本数据进行匹配，得到与所述语义文本匹配的图标文本数据；此时，获取匹配到的图标文本数据对应的图标位于显示界面上的图标位置，并通过该图标位置实现对显示界面上的图标内容的模拟点击。
59.在又一可选实施例中，通过以下步骤获取所述文字文本数据：
60.对所述显示内容进行文字扫描，得到所述显示内容的文字文本数据。
61.进一步地，所述当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用所述文本数据执行对应的操作，包括：
62.当所述语义文本在所述文本数据集合中匹配到对应的文字文本数据时，获取该文
字文本数据对应的文本控件；
63.对所述文本控件执行模拟点击操作。
64.在本发明实施例中，将语义文本与文本数据集合中的若干文字文本数据进行匹配，得到与所述语义文本匹配的文字文本数据；获取匹配到的文字文本数据对应的文本控件，通过该文本控件实现对显示界面上的文字内容的模拟点击。
65.本发明实施例所提供的一种车载语音交互方法，通过获取显示界面的显示内容的文字文本数据和图标文本数据，并利用与用户语音输入的语义文本匹配到的文字文本数据或图标文本数据，实现对显示界面的文本按钮和图标按钮的语音控制，使得车载可见即可说功能更加完善，提高用户体验。
66.参见图2，图2是本发明实施例提供的一种车载语音交互装置10的结构框图，所述车载语音交互装置10包括：
67.文本数据集合获取模块11，用于获取显示界面的显示内容的文本数据集合；其中，所述文本数据集合包括文字文本数据和图标文本数据；
68.语音文本获取模块12，用于响应用户的语音指令，对所述语音指令进行识别，得到语音文本；
69.语义文本获取模块13，用于对所述语音文本进行语义理解，得到语义文本；
70.执行模块14，用于当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用对应的文本数据执行对应的操作。
71.优选地，所述文本数据集合获取模块包括：
72.图标截取单元，用于截取所述显示内容的若干图标；
73.图标文本标记单元，用于对每一所述图标进行文本标记，得到所述显示内容的图标文本数据。
74.优选地，所述文本数据集合获取模块还包括：
75.位置标记单元，用于对每一所述图标进行位置标记，得到每一所述图标对应的图标位置。
76.优选地，所述当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用所述文本数据执行对应的操作，包括：
77.当所述语义文本在所述文本数据集合中匹配到对应的图标文本数据时，通过该图标文本数据对应的图标的图标位置，进行模拟点击操作。
78.优选地，所述文本数据集合获取模块包括：
79.文字扫描单元，用于对所述显示内容进行文字扫描，得到所述显示内容的文字文本数据。
80.优选地，所述当所述语义文本在所述文本数据集合中匹配到对应的文本数据时，利用所述文本数据执行对应的操作，包括：
81.当所述语义文本在所述文本数据集合中匹配到对应的文字文本数据时，获取该文字文本数据对应的文本控件；
82.对所述文本控件执行模拟点击操作。
83.优选地，所述车载语音交互装置还包括：
84.监听模块，用于当监听到显示界面的显示内容发生变化时，获取所述显示界面变
化后的显示内容的文本数据集合。
85.值得说明的是，本发明实施例所述的车载语音交互装置10中各个模块的工作过程可参考上述实施例所述的车载语音交互方法的工作过程，在此不再赘述。
86.本发明实施例所提供的一种车载语音交互装置10，通过获取显示界面的显示内容的文字文本数据和图标文本数据，并利用与用户语音输入的语义文本匹配到的文字文本数据或图标文本数据，实现对显示界面的文本按钮和图标按钮的语音控制，使得车载可见即可说功能更加完善，提高用户体验。
87.本发明实施例还提供一种车辆，包括：车辆本体和如上述实施例所述的车载语音交互装置。
88.具体的所述的车载语音交互装置10的工作过程可参考上述实施例所述的车载语音交互装置10工作过程，在此不再赘述。
89.本发明实施例所提供的一种车辆，通过获取显示界面的显示内容的文字文本数据和图标文本数据，并利用与用户语音输入的语义文本匹配到的文字文本数据或图标文本数据，实现对显示界面的文本按钮和图标按钮的语音控制，使得车载可见即可说功能更加完善，提高用户体验。
90.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。