1.本说明书一个或多个实施例涉及智能座舱领域,尤其涉及一种语音信息处理方法及装置。
背景技术:2.智能座舱是一种基于汽车驾驶舱的智能服务系统,用以主动洞察并满足用户的需求;从终端消费者的角度出发,乘客不仅无需担忧汽车驾驶的问题,还能从智能座舱的娱乐系统中获得舒适的体验。
3.智能座舱一个最大的特征就是车载屏幕的演变。汽车从最早的反映车速和发动机转速的机械仪表,已经完全演变为当前主流的显示驾驶信息的液晶仪表和实现人机交互的中控屏。
4.随着智能座舱的发展,座舱内的结构也逐渐复杂,例如,越来越多的智能电视被加装在了座舱后排,而随着座舱内结构的复杂化,智能座舱的功能也越来越丰富,例如,用户不仅可以与前排的中控系统进行交互,还可以与位于后排的智能电视进行交互。
5.在目前的技术中,用户通常通过语音交互的方式实现与前排中控系统或者后排智能电视之间的交互,例如,用户可以通过中控系统搭载的中控屏,实现与中控系统或者后排智能电视之间的交互。由于前排中控系统采用的操作系统与后排智能电视采用的操作系统通常不是同一个操作系统,不同操作系统通常采用不同的语音方案,而不同的语音方案之间互不相容,导致所述智能座舱提供给用户的语音服务相对割裂,缺乏连续性。
技术实现要素:6.本技术提供一种语音信息处理方法及装置,技术方案如下:
7.根据本技术的第一方面,提供一种语音信息处理方法,智能座舱的中控系统,其中,所述智能座舱还包括智能终端;所述智能终端设置在车辆乘用空间的后排区域;所述方法包括:
8.接收用户输入的语音信息;
9.确定所述语音信息是否为唤醒指令;
10.如果所述语音信息是唤醒指令,则进一步确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域;
11.如果所述唤醒指令的声源位置位于车辆乘用空间的后排区域,则将所述唤醒指令通过所述中控系统与所述智能终端之间的连接,转发至所述设置在车辆乘用空间的后排区域的所述智能终端,以触发所述智能终端基于所述唤醒指令执行唤醒操作。
12.可选的,所述方法还包括:
13.如果所述唤醒指令的声源位置位于车辆乘用空间的前排区域,则基于所述唤醒指令执行唤醒操作。
14.可选的,所述中控系统搭载了识别引擎;
15.确定所述语音信息是否为唤醒指令之前,包括:
16.通过搭载的识别引擎对接收到的所述语音信息进行识别,得到与所述语音信息对应的语音文本信息;
17.确定所述语音信息是否为唤醒指令,包括:
18.基于所述语音文本信息,确定所述语音信息是否为唤醒指令;
19.将所述唤醒指令通过所述中控系统与所述智能终端之间的连接,转发至所述设置在车辆乘用空间的后排区域的所述智能终端,包括:
20.将与所述唤醒指令对应的所述语音文本信息,通过所述中控系统与所述智能终端之间的连接,转发至所述设置在车辆乘用空间的后排区域的所述智能终端。
21.可选的,所述中控系统与所述智能终端之间的连接包括tcp连接。
22.可选的,触发所述智能终端基于所述唤醒指令执行唤醒操作之后,还包括:
23.接收用户输入的语音指令;语音指令获取所述语音指令包含的业务信息,并确定所述语音指令包含的业务信息对应的业务类型;其中,所述业务类型包括由所述中控系统执行的第一类业务;以及,由所述智能终端执行的第二类业务;
24.如果与所述业务信息对应的业务类型为所述第一类业务,则执行与所述业务信息对应的业务;
25.如果与所述业务信息对应的业务类型为所述第二类业务,则将所述语音指令通过所述中控系统与所述智能终端之间的连接,转发给所述智能终端,以使所述智能终端执行与所述业务信息对应的业务。
26.可选的,所述中控系统搭载了语义引擎;
27.确定所述语音信息包含的业务信息对应的业务类型,包括:
28.通过所述语义引擎对所述语音信息的语义进行解析,并根据语义解析结果,确定所述语音信息对应的业务类型。
29.可选的,所述第一类业务包括由中控系统对车辆进行控制的业务;所述第二类业务包括在所述智能终端上进行的娱乐类业务。
30.可选的,所述智能终端包括智能电视。
31.可选的,所述智能终端搭载了显示屏;
32.如果与所述业务信息对应的业务类型为所述第一类业务,则执行与所述业务信息对应的业务,包括:
33.如果与所述业务信息对应的业务类型为所述第一类业务,则执行与所述业务信息对应的业务,并将所述语音指令发送给所述智能终端,以使所述智能终端通过搭载的显示屏输出所述语音指令;
34.如果与所述业务信息对应的业务类型为所述第二类业务,则将所述语音指令通过所述中控系统与所述智能终端之间的连接,转发给所述智能终端,以使所述智能终端执行与所述业务信息对应的业务,包括:
35.如果与所述业务信息对应的业务类型为所述第二类业务,则将与所述业务信息对应的所述语音指令,通过所述中控系统与所述智能终端之间的连接,转发给所述智能终端,以使所述智能终端通过搭载的显示屏输出所述语音指令,并执行与所述业务信息对应的业务。
36.可选的,所述智能座舱搭载了多个音频采集设备;所述多个音频采集设备用于实时接收用户输入的语音信息;
37.接收用户输入的语音信息,包括:
38.接收所述多个音频输入设备通过定向拾音采集到的所述用户输入的语音信息;
39.确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域,包括:
40.基于所述多个音频采集设备在采集所述语音信息时的采集参数,以及所述多个音频采集设备位于所述车辆乘用空间中的位置信息,计算所述唤醒指令的声源位置;
41.根据计算得到的所述唤醒指令的所述声源位置,确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域。
42.可选的,所述方法还包括:
43.通过所述识别引擎进行语音输入结束检测;
44.将检测结果发送给所述智能终端,以使所述智能终端停止接收所述语音文本信息。
45.根据本技术的第二方面,提供一种语音信息处理装置,应用于智能座舱的中控系统,其中,所述智能座舱还包括智能终端;所述智能终端设置在车辆乘用空间的后排区域;所述装置包括:
46.接收单元,用于接收用户输入的语音信息;
47.确定单元,用于确定所述语音信息是否为唤醒指令,以及用于进一步确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域;
48.转发单元,用于将所述唤醒指令通过所述中控系统与所述智能终端之间的连接,转发至所述设置在车辆乘用空间的后排区域的所述智能终端,以触发所述智能终端基于所述唤醒指令执行唤醒操作。
49.根据本技术的第三方面,提供一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
50.所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行所述方法。
51.根据本技术的第四方面,提供一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现所述方法。
52.通过以上实施例,一方面,通过由中控系统统一接收所述用户输入的语音信息,并根据所述语音信息是否为唤醒指令的确定结果,以及所述唤醒指令的声源位置,对所述语音信息做出处理,从而消除了所述智能座舱的中控系统以及智能终端之间语音方案的隔离,提高了所述智能座舱语音服务的连续性;另一方面,通过确定所述唤醒指令的声源位置是否位于后排区域,如果所述唤醒指令位于后排区域,则所述中控系统将所述唤醒指令转发给设置在后排区域的智能终端,由所述智能终端基于所述唤醒指令执行唤醒操作,从而在提高了所述智能座舱语音服务连续性的前提下,实现位于后排区域的用户与设置在后排区域的所述智能终端之间的互动,提高了所述智能座舱语音服务的互动性。
53.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
附图说明
54.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
55.图1为本说明书一实施例中语音信息处理方法的流程图;
56.图2为本说明书一实施例中语音信息处理系统的架构示意图;
57.图3为本说明书一实施例中语音信息处理装置所在电子设备的结构示意图;
58.图4为本说明书一实施例中语音信息处理装置的框图。
具体实施方式
59.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
60.需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
61.用户通常通过语音交互的方式实现与前排中控系统或者后排智能电视之间的交互,在目前的技术中,由于前排中控系统与后排智能电视所满足的用户需求不同,而不同的操作系统在功能上又有所差异,因此前排中控系统与后排智能电视通常采用不同的操作系统,例如,前排中控系统的操作系统通常是wince、linux、android、qnx、ios等,而后排智能电视的操作系统通常是android。
62.由于不同的操作系统通常对应不同的语音方案,所述智能座舱的中控系统对应的语音方案与智能电视对应的语音方案之间相互隔离,导致所述智能座舱提供给用户的语音服务相对割裂,缺乏互动性与连续性。
63.有鉴于此,本说明书旨在提出一种由智能座舱的中控系统来统一接收以及处理用户语音指令,以提高智能座舱语音服务的连续性与互动性的技术方案。
64.在实现时,智能座舱的中控系统可以接收用户输入的语音信息;
65.进一步地,确定所述语音信息是否为唤醒指令;
66.进一步地,如果所述语音信息是唤醒指令,则可以进一步确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域;
67.进一步地,如果所述唤醒指令的声源位置位于车辆乘用空间的后排区域,则可以将所述唤醒指令通过所述中控系统与所述智能终端之间的连接,转发至所述设置在车辆乘用空间的后排区域的所述智能终端,以触发所述智能终端基于所述唤醒指令执行唤醒操作。
68.通过以上实施例,一方面,通过由中控系统统一接收所述用户输入的语音信息,并根据所述语音信息是否为唤醒指令的确定结果,以及所述唤醒指令的声源位置,对所述语音信息做出处理,将所述智能座舱的中控系统的语音方案和智能终端的语音方案整合为一体,从而提高所述智能座舱语音服务的连续性;另一方面,通过确定所述唤醒指令的声源位置是否位于后排区域,如果所述唤醒指令位于后排区域,则所述中控系统将所述唤醒指令转发给设置在后排区域的智能终端,由所述智能终端基于所述唤醒指令执行唤醒操作,从而在提高所述智能座舱语音服务连续性的前提下,实现位于后排区域的用户与设置在后排区域的所述智能终端之间的互动,提高所述智能座舱语音服务的互动性。
69.请参见图1,图1是一示例性的一种语音信息处理方法的流程图。如图1所示,所述方法应用于智能座舱的中控系统,其中,所述智能座舱还包括智能终端;所述智能终端设置在车辆乘用空间的后排区域;所述方法可以包括以下步骤:
70.s102:接收用户输入的语音信息。
71.在实际应用中,所述智能座舱可以包括中控系统以及智能终端,所述中控系统可以部署在车辆乘用空间的前排区域,并可以接收用户输入的语音信息,所述智能终端可以设置在车辆乘用空间的后排区域,所述中控系统与所述智能终端可以通过建立的连接进行通信。
72.例如,所述智能座舱可以包括部署在车辆乘用空间前排区域的中控系统a与设置在车辆乘用空间后排区域的智能终端b,所述中控系统a与所述智能终端b之间可以通过建立的连接进行通信,位于所述车辆乘用空间前排区域的用户输入的语音信息可以由所述中控系统a接收,位于所述车辆乘用空间后排区域的用户输入的语音信息也可以由所述中控系统a接收,也就是说,所述中控系统a统一接收所述用户输入的语音信息,而所述智能终端b不接收由用户直接输入的语音信息,而是接收由所述中控系统a通过所述中控系统a与所述智能终端b之间的连接转发的语音信息。
73.通过由智能座舱的中控系统统一接收用户输入的语音信息的方式,可以避免因所述中控系统以及所述智能终端同时接收并响应用户输入的语音信息导致的冲突,从而使智能座舱提供的语音服务更加流畅。
74.在示出的一种实施方式中,所述中控系统与所述智能终端之间的连接可以包括tcp连接。
75.例如,所述中控系统a可以与所述智能终端b建立tcp连接,并可以通过所述tcp连接与所述智能终端b进行通信。
76.在示出的一种实施方式中,所述智能终端可以包括智能电视。
77.关于所述智能电视的具体形式,本说明书不做限定;例如,所述智能电视可以是吸顶tv。
78.在示出的一种实施方式中,所述智能座舱可以搭载多个音频采集设备,所述多个音频采集设备可以用于实时接收用户输入的语音信息,所述智能座舱的中控系统可以接收所述多个音频输入设备通过定向拾音采集到的所述用户输入的语音信息。
79.例如,所述音频采集设备可以是麦克风,可以在所述车辆乘用空间内放置多个麦克风,所述多个麦克风可以用于实时采集用户输入的语音信息,所述中控系统a可以接收所述多个麦克风通过定向拾音的方式采集的所述语音信息。
80.其中,分布在车辆乘用空间的所述多个麦克风可以按照特定的拓扑结构组合成麦克风阵列,以实现所述定向拾音。
81.s104:确定所述语音信息是否为唤醒指令。
82.在实际应用中,位于车辆乘用空间的用户可以输入针对所述智能座舱的语音信息,还可以输入与所述智能座舱无关的语音信息,进一步地,针对所述智能座舱的语音信息可以包括用于唤醒所述智能座舱的唤醒指令,还可以包括用于指示所述智能座舱执行业务的业务指令。
83.所述唤醒指令可以包括主唤醒词,还可以包括场景免唤醒词,所述主唤醒词可以用于任意场景下对所述智能座舱进行唤醒,所述场景免唤醒词用于特定场景下指示所述智能座舱直接执行业务,例如,所述主唤醒词可以为“hi,eva”,当用户输入的语音信息为“hi,eva”时,无论所述智能座舱当前在执行何种操作,都可以对用户输入的所述语音信息进行响应,并接收以及处理用户在输入所述主唤醒词之后输入的其他语音信息;所述场景免唤醒词可以为“暂停播放”,当所述智能座舱处在播放音乐的场景下,用户输入所述场景免唤醒词,可以直接触发所述智能座舱执行暂停音乐播放的操作。
84.关于所述主唤醒词以及所述场景免唤醒词的具体内容,本说明书不做限定;例如,所述主唤醒词可以为所述“hi,eva”,所述场景免唤醒词可以为“暂停播放”,所述场景免唤醒词可以应用于音乐播放场景。
85.在示出的一种实施方式中,所述中控系统搭载了识别引擎,在确定所述语音信息是否为唤醒指令之前,可以通过搭载的识别引擎对接收到的所述语音信息进行识别,得到与所述语音信息对应的语音文本信息,并基于所述语音文本信息,来确定所述语音信息是否为唤醒指令。
86.例如,当用户输入的语音信息为“hi,eva”,所述中控系统a接收到所述“hi,eva”的语音信息,可以通过搭载的所述识别引擎将所述语音信息转换成“hi,eva”的语音文本信息,而后基于所述“hi,eva”的语音文本信息,来确定所述语音信息是否为唤醒指令。
87.s106:如果所述语音信息是唤醒指令,则进一步确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域。
88.例如,所述中控系统a确定接收到的所述语音信息为唤醒指令,则可以进一步确定所述唤醒指令的声源位置是位于车辆乘用空间的前排区域,还是位于车辆乘用空间的后排区域。
89.在示出的一种实施方式中,基于所述多个音频采集设备在采集所述语音信息时的采集参数,以及所述多个音频采集设备位于所述车辆乘用空间中的位置信息,计算所述唤醒指令的声源位置,并根据计算得到的所述唤醒指令的所述声源位置,确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域。
90.关于所述多个麦克风在采集所述语音信息时的采集参数,本说明书不做限定,例如,所述采集参数可以是采集时刻,假定所述音频采集设备是麦克风,所述麦克风的数量可以是六个,其中,两个麦克风可以设置在前排区域,四个麦克风可以设置在后排区域,当位于后排区域的用户输入语音信息a,则设置在后排区域的麦克风可以更快地采集到所述语音信息,也就是说,设置在后排区域的麦克风针对所述语音信息的采集时刻会在设置在前排区域的麦克风针对所述语音信息的采集时刻之前,因此可以确定出所述唤醒指令的声源
位置位于车辆乘用空间的后排区域。
91.s108:如果所述唤醒指令的声源位置位于车辆乘用空间的后排区域,则将所述唤醒指令通过所述中控系统与所述智能终端之间的连接,转发至所述设置在车辆乘用空间的后排区域的所述智能终端,以触发所述智能终端基于所述唤醒指令执行唤醒操作。
92.例如,如果所述唤醒指令的声源位置位于车辆乘用空间的后排区域,则所述中控系统a可以将所述唤醒指令通过所述中控系统a与所述智能终端b之间的tcp连接,转发至所述智能终端b,所述智能终端b接收到所述中控系统a转发的所述唤醒指令,可以执行唤醒操作。
93.关于所述唤醒操作的具体形式,本说明书不做限定;例如,所述唤醒操作可以是由所述智能终端b亮屏,并将接收到的所述唤醒信息进行输出。
94.需要注意的是,所述唤醒操作可以指与所述唤醒指令对应的唤醒操作,例如,假定所述唤醒指令是由位于后排区域的用户输入的,当所述唤醒指令为所述主唤醒词“hi,eva”,则与所述唤醒指令的唤醒操作可以是由所述智能终端b亮屏,并将接收到的所述唤醒信息进行输出;当所述唤醒指令为所述场景免唤醒词“暂停播放”,则与所述唤醒指令的唤醒操作可以是所述智能终端b直接执行“暂停播放”的业务。
95.在示出的一种实施方式中,所述中控系统可以继续接收用户输入的语音指令,并可以获取所述语音指令包含的业务信息,并确定所述语音指令包含的业务信息对应的业务类型,其中,所述业务类型包括由所述中控系统执行的第一类业务;以及,由所述智能终端执行的第二类业务;如果与所述业务信息对应的业务类型为所述第一类业务,则执行与所述业务信息对应的业务;如果与所述业务信息对应的业务类型为所述第二类业务,则将所述语音指令通过所述中控系统与所述智能终端之间的连接,转发给所述智能终端,以使所述智能终端执行与所述业务信息对应的业务。
96.例如,所述中控系统a可以在所述智能终端b执行唤醒操作后,继续接收用户输入的语音指令,可以获取所述语音指令中包含的业务信息,并可以确定所述业务信息的业务类型,如果所述业务类型为第一类业务,则可以直接执行所述业务,如果所述业务类型为第二类业务,则可以转发给所述智能终端b,以使所述智能终端b执行所述业务。
97.需要注意的是,根据所述业务信息的业务类型,来确定所述业务信息为第一类业务还是第二类业务,具体而言,所述第一类业务可以是预设的有限的业务信息表,可以将所述语音指令包含的业务信息与所述业务信息表中包含的业务信息进行匹配,当所述语音指令包含的业务信息与所述业务信息表中的业务信息匹配不成功时,则可以确定所述业务信息的业务类型不是第一类业务,则可以确定所述业务信息的业务类型是第二类业务。
98.在示出的一种实施方式中,所述第一类业务可以包括由中控系统对车辆进行控制的业务;所述第二类业务可以包括在所述智能终端上进行的娱乐类业务。
99.关于所述第一类业务以及所述第二类业务包含的具体内容,本说明书均不做限定;例如,所述第一类业务可以包括“打开车窗”,所述第二类业务可以包括“播放音乐”。
100.例如,假定所述中控系统a获取所述语音指令中包含的业务信息为“播放音乐”,则可以确定所述业务信息的业务类型是第二类业务,也即娱乐类业务,所述娱乐类业务可以在智能终端b上进行,所述中控系统a可以将所述语音指令转发给智能终端b,以使所述智能终端b执行“播放音乐”的操作。
101.具体而言,所述中控系统转发给智能终端的所述语音指令中,还可以包括状态信息,所述状态信息可以用于控制智能终端针对所述业务的执行操作。
102.例如,假定所述状态信息为“1”,所述智能终端b接收到所述中控系统a转发的所述语音指令,确定其中的状态信息为“1”,则可以根据所述语音指令包含的业务信息执行业务;假定所述状态信息为“0”,所述智能终端b接收到所述中控系统a转发的所述语音指令,确定其中的状态信息为“0”,则不执行业务。
103.在示出的一种实施方式中,所述中控系统可以搭载语义引擎,所述中控系统可以通过所述语义引擎对所述语音指令的语义进行解析,并根据语义解析结果,确定所述语音指令对应的业务类型。
104.例如,假定用户输入的语音指令为“打开车窗”,所述中控系统a可以搭载语义引擎,并通过搭载的所述语义引擎对所述语音指令的语义进行解析,得到所述“打开车窗”的语音指令的业务类型是所述第一类业务。
105.在示出的一种实施方式中,如果与所述业务信息对应的业务类型为所述第一类业务,则可以执行与所述业务信息对应的业务,并可以将所述语音指令发送给所述智能终端,以使所述智能终端通过搭载的显示屏输出所述语音指令;如果与所述业务信息对应的业务类型为所述第二类业务,则可以将与所述业务信息对应的所述语音指令,通过所述中控系统与所述智能终端之间的连接,转发给所述智能终端,以使所述智能终端通过搭载的显示屏输出所述语音指令,并执行与所述业务信息对应的业务。
106.例如,假定所述中控系统a接收到的语音指令为“请播放一首音乐”,所述中控系统a可以通过搭载的识别引擎将所述“请播放一首音乐”的语音指令转换为“请播放一首音乐”的语音文本指令,可以获取所述语音文本指令中包含的业务信息为“播放音乐”,可以确定所述业务信息的业务类型是第二类业务,也即娱乐类业务,所述娱乐类业务可以在智能终端b上进行,所述中控系统a可以将所述语音文本指令转发给智能终端b,以使所述智能终端b可以通过搭载的显示屏输出“请播放一首音乐”,并可以执行“播放音乐”的操作。
107.在示出的一种实施方式中,如果所述唤醒指令的声源位置位于车辆乘用空间的前排区域,所述中控系统可以基于所述唤醒指令执行唤醒操作。
108.例如,假定位于车辆乘用空间前排区域的用户输入的语音信息为唤醒指令“hi,eva”,所述中控系统a可以在接收到所述唤醒指令后,确定出所述唤醒指令的声源位置在车辆乘用空间的前排区域,则可以直接由所述中控系统直接执行唤醒操作。
109.在示出的一种实施方式中,通过所述识别引擎进行语音输入结束检测;
110.将检测结果发送给所述智能终端,以使所述智能终端停止接收所述语音文本信息。
111.例如,所述中控系统a可以通过所述识别引擎进行语音输入结束检测,所述语音输入结束检测可以是vad检测,并可以将所述vad检测的检测结果发送给所述智能终端b,以使所述智能终端b停止接收所述中控系统转发的所述语音文本指令。
112.其中,vad(voice activity detection,语音端点检测技术),是一种能够从带有噪声的语音中准确的定位出语音的开始和结束点的技术。
113.在实际应用中,所述中控系统可以将所述语音指令转发给所述智能终端,当所述智能终端无法执行与所述语音指令包含的业务信息对应的业务时,则所述智能终端可以将
所述语音指令转发给所述中控系统,以触发所述中控系统进行播报。
114.关于所述智能终端无法执行与所述语音指令包含的业务信息对应的业务的具体情况,本说明书不做限定;例如,所述智能座舱暂未开通所述业务,则所述智能终端无法执行所述业务;或者,所述智能终端的网络信号差,而所述业务需要联网才能执行,则所述智能终端无法执行所述业务。
115.通过这种方式,可以在所述智能座舱无法执行所述语音指令包含的业务信息对应的业务时,由中控系统进行播报,以响应用户的指令,给用户提供良好的互动体验。
116.在示出的一种实施方式中,所述智能座舱还可以搭载语音播报器,所述智能座舱的中控系统可以通过所述语音播报器对所述用户输入的语音指令进行播报。
117.在实际应用中,所述语音播报器可以是tts语音播报器,其中,tts(语音合成,text to speech),是一种能够将文字智能地转化为自然语音流的技术。tts语音播报器,是一种能够将所述自然语音流进行播报的硬件设备。
118.所述智能终端可以搭载所述tts语音播报器,所述中控系统a可以通过所述tts语音播报器将所述用户输入的语音指令进行播报,具体来说,所述中控系统搭载的识别引擎可以将所述用户输入的语音指令进行转换,得到与所述语音指令对应的语音文本指令,所述中控系统a可以将所述语音文本指令转发给所述tts语音播报器,所述tts语音播报器可以基于所述语音文本指令进行播报。
119.在示出的一种实施方式中,所述智能终端执行与所述语音指令包含的业务信息对应的业务后,还可以基于所述业务生成语音应答信息,并将所述语音应答信息发送给所述中控系统,以使所述中控系统通过所述语音播报器对所述语音应答信息进行播报。
120.例如,所述智能终端b接收到中控系统a转发的语音指令“播放音乐”,执行与所述语音指令包含的业务信息对应的业务,还可以基于所述业务生成“音乐已播放”的语音应答信息,并可以将所述语音应答信息发送给所述中控系统a,所述中控系统a可以通过搭载的tts语音播报器对所述语音应答信息进行播报。
121.通过由智能座舱的中控系统统一对所述用户输入的语音指令进行播报,能够提供给用户更好的乘车体验。
122.为了方便理解实现所述语音信息处理方法的过程,本说明书以车辆乘用空间的智能座舱中控系统a接收以及处理用户语音信息为例,对本技术进行描述。
123.请参见图2,图2为本说明书一实施例中语音信息处理系统的架构示意图。如图2所示,所述智能座舱可以包括中控系统a以及智能终端b,所述中控系统a可以部署在所述车辆乘用空间的前排区域,所述智能终端b可以设置在所述车辆乘用空间的后排区域,其中,所述中控系统a可以搭载识别引擎201、语义引擎202,以及六个麦克风,所述麦克风实时接收用户输入的语音信息,所述智能终端b还可以搭载语义引擎203。
124.假定位于后排区域的用户输入“hi,eva”的语音信息a-01,所述中控系统a可以通过搭载的麦克风接收到所述语音信息a-01,并可以通过搭载的识别引擎将所述“hi,eva”的语音信息a-01转换为“hi,eva”的语音文本信息a-02,而后基于所述“hi,eva”的文本信息,确定出所述语音信息a-01为唤醒指令,并可以基于所述六个麦克风针对所述语音信息的采集时刻,以及所述六个麦克风位于所述车辆乘用空间中的位置信息,计算出所述唤醒指令的声源位置位于后排区域,则所述中控系统a可以将所述唤醒指令通过所述中控系统a与所
述智能终端b之间的tcp连接,转发至所述智能终端b,所述智能终端b接收到所述中控系统a转发的所述唤醒指令,可以执行亮屏操作,并将所述唤醒指令通过搭载的显示屏进行输出。
125.此时,位于后排区域的用户可以继续输入“请播放一首音乐”的语音指令b-01,所述中控系统a可以通过搭载的麦克风实时接收到所述语音指令b-01,还可以通过所述识别引擎进行vad检测,并可以将所述vad检测的检测结果发送给所述智能终端b,以使所述智能终端b停止接收所述中控系统转发的语音指令。
126.所述中控系统a可以通过搭载的识别引擎将所述语音指令b-01转换为语音文本指令b-02,可以获取所述语音文本指令b-02中包含的业务信息“播放音乐”,假定所述第一类业务的业务信息表中不包含“播放音乐”的业务信息,则可以确定所述业务信息的业务类型是第二类业务,也即娱乐类业务,所述娱乐类业务可以在智能终端b上进行,所述中控系统a可以将所述语音文本指令b-02转发给所述智能座舱搭载的tts语音播报器,所述tts语音播报器可以基于所述语音文本指令进行播报,并可以将所述语音文本指令转发给智能终端b,以触发所述智能终端b将所述语音文本指令通过搭载的显示屏进行输出,执行“播放音乐”的操作,并生成“音乐已播放”的语音应答信息,所述智能终端b可以将所述语音应答信息发送给所述中控系统a。所述中控系统a可以将所述语音应答信息转发给所述智能座舱搭载的tts语音播报器,所述tts语音播报器可以基于所述语音应答信息进行播报。
127.与所述语音信息处理方法的实施例对应的,本说明书还提供了一种语音信息处理装置的实施例。
128.请参见图3,图3是本说明书一实施例中语音信息处理装置所在电子设备的结构示意图。在硬件层面,所述设备包括处理器302、内部总线304、网络接口306、内存308以及非易失性存储器310,当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现,比如由处理器303从非易失性存储器310中读取对应的计算机程序到内存308中然后运行。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件亦或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
129.请参见图4,图4是本说明书一实施例中语音信息处理装置的框图。所述语音信息处理装置可以应用于如图3所示的电子设备中,以实现本说明书的技术方案。其中,所述语音信息处理装置,可以应用于智能座舱的中控系统,其中,所述智能座舱还可以包括智能终端;所述智能终端可以设置在车辆乘用空间的后排区域;所述装置可以包括:
130.接收单元402,用于接收用户输入的语音信息;
131.确定单元404,用于确定所述语音信息是否为唤醒指令,以及用于进一步确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域;
132.转发单元406,用于将所述唤醒指令通过所述中控系统与所述智能终端之间的连接,转发至所述设置在车辆乘用空间的后排区域的所述智能终端,以触发所述智能终端基于所述唤醒指令执行唤醒操作。
133.在本实施例中,所述装置还可以包括执行单元,用于:
134.如果所述唤醒指令的声源位置位于车辆乘用空间的前排区域,则基于所述唤醒指令执行唤醒操作。
135.在本实施例中,所述中控系统搭载了识别引擎;所述装置还可以包括识别单元,用
于:
136.通过搭载的识别引擎对接收到的所述语音信息进行识别,得到与所述语音信息对应的语音文本信息;
137.所述确定单元404,具体可以用于:
138.基于所述语音文本信息,确定所述语音信息是否为唤醒指令;
139.所述转发单元406,具体可以用于:
140.将与所述唤醒指令对应的所述语音文本信息,通过所述中控系统与所述智能终端之间的连接,转发至所述设置在车辆乘用空间的后排区域的所述智能终端。
141.在本实施例中,所述中控系统与所述智能终端之间的连接包括tcp连接。
142.在本实施例中,所述确定单元404,还可以用于:
143.接收用户输入的语音指令;
144.获取所述语音信息包含的业务信息,并确定所述语音信息包含的业务信息对应的业务类型;其中,所述业务类型包括由所述中控系统执行的第一类业务;以及,由所述智能终端执行的第二类业务;
145.如果与所述业务信息对应的业务类型为所述第一类业务,则执行与所述业务信息对应的业务;
146.如果与所述业务信息对应的业务类型为所述第二类业务,则将所述语音信息通过所述中控系统与所述智能终端之间的连接,转发给所述智能终端,以使所述智能终端执行与所述业务信息对应的业务。
147.在本实施例中,所述中控系统搭载了语义引擎;所述确定单元404,具体可以用于:
148.通过所述语义引擎对所述语音信息的语义进行解析,并根据语义解析结果,确定所述语音信息对应的业务类型。
149.在本实施例中,所述第一类业务可以包括由中控系统对车辆进行控制的业务;所述第二类业务可以包括在所述智能终端上进行的娱乐类业务。
150.在本实施例中,所述智能终端可以包括智能电视。
151.在本实施例中,所述智能终端搭载了显示屏;所述确定单元404,具体可以用于:
152.如果与所述业务信息对应的业务类型为所述第一类业务,则执行与所述业务信息对应的业务,并将所述语音指令发送给所述智能终端,以使所述智能终端通过搭载的显示屏输出所述语音指令;
153.如果与所述业务信息对应的业务类型为所述第二类业务,则将与所述业务信息对应的所述语音指令,通过所述中控系统与所述智能终端之间的连接,转发给所述智能终端,以使所述智能终端通过搭载的显示屏输出所述语音指令,并执行与所述业务信息对应的业务。
154.在本实施例中,所述智能座舱搭载了多个音频采集设备;所述多个音频采集设备可以用于实时接收用户输入的语音信息;所述接收单元402,具体可以用于:
155.接收所述多个音频输入设备通过定向拾音采集到的所述用户输入的语音信息;
156.所述确定单元404,具体可以用于:
157.基于所述多个音频采集设备在采集所述语音信息时的采集参数,以及所述多个音频采集设备位于所述车辆乘用空间中的位置信息,计算所述唤醒指令的声源位置;
158.根据计算得到的所述唤醒指令的所述声源位置,确定所述唤醒指令的声源位置是否位于车辆乘用空间的后排区域。
159.在本实施例中,所述装置可以包括检测单元,用于:
160.通过所述识别引擎进行语音输入结束检测;
161.将检测结果发送给所述智能终端,以使所述智能终端停止接收所述语音文本信息。
162.上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
163.对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例只是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
164.所述实施例阐明的装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
165.在一个典型的配置中,计算机包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
166.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
167.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
168.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
169.所述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围
内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
170.在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“所述”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
171.应当理解,尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
172.以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。