语音控制方法、装置、电子设备及存储介质与流程

文档序号:22248075发布日期:2020-09-18 12:17阅读:105来源:国知局
语音控制方法、装置、电子设备及存储介质与流程

本公开涉及人工智能技术领域,特别涉及一种语音控制方法、装置、电子设备及存储介质。



背景技术:

随着人工智能的发展,越来越多的电子设备拥有语音控制的功能;也即用户可以通过语音控制电子设备执行一些操作。而在都市里的上班族、学生、开车族等很多用户都有蓝牙耳机,在电子设备连接蓝牙耳机的场景下,用户如何控制电子设备执行操作是业界关注的重点。

相关技术中,在电子设备连接蓝牙耳机的场景中,用户先通过特定的唤醒词唤醒蓝牙耳机,然后蓝牙耳机才进行声音采集,将采集到的人声信号与本地存储的离线命令词进行匹配。响应于匹配到命令词,蓝牙耳机将该人声信号对应的操作命令发送给电子设备,由电子设备根据该操作命令,执行该人声信号对应的操作。

但是,在蓝牙耳机采集人声信号之前,用户需要通过唤醒词唤醒蓝牙耳机,这样不符合人类交互的自然过程,使语音控制的过程繁琐,语音控制的效率低。并且,蓝牙耳机中的离线命令词库包括的命令词是有限的;因此蓝牙耳机只能匹配出少量的操作命令,也即用户只能控制电子设备执行一些特定的操作,所以用户无法获得人性化、智能化的语音交互体验,语音控制的效果较差。



技术实现要素:

本公开实施例提供了一种语音控制方法、装置、电子设备及存储介质,能够减少语音控制的过程,提高语音控制的效率。所述技术方案如下:

一方面,提供了一种语音控制方法,所述方法包括:

在电子设备的语音控制模块处于休眠状态且电子设备当前已连接声音采集设备的场景下,通过声音采集设备进行声音采集;

响应于声音采集设备采集到第一人声信号,接收声音采集设备发送的第一人声信号,唤醒语音控制模块;

通过语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。

在一种可能的实现方式中,所述基于所述第一人声信号,执行所述第一人声信号对应的操作,包括:

响应于第一人声信号中包括命令词,对所述第一人声信号进行意图识别,得到所述第一人声信号的意图信息;

响应于所述意图信息用于触发所述电子设备执行目标操作,执行所述目标操作。

在另一种可能的实现方式中,该方法还包括:

根据所述意图信息,确定执行所述意图信息的目标应用程序;

响应于所述电子设备上包括所述目标应用程序,确定所述意图信息用于触发所述电子设备执行目标操作。

在另一种可能的实现方式中,所述基于所述第一人声信号,执行所述第一人声信号对应的操作之前,所述方法还包括:

获取所述第一人声信号的第一声纹信息;

响应于所述第一声纹信息与所述电子设备中预置的第二声纹信息匹配,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述基于所述第一人声信号,执行所述第一人声信号对应的操作之前,所述方法还包括:

响应于在采集到所述第一人声信号之前的第一预设时长内没有声音采集到第二人声信号,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤;或者,

响应于在采集到所述第一人声信号之前的第二预设时长内采集到第三人声信号,且所述第三人声信号的第三声纹信息和所述第一人声信号的第一声纹信息匹配,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述基于所述第一人声信号,执行所述第一人声信号对应的操作之前,所述方法还包括:

获取所述电子设备的显示屏幕在上一次被触摸的第一时间;

确定当前的第二时间与所述第一时间之间的时间差;

响应于所述时间差大于第三预设时长,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述通过所述语音控制模块,基于所述第一人声信号,执行所述第一人声信号对应的操作,包括:

通过所述语音控制模块,向服务器发送所述第一人声信号,接收所述服务器返回的所述第一人声信号对应的操作指令;

执行所述操作指令对应的目标操作。

另一方面,提供了一种语音控制装置,所述装置包括:

声音采集模块,被配置为在电子设备的语音控制模块处于休眠状态且电子设备当前已连接声音采集设备的场景下,通过声音采集设备进行声音采集。

唤醒模块,被配置为响应于声音采集设备采集到第一人声信号,接收声音采集设备发送的第一人声信号,唤醒语音控制模块。

执行模块,被配置为通过语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。

在一种可能的实现方式中,所述执行模块,还被配置为响应于第一人声信号中包括命令词,对所述第一人声信号进行意图识别,得到所述第一人声信号的意图信息;

响应于所述意图信息用于触发所述电子设备执行目标操作,执行所述目标操作。

在另一种可能的实现方式中,所述执行模块,还被配置为根据所述意图信息,确定执行所述意图信息的目标应用程序;响应于所述电子设备上包括所述目标应用程序,确定所述意图信息用于触发所述电子设备执行目标操作。

在另一种可能的实现方式中,所述装置还包括:

获取模块,被配置为获取所述第一人声信号的第一声纹信息;

所述执行模块,还被配置为响应于所述第一声纹信息与所述电子设备中预置的第二声纹信息匹配,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述执行模块,还被配置为响应于在采集到所述第一人声信号之前的第一预设时长内没有声音采集到第二人声信号,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤;或者,

响应于在采集到所述第一人声信号之前的第二预设时长内采集到第三人声信号,且所述第三人声信号的第三声纹信息和所述第一人声信号的第一声纹信息匹配,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述执行模块,还被配置为获取所述电子设备的显示屏幕在上一次被触摸的第一时间;确定当前的第二时间与所述第一时间之间的时间差;响应于所述时间差大于第三预设时长,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述执行模块,还被配置为通过所述语音控制模块,向服务器发送所述第一人声信号,接收所述服务器返回的所述第一人声信号对应的操作指令;执行所述操作指令对应的目标操作。

另一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现上述任一种可能实现方式中的语音控制方法中所执行的操作。

另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现上述任一种可能实现方式中的语音控制方法中电子设备执行的操作。

另一方面,提供了一种计算机程序产品,所述计算机程序产品包括至少一个计算机程序,所述至少一个计算机程序被处理器执行时,用于实现上述任一种可能实现方式中的语音控制方法中电子设备执行的操作。

本公开实施例提供的技术方案带来的有益效果是:

在本公开实施例中,在电子设备的语音控制模块处于休眠状态且电子设备当前已连接声音采集设备的场景下,通过声音采集设备进行声音采集;响应于声音采集设备采集到第一人声信号,接收声音采集设备发送的第一人声信号,唤醒语音控制模块,通过语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。由于接收到声音采集设备采集的第一人声信号,就直接唤醒电子设备的语音控制模块,不需要特定的唤醒词唤醒语音控制模块。因此,减少了语音控制的过程,提高了语音控制的效率,使语音控制更加自然。并且,由于声音采集设备采集到第一人声信号之后,直接进行上报给电子设备;因此,不需要由声音采集设备进行操作命令的匹配。因此,克服了由于声音采集设备仅能匹配出少量的操作命令带来的语音控制效率差的问题,提高了语音控制的效果。

附图说明

为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种实施环境的示意图;

图2是本公开实施例提供的一种语音控制方法的流程图;

图3是本公开实施例提供的另一种语音控制方法的流程图;

图4是本公开实施例提供的一种语音控制方法的示意图;

图5是本公开实施例提供的另一种语音控制方法的流程图;

图6是本公开实施例提供的一种语音控制装置的框图;

图7是本公开实施例提供的另一种语音控制装置的框图;

图8是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。

图1是本公开实施例提供的一种实施环境的示意图。参见图1,该实施环境包括电子设备101和声音采集设备102。电子设备101和声音采集设备102之间通过无线或者有线网络连接。其中,无线连接可以是蓝牙连接、nfc(nearfieldcommunication,近场通信)连接等。

声音采集设备102可以是耳机(例如,蓝牙耳机)、话筒或者其他安装有mic(microphone,麦克风)器件的采集设备。电子设备101可以为电脑、手机、平板电脑、智能机器人、智能音箱、智能家居、智能玩具、车载终端或者电视盒子等具有语音控制功能的设备。

在本公开实施例中,在电子设备101的语音控制模块处于休眠状态,且当前已连接声音采集设备102的场景中,声音采集设备102不需要通过特定唤醒词唤醒进行唤醒,声音采集设备102采集到第一人声信号之后,直接将第一人声信号发送给电子设备101。电子设备101直接唤醒语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。

在一种可能的实现方式中,直接由电子设备101识别第一人声信号的操作指令,然后基于该操作指令执行第一人声信号对应的操作。在另一种可能的实现方式中,由服务器识别第一人声信号的操作指令。相应的,该实施环境中还包括服务器103;电子设备101上可以安装有服务器103提供服务的目标应用,通过该目标应用将第一人声信号发送给服务器103,由服务器103识别第一人声信号的操作指令。该目标应用可以为电子设备101上的系统应用,或者第三方应用。例如,目标应用可以为智能语音助手。

需要说明的一点是,第一人声信号对应的操作可以是电子设备可以执行的任一操作。在另一种可能的实现方式中,第一人声信号对应的操作可以是电子设备进行的查询操作;例如,第一人声信号对应的操作可以是“查询路线”、“查询知识”等。在另一种可能的实现方式中,第一人声信号对应的操作也可以是电子设备对意图信息进行反馈;例如,第一人声信号对应的操作可以是“与用户聊天”等。在另一种可能的实现方式中,第一人声信号对应的操作也可以是电子设备打开目标应用;例如,第一人声信号对应的操作可以是“打开xx应用”。

图2是本公开实施例提供的一种语音控制方法的流程图。参见图2,该实施例包括:

步骤201,在电子设备的语音控制模块处于休眠状态且电子设备当前已连接声音采集设备的场景下,通过声音采集设备进行声音采集。

步骤202,响应于声音采集设备采集到第一人声信号,接收声音采集设备发送的第一人声信号,唤醒语音控制模块。

步骤203,通过语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。

在一种可能的实现方式中,所述基于所述第一人声信号,执行所述第一人声信号对应的操作,包括:

响应于第一人声信号中包括命令词,对所述第一人声信号进行意图识别,得到所述第一人声信号的意图信息;

响应于所述意图信息用于触发所述电子设备执行目标操作,执行所述目标操作。

在另一种可能的实现方式中,该方法还包括:

根据所述意图信息,确定执行所述意图信息的目标应用程序;

响应于所述电子设备上包括所述目标应用程序,确定所述意图信息用于触发所述电子设备执行目标操作。

在另一种可能的实现方式中,所述基于所述第一人声信号,执行所述第一人声信号对应的操作之前,所述方法还包括:

获取所述第一人声信号的第一声纹信息;

响应于所述第一声纹信息与所述电子设备中预置的第二声纹信息匹配,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述基于所述第一人声信号,执行所述第一人声信号对应的操作之前,所述方法还包括:

响应于在采集到所述第一人声信号之前的第一预设时长内没有声音采集到第二人声信号,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤;或者,

响应于在采集到所述第一人声信号之前的第二预设时长内采集到第三人声信号,且所述第三人声信号的第三声纹信息和所述第一人声信号的第一声纹信息匹配,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述基于所述第一人声信号,执行所述第一人声信号对应的操作之前,所述方法还包括:

获取所述电子设备的显示屏幕在上一次被触摸的第一时间;

确定当前的第二时间与所述第一时间之间的时间差;

响应于所述时间差大于第三预设时长,执行所述基于所述第一人声信号,执行所述第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,所述通过所述语音控制模块,基于所述第一人声信号,执行所述第一人声信号对应的操作,包括:

通过所述语音控制模块,向服务器发送所述第一人声信号,接收所述服务器返回的所述第一人声信号对应的操作指令;

执行所述操作指令对应的目标操作。

在本公开实施例中,在电子设备的语音控制模块处于休眠状态且电子设备当前已连接声音采集设备的场景下,通过声音采集设备进行声音采集;响应于声音采集设备采集到第一人声信号,接收声音采集设备发送的第一人声信号,唤醒语音控制模块,通过语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。由于接收到声音采集设备采集的第一人声信号,就直接唤醒电子设备的语音控制模块,不需要特定的唤醒词唤醒语音控制模块。因此,减少了语音控制的过程,提高了语音控制的效率,使语音控制更加自然。并且,由于声音采集设备采集到第一人声信号之后,直接进行上报给电子设备;因此,不需要由声音采集设备进行操作命令的匹配。因此,克服了由于声音采集设备仅能匹配出少量的操作命令带来的语音控制效率差的问题,提高了语音控制的效果。

图3是本公开实施例提供的另一种语音控制方法的流程图。在本公开实施例中,以由电子设备对第一人声信号进行意图识别为例进行说明。参见图3,该实施例包括以下步骤:

步骤301,电子设备在该电子设备的语音控制模块处于休眠状态,且电子设备当前已连接声音采集设备的场景下,声音采集设备进行声音采集。

在本步骤中,无论声音采集设备处于休眠状态还是唤醒状态;声音采集设备都会进行声音采集,并且采集到声音信号后,确定该声音信号是否为人声信号;响应于该声音信号为人声信号,为了便于区分,将采集到的人声信号称为第一人声信号,执行步骤302。响应于该声音信号不为人声信号,则声音采集设备可以继续进行声音采集,直到采集到第一人声信号,执行步骤302。

在另一种可能的实现方式中,声音采集设备可以通过该声音信号的第四声纹信息,确定该声音信号是否为人声信号。相应的,声音采集设备确定该声音信号是否为人声信号的步骤可以为:声音采集设备获取该声音信号的第四声纹信息,确定第四声纹信息的类型;响应于该第四声纹信息的类型是人类;则确定该声音信号为人声信号;响应于第四声纹信息的类型不是人类,则确定该声音信号不为人声信号。

在另一种可能的实现方式中,声音采集设备可以通过确定该声音信号中是否包括自然语言信号,确定该声音信号是否为人声信号。相应的,声音采集设备确定该声音信号是否为人声信号的步骤可以为:声音采集设备对该声音信号进行自然声音信号检测,响应于检测到自然语言信号,确定声音信号为人声信号;响应于没有检测到自然语言信号,则确定该声音信号不为人声信号。自然声音信号可以为汉语、英语、日语等。

在本公开实施例中,电子设备声音采集到自然语言信号,由于自然人声信号属于人类发出的人声信号,从而提高了第一人声信号的有效性,提高了该电子设备语音控制的智能性。

在一种可能的实现方式中,参见图4,声音采集设备可以通过vad(voiceactivitydetection,语音活动检测)对声音进行采集。其中,vad可以识别和消除人声信号中的静音期,只获取到非静音期的人声信号,提高了声音采集的人声信号的有效性。并且,还能够节省向电子设备传输该人声信号的带宽资源。

需要说明的一点是,电子设备中包括多维传感器,电子设备可以通过多维传感器,确定电子设备当前是否连接声音采集设备。

电子设备的可以通过语音控制模块本身的状态确定语音控制模块处于休眠状态;电子设备也可以通过电子设备的状态确定语音控制模块处于休眠状态。

在一种可能的实现方式中,电子设备响应于语音控制模块当前未基于人声信号,执行人声信号对应的操作,确定电子设备的语音控制模块处于休眠状态。

在本公开实施例中,电子设备在语音控制模块未执行人声信号对应的操作时,对电子设备当前所在环境内的人声信号进行声音采集,避免了声音采集到的人声信号与电子设备正在执行人声信号对应的操作产生冲突,提高了电子设备声音采集的智能性。

在另一种可能的实现方式中,电子设备响应于该电子设备处于休眠状态,确定电子设备的语音控制模块处于休眠状态。其中,电子设备处于休眠状态可以是电子设备的显示屏幕处于熄屏状态。在另一种可能的实现方式中,电子设备处于休眠状态可以是电子设备当前未执行操作。

在本公开实施例中,电子设备在该电子设备处于休眠状态时,对电子设备当前所在环境内的人声信号进行声音采集,避免了声音采集到的人声信号与电子设备正在执行的操作产生冲突,提高了电子设备的声音采集的智能性。

在另一种可能的实现方式中,电子设备处于休眠状态可以是该电子设备当前未运行音频应用。例如,电子设备当前未播放歌曲。

在本公开实施例中,电子设备在该电子设备处于休眠状态时,对电子设备当前所在环境内的人声信号进行声音采集,避免了声音采集到的人声信号与电子设备正在运行的音频应用产生冲突,提高了电子设备的声音采集的智能性。

在本公开实施例中,电子设备可以通过目标采集模块采集该电子设备当前所在环境内的人声信号。其中,电子设备当前所在环境内的人声信号可以是任一物体振动产生的声波信号。例如,人声信号可以是活体发出的人声信号;也可以是物体摩擦、空气流动等产生的人声信号。

步骤302,声音采集设备采集到第一人声信号,向电子设备发送第一人声信号。

在一种可能的实现方式中,声音采集设备采集完第一人声信号,才向电子设备发送完整的第一人声信号。在另一种可能的实现方式中,声音采集设备也可以采集过程中,实时向电子设备发送第一人声信号。相应的,本步骤可以为:电子设备采集到声音信号时,确定该声音信号是人声信号,则就开始向电子设备传输音频,检测到后续的声音信号不是人声信号时,则停止传输。

声音采集设备采集到第一人声信号后,直接向电子设备发送第一人声信号,这样不需要通过特定唤醒词唤醒声音采集设备,减少了语音控制的过程,提高了语音控制的效率,使语音控制更加自然了。

需要说明的一点是,人声信号的判断也可以由电子设备执行,也即声音采集设备采集到声音信号,就将该声音信号发送给电子设备。相应的,步骤302可以替换为:声音采集设备采集到声音信号,向电子设备发送该声音信号。

步骤303,电子设备接收声音采集设备发送的第一人声信号,唤醒语音控制模块。

响应于声音采集设备采集到声音信号,就将该声音信号发送给电子设备;则本步骤可以为:电子设备接收声音采集设备发送的声音信号,确定该声音信号是否为人声信号;响应于该声音信号为人声信号,唤醒语音控制模块;相应的该声音信号不为人声信号,继续保持语音控制模块处于休眠状态。

电子设备唤醒语音控制模块之后,可以直接对第一人声信号进行意图识别,也即执行步骤304;在另一种可能的实现方式中,继续参见图4,电子设备也可以先验证第一人声信号是否为电子设备的主人声音;响应于第一人声信号为电子设备的主人声音,执行步骤304;响应于第一人声信号不是电子设备的主人声音,丢弃第一人声信号。

电子设备验证第一人声信号是否为电子设备的主人声音的步骤可以为:电子设备获取第一人声信号的第一声纹信息;将第一声纹信息与电子设备中预置的第二声纹信息进行对比;响应于第一声纹信息与第二声纹信息匹配,确定第一人声信号是电子设备的主人声音。响应于第一声纹信息与第二声纹信息不匹配,丢弃第一人声信号。

在本公开实施例中,在第一人声信号的第一声纹信息与电子设备中预置的第二声纹信息匹配,提高了电子设备的安全性。

在另一种可能的实现方式中,在电子设备已连接声音采集设备的场景下,如果用户一直未讲话,突然说话,则有可能对电子设备进行语音控制;如果用户一直在讲话,则有可能是在其他人聊天;则电子设备就可以丢弃第一人声信号。该过程可以为:电子设备响应于在声音采集到第一人声信号之前的第一预设时长内没有声音采集到第二人声信号,确定第一人声信号用于触发电子设备执行操作,执行步骤304。

其中,第一预设时长可以是1s至10s之间的任一值,例如,第一预设时长为3s、4s、5s等;在本公开实施例中,对第一预设时长不作具体限定,可以根据需要进行设置并更改。其中,第二人声信号可以是用户发出的人声信号,也可以是除用户外的其他人发出的人声信号。

在本公开实施例中,电子设备响应于在声音采集到第一人声信号之前的第一预设时长内没有声音采集到第二人声信号,确定第一人声信号不是用户的聊天内容或者用户的自言自语,提高了第一人声信号的有效性,从而增加了语音控制的效率。

在另一种可能的实现方式中,在电子设备已连接声音采集设备的场景下,如果用户和其他用户在聊天,则电子设备检测到的不是同一个用户的人声信号,则丢弃第一人声信号;如果用户没有和其他用户聊天,则电子设备检测到的都是同一个用户的人声信号,这时候这个人声信号有可能是触发电子设备执行目标操作的。该过程可以为:

响应于在采集到第一人声信号之前的第二预设时长内,采集到第三人声信号,且第三人声信号的第三声纹信息和第一人声信号的第一声纹信息匹配,则执行步骤304;响应于在采集到第一人声信号之前的第二预设时长内,采集到第三人声信号,且第三人声信号的第三声纹信息和第一人声信号的第一声纹信息不匹配,则丢弃第一人声信号。

在本公开实施例中,电子设备声音采集到第一人声信号的声纹信息和第三人声信号的声纹信息匹配,确定第一人声信号不是用户的聊天内容,提高了第一人声信号的有效性,从而增加了语音控制的效率。

在另一种可能的实现方式中,在电子设备已连接声音采集设备的场景下,如果用户一直触摸电子设备的显示屏幕;则说明用户是方便通过显示屏幕触发电子设备执行操作的;用户这个时候说的话很可能是在聊天,而不是触发电子设备执行操作,则丢弃第一人声信号。相应的,该过程可以为:

电子设备获取显示屏幕在上一次被触摸的第一时间;确定当前的第二时间与第一时间之间的时间差;响应于该时间差大于第三预设时长;则执行步骤304;响应于该时间差不大于第三预设时长,则丢弃第一人声信号。

在本公开实施例中,在确定第一人声信号有可能用于触发电子设备执行操作的时候,电子设备才执行步骤304,从而提高了第一人声信号的有效性,进而提高了后续语音控制的准确性。

在本公开实施例中,电子设备唤醒语音控制模块为电子设备将语音控制模块从休眠状态切换为唤醒状态。

在一种可能的实现方式中,语音控制模块的唤醒状态为电子设备的显示屏幕为亮屏状态;相应的,电子设备唤醒语音控制模块,包括:电子设备将该电子设备的显示屏幕从熄屏状态切换到亮屏状态。

在另一种可能的实现方式中,语音控制模块的唤醒状态为电子设备接收第一人声信号的状态;相应的,电子设备唤醒语音控制模块,包括:电子设备将该电子设备从不接收第一人声信号的状态切换到接收第一人声信号的状态。

在另一种可能的实现方式中,语音控制模块处于唤醒状态为语音控制模块可以执行第一人声信号对应的操作的状态;相应的,电子设备唤醒语音控制模块,包括:电子设备将语音控制模块从休眠状态切换到可以执行第一人声信号对应的操作的状态。

步骤304,电子设备响应于第一人声信号中包括命令词,电子设备通过语音控制模块,对第一人声信号进行意图识别,得到第一人声信号的意图信息。

电子设备将第一人声信号转换为第一文本信息;根据第一文本信息进行语义理解,得到第一人声信号的语义信息;根据该语音信息,确定第一人声信号中是否包括命令词;响应于第一人声信号中包括命令词,基于该语音信息,确定第一人声信号的意图信息。响应于第一人声信号中不包括命令词,则电子设备丢弃第一人声信号。

在一种可能的实现方式中,电子设备可以通过nlp(naturallanguageprocessing,自然语言处理)对第一文本信息进行语义理解;相应的,电子设备将第一文本信息进行语义理解,得到第一人声信号的语义信息,包括:电子设备向nlp发送第一文本信息。nlp接收第一文本信息;对第一本文信息进行语义理解,确定第一文本信息对应的语义信息;向电子设备返回语义信息。电子设备接收nlp返回的语义信息,得到第一人声信号的语义信息。

在另一种可能的实现方式中,继续参见图4,电子设备通过asr(automaticspeechrecognition,自动语音识别)引擎对第一人声信号进行语音识别;其中,asr引擎可以将asr语音转化为文本信息。相应的,电子设备将第一人声信号转化为第一文本信息,包括:电子设备向asr引擎发送第一人声信号;asr引擎接收第一人声信号,将第一人声信号转化为第一文本信息;电子设备获取第一文本信息。

在本公开实施例中,电子设备在第一人声信号的语义信息中包括命令词,确定第一人声信号用于触发电子设备执行操作。因此,提高了第一人声信号的有效性,提高了语音控制的效率。

在一种可能的实现方式中,电子设备将第一人声信号转换为第一文本信息之后,可以直接对第一文本信息进行语义理解,得到该语义信息;也可以将第一人声信号对应的第一文本信息中的无效词进行剔除,得到第二文本信息,对第二文件信息进行语义理解,得到该语义信息。

在一种可能的实现方式中,无效词包括孤立词;相应的,电子设备将第一文本信息中的无效词进行剔除,包括:电子设备对第一文本信息中的孤立词进行检测;响应于检测到孤立词,对孤立词进行剔除,得到第二文本信息。

在另一种可能的实现方式中,无效词包括语气词;相应的,电子设备将第一文本信息中的无效词进行剔除,包括:电子设备对第一文本信息中的语气词进行检测;响应于检测到语气词,对语气词进行剔除,得到第二文本信息。

在本公开实施例中,电子设备将第一文本信息中的无效词进行剔除,提高了第一文本信息的有效性,从而增加了语音控制的效率。

在一种可能的实现方式中,继续参见图4,电子设备对第一人声信号中是否包括命令词进行判断,如果第一人声信号中包括命令词,才对第一人声信号进行意图识别;如果第一人声信号中不包括命令词,则丢弃第一人声信号。

在一种可能的实现方式中,只要第一人声信号中包括命令词,就执行电子设备通过语音控制模块,对第一人声信号进行意图识别,得到第一人声信号的意图信息的步骤。在另一种可能的实现方式中,只有第一人声信号中包括电子设备的命令词库中的命令词,才执行电子设备通过语音控制模块,对第一人声信号进行意图识别,得到第一人声信号的意图信息的步骤。

其中,电子设备的命令词库中包括电子设备的至少一个应用应该能够执行操作的命令词;例如,电子设备中包括外卖应用;则电子设备的命令词库中包括“点餐”“下单”等。再如,电子设备中包括打车应用;则电子设备的命令词库中包括“打车”。再如,电子设备中包括导航应用;则电子设备的命令词库中包括“导航”“路线查询”等。

在本申请实施例中,只有第一人声信号中包括电子设备的命令词库中的命令词,电子设备才通过语音控制模块,对第一人声信号进行意图识别,得到第一人声信号的意图信息。这样更能考虑到电子设备本身应用的情况,提高了第一人声信号的有效性,提高了后续语音控制的准确性。

步骤305:电子设备响应于该意图信息用于触发电子设备执行目标操作,电子设备执行该目标操作。

在本步骤中,继续参见图4,意图信息可以为聊天、兜底等意图,也可以为触发电子设备执行目标操作的意图。因此,电子设备获取到意图信息之后,确定该意图信息是否用于触发电子设备执行目标操作;响应于该意图信息用于触发电子设备执行目标操作,则电子设备执行该目标操作;响应于该意图信息不是用于触发电子设备执行目标操作,则丢弃该第一人声信号。

在一种可能的实现方式中,电子设备可以根据电子设备是否可以执行该意图信息对应的操作,也即电子设备是否安装对应的应用程序,确定该意图信息是否用于触发电子设备执行目标操作。相应的,电子设备确定该意图信息是否用于触发电子设备执行目标操作的步骤可以为:电子设备根据该意图信息,确定执行该意图信息的目标应用程序;响应于电子设备上包括目标应用程序,则确定该意图信息用于触发电子设备执行目标操作;响应于电子设备上不包括目标应用程序,则确定该意图信息不是用于触发电子设备执行目标操作。

在本公开实施例中,电子设备在第一人声信号的意图信息为触发电子设备执行操作的意图信息时,才触发电子设备执行操作;对聊天、兜底等意图的第一人声信号进行丢弃;从而提高了第一人声信号的有效性,提高了语音控制的效率。

在本公开实施例中,在电子设备的语音控制模块处于休眠状态且电子设备当前已连接声音采集设备的场景下,通过声音采集设备进行声音采集;响应于声音采集设备采集到第一人声信号,接收声音采集设备发送的第一人声信号,唤醒语音控制模块,通过语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。由于接收到声音采集设备采集的第一人声信号,就直接唤醒电子设备的语音控制模块,不需要特定的唤醒词唤醒语音控制模块。因此,减少了语音控制的过程,提高了语音控制的效率,使语音控制更加自然。并且,由于声音采集设备采集到第一人声信号之后,直接进行上报给电子设备;因此,不需要由声音采集设备进行操作命令的匹配。因此,克服了由于声音采集设备仅能匹配出少量的操作命令带来的语音控制效率差的问题,提高了语音控制的效果。

图5是本公开实施例提供的另一种语音控制方法的流程图。在本公开实施例中,以由服务器对第一人声信号进行意图识别为例进行说明。参见图5,该实施例包括以下步骤:

步骤501,电子设备在该电子设备的语音控制模块处于休眠状态,且电子设备当前已连接声音采集设备的场景下,声音采集设备进行声音采集。

本步骤和步骤301相同,在此不再赘述。

步骤502,声音采集设备采集到第一人声信号,向电子设备发送第一人声信号。

本步骤和步骤302相同,在此不再赘述。

步骤503,电子设备接收声音采集设备发送的第一人声信号,唤醒语音控制模块。

本步骤和步骤303相同,在此不再赘述。

步骤504,电子设备通过语音控制模块,向服务器发送第一人声信号。

步骤505,服务器接收第一人声信号,确定该第一人声信号对应的操作指令。

服务器确定第一人声信号的操作指令和电子设备确定第一人声信号对应的操作指令的步骤相似,在此不再赘述。

步骤506,服务器向电子设备发送该操作指令。

步骤507,电子设备接收该操作指令,执行该操作指令对应的目标操作。

在本公开实施例中,由服务器对第一人声信号进行识别,得到操作指令,将操作指令返回给电子设备,由电子设备根据该操作指令执行目标操作,从而不仅节省了电子设备的资源,还能够提高准确性。

图6是本公开实施例提供的一种语音控制装置的框图。参见图6,该装置包括:

声音采集模块601,被配置为在电子设备的语音控制模块处于休眠状态且电子设备当前已连接声音采集设备的场景下,通过声音采集设备进行声音采集。

唤醒模块602,被配置为响应于声音采集设备采集到第一人声信号,接收声音采集设备发送的第一人声信号,唤醒语音控制模块。

执行模块603,被配置为通过语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。

在一种可能的实现方式中,执行模块603,还被配置为响应于第一人声信号中包括命令词,对第一人声信号进行意图识别,得到第一人声信号的意图信息;

响应于意图信息用于触发电子设备执行目标操作,执行目标操作。

在另一种可能的实现方式中,执行模块603,还被配置为根据意图信息,确定执行意图信息的目标应用程序;响应于电子设备上包括目标应用程序,确定意图信息用于触发电子设备执行目标操作。

在另一种可能的实现方式中,参见图7,该装置还包括:

获取模块604,被配置为获取第一人声信号的第一声纹信息;

执行模块603,还被配置为响应于第一声纹信息与电子设备中预置的第二声纹信息匹配,执行基于第一人声信号,执行第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,执行模块603,还被配置为响应于在采集到第一人声信号之前的第一预设时长内没有声音采集到第二人声信号,执行基于第一人声信号,执行第一人声信号对应的操作的步骤;或者,

响应于在采集到第一人声信号之前的第二预设时长内采集到第三人声信号,且第三人声信号的第三声纹信息和第一人声信号的第一声纹信息匹配,执行基于第一人声信号,执行第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,执行模块603,还被配置为获取电子设备的显示屏幕在上一次被触摸的第一时间;确定当前的第二时间与第一时间之间的时间差;响应于时间差大于第三预设时长,执行基于第一人声信号,执行第一人声信号对应的操作的步骤。

在另一种可能的实现方式中,执行模块603,还被配置为通过语音控制模块,向服务器发送第一人声信号,接收服务器返回的第一人声信号对应的操作指令;执行操作指令对应的目标操作。

在本公开实施例中,在电子设备的语音控制模块处于休眠状态且电子设备当前已连接声音采集设备的场景下,通过声音采集设备进行声音采集;响应于声音采集设备采集到第一人声信号,接收声音采集设备发送的第一人声信号,唤醒语音控制模块,通过语音控制模块,基于第一人声信号,执行第一人声信号对应的操作。由于接收到声音采集设备采集的第一人声信号,就直接唤醒电子设备的语音控制模块,不需要特定的唤醒词唤醒语音控制模块。因此,减少了语音控制的过程,提高了语音控制的效率,使语音控制更加自然。并且,由于声音采集设备采集到第一人声信号之后,直接进行上报给电子设备;因此,不需要由声音采集设备进行操作命令的匹配。因此,克服了由于声音采集设备仅能匹配出少量的操作命令带来的语音控制效率差的问题,提高了语音控制的效果。

上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。

需要说明的是:上述实施例提供的语音控制装置在进行语音控制时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的语音控制装置与语音控制方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图8示出了本公开一个示例性实施例提供的电子设备800的结构框图。该电子设备800可以是:智能手机、平板电脑、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备800还可能被称为用户设备、便携式电子设备、膝上型电子设备、台式电子设备等其他名称。

通常,电子设备800包括有:处理器801和存储器802。

处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本公开中方法实施例提供的语音控制方法。

在一些实施例中,电子设备800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。

外围设备接口803可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路804用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本公开对此不加以限定。

显示屏805用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置电子设备800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在电子设备800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在电子设备800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用lcd(liquidcrystaldisplay,液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在电子设备的前面板,后置摄像头设置在电子设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。

定位组件808用于定位电子设备800的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件808可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源809用于为电子设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中,电子设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。

加速度传感器811可以检测以电子设备800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器812可以检测电子设备800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对电子设备800的3d动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器813可以设置在电子设备800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在电子设备800的侧边框时,可以检测用户对电子设备800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,由处理器801根据用户对触摸显示屏805的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置电子设备800的正面、背面或侧面。当电子设备800上设置有物理按键或厂商logo时,指纹传感器814可以与物理按键或厂商logo集成在一起。

光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。

接近传感器816,也称距离传感器,通常设置在电子设备800的前面板。接近传感器816用于采集用户与电子设备800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与电子设备800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与电子设备800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图8中示出的结构并不构成对电子设备800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

在本公开实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由电子设备中的处理器执行以用于实现如上各个实施例中语音控制的方法。例如,所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

在本公开实施例中,还提供了一种计算机程序产品,该计算机程序产品包括至少一个计算机程序,该至少一个计算机程序被处理器执行时,用于实现如上各个实施例中语音控制的方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本公开的可选实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1