本公开涉及测试领域,尤其涉及一种语音交互响应速度的测试方法、装置、电子设备及计算机可读存储介质。
背景技术:
作为一种人机交互的手段,语音交互技术在解放人类双手方面意义重大。随着各种智能设备的出现,语音交互成为了互联网入口的新价值所在,越来越多的智能设备加入了语音唤醒的潮流,成为人与设备沟通的桥梁。
目前越来越多的设备可以使用语音来控制,比如典型的智能手机、智能音箱等。除了上述智能终端设备,很多大型的设备也可以使用语音来控制,如电梯等。
电梯是指服务于建筑物内若干特定的楼层,其轿厢运行在至少两列垂直于水平面或与铅垂线倾斜角小于15°的刚性轨道运动的永久运输设备。智能电梯语音交互系统在传统电梯通过按钮控制的基础上,增加了语音控制命令的支持,乘梯人无需手动操作,单纯通过语音即可实现对电梯的控制。智能电梯交互系统作为一个新兴事物,其响应速度直接影响到用户的使用体验。目前现有技术中还缺乏对智能电梯语音交互系统响应速度的测试方案。
技术实现要素:
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
为了解决现有技术中缺乏对智能电梯的语音交互系统响应速度的测试方案,本公开提供了以下技术方案。
第一方面,本公开实施例提供一种语音交互响应速度的测试方法,包括:
获取语音测试集;
根据所述语音测试集触发语音交互;
获取所述语音交互的开始时间和所述语音交互的结束时间;
根据所述开始时间和所述结束时间计算所述语音交互响应速度。
进一步的,在所述获取语音测试集之前,还包括:
获取待测试语音交互的类型,其中所述待测试语音交互的类型包括语音唤醒、语音识别、语音打断、语音合成中的至少一个。
进一步的,在所述获取语音测试集之前,还包括:
接收所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件,其中所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件与所述语音交互的类型相关。
进一步的,当所述语音交互的类型为语音唤醒时,所述语音交互的开始时间的采集条件为被测试语音交互系统生成语音唤醒词所对应的语音唤醒指令,所述语音交互的结束时间的采集条件为被测系统输出针对所述语音唤醒指令的响应信号;
当所述语音交互的类型为语音识别时,所述语音交互的开始时间的采集条件为被测试语音交互系统得到最后一个语音数据包,所述语音交互的结束时间的采集条件为被测试语音交互系统输出语音识别的结果;
当所述语音交互的类型为语音打断时,所述语音交互的开始时间的采集条件为被测试语音交互系统在上次语音交互指令还未执行完时生成语音唤醒词所对应的语音唤醒指令,所述语音交互的结束时间的采集条件为被测系统在上次语音交互指令还未执行完时输出针对所述语音唤醒指令响应信号;
当所述语音交互的类型为语音合成时,所述语音交互的开始时间的采集条件为被测试语音交互系统接收到待合成文本,所述语音交互的开始时间的采集条件为被测试语音交互系统输出合成语音的第一个语音数据包。
进一步的,所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统输出语音响应;或者,
所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统输出屏幕显示响应;或者,
所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统做出硬件动作响应。
进一步的,当所述被测语音交互系统为离线系统时,所述语音交互响应速度在0-700ms之间;当所述被测语音交互系统为在线系统时,所述语音交互响应速度在0-1500ms之间。
进一步的,所述根据所述语音测试集触发语音交互,包括:
根据所述语音测试集触发与所述语音交互类型对应的语音交互过程。
进一步的,所述获取所述语音交互的开始时间和所述语音交互的结束时间,包括:
获取所述语音交互的开始时间的采集条件被触发时的时间作为语音交互的开始时间;
获取所述语音交互的结束时间的采集条件被触发时的时间作为语音交互的结束时间。
进一步的,所述根据所述开始时间和所述结束时间计算所述语音交互响应速度,包括:
计算所述结束时间与所述开始时间的差值作为所述语音交互响应速度。
进一步的,所述根据所述开始时间和所述结束时间计算所述语音交互响应速度包括:
计算所述结束时间、所述开始时间和终端与服务端之间的网络延时之间的差值作为所述语音交互响应速度。
进一步的,所述方法还包括:
显示所述语音交互响应速度。
进一步的,所述语音测试集中包括多个测试语音,所述方法还包括:
计算通过所述多个测试语音得到的多个语音交互响应速度的平均值作为所述语音交互响应速度。
第二方面,本公开实施例提供一种语音交互响应速度的测试装置,包括:
测试集获取模块,用于获取语音测试集;
触发模块,用于根据所述语音测试集触发语音交互;
时间获取模块,用于获取所述语音交互的开始时间和所述语音交互的结束时间;
速度计算模块,用于根据所述开始时间和所述结束时间计算所述语音交互响应速度。
进一步的,所述语音交互响应速度的测试装置,还包括:
类型获取模块,用于获取待测试语音交互的类型,其中所述待测试语音交互的类型包括语音唤醒、语音识别、语音打断、语音合成中的至少一个。
进一步的,所述语音交互响应速度的测试装置,还包括:
条件接收模块,用于接收所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件,其中所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件与所述语音交互的类型相关。
进一步的,当所述语音交互的类型为语音唤醒时,所述语音交互的开始时间的采集条件为被测试语音交互系统生成语音唤醒词所对应的语音唤醒指令,所述语音交互的结束时间的采集条件为被测系统输出针对所述语音唤醒指令的响应信号;
当所述语音交互的类型为语音识别时,所述语音交互的开始时间的采集条件为被测试语音交互系统得到最后一个语音数据包,所述语音交互的结束时间的采集条件为被测试语音交互系统输出语音识别的结果;
当所述语音交互的类型为语音打断时,所述语音交互的开始时间的采集条件为被测试语音交互系统在上次语音交互指令还未执行完时生成语音唤醒词所对应的语音唤醒指令,所述语音交互的结束时间的采集条件为被测系统在上次语音交互指令还未执行完时输出针对所述语音唤醒指令响应信号;
当所述语音交互的类型为语音合成时,所述语音交互的开始时间的采集条件为被测试语音交互系统接收到待合成文本,所述语音交互的开始时间的采集条件为被测试语音交互系统输出合成语音的第一个语音数据包。
进一步的,所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统输出语音响应;或者,
所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统输出屏幕显示响应;或者,
所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统做出硬件动作响应。
进一步的,当所述被测语音交互系统为离线系统时,所述语音交互响应速度在0-700ms之间;当所述被测语音交互系统为在线系统时,所述语音交互响应速度在0-1500ms之间。
进一步的,所述触发模块还用于:根据所述语音测试集触发与所述语音交互类型对应的语音交互过程。
进一步的,所述时间获取模块,还用于:
获取所述语音交互的开始时间的采集条件被触发时的时间作为语音交互的开始时间;
获取所述语音交互的结束时间的采集条件被触发时的时间作为语音交互的结束时间。
进一步的,所述速度计算模块,还用于:
计算所述结束时间与所述开始时间的差值作为所述语音交互响应速度。
进一步的,所述速度计算模块,还用于:
计算所述结束时间、所述开始时间和终端与服务端之间的网络延时之间的差值作为所述语音交互响应速度。
进一步的,所述语音交互响应速度的测试装置,还包括:
显示模块,用于显示所述语音交互响应速度。
进一步的,所述语音测试集中包括多个测试语音,所述语音交互响应速度的测试装置400,还包括:
平均计算模块,用于计算通过所述多个测试语音得到的多个语音交互响应速度的平均值作为所述语音交互响应速度。
第三方面,本公开实施例提供一种电子设备,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面中的任一所述方法。
第四方面,本公开实施例提供一种非暂态计算机可读存储介质,其特征在于,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行前述第一方面中的任一所述方法。
本公开实施例公开了一种语音交互响应速度的测试方法、装置、电子设备和计算机可读存储介质。其中该语音交互响应速度的测试方法包括:获取语音测试集;根据所述语音测试集触发语音交互;获取所述语音交互的开始时间和所述语音交互的结束时间;根据所述开始时间和所述结束时间计算所述语音交互响应速度。上述方法通过获取语音交互的开始时间和结束时间得到语音交互响应速度,解决了现有技术中没有针对语音交互系统响应速度的测试方案的技术问题。
上述说明仅是本公开技术方案的概述,为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例的应用场景示意图;
图2为本公开实施例提供的语音交互响应速度的测试方法的流程示意图;
图3为本公开实施例提供的语音交互响应速度的测试方法中获取所述语音交互的开始时间和所述语音交互的结束时间的示意图;
图4为本公开实施例提供的语音交互响应速度的测试装置的实施例的结构示意图;
图5为根据本公开实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
图1为本公开实施例的应用场景示意图。如图1所示,语音发生设备101向电梯102输入语音数据(当然向电梯102输入语音数据的也可以是测试人员,即测试人员直接发出测试语音),电梯102中或者服务端设备103通过网络连接,其中,语音交互系统安装在所述电梯102中,语音交互通过电梯中的语音交互系统离线的完成语音交互处理;或者,所述语音交互系统安装在所述服务端设备中,当所述电梯接收到输入的语音数据之后,将其发送至所述服务端设备103中进行在线语音交互处理得到处理结果。其中,电梯102与服务端设备103进行通信所依赖的网络可以是无线网络,例如5g网络和wifi网络等,还可以是有线网络,例如光纤网络。在该应用场景下,语音发生设备101发出语音,电梯102采集语音进行离线或在线处理,安装在电梯102中或者服务端设备103中的测试程序得到语音交互系统的语音交互响应速度。
图2为本公开实施例提供的语音交互响应速度的测试方法实施例的流程图,本实施例提供的该语音交互响应速度的测试方法可以由一语音交互响应速度的测试装置来执行,该语音交互响应速度的测试装置可以实现为软件,或者实现为软件和硬件的组合,该语音交互响应速度的测试装置可以集成设置在语音交互响应速度的测试系统中的某设备中,比如语音交互响应速度的测试服务器(如图1中的服务端设备103)或者语音交互响应速度的测试终端设备(如图1中的电梯102)中。如图2所示,该方法包括如下步骤:
步骤s201,获取语音测试集;
可选的,所述语音测试集为语音交互系统所能处理的各种语音,其可以是针对某一应用场景的语音指令集合或者语音交互系统所能理解的语音。针对智能电梯的应用场景,示例性的语音测试集为:上楼、下楼、去x楼(层)、上x楼(层)、到x楼(层)、取消去x楼(层)等等,对于集成了其他功能的智能电梯,所述语音测试集中还可以包括:今天的天气如何、放一首歌、打卡等等。
可选的,所述语音测试集中为各种各样的文本,其可以用作语音合成交互系统的测试。
可选的,所述语音测试集中的语音包括各种质量的语音,如纯净的语音、各种音色的语音、包括噪声的语音等等,以使测试环境更接近真实的环境。
可选的,所述语音测试集中的语音通过语音播放设备播放,典型的如智能手机、智能音箱等各种智能终端,或者可以是具有语音播放功能且专用于语音测试的手持终端设备,也可以是传统的音乐或语音播放设备,如mp3播放器等。
可选的,所述语音测试集中的文本通过终端设备如计算机或者智能手机等传输到待测试系统中。
可选的,在所述步骤s201之前,还包括:
获取待测试语音交互的类型,其中所述待测试语音交互的类型包括语音唤醒、语音识别、语音打断、语音合成中的至少一个。
可选的,所述获取待测试语音交互的类型可以通过人机接口进行配置,即在待测试系统中预先配置了多个类型的语音交互的测试规则,在执行所述步骤s201之前可以通过人机交互接口进行配置;或者,可选的,所述获取待测试语音交互的类型可以通过在所述待测试系统中存入测试脚本来实现,每个测试脚本对应一个类型的语音交互的类型,通过脚本的不同来获取待测试语音交互的类型。
步骤s202,根据所述语音测试集触发语音交互;
在该步骤中,当待测试系统接收到所述语音测试集中的语音之后,触发对应的语音交互过程。
可选的,所述步骤s202包括:根据所述语音测试集触发与所述语音交互类型对应的语音交互过程。可选的,当所述语音交互类型为语音唤醒,则通过语音测试集中的语音唤醒词触发所述待测试系统的语音唤醒交互过程;当所述语音交互类型为语义识别时,通过语音测试集中的测试语音触发待测试系统的语义识别交互过程;当所述语音交互类型为语音打断时,通过语音测试集中的语音唤醒词触发所述待测试系统的语音唤醒交互过程以对当前正在执行的其他语音交互过程进行打断;当所述语音交互类型为语音合成时,通过语音测试集中的文本触发语音合成的交互过程。
步骤s203,获取所述语音交互的开始时间和所述语音交互的结束时间;
在该步骤中,获取所述待测语音交互系统触发所述语音交互的开始时间以及完成所述语音交互的结束时间。
可选的,在步骤s201之前还包括:接收所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件,其中所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件与所述语音交互的类型相关。
在此基础上,可选的,所述步骤s203包括:
步骤s301,获取所述语音交互的开始时间的采集条件被触发时的时间作为语音交互的开始时间;
步骤s302,获取所述语音交互的结束时间的采集条件被触发时的时间作为语音交互的结束时间。
可选的,所述步骤s301和步骤s302通过在待测试系统中运行预先编写好的测试代码来执行,所述代码中预先定义了所述语音交互的开始时间和结束时间,即定义了在什么事件发生的时候的时间为所述语音交互的开始时间,在什么事件发生的时候的时间为所述语音交互的结束时间,此处的事件即为所述采集条件。该实施例中的采集可以是实时采集,即当事件发生即采集待测试系统的时间;或者该实施例中的采集也可以是离线采集,即当测试结束之后根据待测试系统中的记录来查找符合采集条件的开始时间和结束时间。
在一个实施例中,所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件根据语音交互的类型不同而不同。
示例性的,当所述语音交互的类型为语音唤醒时,所述语音交互的开始时间的采集条件为被测试语音交互系统生成语音唤醒词所对应的语音唤醒指令,所述语音交互的结束时间的采集条件为被测系统输出针对所述语音唤醒指令输出响应信号。在该类型的语音交互过程中,待测试系统中包括唤醒模型,用于将语音转换成唤醒指令(该唤醒指令为唤醒模型在识别唤醒词之后,做出唤醒判断时,给出的指示信号,用于触发系统启动后续的响应。),而待测试系统在生成所述唤醒指令的时候会有唤醒指令的时间戳被记录在所述唤醒指令中;在该实施例中,对所述唤醒指令进行解析得到生成所述唤醒指令的时间戳,将所述时间戳对应的时间作为语音交互的开始时间;或者,唤醒模型给出唤醒指令之后,记录此时的时钟时间,并将其作为所述开始时间。之后当系统做出针对于该该语音唤醒输出响应信号时(如声音信号、显示信号或其他信号等),通过记录该响应信号输出时的时刻,将其作为所述语音交互的结束时间。或者当系统做出针对于该该语音唤醒输出响应信号时该响应信号表示所述唤醒指令已经被执行,由于待测试系统在生成所述响应信号(例如语音合成)的时候会记录生成所述响应信号的时间,因此可通过获取该时间作为所述语音交互的结束时间。
示例性的,当所述语音交互的类型为语音识别时,所述语音交互的开始时间的采集条件为被测试语音交互系统得到最后一个语音数据包,所述语音交互的结束时间的采集条件为被测试语音交互系统输出语音识别的结果。在该类型的语音交互过程中,在被测试系统中监听语音输入数据,得到最后一个语音数据包的输入时间戳,将该输入时间戳所对应的时间作为语音交互的开始时间;在该实施例中,所述待测试语音交互系统中包括语音识别模型,所述语音识别模型用于输入语音数据并输出所述语音数据所对应的识别结果,将所述识别结果的输出时间戳所对应的时间作为语音交互的结束时间。其中,所述识别结果的输出时间戳可以是模型输出识别结果的时间,也可以是所述待测系统通过响应信号输出识别结果的时间,此处可以根据需要在执行所述测试方法之前进行定义。
示例性的,当所述语音交互的类型为语音打断时,所述语音交互的开始时间的采集条件为被测试语音交互系统在上次语音交互还未执行完时生成语音唤醒词所对应的语音唤醒指令,所述语音交互的结束时间的采集条件为被测系统在上次语音交互指令还未执行完时输出针对所述语音唤醒指令响应信号。在该类型的语音交互过程中,所述语音打断是通过语音唤醒实现的,因此其开始时间和结束时间的采集条件与语音唤醒的交互过程可以相同,只是在测试时在上次语音交互还未执行完时输入唤醒语音即可,如测试语音先播放了“到10楼去”,之后马上播放唤醒语音“你好小易”,以此来测试语音打断的响应速度。
示例性的,当所述语音交互的类型为语音合成时,所述语音交互的开始时间的采集条件为被测试语音交互系统接收到待合成文本,所述语音交互的开始时间的采集条件为被测试语音交互系统输出合成语音的第一个语音数据包。在该类型的语音交互过程中,语音合成交互需要被测语音交互系统接收待合成语音所对应的待合成文本,将其输入所述合成模型中以生成对应的语音数据,因此可以获取被测语音交互系统接收到待合成文本(即待合成文本输入合成模型)的时间戳所对应的时间作为语音交互的开始时间;获取被测试语音交互系统输出合成语音的第一个语音数据包(即合成模型输出合成语音的第一个而语音数据包),将第一个语音输出包的输出时间戳所对应的时间作为所述语音交互的结束时间。
可以理解的,语音交互类型不限于上述举例,其他的语音交互类型可以根据需要设置语音交互的开始时间的采集条件和结束时间的采集条件,以采集到开始时间和结束时间,在此不再赘述。
以上是从语音交互的类型的角度采集开始时间和结束时间,而在实际应用中,用户更关心的可能是一次实际应用时语音交互系统的响应时间。在实际应用中,所述待测试系统一次会接收到很多种命令,如在电梯的应用场景下,用户说出“你好小易,去10楼”这实际上会涉及多个上述语音交互类型,此时可以从电梯的响应的角度来采集开始时间和结束时间。
可选的,所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统输出语音响应;或者,
所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统输出屏幕显示响应;或者,
所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统做出硬件动作响应。
上述语音交互开始时间的采集条件中的“完成接收语音信号”,指的是被测试语音交互系统完成最后一个语音数据包的接收。而“语音信号”可以仅包含唤醒词而未包含命令词,或者仅包含命令词而未包含唤醒词,或者既包含唤醒词且包含命令词。
上述语音响应为被测试语音交互系统通过语音播放装置播放反馈语音。如用户说出“你好小易”,电梯播放“在”。在实际应用中,存在以下三种情况:(1)用户上电梯后,发出的唤醒词(如“小易小易”)和命令词(如“去x楼”)之间有停顿,因此被测语音交互系统会先针对唤醒词进行语音响应,即直接给出语音响应“在”,这种情况的响应速度只是针对唤醒的响应,该情况与上述语音交互类型中的唤醒类型相同;(2)与(1)为一同场景,唤醒词停顿之后,用户在发出命令词之后,系统会对针对命令词的给出语音响应如“好的,现在去x楼”,这种针对命令词的语音响应实际上是经历了“语音识别”、“语义识别”、“语音合成”这三个过程,因此,这种情况的响应速度实际上是“语音识别响应时间”、“语义识别响应时间”、“语音合成响应时间”之和;(3)用户上电梯后,发出的唤醒词(如“小易小易”)和命令词(如“去x楼”)之间没有停顿,因此电梯语音系统会直接响应命令词,即用户发出“小易小易去x楼”,系统直接发出“好的,现在去x楼”,这种情况的响应速度实际上是经历了“唤醒”、“语音识别”、“语义识别”、“语音合成”这四个过程,因此,这种情况的响应速度实际上是“唤醒响应时间”、“语音识别响应时间”、“语义识别响应时间”、“语音合成响应时间”之和;在上述3中情况下,需要采集被测系统完成接收语音信号的时间作为开始时间,采集被测系统输出语音的时间作为结束时间。
其中,所述屏幕显示响应为被测试语音交互系统通过显示装置播放反馈图像。应用场景与上述语音响应相同,不同的在于采集被测输出屏幕显示响应的时间作为结束时间。如针对唤醒的屏幕显示响应,例如用户发出“小易小易”,则屏幕上显示“小易小易”,此时以输出显示的时间为结束时间即可;其他情况可以类推,在此不再赘述。
其中,所述硬件动作响应为被测试语音交互系统通过其硬件部件对语音命令做出响应。以电梯为例,电梯硬件动作响应,一般都是对语音中的命令词的响应,而只要是涉及命令词识别的都会涉及语音识别、语义识别,因此响应速度都包含着两种类型的响应时间。其包括下面两种情况:(1)用户发出“去x楼”的命令,此时电梯按钮x高亮,在该情况下,以按钮高亮响应的时间为结束时间,进而计算按钮高亮的响应速度;(2)有用户要上电梯,但此时电梯门正在/正要闭合,此时用户喊“等等”时,电梯暂停关门或者自动打开门,以电梯控制模块接收到控制指令的时间为结束时间,进而计算电梯门的控制响应速度。
以上是用过应用的角度测试语音交互系统的响应速度,其一般都会包括一个或多个语音交互类型,在测试响应速度时,一般以第一个语音交互类型的触发时间为开始时间,以最后一个语音交互类型的结束时间为结束时间,以此来计算语音交互系统的响应速度。
步骤s204,根据所述开始时间和所述结束时间计算所述语音交互响应速度。
在一个实施例中,可以直接根据所述开始时间和所述结束时间计算响应速度,此时所述步骤s204包括:计算所述结束时间与所述开始时间的差值作为所述语音交互响应速度。即将所述结束时间减去所述开始时间得到的时间差值作为所述语音交互响应速度。
在另一个实施例中,被测语音交互系统分为终端和服务端,如果测试在终端中执行,而语音交互的服务由服务端提供,此时需要考虑网络延时,此时所述步骤s204包括:计算所述结束时间、所述开始时间和终端与服务端之间的网络延时之间的差值作为所述语音交互响应速度。即将所述结束时间减去所述开始时间再减去终端与服务端之间的网络延时所得到的时间差值作为所述语音交互响应速度。其中,所述网络延迟可以是实时的网络延迟,也可以是测试时整段时间的网络延迟的平均值,在此不再赘述。
进一步的,所述语音交互响应速度的测试方法还包括:显示所述语音交互响应速度。即通过被测语音交互系统的显示装置显示通过步骤s204得到的响应速度。所述显示所述语音交互响应速度也可以是显示在监控终端上,示例性的,在测试时可以使用一个监控终端来监控测试的过程,则每次的测试结果可以显示在所述监控终端的显示装置上。
可选的,上述测试步骤可以编写成测试代码,并安装在待测试语音系统中以完成对应的功能。示例性的,所述测试代码包括多个功能模块,其至少包括:开始时间采集模块,用于采集所述语音交互的开始时间;结束时间采集模块,用于采集所述语音交互的结束时间;计算模块,用于根据开始时间和结束时间计算响应速度。所述测试代码还可以包括显示模块,其将响应速度生成显示装置可以显示的纹理信息以将响应速度显示于显示装置上。
可以理解的,所述测试方法可以在终端设备上执行也可以在服务端设备上执行,如果所述语音交互为离线交互,则所述测试方法在终端设备上执行;如果所述语音交互为在线交互,则所述测试方法在终端设备上执行或者在服务端设备上执行,可以根据测试的需求来确定。
进一步的,一次的测试可能是存在误差的,因此在一个实施例中,所述语音测试集中包括多个测试语音,所述方法还包括:计算通过所述多个测试语音得到的多个语音交互响应速度的平均值作为所述语音交互响应速度。即多次执行上述测试步骤,计算多次得到的响应速度的平均值作为最终的语音交互响应速度。
可选的,当所述被测语音交互系统为离线系统时,所述语音交互响应速度在0-700ms之间,优选0-500ms之间,即不大于700ms;当所述被测语音交互系统为在线系统时,所述语音交互响应速度在0-1500ms之间,优选0-1000ms之间,即不大于1000ms。
本公开上述实施例公开了一种语音交互响应速度的测试方法,其中所述语音交互响应速度的测试方法包括:获取语音测试集;根据所述语音测试集触发语音交互;获取所述语音交互的开始时间和所述语音交互的结束时间;根据所述开始时间和所述结束时间计算所述语音交互响应速度。上述方法通过获取语音交互的开始时间和结束时间得到语音交互响应速度,解决了现有技术中没有针对语音交互系统响应速度的测试方案的技术问题。
在上文中,虽然按照上述的顺序描述了上述方法实施例中的各个步骤,本领域技术人员应清楚,本公开实施例中的步骤并不必然按照上述顺序执行,其也可以倒序、并行、交叉等其他顺序执行,而且,在上述步骤的基础上,本领域技术人员也可以再加入其他步骤,这些明显变型或等同替换的方式也应包含在本公开的保护范围之内,在此不再赘述。
图4为本公开实施例提供的语音交互响应速度的测试装置实施例的结构示意图,如图4所示,该装置400包括:测试集获取模块401、触发模块402、时间获取模块403和速度计算模块404。其中,
测试集获取模块401,用于获取语音测试集;
触发模块402,用于根据所述语音测试集触发语音交互;
时间获取模块403,用于获取所述语音交互的开始时间和所述语音交互的结束时间;
速度计算模块404,用于根据所述开始时间和所述结束时间计算所述语音交互响应速度。
进一步的,所述语音交互响应速度的测试装置400,还包括:
类型获取模块,用于获取待测试语音交互的类型,其中所述待测试语音交互的类型包括语音唤醒、语音识别、语音打断、语音合成中的至少一个。
进一步的,所述语音交互响应速度的测试装置400,还包括:
条件接收模块,用于接收所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件,其中所述语音交互的开始时间的采集条件和语音交互的结束时间的采集条件与所述语音交互的类型相关。
进一步的,当所述语音交互的类型为语音唤醒时,所述语音交互的开始时间的采集条件为被测试语音交互系统生成语音唤醒词所对应的语音唤醒指令,所述语音交互的结束时间的采集条件为被测系统输出针对所述语音唤醒指令的响应信号;
当所述语音交互的类型为语音识别时,所述语音交互的开始时间的采集条件为被测试语音交互系统得到最后一个语音数据包,所述语音交互的结束时间的采集条件为被测试语音交互系统输出语音识别的结果;
当所述语音交互的类型为语音打断时,所述语音交互的开始时间的采集条件为被测试语音交互系统在上次语音交互指令还未执行完时生成语音唤醒词所对应的语音唤醒指令,所述语音交互的结束时间的采集条件为被测系统在上次语音交互指令还未执行完时输出针对所述语音唤醒指令响应信号;
当所述语音交互的类型为语音合成时,所述语音交互的开始时间的采集条件为被测试语音交互系统接收到待合成文本,所述语音交互的开始时间的采集条件为被测试语音交互系统输出合成语音的第一个语音数据包。
进一步的,所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统输出语音响应;或者,
所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统输出屏幕显示响应;或者,
所述语音交互的开始时间的采集条件为被测试语音交互系统完成接收语音信号,所述语音交互的结束时间的采集条件为被测系统做出硬件动作响应。
进一步的,当所述被测语音交互系统为离线系统时,所述语音交互响应速度在0-700ms之间;当所述被测语音交互系统为在线系统时,所述语音交互响应速度在0-1500ms之间。
进一步的,所述触发模块402还用于:根据所述语音测试集触发与所述语音交互类型对应的语音交互过程。
进一步的,所述时间获取模块403,还用于:
获取所述语音交互的开始时间的采集条件被触发时的时间作为语音交互的开始时间;
获取所述语音交互的结束时间的采集条件被触发时的时间作为语音交互的结束时间。
进一步的,所述速度计算模块404,还用于:
计算所述结束时间与所述开始时间的差值作为所述语音交互响应速度。
进一步的,所述速度计算模块404,还用于:
计算所述结束时间、所述开始时间和终端与服务端之间的网络延时之间的差值作为所述语音交互响应速度。
进一步的,所述语音交互响应速度的测试装置400,还包括:
显示模块,用于显示所述语音交互响应速度。
进一步的,所述语音测试集中包括多个测试语音,所述语音交互响应速度的测试装置400,还包括:
平均计算模块,用于计算通过所述多个测试语音得到的多个语音交互响应速度的平均值作为所述语音交互响应速度。
图4所示装置可以执行图2和图3所示实施例的方法,本实施例未详细描述的部分,可参考对图2和图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2和图3所示实施例中的描述,在此不再赘述。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
通常,以下装置可以连接至i/o接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从rom502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如http(hypertexttransferprotocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,adhoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取语音测试集;根据所述语音测试集触发语音交互;获取所述语音交互的开始时间和所述语音交互的结束时间;根据所述开始时间和所述结束时间计算所述语音交互响应速度。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。