用于生成车载声学模型的方法和装置与流程

文档序号:17447350发布日期:2019-04-17 05:52阅读:214来源:国知局
用于生成车载声学模型的方法和装置与流程

本公开的实施例涉及计算机技术领域,具体涉及用于生成车载声学模型的方法和装置。



背景技术:

相关技术中,对声学模型进行训练之前,在训练样本准备阶段,往往需要从可能使用该声学模型的真实场景中人工采集大量真实语音数据。从而利用所采集到的真实语音数据对声学模型进行训练。



技术实现要素:

本公开的实施例提出了用于生成车载声学模型的方法和装置。

第一方面,本公开的实施例提供了一种用于生成车载声学模型的方法,该方法包括:从预先训练的声学模型组中选择声学模型作为初始声学模型;获取预先生成的训练样本集,其中,训练样本包括样本车载语音数据和对应于样本车载语音数据的样本车载语音识别结果;基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型。

在一些实施例中,基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型,包括:从训练样本集中选取训练样本,执行如下训练步骤:将所选取的训练样本中的样本车载语音数据输入初始声学模型,得到实际输出;根据与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出的差异,调整初始声学模型的参数,以得到调整后的初始声学模型;确定训练样本集中是否存在未被选取的训练样本;响应于确定不存在,将调整后的初始声学模型确定为所述车载声学模型;响应于确定存在,使用调整后的初始声学模型作为初始声学模型,从训练样本集中选取未选取过的训练样本,继续执行训练步骤。

在一些实施例中,根据与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出的差异,调整初始声学模型的参数,包括:将与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出,输入预先确定的损失函数,得到损失值;响应于确定所得到的损失值大于预设的损失阈值,调整初始声学模型的参数。

在一些实施例中,从预先训练的声学模型组中选择声学模型,包括:获取预先存储的测试样本集,其中,测试样本包括真实车载语音数据和对应于真实车载语音数据的真实车载语音识别结果;对于声学模型组中的声学模型,执行如下统计步骤:对于测试样本集中的测试样本,将该测试样本中的真实车载语音数据输入该声学模型,得到模型输出结果;根据该测试样本中的真实车载语音识别结果和所得到的模型输出结果,确定该声学模型对该测试样本的识别率;将所确定的识别率存入识别率集合;根据对应于声学模型组的识别率集合组,从声学模型组中确定出声学模型。

在一些实施例中,训练样本集通过如下步骤生成:获取至少一个语音交互场景下的语音数据,得到语音数据集合;对于语音数据集合中的语音数据,基于预先确定的车载冲激响应数据集合和预先确定的车载噪声数据集合,生成对应于该语音数据的仿真语音数据作为样本车载语音数据,存入样本车载语音数据集合;对于样本车载语音数据集合中的样本车载语音数据,对该样本车载语音数据进行标注,得到样本车载语音识别结果;将该样本车载语音数据和所得到的样本车载语音识别结果,作为训练样本存入训练样本集。

第二方面,本公开的实施例提供了一种用于识别语音的方法,该方法包括:接收车载语音数据;将车载语音数据输入采用如上述第一方面中任一实施例所描述的方法生成的车载声学模型,得到对应于车载语音数据的车载语音识别结果。

第三方面,本公开的实施例提供了一种用于生成车载声学模型的装置,该装置包括,模型选择单元,被配置成从预先训练的声学模型组中选择声学模型作为初始声学模型;样本获取单元,被配置成获取预先生成的训练样本集,其中,训练样本包括样本车载语音数据和对应于样本车载语音数据的样本车载语音识别结果;模型训练单元,被配置成基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型。

在一些实施例中,模型训练单元,被进一步配置成:从训练样本集中选取训练样本,执行如下训练步骤:将所选取的训练样本中的样本车载语音数据输入初始声学模型,得到实际输出;根据与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出的差异,调整初始声学模型的参数,以得到调整后的初始声学模型;确定训练样本集中是否存在未被选取的训练样本;响应于确定不存在,将调整后的初始声学模型确定为所述车载声学模型;响应于确定存在,使用调整后的初始声学模型作为初始声学模型,从训练样本集中选取未选取过的训练样本,继续执行训练步骤。

在一些实施例中,模型训练单元中,根据与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出的差异,调整初始声学模型的参数,包括:将与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出,输入预先确定的损失函数,得到损失值;响应于确定所得到的损失值大于预设的损失阈值,调整初始声学模型的参数。

在一些实施例中,模型选择单元,被进一步配置成:获取预先存储的测试样本集,其中,测试样本包括真实车载语音数据和对应于真实车载语音数据的真实车载语音识别结果;对于声学模型组中的声学模型,执行如下统计步骤:对于测试样本集中的测试样本,将该测试样本中的真实车载语音数据输入该声学模型,得到模型输出结果;根据该测试样本中的真实车载语音识别结果和所得到的模型输出结果,确定该声学模型对该测试样本的识别率;将所确定的识别率存入识别率集合;根据对应于声学模型组的识别率集合组,从声学模型组中确定出声学模型。

在一些实施例中,样本获取单元中,训练样本集通过如下步骤生成:获取至少一个语音交互场景下的语音数据,得到语音数据集合;对于语音数据集合中的语音数据,基于预先确定的车载冲激响应数据集合和预先确定的车载噪声数据集合,生成对应于该语音数据的仿真语音数据作为样本车载语音数据,存入样本车载语音数据集合;对于样本车载语音数据集合中的样本车载语音数据,对该样本车载语音数据进行标注,得到样本车载语音识别结果;将该样本车载语音数据和所得到的样本车载语音识别结果,作为训练样本存入训练样本集。

第四方面,本公开的实施例提供了一种用于识别语音的装置,该装置包括:语音接收单元,被配置成接收车载语音数据;语音识别单元,被配置成将车载语音数据输入采用如上述第一方面中任一实施例所描述的方法生成的车载声学模型,得到对应于车载语音数据的车载语音识别结果。

第五方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述第一方面和第二方面中任一实施例所描述的方法。

第六方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现如上述第一方面和第二方面中任一实施例所描述的方法。

本公开的实施例提供的用于生成车载声学模型的方法和装置,可以从预先训练的声学模型组中选择声学模型作为初始声学模型。然后,获取预先生成的训练样本集。其中,训练样本包括样本车载语音数据和对应于样本车载语音数据的样本车载语音识别结果。最后,基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型。本实施例的方法和装置,从预先训练的声学模型组中选择声学模型作为初始声学模型进行训练,以生成车载声学模型,丰富了模型的生成方式。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:

图1是本公开的一个实施例可以应用于其中的示例性系统架构图;

图2是根据本公开的用于生成车载声学模型的方法的一个实施例的流程图;

图3是根据本公开的实施例的用于生成车载声学模型的方法的一个应用场景的示意图;

图4是根据本公开的用于生成车载声学模型的装置的一个实施例的结构示意图;

图5是根据本公开的用于识别语音的方法的一个实施例的流程图;

图6是根据本公开的用于识别语音的装置的一个实施例的结构示意图;

图7是适于用来实现公开的实施例的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。

需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的实施例的用于生成车载声学模型的方法或用于生成车载声学模型的装置的示例性系统架构100。

如图1所示,系统架构100可以包括数据库服务器101,网络102和服务器103。网络102用以在数据库服务器101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

数据库服务器101可以通过网络102与服务器103交互,以接收或发送消息等。数据库服务器101可以实现成提供各种数据存储服务的分布式服务器集群,也可以实现成单个服务器。例如,存储有训练样本集的服务器。数据库服务器101可以将所存储的训练样本集发送给服务器。

服务器103可以通过网络102与数据库服务器101交互,以接收或发送消息等。服务器103可以是硬件,也可以是软件。当服务器103为硬件时,可以实现成提供各种信息处理服务的分布式服务器集群,也可以实现成单个服务器。例如,采用训练样本集对预先训练的声学模型进行训练的服务器。服务器可以从预先训练的声学模型组中选择声学模型作为初始声学模型。然后,获取预先生成的训练样本集。其中,训练样本包括样本车载语音数据和对应于样本车载语音数据的样本车载语音识别结果。最后,基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型。当服务器103为软件时,可以安装在上述所列举的服务器中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是,本公开的实施例所提供的用于生成车载声学模型的方法一般由服务器103执行,相应地,用于生成车载声学模型的装置一般设置于服务器103中。需要指出的是,服务器103的本地也可以直接存储训练样本集,服务器103可以直接提取本地的训练样本集,此时,示例性系统架构100可以不包括数据库服务器101和网络102。

应该理解,图1中的数据库服务器,网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的数据库服务器,网络和服务器。

继续参考图2,示出了根据本公开的用于生成车载声学模型的方法的一个实施例的流程200。该用于生成车载声学模型的方法,包括以下步骤:

步骤201,从预先训练的声学模型组中选择声学模型作为初始声学模型。

在本实施例中,用于生成车载声学模型的方法的执行主体(例如图1所示的服务器103)可以通过多种方式从预先训练的声学模型组中选择声学模型作为初始声学模型。作为示例,执行主体可以从声学模型组中随机选择一个声学模型作为初始声学模型。其中,声学模型组中的声学模型,通常用于表征语音数据与语音识别结果的对应关系。声学模型,可以是基于对大量的语音数据和识别结果进行统计而生成的、存储有多个语音数据与语音识别结果的对应关系的对应关系表。声学模型,也可以是基于训练样本,利用机器学习方法,对初始模型(例如卷积神经网络(convolutionalneuralnetwork,cnn)、残差网络(resnet)等)进行训练后得到的模型。

在本实施例的一些可选的实现方式中,从预先训练的声学模型组中选择声学模型,可以包括:

第一步,获取预先存储的测试样本集。其中,测试样本包括真实车载语音数据和对应于真实车载语音数据的真实车载语音识别结果。这里,真实车载语音数据通常是在车载环境中所采集的语音数据。真实车载语音识别结果通常记录有真实车载语音数据的实际内容。

第二步,对于声学模型组中的声学模型,执行如下统计步骤:首先,对于测试样本集中的测试样本,将该测试样本中的真实车载语音数据输入该声学模型,得到模型输出结果。这里,执行主体可以将测试样本集中的每个测试样本输入声学模型中,以得到该声学模型分别对每个测试样本的模型输出结果。然后,根据该测试样本中的真实车载语音识别结果和所得到的模型输出结果,确定该声学模型对该测试样本的识别率。这里,执行主体可以将该声学模型针对该测试样本的模型输出结果,与该测试样本中的真实车载语音识别结果进行比较。若模型输出结果与真实车载语音识别结果相同,则认为识别正确,此时,识别率可以为100%。若不相同,则认为识别不正确,此时,识别率可以为0。可选地,执行主体还可以采用相似度计算公式计算模型输出结果与真实车载语音识别结果的相似度,以及将二者的相似度作为识别率。作为示例,上述相似度计算公式可以是余弦相似度计算公式。最后,将所确定的识别率存入识别率集合。

第三步,根据对应于声学模型组的识别率集合组,从声学模型组中确定出声学模型。这里,声学模型组中的每个声学模型对应一个识别率集合。执行主体可以先计算每个识别率集合中的识别率的和值,然后,从声学模型组中,选出对应于和值最大的声学模型。

步骤202,获取预先生成的训练样本集。

其中,训练样本包括样本车载语音数据和对应于样本车载语音数据的样本车载语音识别结果。

需要指出的是,上述训练样本集可以直接存储于本地,也可以存储于与执行主体通信连接的其他电子设备。在训练样本集存储在本地时,执行主体可以直接提取本地所存储的训练样本集以进行处理。在训练样本集存储在与执行主体通信连接的其他电子设备时,执行主体可以通过有线连接方式或者无线连接方式获取训练样本集以进行处理。

在本实施例的一些可选的实现方式中,训练样本集可以是上述执行主体或者其他用于生成训练样本集的执行主体,通过如下步骤生成:

第一步,获取至少一个语音交互场景下的语音数据,得到语音数据集合。这里,执行主体可以通过麦克风、手机等可以采集语音的设备获取多个语音交互场景下的语音数据。其中,上述语音交互场景可以是指人通过语音与机器进行语音交互的各种场景。作为示例,上述语音交互场景可以是人通过语音与地图应用进行语音交互以实现地图导航的场景。作为又一示例,语音交互场景还可以是人通过语音与音箱进行语音交互以实现音乐播放的场景。需要指出的是,上述所获取的语音交互场景下的语音数据通常是指语音交互场景下人发出的语音数据。

第二步,对于语音数据集合中的语音数据,基于预先确定的车载冲激响应数据集合和预先确定的车载噪声数据集合,生成对应于该语音数据的仿真语音数据作为样本车载语音数据,存入样本车载语音数据集合。这里,上述车载冲激响应数据是冲激函数作为输入信号,在车辆所形成的空间中传播和反射后,在接收点产生的输出信号。上述冲激函数是指除零以外的点上信号强度为零,且在整个定义域上的积分等于1的函数。上述车载噪声数据可以为在车辆中测得的不同应用场景下的噪声数据。作为示例,上述应用场景可以为晴天场景,也可以为雨天场景。上述仿真语音数据集合中的仿真语音数据通常是指采用语音合成技术合成的、模拟车载环境下的语音的仿真语音数据。

可选地,执行主体可以通过如下方式生成语音数据对应的仿真语音数据:对于车载冲激响应数据集合中的车载冲激响应数据,执行如下选取步骤:从车载噪声数据集合中选取车载噪声数据,执行如下存储步骤:将该车载冲激响应数据、语音数据和所选取的车载噪声数据代入预先确定的仿真数据确定函数,生成仿真语音数据,存入仿真语音数据集合。确定车载噪声数据集合中是否存在未被选取的车载噪声数据。响应于确定存在,从车载噪声数据集合中选择未被选取的车载噪声数据继续执行存储步骤。

其中,上述仿真数据确定函数用于表征语音数据、车载冲激响应数据、车载噪声数据与仿真语音数据的对应关系。可选地,上述仿真数据确定函数的表达式可以为y=h*x+u。其中,y为仿真语音数据,h为车载冲激响应数据,x为语音数据,*为卷积运算,+为信号叠加运算,u为车载噪声数据。

第三步,对于样本车载语音数据集合中的样本车载语音数据,首先,对该样本车载语音数据进行标注,得到样本车载语音识别结果。然后,将该样本车载语音数据和所得到的样本车载语音识别结果,作为训练样本存入训练样本集。

需要指出的是,在本公开的各个实施例中,上述车辆可以是各种车辆。例如,无人车。上述车辆也可以是各种其它交通工具。例如,飞机、轮船。

步骤203,基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型。

其中,车载声学模型用于表征语音数据与语音识别结果的对应关系。

在本实施例中,执行主体可以通过如下步骤训练得到车载声学模型:

第一步,从训练样本集中选取样本,以及执行以下训练步骤:首先,将所选取的训练样本中的样本车载语音数据输入初始声学模型,得到实际输出。然后,将与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出进行比较。根据比较结果确定初始声学模型是否训练完成。这里,上述将与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出进行比较,可以是比较二者的差值是否小于设定差值阈值。此时,若小于,则可以认为训练完成。若不小于,则可以认为没有训练完成。另外,上述将与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出进行比较,也可以是比较二者的相似度是否超过设定相似度阈值。若大于,则可以认为训练完成。若不大于,则可以认为没有训练完成。最后,响应于确定初始声学模型训练完成,将初始声学模型作为车载声学模型。

第二步,响应于确定初始声学模型未训练完成,调整初始声学模型的参数,以及从训练样本集中重新选取样本,使用调整后的初始声学模型作为初始声学模型,继续执行训练步骤。这里,执行主体可以按照预先设定的参数调整方式调整初始声学模型的参数。作为示例,执行主体可以按照每次增加设定量值来调整初始声学模型的参数。举例来说,若模型的某参数,调整前参数值是m,调整后变为m+h。待到下一次再调整,则调整为m+h+h。以此类推。

在本实施例的一些可选的实现方式中,上述执行主体还可以通过如下步骤训练得到车载声学模型:

第一步,从训练样本集中选取训练样本,执行如下训练步骤:首先,将所选取的训练样本中的样本车载语音数据输入初始声学模型,得到实际输出。然后,根据与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出的差异,调整初始声学模型的参数。这里,执行主体可以按照预先设定的参数调整方式调整初始声学模型的参数。作为示例,执行主体可以按照每次减少设定量值来调整初始声学模型的参数。举例来说,若模型的某参数,调整前参数值是m,调整后变为m-h。待到下一次再调整,则调整为m-h-h。以此类推。之后,确定训练样本集中是否存在未被选取的训练样本,响应于确定不存在,将调整后的初始声学模型确定为所述车载声学模型。

可选地,根据与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出的差异,调整初始声学模型的参数,包括:首先,将与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出,输入预先确定的损失函数,得到损失值。其中,上述损失函数通常是用于描述实际输出与期望输出间的不一致程度的函数。可选地,上述损失函数可以为连接时序分类损失函数(concurrenttechnologiescorporation)。需要指出的是,在损失函数可以为连接时序分类损失函数时,执行主体可以通过统计实际输出中的每个句子,与对应的样本车载语音识别结果的相应位置处的句子的差异,得到样本车载语音识别结果和所得到的实际输出的差异。由于对句子间的差异进行统计,与现有的对句子中的音素进行统计相比,所需的比对时间更短。因此,本实施例中的模型训练方法,可以节约模型训练过程所耗费的训练时间。然后,响应于确定所得到的损失值大于预设的损失阈值,调整初始声学模型的参数。这里,在所得到的损失值大于预设的损失阈值时,执行主体可以通过多种方式调整初始声学模型的参数。作为示例,执行主体可以采用梯度下降法,计算损失函数对初始声学模型中的参数的梯度,然后根据梯度确定初始声学模型的参数的变化量,将参数与其变化量叠加形成调整后的参数。其中,上述预设的损失阈值可以是技术人员预先设定的数值。

第二步,响应于确定存在,使用调整后的初始声学模型作为初始声学模型,从训练样本集中选取未选取过的训练样本,继续执行训练步骤。

继续参见图3,图3是根据本实施例的用于生成车载声学模型的方法的应用场景的一个示意图。

在图3的应用场景中,首先,服务器301从预先训练的声学模型组{m1,m2,m3}中选择声学模型m2作为初始声学模型。

然后,服务器301从数据库服务器302中获取训练样本集{(x1,y1),(x2,y2),(x3,y3),(x4,y4)},其中,x1,x2,x3,x4分别为样本车载语音数据。y1为对应于x1的样本车载语音识别结果。y2为对应于x2的样本车载语音识别结果。y3为对应于x3的样本车载语音识别结果。y4为对应于x4的样本车载语音识别结果。

最后,服务器301基于声学模型m2,将训练样本集{(x1,y1),(x2,y2),(x3,y3),(x4,y4)}中的训练样本中的样本车载语音数据x1,x2,x3,x4作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果y1,y2,y3,y4,作为期望输出,训练得到车载声学模型。

本公开的上述实施例提供的用于生成车载声学模型的方法,可以从预先训练的声学模型组中选择声学模型作为初始声学模型。然后,获取预先生成的训练样本集。其中,训练样本包括样本车载语音数据和对应于样本车载语音数据的样本车载语音识别结果。最后,基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型。本实施例的方法,从预先训练的声学模型组中选择声学模型作为初始声学模型进行训练,以生成车载声学模型,丰富了模型的生成方式。

进一步参考图4,作为对上述各图所示方法的实现,本公开提供了一种用于生成车载声学模型的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图4所示,本实施例的用于生成车载声学模型的装置400包括:模型选择单元401,被配置成从预先训练的声学模型组中选择声学模型作为初始声学模型;样本获取单元402,被配置成获取预先生成的训练样本集,其中,训练样本包括样本车载语音数据和对应于样本车载语音数据的样本车载语音识别结果;模型训练单元403,被配置成基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型。

在本实施例的一些可选的实现方式中,模型训练单元403,可以被进一步配置成:第一步:从训练样本集中选取训练样本,执行如下训练步骤:首先,将所选取的训练样本中的样本车载语音数据输入初始声学模型,得到实际输出。然后,根据与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出的差异,调整初始声学模型的参数,以得到调整后的初始声学模型。最后,确定训练样本集中是否存在未被选取的训练样本。响应于确定不存在,将调整后的初始声学模型确定为所述车载声学模型。第二步:响应于确定存在,使用调整后的初始声学模型作为初始声学模型,从训练样本集中选取未选取过的训练样本,继续执行训练步骤。

在本实施例的一些可选的实现方式中,模型训练单元403中,可以根据与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出的差异,调整初始声学模型的参数,包括:首先,将与输入的样本车载语音数据相对应的样本车载语音识别结果和所得到的实际输出,输入预先确定的损失函数,得到损失值。然后,响应于确定所得到的损失值大于预设的损失阈值,调整初始声学模型的参数。

在本实施例的一些可选的实现方式中,模型选择单元401,可以被进一步配置成:第一步,获取预先存储的测试样本集。其中,测试样本包括真实车载语音数据和对应于真实车载语音数据的真实车载语音识别结果。第二步,对于声学模型组中的声学模型,执行如下统计步骤:首先,对于测试样本集中的测试样本,将该测试样本中的真实车载语音数据输入该声学模型,得到模型输出结果。然后,根据该测试样本中的真实车载语音识别结果和所得到的模型输出结果,确定该声学模型对该测试样本的识别率。最后,将所确定的识别率存入识别率集合。第三步,根据对应于声学模型组的识别率集合组,从声学模型组中确定出声学模型。

在本实施例的一些可选的实现方式中,样本获取单元402中,训练样本集可以通过如下步骤生成:第一步,获取至少一个语音交互场景下的语音数据,得到语音数据集合。第二步,对于语音数据集合中的语音数据,基于预先确定的车载冲激响应数据集合和预先确定的车载噪声数据集合,生成对应于该语音数据的仿真语音数据作为样本车载语音数据,存入样本车载语音数据集合。第三步,对于样本车载语音数据集合中的样本车载语音数据,对该样本车载语音数据进行标注,得到样本车载语音识别结果。将该样本车载语音数据和所得到的样本车载语音识别结果,作为训练样本存入训练样本集。

可以理解的是,该装置400中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置400及其中包含的单元,在此不再赘述。

请参见图5,其示出了本公开提供的用于识别语音的方法的一个实施例的流程500。该用于识别语音的方法可以包括以下步骤:

步骤501,接收车载语音数据。

在本实施例中,用于识别语音的方法的执行主体(例如,车载终端)可以通过自带的或者与执行主体通信连接的麦克风等具有语音接收功能的设备,接收车载语音数据。其中,上述车载语音数据通常为用户在车载环境下发出的语音对应的语音数据。

步骤502,将车载语音数据输入车载声学模型,得到对应于车载语音数据的车载语音识别结果。

在本实施例中,车载声学模型用于表征车载语音数据与车载语音识别结果的对应关系。执行主体将所接收到的车载语音数据输入车载声学模型后,可以得到对应于车载语音数据的车载语音识别结果。

在本实施例中,车载声学模型可以是采用如上述图2实施例所描述的方法而生成的。具体生成过程可以参见图2实施例的相关描述,在此不再赘述。

需要说明的是,本实施例用于识别语音的方法可以用于测试上述各实施例所生成的车载声学模型。进而根据测试结果可以不断地优化车载声学模型。该方法也可以是上述各实施例所生成的车载声学模型的实际应用方法。采用上述各实施例所生成的车载声学模型,来进行语音识别,有助于提高车载环境下的语音识别的性能。例如,能够更快地对车载语音数据进行识别等。

需要指出的是,通常,对声学模型进行训练之前,在训练样本准备阶段,往往需要从可能使用该声学模型的真实场景中人工采集大量真实语音数据,从而利用所采集到的真实语音数据对声学模型进行训练。训练样本越多,则所得到的声学模型对语音识别越准确。然而,由于目前针对车载场景的语音识别相关产品开发时间比较短,用户接触该类产品的时间不长,导致现阶段所积累的真实场景下的真实语音数据极其有限。本公开的上述实施例提供的方法,可以采用至少一个语音交互场景下的语音数据。然后利用多个语音交互场景下的语音数据,预先确定的车载冲激响应数据集合和预先确定的车载噪声数据集合,生成对应于每个语音数据的仿真语音数据。从而得到丰富的、与车载场景逼近的训练样本。另外,本公开的上述实施例提供的方法,从预先训练的声学模型组中选择出对车载场景下的语音数据识别率最高的声学模型作为初始声学模型,进行训练,有助于加快模型训练效率。通过上述分析可以获知,本实施例中所采用的车载声学模型能够更加准确地对车载语音数据进行识别。

继续参见图6,作为对上述图5所示方法的实现,本公开提供了一种用于识别语音的装置的一个实施例。该装置实施例与图5所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图6所示,本实施例的用于识别语音的装置600可以包括:语音接收单元601,被配置成接收车载语音数据;语音识别单元602,被配置成将车载语音数据输入采用如上述图2实施例所描述的方法生成的车载声学模型,得到对应于车载语音数据的车载语音识别结果。

可以理解的是,该装置600中记载的诸单元与参考图5描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置600及其中包含的单元,在此不再赘述。

下面参考图7,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)700的结构示意图。图7示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。

如图7所示,电子设备700可以包括处理装置(例如中央处理单元(cpu)、图形处理器等)701,其可以根据存储在只读存储器(rom)702中的程序或者从存储装置708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。

通常,以下装置可以连接至i/o接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从rom702被安装。在该计算机程序被处理装置701执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:从预先训练的声学模型组中选择声学模型作为初始声学模型;获取预先生成的训练样本集,其中,训练样本包括样本车载语音数据和对应于样本车载语音数据的样本车载语音识别结果;基于初始声学模型,将训练样本集中的训练样本中的样本车载语音数据作为输入,将与输入的样本车载语音数据相对应的样本车载语音识别结果,作为期望输出,训练得到车载声学模型。

此外,当上述一个或者多个程序被该电子设备执行时,还可以使得该电子设备:接收车载语音数据;将车载语音数据输入车载声学模型,得到对应于车载语音数据的车载语音识别结果。其中,车载声学模型,可以是采用如上述各实施例所描述的用于生成车载声学模型的方法而生成的。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括模型选择单元、样本获取单元和模型训练单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,模型选择单元还可以被描述为“从预先训练的声学模型组中选择声学模型作为初始声学模型的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1