使用话音转换和语音识别模型的合成数据增强的制作方法

本公开涉及使用话音转换和语音识别模型的合成数据增强。

背景技术：

1、自动语音识别(asr)，即获取音频输入并将音频输入转录为文本的过程已经极大地成为移动装置和其它装置中使用的一项重要技术。通常，自动语音识别试图通过获取音频输入(例如，语音话语)并将音频输入转录为文本来提供人说出的内容的准确转录。

2、开发基于深度学习的语音转换模型和asr模型的一个挑战是这些模型的参数往往会过度拟合训练数据，从而导致在训练数据不够广泛时难以归纳不可见数据。虽然在更大的训练数据集上训练语音转换模型和asr模型会提高准确性，但是缺乏包括由说话者以非典型语音模式(即声学多样性)说出的针对特定域(即语言多样性)的话语的足够训练数据，以通过这些模型实现可接受的准确性。

技术实现思路

1、本公开的一个方面提供一种用于训练语音转换模型的方法，所述语音转换模型针对与非典型语音相关联的目标说话者个性化。该方法包括由数据处理硬件获得多个训练文本话语。多个训练文本话语的第一部分包括口头训练话语集合中的多个转录。每个口头训练话语由与非典型语音相关联的目标说话者说出，并且包括与对应口头训练话语的对应非合成语音表示配对的对应转录。多个训练文本话语的第二部分包括与语音转换模型在其中被训练来学习的特定域相关的多个非口头训练文本话语。每个非口头训练文本话语不与任何对应的口头话语配对。该方法还包括由数据处理硬件使用该口头训练话语集合来调整文本到语音(tts)模型，以合成在目标说话者的话音中的并且捕获了与目标说话者相关联的非典型语音的语音。对于多个非口头训练文本话语中的每个非口头训练文本话语，该方法包括由数据处理硬件生成对应非口头训练文本话语的合成语音表示作为来自调整后的tts模型的输出。合成语音表示包括目标说话者的话音并且捕获与目标说话者相关联的非典型语音。该方法还包括由数据处理硬件基于由调整后的tts模型针对多个非口头训练文本话语中的每个非口头训练文本话语生成的合成语音表示来训练语音转换模型。

2、本公开的实施方案可以包括以下可选特征中的一个或多个。在一些实施方案中，对于由调整后的tts模型生成的每个合成语音表示，该方法进一步包括：由数据处理硬件生成目标说话者的话音中的合成标准流利语音的对应音频波形作为来自语音转换模型的输出；由数据处理硬件针对作为来自语音转换模型的输出而被生成的合成标准流利语音的对应音频波形生成文本表示，作为来自文本解码器的输出；以及由数据处理硬件确定与对应合成语音表示相关联的词错误率损失。词错误率损失是基于针对合成标准流利语音的对应音频波形作为来自文本解码器的输出而被生成的文本表示和对应非口头训练文本话语。在这些实施方案中，该方法还包括由数据处理硬件识别过滤的合成语音表示集合。每个过滤的合成语音表示集合对应于作为来自语音转换模型的输出而被生成的合成语音表示中的具有满足词错误率损失阈值的词错误率损失的相应一个。在这些实施方案中，基于由调整后的tts模型针对多个非口头文本话语中的每个非口头文本话语生成的合成语音表示来训练语音转换模型包括在该过滤的合成语音表示集合上训练语音转换模型。语音转换模型不在作为来自语音转换模型的输出而被生成的具有不满足词错误率损失阈值的词错误率损失的合成语音表示中的任一个上训练。

3、在一些示例中，该方法进一步包括当语音转换模型先前未被训练为转换由具有与关联于目标说话者的非典型语音相同类型的非典型语音的说话者说出的输入话语的音频波形时，由数据处理硬件使用该口头训练话语集合来调整语音转换模型，以将由具有非典型语音的目标说话者说出的输入话语的音频波形转换成合成标准流利语音的音频波形。这里，生成合成标准流利语音的对应音频波形包括生成目标说话者的话音中的合成标准流利语音的对应音频波形作为来自调整后的语音转换模型的输出。在一些示例中，文本解码器驻留在语音转换模型上。在其它示例中，文本解码器驻留在与语音转换模型分离的参考自动语音识别模型上。

4、在一些实施方案中，语音转换模型包括端到端神经网络，该端到端神经网络被配置成将输入音频波形直接转换成对应输出音频波形。在这些实施方案中，在训练语音转换模型之后，该方法还可以包括在数据处理硬件处接收输入音频波形，所述输入音频波形对应于由与非典型语音相关联的目标说话者说出的话语；以及由数据处理硬件使用经训练的语音转换模型将对应于由与非典型语音相关联的目标说话者说出的话语的输入音频波形转换成对应于由目标说话者说出的话语的合成标准流利语音表示的输出音频波形。

5、在其它实施方案中，语音转换模型包括自动语音识别模型，该自动语音识别模型被配置成将语音转换成对应文本。在这些实施方案中，在训练语音转换模型之后，该方法还可以包括由数据处理硬件接收音频数据，所述音频数据对应于由与非典型语音相关联的目标说话者说出的话语；以及由数据处理硬件使用经训练的语音转换模型将对应于由与非典型语音相关联的目标说话者说出的话语的音频数据转换成由目标说话者说出的话语的标准文本表示。

6、多个训练文本话语的第二部分中的多个非口头训练文本话语的至少一部分可以包括针对与特定域相关的特定短语的手动书写文本。可选地，该方法可以包括由数据处理硬件执行非口头文本选择过程，以获得多个训练文本话语的第二部分中的非口头训练文本话语中的非口头训练文本话语。文本选择过程被配置成获得非口头文本话语的语料库。对于非口头文本话语的语料库中的每个非口头文本话语，文本选择过程被配置成确定与非口头文本话语出现在域特定语言模型中相关联的第一概率，并且确定与非口头文本话语出现在背景语言模型中相关联的第二概率。背景语言模型在非口头文本话语的语料库中的每个非口头文本话语上进行训练。对于非口头文本话语的语料库中的每个非口头文本话语，文本选择过程还被配置成基于第一概率、第二概率和出现在对应非口头文本话语中的单词数来确定分数。最后，文本选择过程被配置成选择非口头文本话语的语料库中的具有n最佳分数的非口头文本话语作为多个训练文本话语的第二部分中的非口头训练文本话语。

7、在一些实施方案中，tts模型包括预训练的参考tts模型，该预训练的参考tts模型包括编码器部分和解码器部分。在这些实施方案中，调整tts模型包括通过在编码器部分的参数保持固定的同时调谐解码器部分的参数来调整预训练的参考tts模型。

8、本公开的另一方面提供一种用于训练语音转换模型的系统，该语音转换模型针对与非典型语音相关联的目标说话者个性化。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，这些指令当在数据处理硬件上执行时使数据处理硬件执行操作。这些操作包括获得多个训练文本话语。多个训练文本话语的第一部分包括口头训练话语集合中的多个转录。每个口头训练话语由与非典型语音相关联的目标说话者说出，并且包括与对应口头训练话语的对应非合成语音表示配对的对应转录。多个训练文本话语的第二部分包括与语音转换模型在其中被训练来学习的特定域相关的多个非口头训练文本话语。每个非口头训练文本话语不与任何对应的口头话语配对。这些操作还包括使用该口头训练话语集合来调整文本到语音(tts)模型，以合成在目标说话者的话音中的并且捕获了与目标说话者相关联的非典型语音的语音。对于多个非口头训练文本话语中的每个非口头训练文本话语，这些操作包括生成对应非口头训练文本话语的合成语音表示作为来自调整后的tts模型的输出。合成语音表示包括目标说话者的话音并且捕获与目标说话者相关联的非典型语音。这些操作还包括基于由调整后的tts模型针对多个非口头训练文本话语中的每个非口头训练文本话语生成的合成语音表示来训练语音转换模型。

9、本公开的实施方案可以包括以下可选特征中的一个或多个。在一些实施方案中，对于由调整后的tts模型生成的每个合成语音表示，这些操作进一步包括：生成目标说话者的话音中的合成标准流利语音的对应音频波形作为来自语音转换模型的输出；针对作为来自语音转换模型的输出而被生成的合成标准流利语音的对应音频波形生成文本表示，作为来自文本解码器的输出；以及确定与对应合成语音表示相关联的词错误率损失。词错误率损失是基于针对合成标准流利语音的对应音频波形作为来自文本解码器的输出而被生成的文本表示和对应非口头训练文本话语。在这些实施方案中，这些操作还包括识别过滤的合成语音表示集合。每个过滤的合成语音表示集合对应于作为来自语音转换模型的输出而被生成的合成语音表示中的具有满足词错误率损失阈值的词错误率损失的相应一个。在这些实施方案中，基于由调整后的tts模型针对多个非口头文本话语中的每个非口头文本话语生成的合成语音表示来训练语音转换模型包括在该过滤的合成语音表示集合上训练语音转换模型。语音转换模型不在作为来自语音转换模型的输出而被生成的具有不满足词错误率损失阈值的词错误率损失的合成语音表示中的任一个上训练。

10、在一些示例中，这些操作进一步包括，当语音转换模型先前未被训练为转换由具有与关联于目标说话者的非典型语音相同类型的非典型语音的说话者说出的输入话语的音频波形时，使用该口头训练话语集合来调整语音转换模型，以将由具有非典型语音的目标说话者说出的输入话语的音频波形转换成合成标准流利语音的音频波形。这里，生成合成标准流利语音的对应音频波形包括生成目标说话者的话音中的合成标准流利语音的对应音频波形作为来自调整后的语音转换模型的输出。在一些示例中，文本解码器驻留在语音转换模型上。在其它示例中，文本解码器驻留在与语音转换模型分离的参考自动语音识别模型上。

11、在一些实施方案中，语音转换模型包括端到端神经网络，该端到端神经网络被配置成将输入音频波形直接转换成对应输出音频波形。在这些实施方案中，在训练语音转换模型之后，这些操作还可以包括：接收对应于由与非典型语音相关联的目标说话者说出的话语的输入音频波形；以及使用经训练的语音转换模型将对应于由与非典型语音相关联的目标说话者说出的话语的输入音频波形转换成对应于由目标说话者说出的话语的合成标准流利语音表示的输出音频波形。

12、在其它实施方案中，语音转换模型包括自动语音识别模型，该自动语音识别模型被配置成将语音转换成对应文本。在这些实施方案中，在训练语音转换模型之后，该方法还可以包括：接收对应于由与非典型语音相关联的目标说话者说出的话语的音频数据；以及使用经训练的语音转换模型将对应于由与非典型语音相关联的目标说话者说出的话语的音频数据转换成由目标说话者说出的话语的标准文本表示。

13、多个训练文本话语的第二部分中的多个非口头训练文本话语的至少一部分可以包括针对与特定域相关的特定短语的手动书写文本。可选地，这些操作可以包括执行非口头文本选择过程，以获得多个训练文本话语的第二部分中的非口头训练文本话语中的非口头训练文本话语。文本选择过程被配置成获得非口头文本话语的语料库。对于非口头文本话语的语料库中的每个非口头文本话语，文本选择过程被配置成确定与非口头文本话语出现在域特定语言模型中相关联的第一概率，并且确定与非口头文本话语出现在背景语言模型中相关联的第二概率。背景语言模型在非口头文本话语的语料库中的每个非口头文本话语上进行训练。对于非口头文本话语的语料库中的每个非口头文本话语，文本选择过程还被配置成基于第一概率、第二概率和出现在对应非口头文本话语中的单词数来确定分数。最后，文本选择过程被配置成选择非口头文本话语的语料库中的具有n最佳分数的非口头文本话语作为多个训练文本话语的第二部分中的非口头训练文本话语。

14、在一些实施方案中，tts模型包括预训练的参考tts模型，该预训练的参考tts模型包括编码器部分和解码器部分。在这些实施方案中，调整tts模型包括通过在编码器部分的参数保持固定的同时调谐解码器部分的参数来调整预训练的参考tts模型。

15、在附图和下面的描述中阐述本公开的一个或多个实施方案的细节。其它方面、特征和优点将从说明书和附图以及从权利要求书变得显而易见。