语言模型的训练方法、装置和计算机设备与流程

本发明属于语言模型的训练领域，更具体地涉及一种语言模型的训练方法、装置和计算机设备。

背景技术：

1、目前，语言模型可以用于识别中文的音素特征或英文的音素特征，以此来将两个语种的音素特征转换为对应的文本。随着互联网技术的快速发展，业务场景的需求也越来越多。例如，需要通过语言模型将中英文混合的音素特征转换为中英文混合的文本。

2、但是，发明人在实现本发明的发明构思时发现相关技术中至少存在以下技术问题：由于跨语言场景中英文识别对语言模型的识别能力要求较高，而该语言模型在训练时由于中英文训练语料有限，影响训练效果，导致该语言模型的识别能力降低，进而降低该语言模型输出结果的准确度。

3、因此，有必要提供一种语言模型的训练方法，以解决上述问题。

技术实现思路

1、(一)要解决的技术问题

2、本发明旨在解决由于跨语言场景中英文识别对语言模型的识别能力要求较高，而该语言模型在训练时由于中英文训练语料有限，影响训练效果，导致该语言模型的识别能力降低，进而降低该语言模型输出结果的准确度的问题。

3、(二)技术方案

4、为解决上述技术问题，本发明的一方面提出一种语言模型的训练方法，包括：通过翻译模型对第一语种文本数据进行翻译，得到第二语种文本数据；根据所述第一语种文本数据和所述第二语种文本数据，确定用于训练所述语言模型的双语种训练数据集；通过所述用于训练所述语言模型的双语种训练数据集，对所述语言模型进行训练，得到优化后的语言模型。

5、根据本发明的优选实施方式，所述通过翻译模型对第一语种文本数据进行翻译，得到第二语种文本数据包括：将中文文本数据输入到所述翻译模型，通过所述翻译模型中的注意力机制对所述中文文本数据进行对齐处理，得到英文文本数据，所述英文文本数据中包含中文词语与英文单词的相关性。

6、根据本发明的优选实施方式，所述通过翻译模型对第一语种文本数据进行翻译，得到第二语种文本数据包括：将英文文本数据输入到所述翻译模型，通过所述翻译模型中的注意力机制对所述英文文本数据进行对齐处理，得到中文文本数据，所述中文文本数据中包含英文单词与中文词语的相关性。

7、根据本发明的优选实施方式，所述根据所述第一语种文本数据和所述第二语种文本数据，确定用于训练所述语言模型的双语种训练数据集包括：根据所述中文文本数据中各中文词语的位置信息和所述英文文本数据中各英文单词的位置信息，以及所述中文词语与所述英文单词的相关性，利用相关性大于阈值且位置相近的中文词语替换所述英文文本数据中的英文单词，得到中英文混合文本数据；循环上述步骤，当所述中英文混合文本数据的数据量达到预设条件时，得到用于训练所述语言模型的中英文混合文本数据集。

8、根据本发明的优选实施方式，所述根据所述第一语种文本数据和所述第二语种文本数据，确定用于训练所述语言模型的双语种训练数据集包括：根据所述英文文本数据中各单词的位置信息和所述中文文本数据中各中文词语的位置信息，以及所述英文单词与所述中文词语的相关性，利用相关性大于阈值且位置相近的英文单词替换所述中文文本数据中的中文词语，得到中英文混合文本数据；循环上述步骤，当所述中英文混合文本数据的数据量达到预设条件时，得到所述用于训练所述语言模型的中英文混合文本数据集。

9、根据本发明的优选实施方式，通过所述用于训练所述语言模型的双语种训练数据集，对所述语言模型进行训练，得到优化后的语言模型包括：基于所述用于训练所述语言模型的中英文混合文本数据集，对所述语言模型进行训练，得到优化后的语言模型。

10、根据本发明的优选实施方式，该方法还包括：获取中英混合的语音信号；将所述中英混合的语音信号输入到语音识别模型，通过所述语音识别模型识别处理所述中英混合的语音信号，并输出所述中英混合的语音信号对应的音素序列；将所述音素序列输入到所述优化后的语言模型，通过所述优化后的语言模型分析处理所述音素序列，并输出所述音素序列中各音素对应的目标字符的分值；根据所述音素序列中各音素对应的目标字符的分值，确定所述中英混合的语音信号对应的中英混合文本。

11、本发明第二方面提出了一种语言模型的训练装置，包括：翻译模块，用于通过翻译模型对第一语种文本数据进行翻译，得到第二语种文本数据；确定模块，用于根据所述第一语种文本数据和所述第二语种文本数据，确定用于训练所述语言模型的双语种训练数据集；训练模块，用于通过所述用于训练所述语言模型的双语种训练数据集，对所述语言模型进行训练，得到优化后的语言模型。

12、根据本发明的优选实施方式，上述翻译模块被配置为：将中文文本数据输入到所述翻译模型，通过所述翻译模型中的注意力机制对所述中文文本数据进行对齐处理，得到英文文本数据，所述英文文本数据中包含中文词语与英文单词的相关性。

13、根据本发明的优选实施方式，上述翻译模块被配置为：将英文文本数据输入到所述翻译模型，通过所述翻译模型中的注意力机制对所述英文文本数据进行对齐处理，得到中文文本数据，所述中文文本数据中包含英文单词与中文词语的相关性。

14、根据本发明的优选实施方式，上述确定模块被配置为：根据所述中文文本数据中各中文词语的位置信息和所述英文文本数据中各英文单词的位置信息，以及所述中文词语与所述英文单词的相关性，利用相关性大于阈值且位置相近的中文词语替换所述英文文本数据中的英文单词，得到中英文混合文本数据；循环上述步骤，当所述中英文混合文本数据的数据量达到预设条件时，得到用于训练所述语言模型的中英文混合文本数据集。

15、根据本发明的优选实施方式，上述确定模块被配置为：根据所述英文文本数据中各单词的位置信息和所述中文文本数据中各中文词语的位置信息，以及所述英文单词与所述中文词语的相关性，利用相关性大于阈值且位置相近的英文单词替换所述中文文本数据中的中文词语，得到中英文混合文本数据；循环上述步骤，当所述中英文混合文本数据的数据量达到预设条件时，得到所述用于训练所述语言模型的中英文混合文本数据集。

16、根据本发明的优选实施方式，上述训练模块被配置为：基于所述用于训练所述语言模型的中英文混合文本数据集，对所述语言模型进行训练，得到优化后的语言模型。

17、根据本发明的优选实施方式，该装置还包括：获取模块，用于获取中英混合的语音信号；识别模块，用于将所述中英混合的语音信号输入到语音识别模型，通过所述语音识别模型识别处理所述中英混合的语音信号，并输出所述中英混合的语音信号对应的音素序列；分析模块，用于将所述音素序列输入到所述优化后的语言模型，通过所述优化后的语言模型分析处理所述音素序列，并输出所述音素序列中各音素对应的目标字符的分值；文本确定模块，用于根据所述音素序列中各音素对应的目标字符的分值，确定所述中英混合的语音信号对应的中英混合文本。

18、本发明第三方面提出一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行上述任一项所述的一种语言模型的训练方法。

19、本发明第四方面提出一种计算机程序产品，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现上述任一项所述的一种语言模型的训练方法。

20、(三)有益效果

21、与现有技术相比，本发明通过翻译模型对第一语种文本数据进行翻译，得到第二语种文本数据，根据第一语种文本数据和第二语种文本数据，确定用于训练所述语言模型的双语种训练数据集，这样可以增加训练语言模型的样本数量，解决了相关技术中因缺乏训练语料导致的训练效果较差的问题，然后通过用于训练语言模型的双语种训练数据集，对语言模型进行训练，得到优化后的语言模型，以此方式可以优化语言模型的训练过程，提高该优化后的语言模型的识别能力，进而提高该优化后的语言模型输出结果的准确度。