翻译模型的训练方法、词语补全方法、装置、设备及介质与流程

本申请实施例涉及人工智能领域，特别涉及一种翻译模型的训练方法、词语补全方法、装置、设备及介质。

背景技术：

1、计算机辅助翻译(computer-aided translation，cat)旨在利用机器翻译系统来提高人工翻译过程中的效率，其在近年来得到了研究人员的不断关注。作为计算机辅助翻译的核心，词级别自动补全任务(word-level auto completion，wlac)旨在基于译员提供的上下文片段(目标端片段)，预测当前译员正在输入的单词。

2、相关技术中，提出基于变换器(transformer)的词预测模型(wordpredictionmodel，wpm)，其核心思想是以掩码预测的方式去预测词语。具体的，在输入内容(包括目标端片段和源端语句)中插入[mask]标记，并通过transfomer网络对输入内容进行编码得到掩码特征表示，进而度量掩码特征表示与各个候选词语的特征表示之间的相似性，将相似度最大的候选词语作为补全词语。

3、然而，相关技术中的掩码特征表示仅包含目标端片段和源端语句的上下文信息，掩码特征表示无法表征目标端片段和各个候选词语之间的交互信息，导致预测得到的补全词语的准确性较低。

技术实现思路

1、本申请实施例提供了一种翻译模型的训练方法、词语补全方法、装置、设备及介质，能够提高训练得到的翻译模型预测的补全词语的准确性，所述技术方案如下：

2、一方面，提供了一种翻译模型的训练方法，所述方法包括：

3、获取第一自然语言的样本语句以及第二自然语言的参考语句，所述样本语句和所述参考语句存在互译关系；

4、从所述参考语句中确定参考词语和第一词单元，所述第一词单元是指构成所述参考词语的元素；

5、将所述样本语句和所述第一词单元输入第一翻译模型；

6、通过所述第一翻译模型对所述样本语句进行翻译，得到所述第二自然语言的预测语句；以及，通过所述第一翻译模型对所述第一词单元进行词语补全，得到所述第二自然语言的预测词语；

7、基于所述预测语句和所述参考语句、所述预测词语和所述参考词语对所述第一翻译模型进行训练，得到第二翻译模型，所述第二翻译模型用于根据第一自然语言的语句和第二自然语言的词单元，对所述词单元进行所述第二自然语言的词语补全预测，其中，所述第二自然语言的词单元是所述第一自然语言的语句在翻译至第二自然语言时待补全的词单元。

8、另一方面，提供了一种翻译场景中的词语补全方法，所述方法包括：

9、获取第一自然语言的第一语句和第二自然语言的第二词单元，第二词单元为第一语句对应的待补全译文；

10、通过第二翻译模型对所述第一语句和所述第二词单元进行特征提取，得到第一特征表示，所述第一特征表示用于表征所述第一语句和所述第二词单元的上下文信息以及所述第一语句和所述第二词单元之间的交互信息；

11、基于所述第一特征表示通过所述第二翻译模型对所述第二词单元进行词语补全，得到第二自然语言的补全词语。

12、另一方面，提供了一种翻译模型的训练装置，所述装置包括：

13、第一获取模块，用于获取第一自然语言的样本语句以及第二自然语言的参考语句，所述样本语句和所述参考语句存在互译关系；

14、确定模块，用于从所述参考语句中确定参考词语和第一词单元，所述第一词单元是指构成所述参考词语的元素；

15、输入模块，用于将所述样本语句和所述第一词单元输入第一翻译模型；

16、预测模块，用于通过所述第一翻译模型对所述样本语句进行翻译，得到所述第二自然语言的预测语句；以及，通过所述第一翻译模型对所述第一词单元进行词语补全，得到所述第二自然语言的预测词语；

17、训练模块，用于基于所述预测语句和所述参考语句、所述预测词语和所述参考词语对所述第一翻译模型进行训练，得到第二翻译模型，所述第二翻译模型用于根据第一自然语言的语句和第二自然语言的词单元，对所述词单元进行所述第二自然语言的词语补全预测，其中，所述第二自然语言的词单元是所述第一自然语言的语句在翻译至第二自然语言时待补全的词单元。

18、另一方面，提供了一种翻译场景中的词语补全装置，所述装置包括：

19、第二获取模块，用于获取第一自然语言的第一语句和第二自然语言的第二词单元，第二词单元为第一语句对应的待补全译文；

20、第一提取模块，用于通过第二翻译模型对所述第一语句和所述第二词单元进行特征提取，得到第一特征表示，所述第一特征表示用于表征所述第一语句和所述第二词单元的上下文信息以及所述第一语句和所述第二词单元之间的交互信息；

21、补全模块，用于基于所述第一特征表示通过所述第二翻译模型对所述第二词单元进行词语补全，得到第二自然语言的补全词语。

22、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一所述翻译模型的训练方法，或者如上述任一所述翻译场景中的词语补全方法。

23、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述任一所述的翻译模型的训练方法，或者如上述任一所述翻译场景中的词语补全方法。

24、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一所述的翻译模型的训练方法，或者如上述任一所述翻译场景中的词语补全方法。

25、本申请实施例提供的技术方案带来的有益效果至少包括：

26、在获取互译的样本语句和参考语句后，首先，从参考语句中确定参考词语和第一词单元；其次，将样本语句和第一词单元输入第一翻译模型，通过第一翻译模型预测样本语句的译文以及第一词单元对应的补全词语；最后，根据预测的译文和参考语句、预测的补全词语和参考词语对第一翻译模型进行训练，得到可执行词语自动补全任务的第二翻译模型。在训练过程中，额外引入了对样本语句的语句翻译任务，使得模型学习到了样本语句的完整译文信息，从而借助完整译文信息隐式地提高了预测的补全词语和样本语句对应的完整译文之间的匹配率，提高了最终训练得到的第二翻译模型预测的补全词语的准确性。

技术特征：

1.一种翻译模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述样本语句和所述第一词单元输入第一翻译模型之后，还包括：

3.根据权利要求2所述的方法，其特征在于，所述从所述参考语句中确定参考词语和第一词单元，包括：

4.根据权利要求3所述的方法，其特征在于，所述预设拼接格式包括以下格式中的至少一种：

5.根据权利要求2所述的方法，其特征在于，所述基于所述样本特征表示通过所述第一翻译模型对所述样本语句进行翻译，得到所述预测语句，包括：

6.根据权利要求5所述的方法，其特征在于，所述通过所述第一翻译模型中的第一解码器对所述样本特征表示进行解码，得到所述预测语句，包括：

7.根据权利要求5所述的方法，其特征在于，所述通过所述第一翻译模型中的第二解码器对所述样本特征表示进行解码，得到所述预测词语，包括：

8.根据权利要求7所述的方法，其特征在于，所述样本特征表示包含所述第一词单元在所述参考词语中的位置信息；

9.根据权利要求5所述的方法，其特征在于，所述通过所述第一翻译模型中的第二解码器对所述样本特征表示进行解码，得到所述预测词语，包括：

10.根据权利要求9所述的方法，其特征在于，所述样本特征表示指示所述第一词单元在所述第一词单元对应的补全词语中的位置为第一位置；

11.根据权利要求2至10任一所述的方法，其特征在于，所述第一翻译模型中包括第一编码器，所述第一编码器用于提取所述样本特征表示；

12.一种翻译场景中的词语补全方法，其特征在于，所述方法包括：

13.根据权利要求12所述的方法，其特征在于，所述基于所述第一特征表示，通过所述第二翻译模型对所述第二词单元进行词语补全，得到第二自然语言的补全词语，包括：

14.一种翻译模型的训练装置，其特征在于，所述装置包括：

15.一种翻译场景中的词语补全装置，其特征在于，所述装置包括：

16.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至11任一所述的翻译模型的训练方法，或者如权利要求12或13所述的翻译场景中的词语补全方法。

17.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至11任一所述的翻译模型的训练方法，或者如权利要求12或13所述的翻译场景中的词语补全方法。

18.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至11任一所述的翻译模型的训练方法，或者如权利要求12或13所述的翻译场景中的词语补全方法。

技术总结
本申请公开了一种翻译模型的训练方法、词语补全方法、装置、设备及介质，涉及人工智能领域。该方法包括：将样本语句和第一词单元输入第一翻译模型；通过第一翻译模型对样本语句进行翻译，得到第二自然语言的预测语句；以及，通过第一翻译模型对第一词单元进行词语补全，得到第二自然语言的预测词语；基于预测语句和参考语句、预测词语和参考词语对第一翻译模型进行训练，得到第二翻译模型。在训练过程中，额外引入了对样本语句的语句翻译任务，使得模型学习了样本语句的完整译文信息，从而借助完整译文信息隐式地提高了预测的补全词语和样本语句对应的完整译文之间的匹配率，提高了最终训练得到的第二翻译模型预测的补全词语的准确性。

技术研发人员：刘乐茂,陈星宇
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/16