在线翻译模型训练、翻译样本对构建及在线翻译方法与流程

文档序号:35669517发布日期:2023-10-07 15:53阅读:42来源:国知局
在线翻译模型训练、翻译样本对构建及在线翻译方法与流程

本说明书实施例涉及计算机,特别涉及在线翻译模型训练方法。


背景技术:

1、随着计算机技术的发展,机器翻译逐渐发展成为目前主流的翻译方法,在许多场景,如会议场景、购物场景、通讯场景等,都有着广泛的应用。机器翻译是利用计算机程序将一种自然语言的源语言转换为另一种自然语言的目标语言的过程。

2、目前,通常可以利用在线翻译模型实现机器翻译,然而,由于训练在线翻译模型的样本数据中,源语言和目标翻译语言的词序不同,在线翻译模型在处理相应的源语句之前就开始预测对应的翻译结果,导致在线翻译模型的翻译准确性较低,因此,亟需一种翻译准确性高的翻译方案。


技术实现思路

1、有鉴于此,本说明书实施例提供了在线翻译模型训练方法。本说明书一个或者多个实施例同时涉及一种翻译样本对构建方法,一种在线翻译方法,在线翻译模型训练装置,一种翻译样本对构建装置,一种在线翻译装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了一种在线翻译模型训练方法,包括:

3、根据样本数据中各分词的时序信息,从样本数据中提取样本子数据;

4、将样本子数据输入预设翻译模型,获得样本子数据对应的第一数量的初始翻译结果,并确定各初始翻译结果与样本数据之间的翻译指标;

5、根据各初始翻译结果对应的翻译指标,从第一数量的初始翻译结果中筛选第二数量的候选翻译结果,并返回执行根据样本数据中各分词的时序信息,从样本数据中提取样本子数据的步骤,直至样本子数据与样本数据相同,基于各样本子数据对应的候选翻译结果获得样本数据对应的样本翻译结果,其中,样本翻译结果与样本数据中时序信息相同的样本子翻译结果和样本子数据一一对应;

6、根据多个样本数据和各样本数据对应的样本翻译结果,训练在线翻译模型。

7、根据本说明书实施例的第二方面,提供了一种翻译样本对构建方法,包括:

8、根据样本数据中各分词的时序信息,从样本数据中提取样本子数据;

9、将样本子数据输入预设翻译模型,获得样本子数据对应的第一数量的初始翻译结果,并确定各初始翻译结果与样本数据之间的翻译指标;

10、根据各初始翻译结果对应的翻译指标,从第一数量的初始翻译结果中筛选第二数量的候选翻译结果,并返回执行根据样本数据中各分词的时序信息,从样本数据中提取样本子数据的步骤,直至样本子数据与样本数据相同,基于各样本子数据对应的候选翻译结果获得样本数据对应的样本翻译结果,其中,样本翻译结果与样本数据中时序信息相同的样本子翻译结果和样本子数据一一对应;

11、根据样本数据和样本数据对应的样本翻译结果,构建翻译样本对。

12、根据本说明书实施例的第三方面,提供了一种在线翻译方法,包括:

13、获取待翻译数据;

14、将待翻译数据输入在线翻译模型,获得待翻译数据对应的目标翻译数据,其中,目标翻译数据与待翻译数据中时序信息相同的子翻译数据和待翻译子数据一一对应,在线翻译模型如第一方面所提供的方法训练得到。

15、根据本说明书实施例的第四方面,提供了一种在线翻译模型训练方法,包括:

16、获取多组翻译样本对,其中,翻译样本对包括样本数据和样本数据对应的样本翻译结果,样本翻译结果基于样本子数据和预设翻译模型得到,样本子数据基于样本数据中各分词的时序信息得到;

17、从多组翻译样本对中提取第一翻译样本对,其中,第一翻译样本对为多组翻译样本对中的任一个;

18、将第一翻译样本对中的第一样本数据输入初始在线翻译模型,根据第一翻译样本对中的第一样本翻译结果和初始在线翻译模型输出的第一预测结果,计算总损失值;

19、根据总损失值调整初始在线翻译模型的模型参数,并返回执行从多组翻译样本对中提取第一翻译样本对的步骤,直至达到预设停止条件,获得在线翻译模型。

20、根据本说明书实施例的第五方面,提供了一种在线翻译模型训练方法,应用于云侧设备,包括:

21、根据样本数据中各分词的时序信息,从样本数据中提取样本子数据;

22、将样本子数据输入预设翻译模型,获得样本子数据对应的第一数量的初始翻译结果,并确定各初始翻译结果与样本数据之间的翻译指标;

23、根据各初始翻译结果对应的翻译指标,从第一数量的初始翻译结果中筛选第二数量的候选翻译结果,并返回执行根据样本数据中各分词的时序信息,从样本数据中提取样本子数据的步骤,直至样本子数据与样本数据相同,基于各样本子数据对应的候选翻译结果获得样本数据对应的样本翻译结果,其中,样本翻译结果与样本数据中时序信息相同的样本子翻译结果和样本子数据一一对应;

24、根据多个样本数据和各样本数据对应的样本翻译结果,训练在线翻译模型,获得在线翻译模型的模型参数;

25、向端侧设备发送在线翻译模型的模型参数。

26、根据本说明书实施例的第六方面,提供了一种在线翻译模型训练装置,包括:

27、第一提取模块,被配置为根据样本数据中各分词的时序信息,从样本数据中提取样本子数据;

28、第一输入模块,被配置为将样本子数据输入预设翻译模型,获得样本子数据对应的第一数量的初始翻译结果,并确定各初始翻译结果与样本数据之间的翻译指标;

29、第一筛选模块,被配置为根据各初始翻译结果对应的翻译指标,从第一数量的初始翻译结果中筛选第二数量的候选翻译结果,并返回执行根据样本数据中各分词的时序信息,从样本数据中提取样本子数据的步骤,直至样本子数据与样本数据相同,基于各样本子数据对应的候选翻译结果获得样本数据对应的样本翻译结果,其中,样本翻译结果与样本数据中时序信息相同的样本子翻译结果和样本子数据一一对应;

30、第一训练模块,被配置为根据多个样本数据和各样本数据对应的样本翻译结果,训练在线翻译模型。

31、根据本说明书实施例的第七方面,提供了一种翻译样本对构建装置,包括:

32、第二提取模块,被配置为根据样本数据中各分词的时序信息,从样本数据中提取样本子数据;

33、第二输入模块,被配置为将样本子数据输入预设翻译模型,获得样本子数据对应的第一数量的初始翻译结果,并确定各初始翻译结果与样本数据之间的翻译指标;

34、第二筛选模块,被配置为根据各初始翻译结果对应的翻译指标,从第一数量的初始翻译结果中筛选第二数量的候选翻译结果,并返回执行根据样本数据中各分词的时序信息,从样本数据中提取样本子数据的步骤,直至样本子数据与样本数据相同,基于各样本子数据对应的候选翻译结果获得样本数据对应的样本翻译结果,其中,样本翻译结果与样本数据中时序信息相同的样本子翻译结果和样本子数据一一对应;

35、构建模块,被配置为根据样本数据和样本数据对应的样本翻译结果,构建翻译样本对。

36、根据本说明书实施例的第八方面,提供了一种在线翻译装置,包括:

37、第一获取模块,被配置为获取待翻译数据;

38、第三输入模块,被配置为将待翻译数据输入在线翻译模型,获得待翻译数据对应的目标翻译数据,其中,目标翻译数据与待翻译数据中时序信息相同的子翻译数据和待翻译子数据一一对应,在线翻译模型如第一方面所提供的方法训练得到。

39、根据本说明书实施例的第九方面,提供了一种在线翻译模型训练装置,包括:

40、第二获取模块,被配置为获取多组翻译样本对,其中,翻译样本对包括样本数据和样本数据对应的样本翻译结果,样本翻译结果基于样本子数据和预设翻译模型得到,样本子数据基于样本数据中各分词的时序信息得到;

41、第三提取模块,被配置为从多组翻译样本对中提取第一翻译样本对,其中,第一翻译样本对为多组翻译样本对中的任一个;

42、第四输入模块,被配置为将第一翻译样本对中的第一样本数据输入初始在线翻译模型,根据第一翻译样本对中的第一样本翻译结果和初始在线翻译模型输出的第一预测结果,计算总损失值;

43、调整模块,被配置为根据总损失值调整初始在线翻译模型的模型参数,并返回执行从多组翻译样本对中提取第一翻译样本对的步骤,直至达到预设停止条件,获得在线翻译模型。

44、根据本说明书实施例的第十方面,提供了一种在线翻译模型训练装置,应用于云侧设备,包括:

45、第四提取模块,被配置为根据样本数据中各分词的时序信息,从样本数据中提取样本子数据;

46、第五输入模块,被配置为将样本子数据输入预设翻译模型,获得样本子数据对应的第一数量的初始翻译结果,并确定各初始翻译结果与样本数据之间的翻译指标;

47、第三筛选模块,被配置为根据各初始翻译结果对应的翻译指标,从第一数量的初始翻译结果中筛选第二数量的候选翻译结果,并返回执行根据样本数据中各分词的时序信息,从样本数据中提取样本子数据的步骤,直至样本子数据与样本数据相同,基于各样本子数据对应的候选翻译结果获得样本数据对应的样本翻译结果,其中,样本翻译结果与样本数据中时序信息相同的样本子翻译结果和样本子数据一一对应;

48、第二训练模块,被配置为根据多个样本数据和各样本数据对应的样本翻译结果,训练在线翻译模型,获得在线翻译模型的模型参数;

49、发送模块,被配置为向端侧设备发送在线翻译模型的模型参数。

50、根据本说明书实施例的第十一方面,提供了一种计算设备,包括:

51、存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述第一方面或者第二方面或者第三方面或者第四方面或者第五方面所提供方法的步骤。

52、根据本说明书实施例的第十二方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述第一方面或者第二方面或者第三方面或者第四方面或者第五方面所提供方法的步骤。

53、根据本说明书实施例的第十三方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述第一方面或者第二方面或者第三方面或者第四方面或者第五方面所提供方法的步骤。

54、本说明书一个实施例提供的在线翻译模型训练方法,根据样本数据中各分词的时序信息,从样本数据中提取样本子数据;将样本子数据输入预设翻译模型,获得样本子数据对应的第一数量的初始翻译结果,并确定各初始翻译结果与样本数据之间的翻译指标;根据各初始翻译结果对应的翻译指标,从第一数量的初始翻译结果中筛选第二数量的候选翻译结果,并返回执行根据样本数据中各分词的时序信息,从样本数据中提取样本子数据的步骤,直至样本子数据与样本数据相同,基于各样本子数据对应的候选翻译结果获得样本数据对应的样本翻译结果,其中,样本翻译结果与样本数据中时序信息相同的样本子翻译结果和样本子数据一一对应;根据多个样本数据和各样本数据对应的样本翻译结果,训练在线翻译模型。通过根据各初始翻译结果对应的翻译指标,筛选第二数量的候选翻译结果,提高了样本数据对应的样本翻译结果的质量,并且,由于样本子数据是根据样本数据中各分词的时序信息从样本数据中提取的,模拟了在线翻译基于时间进行单调翻译的特点,使得各样本子数据对应的候选翻译结果均符合样本数据的时序信息,进一步保证样本翻译结果与样本数据中时序信息相同的样本子翻译结果和样本子数据一一对应,使得训练的在线翻译模型能够解决因源语言和目标语言词序不同引起的幻觉问题,提高了在线翻译模型的准确性。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1