一种文字翻译方法、装置、电子设备及存储介质与流程

本发明涉及文字翻译，尤其涉及一种文字翻译方法、装置、电子设备及存储介质。

背景技术：

1、随着深度学习的发展和算力的增加，基于深度学习的翻译网络发展迅速，目前，transformer结构及其变种已经成为主流的端到端翻译模型，翻译效果相对传统的翻译来说也提高了很多，随着教育行业扫译笔的兴起，也使得翻译模型从云端走向终端，许多学生家长对扫译笔的需求量也大幅提升，现有扫译笔上的翻译算法有两个方面仍需改进，一是翻译效果，主流的transformer结构属于seq2seq架构，在翻译过程中会存在着大量的错翻，漏翻和多翻，另一方面是终端算力有限，对网络模型的大小和耗时也有一定的要求。

2、现有transformer标准型直接应用到扫译笔上模型参数量大，耗时严重，且效果有待提高。

技术实现思路

1、有鉴于此，本发明提供了一种文字翻译方法、装置、电子设备及存储介质，用于解决现有技术中模型参数量大且翻译效果不佳的问题。

2、为达上述之一或部分或全部目的或是其他目的，本发明提出一种文字翻译方法，包括：获取预设训练集，所述训练集内包括原文及其译文所组成的平行语料；

3、对所述预设训练集内的平行语料进行两次筛选处理，得到目标训练集；

4、将所述目标训练集导入预设翻译模型，对所述预设翻译模型进行训练，得到目标模型，所述预设翻译模型基于标准transformer模型构建；

5、将待翻译数据输入所述目标模型，得到翻译结果。

6、可选地，所述获取预设训练集的步骤包括：

7、根据数据来源将所有平行语料进行分类，得到不同类的平行语料集，并计算各平行语料集的可靠程度值；

8、比对各平行语料集的可靠程度值，选择可靠程度值最大的平行语料集作为目标平行语料集；

9、基于所述目标平行语料集构建所述预设训练集。

10、可选地，所述对所述预设训练集内的平行语料进行两次筛选处理，得到目标训练集的步骤，包括：

11、基于标准transformer模型的历史翻译数据确定文字翻译过程中发生概率大于等于阈值的错误事件，并分析所述错误事件中的原文及其译文的特征规律；

12、基于所述特征规律对所述预设训练集内的平行语料进行筛选处理，得到初始训练集；

13、基于所述初始训练集和标准transformer模型对所述初始训练集进行筛选，得到所述目标训练集。

14、可选地，所述基于所述初始训练集和标准transformer模型对所述初始训练集进行筛选，得到所述目标训练集的步骤，包括：

15、基于所述初始训练集训练所述标准transformer模型；

16、将所述初始训练集中的目标译文输入训练后的标准transformer模型，得到翻译文；

17、计算所述翻译文和所述初始训练集中与所述目标译文对应的目标原文的相似度，基于所述相似度对所述初始训练集进行筛选，得到所述目标训练集。

18、可选地，在所述将所述目标训练集导入预设翻译模型，完成对所述预设翻译模型的训练，得到目标模型的步骤之前，还包括：

19、获取所述标准transformer模型的基础信息，所述基础信息包括结构数据和维度数据；

20、根据所述结构数据中编码器层的数量和解码器层的数量确定所述预设翻译模型的目标结构中目标编码器层的数量，并设置所述预设翻译模型的目标结构中目标解码器层的数量为预设值，将所述编码器层与所述解码器层的结构关系作为所述目标编码器层与所述目标解码器层的目标结构关系，所述标准transformer模型的结构数据包括所述编码器层的数量、所述解码器层的数量和所述编码器层与所述解码器层的结构关系；

21、根据所述维度数据确定所述预设翻译模型在进行翻译过程时，待翻译原文的第一语言词向量维度与对应的所述待翻译原文的译文的第二语言词向量维度；

22、基于所述目标结构和所述目标维度数据构建所述预设翻译模型。

23、可选地，所述基于所述目标结构和所述目标维度数据构建所述预设翻译模型的步骤，包括：

24、按待翻译原文的第一语言词向量维度初始化所述标准transformer模型，并基于所述目标训练集将初始化后的标准transformer模型训练至收敛，获取初始化且收敛的标准transformer模型在进行翻译过程时的第一语言词向量维度参数；

25、按对应所述待翻译原文的译文的第二语言词向量维度调整所述标准transformer模型，并基于所述目标训练集将调整后的标准transformer模型训练至收敛，获取被调整且收敛的标准transformer模型在进行翻译过程时的第二语言词向量维度参数；

26、将结构为目标结构的所述预设翻译模型中译文的语言词向量维度参数调整为所述第二语言词向量维度参数，原文的语言词向量维度参数设置为所述第一语言词向量维度参数，完成对所述预设翻译模型的参数设置；

27、基于所述第一语言词向量维度参数与所述第二语言词向量维度参数为参数设置后的预设翻译模型设置维度转换层，以完成所述预设翻译模型的构建，所述维度转换层为全连接层。

28、可选地，将所述目标训练集导入预设翻译模型，对所述预设翻译模型进行训练的步骤，包括：

29、获取所述目标训练集中训练数据对应词向量的概率值，并对所述概率值进行排序；

30、按排序的前后顺序选择目标值个概率值；

31、根据所述目标值个概率值得到归一化后的概率矩阵，并基于所述概率矩阵计算归一化指数函数的exp值。

32、另一方面，本技术提供了一种文字翻译装置，所述装置包括：

33、数据采集模块，用于获取预设训练集，所述训练集内包括原文及其译文所组成的平行语料；

34、筛选模块，用于对所述预设训练集内的平行语料进行两次筛选处理，得到目标训练集；

35、训练模块，用于将所述目标训练集导入预设翻译模型，对所述预设翻译模型进行训练，得到目标模型，所述预设翻译模型基于标准transformer模型构建；

36、翻译模块，用于将待翻译数据输入所述目标模型，得到翻译结果。

37、可选地，所述训练模块包括：

38、值排序单元，用于获取所述目标训练集中训练数据对应词向量的概率值，并对所述概率值进行排序；

39、值选择单元，用于按排序的前后顺序选择目标值个概率值；以及

40、值计算单元，用于根据所述目标值个概率值得到归一化后的概率矩阵，并基于所述概率矩阵计算归一化指数函数的exp值。

41、第三方面，本技术提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如上述的文字翻译方法的步骤。

42、第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的文字翻译方法的步骤。

43、实施本发明实施例，将具有如下有益效果：

44、本发明实施例通过获取预设训练集，训练集内包括原文及其译文所组成的平行语料，对预设训练集内的平行语料进行两次筛选处理，得到目标训练集，将目标训练集导入预设翻译模型，对基于标准transformer模型构建的预设翻译模型进行训练，得到目标模型，将待翻译数据输入目标模型，得到翻译结果，从而通过对训练集进行两次筛选，提高了训练数据集的可用性和准确度。另外，目标模型通过使用筛选得到的训练集对基于标准transformer模型构建的翻译模型识得得到，使得目标模型的翻译效果、可靠性大大提高。