一种机器翻译引擎测评优选方法及系统与流程

本申请涉及机器翻译领域，特别涉及一种机器翻译引擎测评优选方法及系统。

背景技术：

在人工智能高速发展的今天，机器翻译技术取得了突破性进展。市面上涌现了大量的商家提供机器翻译服务，包括微软、谷歌、百度、搜狗、有道、腾讯翻译君等。众多复杂的机器翻译引擎在翻译质量上参差不齐，所以如何为用户提供自动优选机器翻译引擎服务、如何客观的评价目前市面上的机器翻译引擎是一件必要和必须的事情。

目前市面上还没有机器翻译引擎的自动优选服务，用户面对诸多翻译引擎还处于无法分辨好坏的阶段，机器翻译引擎的翻译结果并不是那么让用户满意，得到的结果可能需要让用户再次进行核对修改，影响了生活工作的效率。

技术实现要素：

本发明提供了一种机器翻译引擎测评优选方法及系统，目的在于现有技术中的机器翻译引起在翻译质量参差不齐，无法得到最优选的翻译结果。

为了解决上述问题或至少部分地解决上述技术问题，在本申请的一个实施例中，提供了一种机器翻译引擎测评优选方法，其中所述机器翻译引擎具有多个，其特征在于，所述方法包括：

步骤一、对上传的待翻译文本选择待翻译文本的测评字数范围；

步骤二、使用每一个机器翻译引擎翻译待翻译文本的测评字数范围内的文本，得到对应的译后文本；

步骤三、将每一个机器翻译引擎的译后文本根据译文测评、关键字测评和语言模型困惑度测评，得到相应的多个评分；

步骤四、对所述各机器翻译引擎的评分进行加权求和得到所述各机器翻译引擎在所述译后文本上的所述加权和值；

步骤五、选择所述加权和值最高的所述机器翻译引擎输出所述待翻译文件的整篇翻译文本。

在本申请的又一实施例中，还提供了一种机器翻译引擎测评优选系统，其中所述机器翻译引擎具有多个，其特征在于，所述系统包括：

选择模块，用于对上传的待翻译文本选择待翻译文本的测评字数范围；

初始翻译模块，使用每一个机器翻译引擎翻译待翻译文本的测评字数范围内的文本，得到对应的译后文本；

测评模块，用于将每一个机器翻译引擎的译后文本根据译文测评、关键字测评和语言模型困惑度测评，得到相应的多个评分；

计算模块，用于对所述各机器翻译引擎的评分进行加权求和得到所述各机器翻译引擎在所述译后文本上的所述加权和值；

翻译模块，用于选择所述加权和值最高的所述机器翻译引擎输出所述待翻译文件的整篇翻译文本。

本发明公开了一种机器翻译引擎测评优选方法及系统，其通过根据选择的待翻译文本的测评字数范围，各机器翻译引擎对该范围内的待翻译文本进行译文测评、关键字测评和语言模型困惑度测评得到多个评分，再对上述评分进行加权求和得到各机器翻译引擎的加权和值，选择加权和值最高的机器翻译引擎输出句的翻译结果，从而整合得到整篇翻译文本。通过上述方法可以使得在众多复杂的、翻译质量参差不齐的各类机器翻译引擎中为用户提供机器翻译引擎测评优选服务，提高翻译效率，减少用户的后续工作量，提供优质的机器翻译服务。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅用于示意本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图中未提及的技术特征、连接关系乃至方法步骤。

图1是本发明一实施例的一种机器翻译引擎测评优选方法的流程示意图；

图2a、2b、2c是本发明一实施例的一种机器翻译引擎测评优选方法中的译文测评的部分示意图；

图3是本发明另一实施例的一种机器翻译引擎测评优选系统的结构示意图。

具体实施例

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述xxx，但这些xxx不应限于这些术语。这些术语仅用来将xxx彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一xxx也可以被称为第二xxx，类似地，第二xxx也可以被称为第一xxx。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于监测”。类似地，取决于语境，短语“如果确定”或“如果监测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当监测(陈述的条件或事件)时”或“响应于监测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

在一实施例中，如图1所示，提供了一种机器翻译引擎测评优选方法，其中，机器翻译引擎包括但不限于微软、谷歌、百度、搜狗、有道、腾讯翻译君等；翻译语言包括但不局限于中英、英中、中日、日中、英日、日英、中德、德中、中法、法中、中俄、俄中、中韩、韩中等。

方法包括如下步骤：

步骤一、对上传的待翻译文本选择待翻译文本的测评字数范围。

用户上传待翻译文件，系统可以自动选取待翻译文本中的几行或几段文本，也可以是选择一定的字数范围，作为翻译测评的范围。

步骤二、使用每一个机器翻译引擎翻译待翻译文本的测评字数范围内的文本，得到对应的译后文本。

对上一步骤中翻译测评的范围内的文本，用每一个机器翻译引擎翻译上述测评文本，得到对应的译后文本。

步骤三、将每一个机器翻译引擎的译后文本根据译文测评、关键字测评和语言模型困惑度测评，得到相应的多个评分。

如图2a-2b所示，第一方面：译文测评，其测评步骤为：

1)对待翻译文本设置错误类型和错误级别，其中错误类型具有多个子错误类型，以及每个错误级别具有相应的罚分分值；

2)对每一个译后文本进行修订，对每一处修订选择子错误类型和错误级别，自动生成相应的罚分分值；

3)将所述修订中不相同的子错误类型对应的罚分分值进行求和，得到每一个译后文本的评分和值，如图2c所示；

4)根据上述评分和值对各机器翻译引擎做降序排序；

5)在上述降序排序中，各机器翻译引擎的序列即为该机器翻译引擎在译文测评上的得分。

其中，第二方面：关键字测评，其方法步骤为：

1)由专业译员给出待翻译文本应包含的关键词；所述译后文本、与所述关键字共同组成测评集；

2)检测关键字在各机器翻译结果中是否出现，若未出现减一分，其中各机器翻译引擎的初始分数为0；

3)根据上述评分对对各机器翻译引擎做升序排序；

4)在上述升序排序中，各机器翻译引擎的序列即为该机器翻译引擎在关键字测评上的得分。

其中，第三方面:语言模型困惑度测评，其方法步骤为：

1)利用各机器翻译引擎翻译得到所述译后文本，形成测试集；

2)利用已训练好的的神经网络语言模型对各机器翻译引擎的测试集进行评分；

3)根据上述评分，对各机器翻译引擎做升序排序；

4)在上述升序排序中，各机器翻译引擎的序列即为该机器翻译引擎在语言模型困惑度测评上的得分。

进一步的，上述列举了三个方面的测评评分，而本领域中还可以添加其他方面的测评评分方法，可以是针对用户喜爱度、平均编辑代价、平均编辑时间等方面的测评评分。

其中，用户喜爱度，其测评步骤为：

1)将各机器翻译引擎在待翻译文本的所属技术领域中的历史翻译数据作为测评集。

2)统计在测评集上用户选择各机器翻译引擎翻译的总次数；

3)根据各机器翻译引擎翻译的总次数，对各机器翻译引擎做升序排序；

4)上述升序排序中，各机器翻译引擎的序列即为该机器翻译引擎在用户喜爱度上的得分。

其中，平均编辑代价，其测评步骤为：

1)将各机器翻译引擎在待翻译文本的所属技术领域中的历史翻译数据抽取一定数量的数据作为测评集。其中数据量为2万条，所属各机器翻译引擎的数据都为2万条。

2)根据机器翻译引擎的不同，分别计算平均编辑代价；

其中，平均编辑代价定义为：

其中len(x)为字符串x的长度，mt(x)为句段x机器翻译的结果，pe(x)为句段x人工修改的结果，ed(x)句段x机器翻译结果到人工修改结果的编辑距离。

3)根据平均编辑代价，对于各机器翻译引擎做降序排序；

4)在上述降序排序中，各机器翻译引擎的序列即为该机器翻译引擎在平均编辑代价上的得分。

其中，平均编辑时间，其测评方法为：

1)将各机器翻译引擎在待翻译文本的所属技术领域中的历史翻译数据抽取一定数量的数据作为测评集。其中数据量为2万条，所属各机器翻译引擎的数据都为2万条。

2)根据机器翻译引擎的不同，分别计算平均编辑时间；

其中，平均编辑时间定义为：

其中et(x)句段x译员从开始翻译到确认所使用的时间。

3)根据平均编辑时间，对于各机器翻译引擎做降序排序；

4)在上述降序排序中，各机器翻译引擎的序列即为该机器翻译引擎在平均编辑时间上的得分。

步骤四、对所述各机器翻译引擎的评分进行加权求和得到所述各机器翻译引擎在所述译后文本上的所述加权和值。

其中，译文测评、关键字测评和语言模型困惑度测评在加权求和的权重分别设置为0.4、0.3、0.3。

进一步的，如果需要结合前述中的其他测评方法，那么本领域技术人员可以合理设置用户喜爱度、平均编辑代价、平均编辑时间的权重。

步骤五、选择所述加权和值最高的所述机器翻译引擎输出所述待翻译文件的整篇翻译文本。

在得到加权求和值最高者即为最优机器翻译引擎之后，使用该最优机器翻译引擎将用户上传的待翻译文件翻译出所需的语言，然后返回给用户。

上述一种机器翻译引擎测评优选方法，其通过根据选择的待翻译文本的测评字数范围，各机器翻译引擎对该范围内的待翻译文本进行译文测评、关键字测评和语言模型困惑度测评得到多个评分，再对上述评分进行加权求和得到各机器翻译引擎的加权和值，选择加权和值最高的机器翻译引擎输出句的翻译结果，从而整合得到整篇翻译文本。通过上述方法可以使得在众多复杂的、翻译质量参差不齐的各类机器翻译引擎中为用户提供机器翻译引擎测评优选服务，提高翻译效率，减少用户的后续工作量，提供优质的机器翻译服务。

在另一实施例中，如图3所示，提供了一种机器翻译引擎测评优选系统，其中，机器翻译引擎包括但不限于微软、谷歌、百度、搜狗、有道、腾讯翻译君等；翻译语言包括但不局限于中英、英中、中日、日中、英日、日英、中德、德中、中法、法中、中俄、俄中、中韩、韩中等。

系统包括选择模块、初始翻译模块、测评模块、计算模块、翻译模块。

选择模块，用于对上传的待翻译文本选择待翻译文本的测评字数范围。

用户上传待翻译文件，系统可以自动选取待翻译文本中的几行或几段文本，也可以是选择一定的字数范围，作为翻译测评的范围。

初始翻译模块，使用每一个机器翻译引擎翻译待翻译文本的测评字数范围内的文本，得到对应的译后文本。

对上一步骤中翻译测评的范围内的文本，用每一个机器翻译引擎翻译上述测评文本，得到对应的译后文本。

测评模块，用于将每一个机器翻译引擎的译后文本根据译文测评、关键字测评和语言模型困惑度测评，得到相应的多个评分。

其中，第一方面：译文测评，其测评步骤为：

1)对待翻译文本设置错误类型和错误级别，其中错误类型具有多个子错误类型，以及每个错误级别具有相应的罚分分值；

2)对每一个译后文本进行修订，对每一处修订选择子错误类型和错误级别，自动生成相应的罚分分值；

3)将所述修订中不相同的子错误类型对应的罚分分值进行求和，得到每一个译后文本的评分和值；

4)根据上述评分和值对各机器翻译引擎做降序排序；

5)在上述降序排序中，各机器翻译引擎的序列即为该机器翻译引擎在译文测评上的得分。

其中，第二方面：关键字测评，其方法步骤为：

1)由专业译员给出待翻译文本应包含的关键词；所述译后文本、与所述关键字共同组成测评集；

2)检测关键字在各机器翻译结果中是否出现，若未出现减一分，其中各机器翻译引擎的初始分数为0；

3)根据上述评分对对各机器翻译引擎做升序排序；

4)在上述升序排序中，各机器翻译引擎的序列即为该机器翻译引擎在关键字测评上的得分。

其中，第三方面:语言模型困惑度测评，其方法步骤为：

1)利用各机器翻译引擎翻译得到所述译后文本，形成测试集；

2)利用已训练好的的神经网络语言模型对各机器翻译引擎的测试集进行评分；

3)根据上述评分，对各机器翻译引擎做升序排序；

4)在上述升序排序中，各机器翻译引擎的序列即为该机器翻译引擎在语言模型困惑度测评上的得分。

计算模块，用于对所述各机器翻译引擎的评分进行加权求和得到所述各机器翻译引擎在所述译后文本上的所述加权和值。

其中，译文测评、关键字测评和语言模型困惑度测评在加权求和的权重分别设置为0.4、0.3、0.3。

翻译模块，用于选择所述加权和值最高的所述机器翻译引擎输出所述待翻译文件的整篇翻译文本。

在得到加权求和值最高者即为最优机器翻译引擎之后，使用该最优机器翻译引擎将用户上传的待翻译文件翻译出所需的语言，然后返回给用户。

上述一种机器翻译引擎测评优选系统，其通过根据选择的待翻译文本的测评字数范围，各机器翻译引擎对该范围内的待翻译文本进行译文测评、关键字测评和语言模型困惑度测评得到多个评分，再对上述评分进行加权求和得到各机器翻译引擎的加权和值，选择加权和值最高的机器翻译引擎输出句的翻译结果，从而整合得到整篇翻译文本。通过上述系统可以使得在众多复杂的、翻译质量参差不齐的各类机器翻译引擎中为用户提供机器翻译引擎测评优选服务，提高翻译效率，减少用户的后续工作量，提供优质的机器翻译服务。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。