本公开涉及电子设备技术领域,尤其涉及一种篇章机器翻译方法及装置、存储介质。
背景技术:
神经机器翻译是一种利用神经网络,将文本从一种语言翻译到另一种语言的技术。近年来,神经机器翻译取得了较好的效果,在有大规模训练数据的领域、语种上已经可以和人类翻译相媲美。
但是,对篇章进行翻译时,大部分的做法都是将篇章拆成单句进行翻译,因此,同样的词在不同的句子中可能会产生不同的翻译,翻译的一致性受到影响。
技术实现要素:
本公开提供一种篇章机器翻译方法及装置、存储介质。
根据本公开实施例的第一方面,提供一种篇章机器翻译方法,包括:
识别篇章内的实体词;
将所述实体词用占位符替换篇章内原始语句,得到包含所述占位符的替换语句,其中,不同所述实体词的占位符不同;
将所述替换语句和从所述原始语句抽取出的所述实体词分别输入到翻译模型,得到所述替换语句的第一翻译结果和所述实体词的第二翻译结果;
组合所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
可选的,所述方法还包括:
将所述替换语句与所述第一翻译结果进行比较,确定所述第一翻译结果中缺失的占位符;
将所述替换语句和所述第一翻译结果输入到第一词对齐模型,获得所述缺失的占位符在所述第一翻译结果中的对应位置;其中,所述第一词对齐模型为翻译前语句中的词对应到翻译后语句中的词的对齐模型;
将所述缺失的占位符对应的实体词的第二翻译结果插入到所述第一翻译结果中的所述对应位置,更新所述第一翻译结果;
所述组合所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果,包括:
组合更新后的所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
可选的,所述方法还包括:
将用于训练的第一句子中的实体词,以及所述第一句子对应的翻译后的第二句子中的实体词,替换为相同的占位符;其中,所述第一句子或第二句子中的不同实体词的占位符不同,所述第一句子或第二句子中相同含义的所述实体词的占位符相同;
将所述第一句子以及用所述占位符替换后的第一句子输入到神经网络模型,根据用于表征训练标签的所述第二句子和用所述占位符替换后的第二句子对所述神经网络模型中的参数进行调整,获得所述翻译模型。
可选的,所述将用于训练的第一句子中的实体词,以及所述第一句子对应的翻译后的第二句子中的实体词,替换为相同的占位符,包括:
将所述第一句子,以及所述第二句子输入到第二词对齐模型,获得词对齐结果;其中,所述第二词对齐模型为翻译前语句中的词和翻译后语句中的词相互对齐的对齐模型;
若所述词对齐结果表征所述第一句子中的实体词与所述第二句子中的实体词相互对齐,则将所述第一句子中的实体词,以及所述第二句子中的实体词,替换为相同的所述占位符。
可选的,所述将所述实体词用占位符替换篇章内原始语句,得到包含所述占位符的替换语句,包括:
将所述实体词中词频大于预设频率的实体词用所述占位符替换篇章内的所述原始语句,得到包含所述占位符的所述替换语句。
可选的,所述方法还包括:
若所述篇章内不包括词频大于预设频率的实体词,则将所述原始语句输入到所述翻译模型,得到所述原始语句的翻译结果。
根据本公开实施例的第二方面,提供一种篇章机器翻译装置,包括:
识别模块,配置为识别篇章内的实体词;
第一替换模块,配置为将所述实体词用占位符替换篇章内原始语句,得到包含所述占位符的替换语句,其中,不同所述实体词的占位符不同;
第一翻译模块,配置为将所述替换语句和从所述原始语句抽取出的所述实体词分别输入到翻译模型,得到所述替换语句的第一翻译结果和所述实体词的第二翻译结果;
组合模块,配置为组合所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
可选的,所述装置还包括:
确定模块,配置为将所述替换语句与所述第一翻译结果进行比较,确定所述第一翻译结果中缺失的占位符;
获得模块,配置为将所述替换语句和所述第一翻译结果输入到第一词对齐模型,获得所述缺失的占位符在所述第一翻译结果中的对应位置;其中,所述第一词对齐模型为翻译前语句中的词对应到翻译后语句中的词的对齐模型;
更新模块,配置为将所述缺失的占位符对应的实体词的第二翻译结果插入到所述第一翻译结果中的所述对应位置,更新所述第一翻译结果;
所述组合模块,配置为组合更新后的所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
可选的,所述装置还包括:
第二替换模块,配置为将用于训练的第一句子中的实体词,以及所述第一句子对应的翻译后的第二句子中的实体词,替换为相同的占位符;其中,所述第一句子或第二句子中的不同实体词的占位符不同,所述第一句子或第二句子中相同含义的所述实体词的占位符相同;
训练模块,配置为将所述第一句子以及用所述占位符替换后的第一句子输入到神经网络模型,根据用于表征训练标签的所述第二句子和用所述占位符替换后的第二句子对所述神经网络模型中的参数进行调整,获得所述翻译模型。
可选的,所述第二替换模块,具体配置为将所述第一句子,以及所述第二句子输入到第二词对齐模型,获得词对齐结果;其中,所述第二词对齐模型为翻译前语句中的词和翻译后语句中的词相互对齐的对齐模型;若所述词对齐结果表征所述第一句子中的实体词与所述第二句子中的实体词相互对齐,则将所述第一句子中的实体词,以及所述第二句子中的实体词,替换为相同的所述占位符。
可选的,所述第一替换模块,具体配置为将所述实体词中词频大于预设频率的实体词用所述占位符替换篇章内的所述原始语句,得到包含所述占位符的所述替换语句。
可选的,所述装置还包括:
第二翻译模块,配置为若所述篇章内不包括词频大于预设频率的实体词,则将所述原始语句输入到所述翻译模型,得到所述原始语句的翻译结果。
根据本公开实施例的第三方面,提供一种篇章机器翻译装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行如上述第一方面中所述的篇章机器翻译方法。
根据本公开实施例的第四方面,提供一种存储介质,包括:
当所述存储介质中的指令由计算机的处理器执行时,使得计算机能够执行如上述第一方面中所述的篇章机器翻译方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
可以理解的是,在本公开的实施例中,篇章中各原始语句的实体词用占位符替换,并分别针对替换语句和实体词进行翻译,由于实体词单独翻译了,不会受到前后文语境的影响,因此同一实体词的第二翻译结果唯一。且对篇章中每一个句子进行处理时,因句子中不同实体词的占位符不同,相同的实体词占位符相同,即在每一个句子中,属于同一实体词的占位符具有唯一性,因而在对替换语句翻译获得第一翻译结果后,用实体词对应的第二翻译结果替换第一翻译结果中的占位符时,能使得原始篇章中不同原始语句中的相同实体词具有相同的翻译结果,所以通过该种方式能提升篇章中实体词翻译的一致性,提升用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开实施例示出的一种篇章机器翻译方法流程图。
图2是本公开实施例示出的一种篇章机器翻译方法流程示例图。
图3是根据一示例性实施例示出的一种篇章机器翻译装置图。
图4是根据一示例性实施例示出的一种用于篇章机器翻译的装置的框图。
图5是根据一示例性实施例示出的另一种用于篇章机器翻译的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开实施例示出的一种篇章机器翻译方法流程图一,如图1所示,应用于终电子设备中的篇章机器翻译方法包括以下步骤:
s11、识别篇章内的实体词;
s12、将所述实体词用占位符替换篇章内原始语句,得到包含所述占位符的替换语句,其中,不同所述实体词的占位符不同;
s13、将所述替换语句和从所述原始语句抽取出的所述实体词分别输入到翻译模型,得到所述替换语句的第一翻译结果和所述实体词的第二翻译结果;
s14、组合所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
在本公开的实施例中,篇章机器翻译方法可应用于电子设备中,电子设备包括:移动设备和固定设备;所述移动设备包括:手机、平板电脑等。所述固定设备包括但不限于个人电脑(personalcomputer,pc)。
在对篇章进行翻译时,在一些实施例中,针对篇章译文的语法、时态一致性做了一些改进,但是鲜少有工作对篇章中出现的实体词的一致性进行改进。其中实体词至少包括:名词和/或代词。
以篇章是中文,翻译后的语言是英文为例,例如,篇章中的某一句话“院长习书平6月16日晚同李雷通电话”中,“习书平”和“李雷”均属于实体词。
同一篇章中,可能会存在不同的句子中包括同样的实体词。例如,篇章中还包括另一句话:“习书平指出,当前,人工智能技术发展得越来越快。”
如前所述的,同样的词在不同的句子中可能会产生不同的翻译。这两句的英文翻译分别为“presidentxishupingspokebytelephonewithlileiontheeveningofjune16.”和“xipointedoutthataitechnologyisdevelopingfasterandfaster.”。也就是说,实体词“习书平”分别被翻译为了“xishuping”和“xi”,如果篇章比较长且多次出现“习书平”,会一定程度上造成上下文不一致的情况,影响读者阅读。
以篇章是英文,翻译后的语言是中文为例,例如,篇章中的某一句话“aitechnologyserveshumanity.”,可能就会被翻译为“人工智能技术服务于人类。”。而当实体词“ai”的前后语境发生变化时,比如“manypeoplebenefitfromaitechnology.”,可能被翻译为“很多人受益于ai技术。”,或者“很多人收益于人工智能技术。”
可见,同一个实体词“ai”先后被翻译为“人工智能”和“ai”,增大了读者的阅读难度。
对此,本公开在步骤s11中识别篇章内的实体词,并进一步在步骤s12中,将篇章中包含实体词的原始语句用占位符替换其中的实体词,得到包含占位符的替换语句。
需要说明的是,在识别篇章内的实体词时,可用命名体识别工具自动识别出各原始语句中的实体词。该命名体识别工具可以为根据包括不同词性的词的句子训练而成,该命名体识别工具至少可以出输入语句中词性为实体词的部分。且在用占位符替换实体词时,在同一个句子中,不同实体词的占位符不同,相同实体词的占位符相同。可以理解是,同样实体词的占位符具有唯一性,同样的实体词与占位符具有唯一对应关系。
例如,占位符设定为<ner[number]>,其中[number]可以为0-9的任意一个数字。同样实体词中number值相同,不同实体词的number不同。
再例如,占位符可设定为数字以外的其他字符,例如,特殊字符串“shift”或者“ctrl”等。
需要说明的是,在本公开的实施例中,相同含义的实体词,可能词的具体形态不同,例如英文篇章中的“xishuping”和“xi”,有着相同的含义,但形态不同。此时,可以通过实体词词典查询,将不同形态却有着相同含义的名词,和/或,代词等实体词替换成相同的词,然后在此基础上再进行占位符的替换。
在识别出篇章中的实体词以及得到用占位符替换的替换语句后,电子设备在步骤s13中将替换语句和从原始语句抽取出的实体词分别输入到翻译模型,从而得到替换语句的第一翻译结果和实体词的第二翻译结果。
需要说明的是,翻译模型可以是利用大量训练样本采用神经网络方法训练而成,其中训练样本中包括大量不含占位符的原始语句,以及用占位符替换实体词后的替换语句。通过该翻译模型,对于不含实体词的输入语句可获得翻译结果,对于含占位符的输入语句,也可获得翻译结果,只是含有占位符的替换语句经翻译模型翻译后,占位符仍保留在翻译结果中。
电子设备在获得替换语句的第一翻译结果以及实体词的第二翻译结果后,即可在步骤s14中组合第一翻译结果和第二翻译结果,得到原始语句的翻译结果。具体在组合时,将第一翻译结果中占位符的部分,用占位符对应的实体词的第二翻译结果替换,从而得到原始语句的翻译结果。
在一种实施例中,在组合第一翻译结果和第二翻译结果,得到原始语句的翻译结果时,可将第一翻译结果中的占位符直接用占位符对应的实体词替换,得到中间结果,并比对该中间结果和各实体词的第二翻译结果,对中间结果中的实体词用第二翻译结果替换,从而获得原始语句的翻译结果。
可以理解的是,在本公开的实施例中,篇章中各原始语句的实体词用占位符替换,并分别针对替换语句和实体词进行翻译,由于实体词单独翻译了,不会受到前后文语境的影响,因此同一实体词的第二翻译结果唯一。且对篇章中每一个句子进行处理时,因句子中不同实体词的占位符不同,相同的实体词占位符相同,即在每一个句子中,属于同一实体词的占位符具有唯一性,因而在对替换语句翻译获得第一翻译结果后,用实体词对应的第二翻译结果替换第一翻译结果中的占位符时,能使得原始篇章中不同原始语句中的相同实体词具有相同的翻译结果,所以通过该种方式能提升篇章中实体词翻译的一致性,提升用户体验。
在一种实施例中,所述方法还包括:
将所述替换语句与所述第一翻译结果进行比较,确定所述第一翻译结果中缺失的占位符;
将所述替换语句和所述第一翻译结果输入到第一词对齐模型,获得所述缺失的占位符在所述第一翻译结果中的对应位置;其中,所述第一词对齐模型为翻译前语句中的词对应到翻译后语句中的词的对齐模型;
将所述缺失的占位符对应的实体词的第二翻译结果插入到所述第一翻译结果中的所述对应位置,更新所述第一翻译结果;
步骤s14包括:
组合更新后的所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
在该实施例中,由于翻译的不确定性,替换语句中的部分占位符在翻译后有可能丢失了,此时替换语句的第一翻译结果中会存在错误。对此,本公开将第一翻译结果与替换语句比较,确定第一翻译结果中缺失的部分占位符。且将缺失的占位符对应的实体词输入到翻译模型,获得第三翻译结果。
如前所述的,同样的实体词与占位符具有唯一对应关系,因而缺失的占位符唯一对应了一个实体词。本公开将替换语句和第一翻译结果输入到第一词对齐模型获得缺失的占位符在第一翻译结果中的对应位置,。其中,第一词对齐模型为翻译前语句中的词对应到翻译后语句中的词对齐模型,该第一词对齐模型为单向词对齐模型。
例如,翻译前语言对应的句子为:今天天气真好。翻译后语言对应的句子为:theweatherisverygoodtoday.第一词对齐模型中词对应关系为:0-51-01-12-33-44-6。其中,0-5表示经模型处理后,中文中第0个词“今天”与英文中第5个词“today”对齐;中文中的第1个词“天气”与英文中的第0个词“the”以及第1个词“weather”对齐,其余对齐关系不再详述。
基于该词对齐模型获得缺失占位符在第一翻译结果中的对应位置后,即可将缺失占位符对应的实体词的第三翻译结果,插入到第一翻译结果中的对应位置获得更新后的第一翻译结果,并进一步组合更新后的第一翻译结果和第二翻译结果,得到原始语句的翻译结果。
可以理解的是,由于实体词在句子一般都比较重要,如果缺失很可能导致句子没有意义等问题。在本公开实施例中,考虑到翻译后的第一翻译结果中占位符丢失的情况,利用词对齐模型在第一翻译结果中插入丢失的部分,再来组合第一翻译结果和第二翻译结果,因而能减少原始语句的翻译结果中实体词丢失的现象,提升翻译的准确率。
在一种实施例中,所述方法还包括:
将用于训练的第一句子中的实体词,以及所述第一句子对应的翻译后的第二句子中的实体词,替换为相同的占位符;其中,所述第一句子或第二句子中的不同实体词的占位符不同,所述第一句子或第二句子中相同含义的所述实体词的占位符相同;
将所述第一句子以及用所述占位符替换后的第一句子输入到神经网络模型,根据用于表征训练标签的所述第二句子和用所述占位符替换后的第二句子对所述神经网络模型中的参数进行调整,获得所述翻译模型。
在该实施例中,在训练获得翻译模型时,利用神经网络模型,将不含占位符的第一句子,以及用占位符替换后的第一句子作为输入模型的训练样本,将第一句子对应的翻译后的第二句子和用占位符替换后的第二句子作为训练标签来调整模型的训练参数使模型收敛,从而获得翻译模型。其中,神经网络模型可以为卷积神经网络模型(cnn)、循环神经网络模型(rnn)或长短时记忆系统(lstm)等,本公开实施例对此不做限制。
在一个实施例中,为不同的实体词分配占位符时,该占位符可根据占位符的分配次序确定。例如,占位符包含两个部分,第一部分为固定部分,第二部分为分配次序的编号。采用这种方式具有占位符分配简便,且能够确保占位符唯一标识一个实体词。第一部分为:“#¥#¥”,第二部分可为分配次序的编号,从0到9。此处的分配次序的编号,针对不同的句子可重新从0开始编号。当然此处仅是对占位符分配的举例,具体实现不局限于此。
在一种实施例中,在训练翻译模型时,一方面,需要依靠用户自己提供的词典对专有实体词进行翻译,因为用户将所有的实体词加入用户词典中比较困难,因此该种手动添加实体词的方法不能解决大量文本、尤其是篇章的实体翻译一致性的问题。
另一方面,若一个句子中含有多个需要替换为占位符的词,对每个句子中出现的占位符添加序号:第一个出现的占位符为$userdict1,第二个为$userdict2;在同一句子中出现的第三个及更多的用户词典中的词对,都不再添加区分序号,使用$userdict代替,即占位符编号受限,且并不唯一代表一个实体词。可见,这样会导致数据中$userdict1较多,其他占位符相对较少,因而对每个标签训练时的迭代次数相差过多可能会导致不同的占位符成功率不同,且如果一条数据中存在多个占位符$userdict,上述方法还存在识别失败的情况。例如,一条语句中有多个不同的人名均用占位符$userdict替换,那么会存在将不同的人名识别成同一个人名的可能。
相对的,本申请的训练方式中,首先,在获得训练样本中的实体词时,可用命名体识别工具自动识别出第一语句中的实体词,因而具有智能性的特点。其次,本公开在构造训练数据时,占位符数量不受限制以及具体的占位符编号可以是随机的,各占位符不区分实体词出现的先后顺序,占位符对应的实体词的含义唯一,因而每个占位符都可得到比较充分的训练。且由于占位符的个数不受限制,也能支持一句话中存在多个实体词的情况,当实体词较多时,利用本公开训练的翻译模型,也能得到精确度较高的翻译结果。
需要说明的是,在该实施例中,因训练语句中还包括没有用占位符替换的第一句子,因而当输入未用占位符替换的句子时,通过该训练的翻译模型也能输出翻译结果。
在一种实施例中,所述将用于训练的第一句子中的实体词,以及所述第一句子对应的翻译后的第二句子中的实体词,替换为相同的占位符,包括:
将所述第一句子,以及所述第二句子输入到第二词对齐模型,获得词对齐结果;其中,所述第二词对齐模型为翻译前语句中的词和翻译后语句中的词相互对齐的对齐模型;
若所述词对齐结果表征所述第一句子中的实体词与所述第二句子中的实体词相互对齐,则将所述第一句子中的实体词,以及所述第二句子中的实体词,替换为相同的所述占位符。
在该实施例中,利用第二词对齐模型将第一句子中的实体词以及第二句子中的实体词,替换为相同的占位符。
第二词对齐模型为翻译前语言中的词和翻译后语言中的词相互对齐的对齐模型,该第二词对齐模型为双向词对齐模型。
可以理解的是,在该实施例中,在构造训练数据时,利用翻译前语言(源语言)和翻译后语言(目标语言)之间实体词的词对齐结果进行两端标注的方法,操作更简便省时。此外,因第一语句和第二语句中的实体词,替换为相同的占位符,因此在训练过程中,模型也能很好的学习到源语言和目标语言中占位符相一致的特性。
在一种实施例中,步骤s12包括:
将所述实体词中词频大于预设频率的实体词用所述占位符替换篇章内的所述原始语句,得到包含所述占位符的所述替换语句。
在该实施例中,将实体词中词频大于预设频率的实体词用占位符替换篇章内的原始语句,从而得到包含占位符的替换语句。因为实体词的词频高时,才会使得同一实体词在篇章中的翻译结果出现不一致的现象,因而本公开通过设定预设频率的方式,将词频大于预设频率的实体词做替换,能减少处理过程,提升效率。
在一种实施例中,所述方法还包括:
若所述篇章内不包括词频大于预设频率的实体词,则将所述原始语句输入到所述翻译模型,得到所述原始语句的翻译结果。
如前所述的,当输入未用占位符替换的句子时,通过翻译模型也能输出翻译结果。因此,在该实施例中,当篇章内不包括词频大于预设频率的实体词时,则将原始语句输入到翻译模型,能得到原始语句的翻译结果。
图2是本公开实施例示出的一种篇章机器翻译方法流程示例图,如图2所示,应用于电子设备中的篇章机器翻译方法还包括以下步骤:
s101、输入待翻译篇章。
s102、对输入的篇章进行命名体识别。
在该实施例中,对输入的篇章进行命名体识别,即识别偏章中词语的词性,至少确定篇章中的实体词。
s103、构造篇章级别高频实体词典。
在该实施例中,构造篇章级别高频实体词典,即确定实体词中词频大于预设频率的实体词。
s104、是否存在高频命名实体;若是,执行步骤s105;若否,执行步骤s111。
在该实施例中,当存在词频大于预设频率的实体词时,则执行步骤s105,否则,直接翻译篇章中的原始语句,并执行步骤s111。
s105、将句子中不同的命名体替换成不同的占位符。
在该实施例中共,当存在词频大于预设频率的实体词时,将句子中不同的命名体替换成不同的占位符,即将实体词中词频大于预设频率的实体词用占位符替换篇章内的原始语句,得到包含占位符的替换语句。其中,不同实体词的占位符不同,不同语句中的相同含义的实体词的占位符相同。
s106、单独翻译替换后的句子和抽出的实体词并将其组合。
在该实施例中,单独翻译替换后的句子和抽出的实体词,即将替换语句和从原始语句抽取出的实体词分别输入到翻译模型,得到替换语句的第一翻译结果和实体词的第二翻译结果。
在单独翻译替换后的句子以及抽出的实体词后,即可组合第一翻译结果和第二翻译结果,得到原始语句的翻译结果。
s107、句子的翻译结果是否包含所有替换的占位符;若是,执行步骤s110;若否,执行步骤s108。
在该实施例中,会进一步确定句子的翻译结果中是否包含所有替换的占位符,即确定第一翻译结果中是否有缺失的占位符,若有缺失占位符,则执行步骤s108;若没有缺失占位符,即包含了所有的占位符,则执行步骤s110。
s108、源语言和翻译结果进行词对齐。
在该实施例中,若句子的翻译结果中没有包含所有替换的占位符(有缺失占位符)时,将源语言和翻译结果进行词对齐,即将替换语句和第一翻译结果输入到第一词对齐模型,获得缺失的占位符在第一翻译结果中的对应位置。
s109、将缺失占位符对应的实体词翻译插入到对应位置的前面。
在该实施例中,将缺失占位符对应的实体词翻译插入到对应位置的前面,更新句子的翻译结果,即将缺失的占位符对应的实体词的第二翻译结果插入到第一翻译结果中缺失的占位符所在的位置,更新第一翻译结果。
s110、组合句子的翻译结果和抽出的实体词的翻译结果。
在该实施例中,组合句子的翻译结果和抽出的实体词的翻译结果,即将第一翻译结果中占位符的部分,用占位符对应的实体词的第二翻译结果替换,从而得到原始语句的翻译结果。
s111、输出翻译结果。
在该实施例中,针对有高频实体词的篇章和没有高频实体词的篇章,均可获得翻译结果并输出。
可以理解的是,在本公开的实施例中,篇章中各原始语句中的高频实体词用占位符替换,并分别针对替换语句和实体词进行翻译,由于实体词单独翻译了,不会受到前后文语境的影响,因此通过组合句子的翻译结果和单独实体词翻译结果的方式,能使得原始篇章中不同原始语句中的相同实体词具有相同的翻译结果,所以通过该种方式能提升篇章中实体词翻译的一致性,提升用户体验。
图3是根据一示例性实施例示出的一种篇章机器翻译装置图。参照图3,该篇章机器翻译装置包括:
识别模块101,配置为识别篇章内的实体词;
第一替换模块102,配置为将所述实体词用占位符替换篇章内原始语句,得到包含所述占位符的替换语句,其中,不同所述实体词的占位符不同;
第一翻译模块103,配置为将所述替换语句和从所述原始语句抽取出的所述实体词分别输入到翻译模型,得到所述替换语句的第一翻译结果和所述实体词的第二翻译结果;
组合模块104,配置为组合所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
可选的,所述装置还包括:
确定模块105,配置为将所述替换语句与所述第一翻译结果进行比较,确定所述第一翻译结果中缺失的占位符;
获得模块106,配置为将所述替换语句和所述第一翻译结果输入到第一词对齐模型,获得所述缺失的占位符在所述第一翻译结果中的对应位置;其中,所述第一词对齐模型为翻译前语句中的词对应到翻译后语句中的词的对齐模型;
更新模块107,配置为将所述缺失的占位符对应的实体词的第二翻译结果插入到所述第一翻译结果中的所述对应位置,更新所述第一翻译结果;
所述组合模块104,配置为组合更新后的所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
可选的,所述装置还包括:
第二替换模块108,配置为将用于训练的第一句子中的实体词,以及所述第一句子对应的翻译后的第二句子中的实体词,替换为相同的占位符;其中,所述第一句子或第二句子中的不同实体词的占位符不同,所述第一句子或第二句子中相同含义的所述实体词的占位符相同;
训练模块109,配置为将所述第一句子以及用所述占位符替换后的第一句子输入到神经网络模型,根据用于表征训练标签的所述第二句子和用所述占位符替换后的第二句子对所述神经网络模型中的参数进行调整,获得所述翻译模型。
可选的,所述第二替换模块108,具体配置为将所述第一句子,以及所述第二句子输入到第二词对齐模型,获得词对齐结果;其中,所述第二词对齐模型为翻译前语句中的词和翻译后语句中的词相互对齐的对齐模型;若所述词对齐结果表征所述第一句子中的实体词与所述第二句子中的实体词相互对齐,则将所述第一句子中的实体词,以及所述第二句子中的实体词,替换为相同的所述占位符。
可选的,所述第一替换模块102,具体配置为将所述实体词中词频大于预设频率的实体词用所述占位符替换篇章内的所述原始语句,得到包含所述占位符的所述替换语句。
可选的,所述装置还包括:
第二翻译模块110,配置为若所述篇章内不包括词频大于预设频率的实体词,则将所述原始语句输入到所述翻译模型,得到所述原始语句的翻译结果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种用于篇章机器翻译的装置800的框图。例如,装置800可以是手机等。
参照图4,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(i/o)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(mic),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
i/o接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如wi-fi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得计算机能够执行篇章机器翻译方法,所述方法包括:
识别篇章内的实体词;
将所述实体词用占位符替换篇章内原始语句,得到包含所述占位符的替换语句,其中,不同所述实体词的占位符不同;
将所述替换语句和从所述原始语句抽取出的所述实体词分别输入到翻译模型,得到所述替换语句的第一翻译结果和所述实体词的第二翻译结果;
组合所述第一翻译结果和所述第二翻译结果,得到所述原始语句的翻译结果。
图5是根据一示例性实施例示出的另一种用于篇章机器翻译的装置900的框图。例如,装置900可以是服务器等。
参照图5,装置900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理组件922的执行的指令,例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行上述信息处理方法。
装置900还可以包括一个电源组件926被配置为执行装置900的电源管理,一个有线或无线网络接口950被配置为将装置900连接到网络,和一个输入输出(i/o)接口958。装置900可以操作基于存储在存储器932的操作系统,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。