平行网页和可比网页进一步抽取出双语翻译对，形成对齐的双语文本。在网页里面，主题内容一般都会在某个区域，所以首先可以对网页进行划分，利用“双语率”，分析网页链接数目，锚文本等信息分析划分区域包含双语资源的可能性。基于此类结构信息，可以比较准确的选取一大堆互为候选的双语翻译对。
[0029]术语译文挖掘单元:采用自反馈、增量式的领域术语翻译自动获取方法，根据接收到的领域术语关键词得到对应的译文并输出。
[0030]术语译文挖掘单元包括自动获取翻译候选单元模块和选择最终译文模块。
[0031]自动获取翻译候选单元模块:从取出的双语翻译对中选择合法的翻译候选单元。首先以领域术语、关键词或命名实体，及其翻译作为种子，进行给定领域双语语料库的自动获取;然后，根据获取的双语语料库采用传统的术语翻译获取方法实现领域术语翻译的自动获取;根据获取的术语翻译去获取更大规模的领域双语语料库，再进行新一轮的术语翻译获取;如此经过多次反馈，增量式地获得领域双语语料库及领域术语翻译。图4给出了自反馈、增量式的领域术语翻译获取示意图。
[0032]选择最终译文模块:经过筛选和排序，得到最终译文，提高整个查询翻译的性能。
[0033]—种具有领域定制功能的术语译文挖掘方法，如图1，包括以下步骤:
S1、候选双语混合网页的选取;采用基于关键词的领域定制模型，首先输入一个特定领域的汉英关键词翻译列表，利用通用搜索引擎建立相关站点集，再利用采集器对每个站点及其相关链接进行扩展查找，形成原始的特定领域的双语网页集，使用向量空间模型对原始双语网页集进行初步过滤形成候选双语网页。
[0034]这种双语言混合网页指的是单个网页包含多种语言的内容。根据一个网页如果包含一对翻译对，那么它可能包含互为翻译内容的启发，提交一对翻译对到搜索引擎，搜索引擎将会返回包含这对翻译词的网页。
[0035]候选双语网站和网页是指可能含有双语文本的网站和网页。识别候选双语网站和网页的目的是要进一步将双语文本的获取限制在可能的网站和网页上，将大大提高双语资源获取速度。
[0036]S2、双语混合网页中双语资源抽取;为基于机器翻译特征进一步过滤步骤SI获取的双语噪声对。
[0037]在网页里面，主题内容一般都会在某个区域，所以首先可以对网页进行划分，利用“双语率”，分析网页链接数目，锚文本等信息分析划分区域包含双语资源的可能性。基于此类结构信息，可以比较准确的选取一大堆互为候选的双语翻译对。
[0038]S3、双语网页领域相似度的计算，计算候选双语网页的领域相似程度，将候选双语网页分成平行网页、可比网页，同时过滤掉不相关的候选网页。
[0039]这里将从定量分析和定性分析两种角度研究双语网页的领域相似性度量方法。定量的方法以数值的形式描述双语网页的领域相似程度，如基于关键词频度或位置的特征向量空间模型的各种相似度计算方法等。定性分析方法采用支持向量机分类模型实现双语网页的领域分类。
[0040]S4、基于双语网页的翻译句对抽取，利用获取的平行网页和可比网页进一步抽取出双语翻译对，形成对齐的双语文本;图3给出了基于Web的特点领域双语语料库获取流程。[0041 ] S5、基于领域双语语料库的术语翻译的自动获取，采用自反馈、增量式的领域术语翻译自动获取方法，根据接收到的领域术语关键词得到对应的译文并输出。能够根据用户的需求，实现特定领域的双语术语译文抽取。
[0042]采用自反馈、增量式的领域术语翻译自动获取方法，具体为:首先以领域术语、关键词或命名实体，及其翻译作为种子，进行给定领域双语语料库的自动获取，双语语料库包括平行语料库和可比语料库;然后，根据获取的双语语料库采用传统的术语翻译获取方法实现领域术语翻译的自动获取;根据获取的术语翻译去获取更大规模的领域双语语料库，再进行新一轮的术语翻译获取;如此经过多次反馈，增量式地获得领域双语语料库及领域术语翻译。图3给出了自反馈、增量式的领域术语翻译获取示意图。
【主权项】
1.一种具有领域定制功能的术语译文挖掘系统，其特征在于:包括学习训练单元和术语译文挖掘单元， 学习训练单元:包括输入子单元和训练子单元， 输入子单元:输入领域种子用以输入用户指定领域的小规模汉英关键词翻译列表，用以作为学习训练的种子； 训练子单元:从互联网获取用户指定领域的双语网页资源并得到该领域的双语翻译对； 术语译文挖掘单元:采用自反馈、增量式的领域术语翻译自动获取方法，根据接收到的领域术语关键词得到对应的译文并输出。2.如权利要求1所述的具有领域定制功能的术语译文挖掘系统，其特征在于:训练子单元包括双语网站和网页识别模块、双语资源噪声过滤模块、双语网页领域相似度计算模块、翻译句对抽取模块， 双语网站和网页识别模块:采用基于关键词的领域定制模型，首先输入一个特定领域的汉英关键词翻译列表，利用通用搜索引擎建立相关站点集，再利用采集器对每个站点及其相关链接进行扩展查找，形成原始的特定领域的双语网页集，使用向量空间模型对原始双语网页集进行初步过滤形成候选双语网页； 双语资源噪声过滤模块:基于机器翻译特征进一步过滤获取的双语噪声对； 双语网页领域相似度计算模块:计算候选双语网页的领域相似程度，将候选双语网页分成平行网页、可比网页，同时过滤掉不相关的候选网页； 翻译句对抽取模块:利用获取的平行网页和可比网页进一步抽取出双语翻译对，形成对齐的双语文本。3.如权利要求1或2所述的具有领域定制功能的术语译文挖掘系统，其特征在于:术语译文挖掘单元包括自动获取翻译候选单元模块和选择最终译文模块， 自动获取翻译候选单元模块:从取出的双语翻译对中选择合法的翻译候选单元； 选择最终译文模块:经过筛选和排序，得到最终译文。4.如权利要求3所述的具有领域定制功能的术语译文挖掘系统，其特征在于:在自动获取翻译候选单元模块中，具体为:首先以领域术语、关键词或命名实体，及其翻译作为种子，进行给定领域双语语料库的自动获取;然后，根据获取的双语语料库采用传统的术语翻译获取方法实现领域术语翻译的自动获取;根据获取的术语翻译去获取更大规模的领域双语语料库，再进行新一轮的术语翻译获取;如此经过多次反馈，增量式地获得领域双语语料库及领域术语翻译。5.—种实现权利要求1-4任一项所述系统的具有领域定制功能的术语译文挖掘方法，其特征在于，包括以下步骤: 51、候选双语混合网页的选取； 52、双语混合网页中双语资源抽取； 53、双语网页领域相似度的计算，计算候选双语网页的领域相似程度，将候选双语网页分成平行网页、可比网页，同时过滤掉不相关的候选网页； 54、基于双语网页的翻译句对抽取，利用获取的平行网页和可比网页进一步抽取出双语翻译对，形成对齐的双语文本； S5、基于领域双语语料库的术语翻译的自动获取，采用自反馈、增量式的领域术语翻译自动获取方法，根据接收到的领域术语关键词得到对应的译文并输出。6.如权利要求5所述的具有领域定制功能的术语译文挖掘方法，其特征在于:步骤SI具体为:采用基于关键词的领域定制模型，首先输入一个特定领域的汉英关键词翻译列表，利用通用搜索引擎建立相关站点集，再利用采集器对每个站点及其相关链接进行扩展查找，形成原始的特定领域的双语网页集，使用向量空间模型对原始双语网页集进行初步过滤形成候选双语网页。7.如权利要求5所述的具有领域定制功能的术语译文挖掘方法，其特征在于:步骤S2中，双语混合网页中双语资源抽取为基于机器翻译特征进一步过滤步骤SI获取的双语噪声对。8.如权利要求5所述的具有领域定制功能的术语译文挖掘方法，其特征在于:步骤S5中，采用自反馈、增量式的领域术语翻译自动获取方法，具体为:首先以领域术语、关键词或命名实体，及其翻译作为种子，进行给定领域双语语料库的自动获取;然后，根据获取的双语语料库采用传统的术语翻译获取方法实现领域术语翻译的自动获取;根据获取的术语翻译去获取更大规模的领域双语语料库，再进行新一轮的术语翻译获取;如此经过多次反馈，增量式地获得领域双语语料库及领域术语翻译。
【专利摘要】本发明提供一种具有领域定制功能的术语译文挖掘系统及方法，包括学习训练单元和术语译文挖掘单元，学习训练单元：包括输入子单元和训练子单元，输入子单元：输入领域种子用以输入用户指定领域的小规模汉英关键词翻译列表，用以作为学习训练的种子；训练子单元：从互联网获取用户指定领域的双语网页资源并得到该领域的双语翻译对；术语译文挖掘单元：采用自反馈、增量式的领域术语翻译自动获取方法，根据接收到的领域术语关键词得到对应的译文并输出；该系统及方法充分利用互联网上的跨语言资源，实现领域定制的术语译文挖掘，为跨语言的自然语言处理任务提供重要的技术和资源支持。
【IPC分类】G06F17/30, G06F17/28
【公开号】CN105528341
【申请号】CN201510826690
【发明人】梁颖红
【申请人】金陵科技学院
【公开日】2016年4月27日
【申请日】2015年11月25日