包含松散结构的汉语多词表达敏感特征的抽取方法与流程

文档序号:13642738阅读:来源:国知局

技术特征:

1.一种包含松散结构的汉语多词表达敏感特征的抽取方法,其特征在于:其步骤如下:

1)、紧凑结构多词表达的敏感特征集,只要某个特征能提升该多词表达抽取的结果,就认为该特征应当加入该多词表达的特征集,特征集用Φ(gi)表示;

2)、松散结构多词表达的敏感特征集,将采用统计信息和人工总结的词表、规则、模版以及语义特征相结合的多种特征作为松散结构的特征集,特征集用Φs(gi)表示;

3)、敏感特征选择算法,敏感特征选择是从上述步骤1)和步骤2)的所有特征集中选择出一组最有效、对分类效果影响最大的特征子集;所述步骤3)中敏感特征选择算法,收集被分词程序错分的分词结果,并提取其特征包括词性、上下文信息,把这部分错分的分词结果作为多词表达的候选,通过代价函数计算错分代价,并把该错分代价加入多词表达敏感特征选择的考量中;为减少所选特征的个数,提高所选特征子集的有效性,采用后向添加特征逐个添加方法筛选特征。

2.根据权利要求1所述的包含松散结构的汉语多词表达敏感特征的抽取方法,其特征在于:所述步骤1)中的紧凑结构的Φ(gi)共包含9种特征,分别是:共现频率fi、互信息MIi、最大似然值LHi、可替代性Subi、χ2函数pxi、分布相似性dfi、是否作为动词出现asvi、组成多词表达的词性串ps和多词表达的边界概率pb

3.根据权利要求1所述的包含松散结构的汉语多词表达敏感特征的抽取方法,其特征在于:所述步骤2)中松散结构多词表达的敏感特征集将采用统计信息和人工总结的词表、规则、模版以及语义特征相结合的多种特征作为松散结构的特征集,松散结构多词表达的敏感特征集增加了一个子特征集Φs(gi),它包含以下6种特征:动词词表vpd、方位词词表loation、处所词词表place、规则rules、模版model和语义sema,松散结构的多词表达的总特征集Φtotal=Φ(gi)+Φs(gi)。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1