技术编号:11155056
提示:您尚未登录,请点 登 陆 后下载,如果您还没有账户请点 注 册 ,登陆完成后,请刷新本页查看技术详细信息。本发明涉及数据处理技术领域,更具体地说,涉及一种分词词库更新方法及系统。背景技术在搜索系统中,分词效果的好坏是影响搜索效果的关键因素。而分词过程所依赖的词库,是分词技术的重要组成部分。目前常见的词库生成方法是采用统计的方法:对输入语料中相邻共现的各个字的组合(即字组)的频度进行统计,计算其互现信息,其中,该互现信息体现了汉字之间结合关系的紧密程度,当紧密程度高于某一个阈值时,则可认为此字组可能构成了一个词。通过上述方法生成词库,再将词库应用与线上分词业务。然而采用上述词频统计的方法生成的中文词库...
注意:该技术已申请专利,请尊重研发人员的辛勤研发付出,在未取得专利权人授权前,仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权,增加技术思路,做技术知识储备,不适合论文引用。
请注意,此类技术没有源代码,用于学习研究技术思路。