计算词的TF-IDF值的方法、装置、设备及存储介质与流程

文档序号:20684496发布日期:2020-05-08 18:42阅读:来源:国知局

技术特征:

1.一种计算词的tf-idf值的方法,其特征在于,所述方法包括:

根据第一目标词遍历树形数据结构的根节点下的子节点,确定出第一目标子节点,所述第一目标子节点所指示的分词为所述第一目标词;

获取所述第一目标子节点对应的第一目标集合,所述第一目标集合包括第一文本标识以及所述第一目标词在所述第一文本标识对应的文本中的第一词频tf值,不同的第一文本标识所对应的文本互不相同;

根据所述第一目标集合中所包括的第一文本标识的数量以及所述根节点所指示的文本总数,确定出所述第一目标词的第一逆文本频率idf值;

根据所述第一tf值以及所述第一idf值,计算出所述第一目标词对应的tf-idf值。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

根据第二目标词遍历所述第一目标子节点下的虚拟子节点,确定出第一虚拟子节点,所述第一虚拟子节点的指针指向所述根节点下的第二目标子节点,所述第二目标子节点所指示的分词为所述第二目标词,所述第二目标词与所述第一目标词在同一文本中连续;

获取所述第二目标子节点对应的第二目标集合,所述第二目标集合包括第二文本标识以及所述第二目标词在所述第二文本标识对应的文本中的第二tf值,不同的第二文本标识所对应的文本互不相同;

根据所述第二目标集合中所包括的第二文本标识的数量以及所述根节点所指示的文本总数,确定出所述第二目标词的第二idf值;

根据所述第二tf值以及所述第二idf值,计算出所述第二目标词对应的tf-idf值。

3.根据权利要求2所述的方法,其特征在于,所述第一目标词与所述第二目标词为分词集合中的分词,所述分词集合是通过对问题文本进行分词处理而得到,所述方法还包括:

确定每个所述第一文本标识对应的文本的关键词集合以及每个第二文本标识对应的文本的关键词集合,所述关键词集合中的每个关键词所对应的tf-idf值均不低于所述文本中其它分词对应的tf-idf值,所述关键词集合包括所述第一目标词和/或所述第二目标词;

将目标关键词集合所对应的文本确定为所述问题文本对应的答案文本,所述目标关键词集合与所述分词集合之间的相似度高于其它关键词集合与所述分词集合之间的相似度。

4.根据权利要求3所述的方法,其特征在于,所述关键词集合中所包括的关键词数量不超过所述分词集合中所包括的分词数量。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

将待处理文本进行分词,得到所述待处理文本的分词集合,所述分词集合至少包括第一分词,所述待处理文本为文本库中的任一文本或待添加至所述文本库中的新增文本;

当所述树形数据结构的根节点下的子节点所指示的分词中不包括所述第一分词时,在所述树形数据结构的根节点下创建第一子节点以及所述第一子节点对应的集合,所述第一子节点所指示的分词为所述第一分词,并在所述第一子节点对应的集合中添加所述待处理文本的文本标识以及所述第一分词在所述待处理文本中的第一tf值;

当所述根节点下的子节点中存在第一子节点所指示的分词为所述第一分词时,在所述第一子节点对应的集合中添加所述待处理文本的文本标识以及所述第一分词在所述待处理文本中的第一tf值。

6.根据权利要求5所述的方法,其特征在于,所述待处理文本的分词集合还包括第二分词,所述第二分词与所述第一分词在所述待处理文本中连续,所述方法还包括:

当所述第一子节点下的虚拟子节点所指示的分词中不包含所述第二分词时,在所述第一子节点下创建目标虚拟子节点,并为所述目标虚拟子节点建立指向所述根节点下的第二子节点的指针,所述第二子节点所指示的分词为所述第二分词,并在所述第二子节点对应的集合中添加所述待处理文本的文本标识以及所述第二分词在所述待处理文本中的第二tf值;

当所述第一子节点下的虚拟子节点中存在目标虚拟子节点所指示的分词为所述第二分词时,在所述目标虚拟子节点的指针指向的第二子节点所对应的集合中,添加所述待处理文本的文本标识以及所述第二分词在所述待处理文本中的第二tf值。

7.根据权利要求5所述的方法,其特征在于,所述分词集合还包括第三分词,所述方法还包括:

当确定所述第三分词与所述第一分词相同时,不在所述第一子节点对应的集合中添加所述待处理文本的文本标识以及所述第三分词在所述待处理文本中的tf值。

8.一种计算词的tf-idf值的装置,其特征在于,所述装置包括:

第一确定模块,用于根据第一目标词遍历树形数据结构的根节点下的子节点,确定出第一目标子节点,所述第一目标子节点所指示的分词为所述第一目标词;

第一获取模块,用于获取所述第一目标子节点对应的第一目标集合,所述第一目标集合包括第一文本标识以及所述第一目标词在所述第一文本标识对应的文本中的第一词频tf值,不同第一文本标识所对应的文本互不相同;

第二确定模块,用于根据所述第一目标集合中所包括的第一文本标识的数量以及所述根节点所指示的文本总数,确定出所述第一目标词的第一逆文本频率idf值;

第一计算模块,用于根据所述第一tf值以及所述第一idf值,计算出所述第一目标词对应的tf-idf值。

9.一种设备,其特征在于,所述设备包括处理器以及存储器;

所述存储器,用于存储程序代码,并将所述程序代码传输给所述处理器;

所述处理器,用于根据所述程序代码中的指令执行如权利要求1至7任一项所述的计算词的tf-idf值的方法。

10.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至7任一所述的计算词的tf-idf值的方法。


技术总结
本申请公开了一种计算词的TF‑IDF值的方法、装置、设备及存储介质,包括:根据目标词遍历树形数据结构的根节点下的子节点,确定出目标子节点;获取该目标子节点对应的目标集合,该目标集合中包括有文本标识以及该目标词在该文本标识对应的文本中的TF值;根据该目标集合中所包括的文本标识的数量以及该根节点所指示的文本总数,确定出该目标词的IDF值,进而计算出该目标词的TF‑IDF值。可见,在确定该目标词对应的目标集合后,可以直接确定出文本库中存在哪些文本包含该目标词以及该目标词在每个文本中的TF值,从而可以有效减少确定这些文本所需消耗的计算资源,提高确定目标词对应的TF‑IDF值的效率。

技术研发人员:陈建华;崔朝辉;赵立军;张霞
受保护的技术使用者:东软集团股份有限公司
技术研发日:2019.12.20
技术公布日:2020.05.08
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1