关键词提取方法及装置与流程

本申请涉及自然语言处理，具体涉及一种关键词提取方法及装置。

背景技术：

1、关键词提取是nlp(自然语言处理)领域常见的任务，它可以提取与文档内容最相关的若干词汇。

2、在提取关键词时，为确保关键词提取地准确度，可采用有监督的关键词提取方法，具体为将关键词提取任务视为分类任务。在分类任务中，先提取出候选词，然后对每个候选词进行二分类，判断其是否为关键词。而这种关键词提取方法需要人工标注训练集合，导致人工成本较高且耗时久，无法快捷地提取关键词，故而难以展开大规模的应用。为此，在需要从大量文本中提取关键词时，相关技术中，通常采用无监督的关键词提取方法进行关键词提取，具体为先从文档正文中抽取出候选词，然后对各个候选词进行打分，然后输出topk个分值最高的候选词作为关键词。

3、然而，相关技术中的无监督的关键词提取方法由于无法有效综合利用多种信息筛选关键词，因此容易导致关键词提取结果不够准确。

技术实现思路

1、本申请实施例提供一种关键词提取方法及装置，能够从文本中快捷地提取关键词的同时，提高关键词提取结果的准确度。

2、第一方面，本申请实施例提供一种关键词提取方法，包括：

3、从目标文档的文档正文和文档标题中，根据词频提取多个候选词；

4、根据所述候选词的词向量，以及所述文档正文中各分句的句向量，获取所述候选词与各所述分句对应的各第一相关度；

5、将各所述第一相关度根据各所述第一相关度的预设权重进行加权，确定所述候选词的关键值；

6、根据各所述候选词的关键值，从各所述候选词中提取至少一个关键词。

7、在一个实施例中，根据词频提取多个候选词，包括：

8、根据词频提取词性为预设词性的多个候选词。

9、在一个实施例中，还包括：

10、从所述文档正文中获取各所述分句；

11、对所述分句进行第一分词处理，获取多个第一分词；

12、将各所述第一分词的词向量进行加权，确定所述分句的句向量。

13、在一个实施例中，从所述文档正文中获取各所述分句，包括：

14、根据预设的断句标识，从所述文档正文中获取各所述分句。

15、在一个实施例中，还包括：

16、根据各所述分句的句向量以及所述文档标题的标题向量，获取与各所述分句一一对应的各第二相关度；

17、将与所述分句对应的第二相关度，确定为与所述分句对应的第一相关度的预设权重。

18、在一个实施例中，所述标题向量由各第二分词的词向量加权后确定；所述各第二分词通过对所述文档标题进行分词处理后得到。

19、在一个实施例中，所述根据各所述分句的句向量以及所述文档标题的标题向量，获取与各所述分句一一对应的各第二相关度，包括：

20、根据各所述分句的句向量以及所述文档标题的标题向量，获取与各所述分句一一对应的各初始相关度；

21、对各初始相关度进行归一化处理，获取与各所述分句一一对应的各第二相关度。

22、第二方面，本申请实施例提供一种关键词提取装置，包括：

23、候选词提取模块，用于从目标文档的文档正文和文档标题中，根据词频提取多个候选词；

24、相关度获取模块，用于根据所述候选词的词向量，以及所述文档正文中各分句的句向量，获取所述候选词与各所述分句对应的各第一相关度；

25、关键值确定模块，用于将各所述第一相关度根据各所述第一相关度的预设权重进行加权，确定所述候选词的关键值；

26、关键词提取模块，用于根据各所述候选词的关键值，从各所述候选词中提取至少一个关键词。

27、第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的关键词提取方法的步骤。

28、第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的关键词提取方法的步骤。

29、本申请实施例提供的关键词提取方法及装置，根据词频从目标文档的文档正文和文档标题中提取多个候选词，并根据候选词的词向量，以及所述文档正文中各分句的句向量，获取所述候选词与各所述分句对应的各第一相关度后，将各所述第一相关度根据各所述第一相关度的预设权重进行加权，确定所述候选词的关键值，以根据各所述候选词的关键值，从各所述候选词中提取至少一个关键词。通过词频从目标文档的文档正文和文档标题中确定多个候选词后，计算每个候选词与各个分句之间的相关度，并通过候选词与各个分句之间的相关度进行加权，确定每个候选词的关键值，以基于每个候选词的关键值大小来从各候选词中提取关键词，从而在常规无监督的关键词提取方法上，综合考虑了词频，以及候选词与分句的语义特征，进而在无需人工标注即可从文本中提取关键词，减少进行关键词提取的时间成本和人工成本，使关键词提取的更快捷的同时，提高关键词提取结果的准确度。

技术特征：

1.一种关键词提取方法，其特征在于，包括：

2.根据权利要求1所述的关键词提取方法，其特征在于，根据词频提取多个候选词，包括：

3.根据权利要求1所述的关键词提取方法，其特征在于，还包括：

4.根据权利要求3所述的关键词提取方法，其特征在于，所述从所述文档正文中获取各所述分句，包括：

5.根据权利要求1至4任一项所述的关键词提取方法，其特征在于，还包括：

6.根据权利要求5所述的关键词提取方法，其特征在于，所述标题向量由各第二分词的词向量加权后确定；所述各第二分词通过对所述文档标题进行分词处理后得到。

7.根据权利要求5所述的关键词提取方法，其特征在于，所述根据各所述分句的句向量以及所述文档标题的标题向量，获取与各所述分句一一对应的各第二相关度，包括：

8.一种关键词提取装置，其特征在于，包括：

9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的关键词提取方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的关键词提取方法的步骤。

技术总结
本申请提供一种关键词提取方法及装置。所述方法包括：从目标文档的文档正文和文档标题中，根据词频提取多个候选词；根据所述候选词的词向量，以及所述文档正文中各分句的句向量，获取所述候选词与各所述分句对应的各第一相关度；将各所述第一相关度根据各所述第一相关度的预设权重进行加权，确定所述候选词的关键值；根据各所述候选词的关键值，从各所述候选词中提取至少一个关键词。本申请实施例提供的关键词提取方法及装置能够从文本中快捷地提取关键词的同时，提高关键词提取结果的准确度。

技术研发人员：张淼,白波,石正贵
受保护的技术使用者：中移动信息技术有限公司
技术研发日：
技术公布日：2024/1/11