一种情报关键词提取方法

本发明属于关键词提取，具体涉及一种情报关键词提取方法。

背景技术：

1、情报工作是一项非常复杂且庞大的工程，特别是情报信息来源丰富，内容结构不一致，数据体量庞大，情报文本的关键词可以帮助用户快速了解情报表述内容。而传统提取关键词的机器算法加人工筛选中需要投入大量人力和机器算力，已无法满足互联网信息爆炸式高速发展所产生的数据资料处理的需求。

技术实现思路

1、本发明为了解决以上问题，提出了一种情报关键词提取方法。

2、本发明的技术方案是：一种情报关键词提取方法包括以下步骤：

3、s1、获取待处理情报文本，并将待处理情报文本均匀划分为若干个情报文本块；

4、s2、计算各个情报文本块的语义适应度；

5、s3、提取所有情报文本块的关键词，生成关键词序列；

6、s4、利用各个情报文本块的语义适应度，对关键词序列进行更新，确定待处理情报文本的所有关键词。

7、进一步地，s2包括以下子步骤：

8、s21、提取情报文本块中各个单词的词频，生成词频集合；

9、s22、构建语义筛选条件，将词频满足语义筛选条件的单词作为语义单词集合的子集；

10、s23、提取语义单词集合中各个单词的逆文本频率，生成语义特征矩阵；

11、s24、对语义特征矩阵进行奇异值分解，将语义特征矩阵的奇异值作为情报文本块的语义适应度。

12、上述进一步方案的有益效果是：在本发明中，根据情报文本块中各个单词的词频参数和逆文本频率参数来确定一个包含单词特征参数的语义特征矩阵，该语义特征矩阵的奇异值可以作为整个情报文本块的语义适应度，来表征整个情报文本块的单词词频等参数分布情况。

13、进一步地，s22中，语义筛选条件的表达式为：

14、；

15、式中，表示词频集合的最大值，表示词频集合的最小值，表示情报文本块中第个单词的词频，表示词频集合中所有词频的标准差，表示情报文本块的文本长度。

16、进一步地，s23中，语义特征矩阵的表达式为：

17、；

18、式中，表示语义单词集合中第一个单词在所属情报文本块的逆文本频率，表示语义单词集合中第二个单词在所属情报文本块的逆文本频率，表示语义单词集合中第个单词在所属情报文本块的逆文本频率，表示语义单词集合中第个单词在所属情报文本块的逆文本频率，表示语义单词集合的单词个数，表示转置。

19、进一步地，s3中，利用textrank算法提取各个情报文本块的关键词，生成关键词序列。

20、textrank算法是一种基于图的排序算法，可以用于关键词提取的文本摘要抽取。

21、进一步地，s4包括以下子步骤：

22、s41、从关键词序列中随机选择一个关键词作为第一优化关键词，将关键词序列中词频最大且与第一优化关键词不同的关键词作为第二优化关键词；这里的词频指该关键词在整个待处理情报文本的词频。

23、s42、判断第一优化关键词和第二优化关键词是否属于同一情报文本块，若是则进入s43，否则进入s44；

24、s43、将第一优化关键词所属情报文本块的语义适应度作为优化语义适应度，并进入s45；

25、s44、将第一优化关键词所属情报文本块的语义适应度与第二优化关键词所属情报文本块的语义适应度之间的均值作为优化语义适应度，并进入s45；

26、s45、根据优化语义适应度以及关键词序列中词频最小的关键词所属情报文本块的语义适应度，确定最佳语义适应度；这里的词频指该关键词在整个待处理情报文本的词频。

27、s46、判断关键词序列中是否存在词频小于最佳语义适应度的关键词，若是则进入s47，否则不对关键词序列进行更新；这里的词频指该关键词在整个待处理情报文本的词频。

28、s47、计算词频小于最佳语义适应度的各个关键词在待处理情报文本中的语义置信度；这里的词频指该关键词在整个待处理情报文本的词频。

29、s48、根据词频小于最佳语义适应度的各个关键词在待处理情报文本中的语义置信度，对关键词集合进行更新。

30、上述进一步方案的有益效果是：在本发明中，通过随机选择的关键词所属情报文本块以及整个待处理情报文本中词频最大的关键词所属情报文本块来确定一个优化语义适应度，并对优化语义适应度进行修正调整，得到最佳语义适应度，通过最佳语义适应度来判断是否进行关键词更新，保证提取的所有关键词准确且恰当。

31、进一步地，s45中，最佳语义适应度的计算公式为：

32、；

33、式中，表示第一优化关键词所属情报文本块的语义适应度，表示第二优化关键词所属情报文本块的语义适应度，表示优化语义适应度，表示情报文本块的个数，表示关键词序列中词频最小的关键词所属情报文本块的语义适应度，表示所有情报文本块的最小语义适应度，表示指数函数，表示最大值函数。

34、进一步地，s47中，词频小于最佳语义适应度的关键词在待处理情报文本中的语义置信度的计算公式为：

35、；

36、式中，表示待处理情报文本的文本长度，表示情报文本块的个数，表示第个情报文本块的语义适应度，表示关键词在待处理文本中的词频。

37、进一步地，s48中，对关键词集合进行更新的具体方法为：将语义置信度小于0.5的关键词从关键词集合中剔除，完成更新。

38、本发明的有益效果是：本发明公开了一种情报关键词提取方法，可以对多个情报文本块进行单独的语义分析，得到表征各个情报文本块语义情况的语义适应度，并利用语义适应度对所有情报文本块的关键词进行更新修正，保证提取的关键词准确无误，进而提高情报信息处理能力，大大提高情报查找效率。

技术特征：

1.一种情报关键词提取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的情报关键词提取方法，其特征在于，所述s2包括以下子步骤：

3.根据权利要求2所述的情报关键词提取方法，其特征在于，所述s22中，语义筛选条件的表达式为：

4.根据权利要求2所述的情报关键词提取方法，其特征在于，所述s23中，语义特征矩阵的表达式为：

5.根据权利要求1所述的情报关键词提取方法，其特征在于，所述s3中，利用textrank算法提取各个情报文本块的关键词，生成关键词序列。

6.根据权利要求1所述的情报关键词提取方法，其特征在于，所述s4包括以下子步骤：

7.根据权利要求6所述的情报关键词提取方法，其特征在于，所述s45中，最佳语义适应度的计算公式为：

8.根据权利要求6所述的情报关键词提取方法，其特征在于，所述s47中，词频小于最佳语义适应度的关键词在待处理情报文本中的语义置信度的计算公式为：

9.根据权利要求6所述的情报关键词提取方法，其特征在于，所述s48中，对关键词集合进行更新的具体方法为：将语义置信度小于0.5的关键词从关键词集合中剔除，完成更新。

技术总结
本发明公开了一种情报关键词提取方法，属于关键词提取技术领域，包括以下步骤：S1、获取待处理情报文本，并将待处理情报文本均匀划分为若干个情报文本块；S2、计算各个情报文本块的语义适应度；S3、提取所有情报文本块的关键词，生成关键词序列；S4、利用各个情报文本块的语义适应度，对关键词序列进行更新，确定待处理情报文本的所有关键词。本发明公开了一种情报关键词提取方法，可以对多个情报文本块进行单独的语义分析，得到表征各个情报文本块语义情况的语义适应度，并利用语义适应度对所有情报文本块的关键词进行更新修正，保证提取的关键词准确无误，进而提高情报信息处理能力，大大提高情报查找效率。

技术研发人员：于蓓莉,陈萍秀,柴苗岭,何林,赵月
受保护的技术使用者：成都航空职业技术学院
技术研发日：
技术公布日：2024/2/6