一种基于大语言模型的开源情报分析方法与流程

本发明涉及开源情报分析，具体而言，涉及一种基于大语言模型的开源情报分析方法。

背景技术：

1、开源情报(open source intelligence，osint)作为收集、整理和分析公开可用的数据和信息来获取情报的过程，数据来源广泛，包括互联网、社交媒体、政府公开信息、学术论文、新闻报告、博客、论坛等，重要价值在于能够以较低成本，快速第获取大量信息，为决策者提供全面、准确、及时的情报支持。

2、开源情报分析作为一种基于公开信息或资源的情报收集、处理和分析方法，涵盖了广泛的技术和技能，包括信息收集、语言处理、数据挖掘、网络分析、统计建模等。情报分析人员通过将不同来源的信息整合在一起，利用先进的工具和技术，以识别隐藏在海量数据中的关键信息，从而支持决策制定、风险评估、威胁情报等活动。开源情报分析的目标在于提高对情报事件的预测能力、减轻潜在风险、揭示新兴威胁并增强决策制定的基础。

3、在当今信息爆炸的时代，情报分析面临着前所未有的信息量，从互联网、社交媒体、新闻报道到学术文献，数据源丰富多样。这些海量数据中蕴含着对社会、经济和国家安全等方面至关重要的信息。然而，由于数据数量庞大，传统的人工分析方法已经无法满足对数据深度理解和全面把握的需求。人力资源的有限性也是当前信息处理面临的挑战之一，即便是最专业、高效的分析团队，也难以迅速而全面地分析所有来源的信息，从而不可避免的遗漏关键细节，导致对事件或威胁的准确评估受到限制。在这样的情境下，寻找一种高效而全面的信息处理方法变得至关重要。目前，虽然已有许多开源情报获取分析的方法，但在实际使用中，最棘手的问题莫过于如何获得全面的情报源信息，以及如何对成千上百的情报源信息在短时间内进行深度的数据处理，总结为一篇全面的情报产品。简而言之，开源数据获取方式和分析汇总方式是开源情报分析的瓶颈问题。

4、大语言模型(large language model，llm)是一种采用大量数据进行训练的人工智能模型，具有强大的自然语言处理能力和数据分析能力，在开源情报分析中的应用具有重要意义，能够迅速处理海量的开源信息，提取有价值的情报信息，极大提高情报分析的效率。另外，大语言模型通过深度深度学习和数据挖掘等技术手段，深入挖掘信息之间的关联性和趋势，有助于发现隐藏在海量信息中的关键情报信息，为决策者提供更加全面和深入的情报支持。

技术实现思路

1、针对上述传统开源情报分析方法存在的问题，本发明提供一种基于大语言模型的开源情报分析方法。

2、本发明提供的一种基于大语言模型的开源情报分析方法，包括如下步骤：

3、基于多搜索引擎收集开源情报；

4、基于大语言模型分析开源情报。

5、进一步地，所述基于多搜索引擎收集开源情报包括如下子步骤：

6、扩充检索内容；

7、基于多搜索引擎进行数据搜索爬取；

8、对搜索爬取信息进行可信度评估及内容评筛；

9、对评筛信息去重总结，得到开源情报。

10、进一步地，所述扩充检索内容包括：

11、基于大语言模型的语义理解能力，对所需情报事件的相关检索内容进行扩充，将一个搜索内容扩充为多个。

12、进一步地，所述基于多搜索引擎进行数据搜索爬取包括：

13、通过大语言模型的工具调用能力，调用多个搜索引擎进行搜索爬取。

14、进一步地，所述对搜索爬取信息进行可信度评估及内容评筛包括：

15、利用思维链技术，基于大语言模型的逻辑推理能力，对多搜索引擎的返回的搜索爬取信息进行分组评估，查找逻辑不符内容，采用投票机制，进行可信度评估，实现内容的评筛。

16、进一步地，所述对评筛信息去重总结包括：

17、基于大语言模型的分析能力，将评筛信息进行总结汇总，将重复内容合并，形成最终去重后的开源情报。

18、进一步地，所述基于大语言模型分析开源情报包括如下子步骤：

19、获取情报基本信息；

20、分析情报基本信息；

21、基于情报信息分析结果预测情报事件。

22、进一步地，所述获取情报基本信息包括：

23、利用大语言模型的工具调用能力，让大语言模型调用多个搜索引擎，从开源情报中搜索情报主题相关的基本信息；

24、基于大语言模型的逻辑思维能力对搜索的基本信息进行分类汇总，基于大语言模型的分析能力从中选出逻辑符合的结果内容，去除可能的逻辑不符内容，获取全面的情报基本信息。

25、进一步地，所述分析情报基本信息包括：

26、通过情报基本信息，获取与情报相关方可能的关键信息；

27、通过该关键信息获取该情报尽量全面的相关方关于该事件的表态及可能的利益关系；

28、其中，采取大语言模型的反思机制，基于大语言模型对分析结果的分析评判，提出修改意见，并基于修改意见分析出缺失的情报信息，并再次返回情报基本信息获取步骤进行情报基本信息的补充获取。

29、进一步地，所述基于情报信息分析结果预测情报事件包括：

30、基于情报基本信息分析结果，将利益关系根据内容进行分组，形成相关方的利益共同体，并根据相关方关于事件的利益信息、表态、得失，形成对事件的预测，生成开源情报产品，为决策者提供全面、准确、及时的情报支持。

31、综上所述，由于采用了上述技术方案，本发明的有益效果是：

32、1、本发明增强了开源情报分析能力。充分利用大语言模型自然语言处理和语义理解能力，能够高效处理海量文本数据，识别文本中的隐藏信息，并从中挖掘有价值的情报内容，通过任务驱动的学习方式理解任务的上下文和目标，提高情报分析的效率和准确率，更好地处理信息来源广泛、碎片化、质量不一的开源数据，提高开源情报获取和分析的效率。

33、2、本发明提高了开源数据检索效率。基于大语言模型的逻辑思维能力，对所需情报数据的相关检索内容进行扩充，将一个搜索内容基于语义扩充为多个，并通过大语言模型的工具调用能力，调用多个搜索引擎进行搜索，综合多个搜索引擎优势，降低搜索偏见，增强搜索结果的可信度，提升开源情报检索效率并拓宽信息检索边界，有利于从庞杂的开源数据中提炼出丰富且有价值的情报。

34、3、本发明创新了信息可信度评估机制。基于大语言模型的逻辑思维能力，对多搜索引擎的返回的结果进行分组评估，查找逻辑不符内容，采用投票机制进行循环评判，直至满足符合标准后，完成分析返回结果，实现开源情报可信度评估，并利用大语言模型的检索增强生成(rag)技术有效避免了爬取信息存在政治倾向的问题。

35、4、本发明提升了情报分析可解释性。在开源情报分析过程中，基于思维链技术分析获取信息的逻辑正确性，根据已知事实或线索，对情报事件进行背景信息爬取分析，基于提示词将不同检索源的信息进行分析评判，结合人工干预建议进一步分析缺失的情报信息，并再次返回情报收集步骤进行信息的补充获取，逐步构建一个完整的情报脉络。

36、5、本发明中大语言模型具备强大的自然语言处理和信息理解能力，能够高效处理海量文本数据。其深度语义理解能力使其能够识别文本中的隐藏信息，并从中挖掘有价值的情报内容。通过任务驱动的学习方式，大语言模型可以更好地理解任务的上下文和目标，提高情报分析的效率和准确率。考虑到开源情报的特点，这种方法能够更好地处理信息来源广泛、碎片化、质量不一的情况，提高情报获取和分析的效率。最重要的是，这种方法具有较强的可持续发展性，随着大语言模型在海量数据中的不断学习和优化，其在情报分析中的性能也将不断提升，为情报工作提供持续的支持和帮助。