一种基于大语言模型的知识问答方法及系统与流程

本发明涉及长文本检索领域和人工智能大语言模型领域，更具体地，涉及一种基于大语言模型的知识问答方法及系统。

背景技术：

1、在大语言模型领域中，常用的大语言模型通过大量的通用知识文本数据和强大的算力资源训练完成。通过解析用户输入的问题，从模型的知识结构中生成相应的答案。

2、对于一些特殊行业领域的知识，常见的开源大语言模型的知识结构中不包含和包含较少，因此无法进行解析和处理。虽然也存在一些专门针对一些专业领域训练的大语言模型，但是存在训练数据无法更新和训练成本较大的问题，并且也存在部分特殊行业无法对行业知识和文档进行开源。所以需要一种本地知识库的智能文档信息提取和生成的方法。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供一种基于大语言模型的知识问答方法及系统。

2、根据本发明的第一方面，提供了一种基于大语言模型的知识问答方法，包括：

3、将本地文档划分成段，得到多个分段知识文本，通过大语言模型基于每一个分段知识文本生成相关问题；

4、将生成的所述相关问题向量化，将每一个所述相关问题与对应的分段知识文本存储至向量数据库作为本地知识问题库；

5、将用户的提问问题进行向量化，从所述向量数据库中检索与用户的提问问题距离最近的多个相似的相关问题，并获取每一个相似的相关问题对应的分段知识文本；

6、根据多个相似的相关问题以及对应的分段知识文本整合成带有提示词的问题文本；

7、将所述带有提示词的问题文本输入大语言模型中，输出相应的问题答案。

8、在上述技术方案的基础上，本发明还可以作出如下改进。

9、可选的，所述将本地文档划分成段，得到多个分段知识文本，通过大语言模型基于每一个分段知识文本生成相关问题，包括：

10、将本地的专业知识文档进行分段拆分，得到多个分段知识文本；

11、将每一个分段知识文本输入大语言模型中，获取与每一个分段知识文本对应的多个相关问题。

12、可选的，大语言模型的训练包括：

13、获取多个通用知识文本，对每一个通用知识文本进行多个知识点的提问，以得到每一个通用知识文本对应的多个相关问题；

14、获取训练样本集，所述训练样本集中的每一个样本包括一个通用知识文本和与其对应的相关问题；

15、基于所述训练样本集对大语言模型进行训练，得到训练后的大语言模型。

16、可选的，所述将生成的所述相关问题向量化，将每一个所述相关问题与对应的分段知识文本存储至向量数据库作为本地知识问题库，包括：

17、将大语言模型生成的相关问题通过bert算法，对问题文本进行编码实现向量化，将向量化的所有相关问题存储入向量数据库中，并构建相关问题与分段知识文本的关联关系。

18、可选的，所述将用户的提问问题进行向量化，从所述向量数据库中检索与用户的提问问题距离最近的多个相似的相关问题，并获取每一个相似的相关问题对应的分段知识文本，还包括：

19、当多个相似的相关问题对应的所有分段知识文本中有重复的，针对多个重复的分段知识文本，仅保留一个分段知识文本。

20、根据本发明的第二方面，提供一种基于大语言模型的知识问答系统，包括：

21、生成模块，用于将本地文档划分成段，得到多个分段知识文本，通过大语言模型基于每一个分段知识文本生成相关问题；

22、存储模块，用于将生成的所述相关问题向量化，将每一个所述相关问题与对应的分段知识文本存储至向量数据库作为本地知识问题库；

23、获取模块，用于将用户的提问问题进行向量化，从所述向量数据库中检索与用户的提问问题距离最近的多个相似的相关问题，并获取每一个相似的相关问题对应的分段知识文本；

24、整合模块，用于根据多个相似的相关问题以及对应的分段知识文本整合成带有提示词的问题文本；

25、输出模块，用于将所述带有提示词的问题文本输入大语言模型中，输出相应的问题答案。

26、可选的，所述生成模块，生成模块，用于将本地文档划分成段，得到多个分段知识文本，通过大语言模型基于每一个分段知识文本生成相关问题，包括：

27、将本地的专业知识文档进行分段拆分，得到多个分段知识文本；

28、将每一个分段知识文本输入大语言模型中，获取与每一个分段知识文本对应的多个相关问题。

29、根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于大语言模型的知识问答方法的步骤。

30、根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于大语言模型的知识问答方法的步骤。

31、本发明提供的一种基于大语言模型的知识问答方法及系统，针对专业领域或者机密行业的特殊性，常见的大语言模型无法满足其需求，本发明通过构建本地知识库，并根据用户问题从本地知识库中检索相关参考知识，利用大语言模型的文本解析能力，实现准确的知识问答功能，提高了大语言模型的使用范围，为特定领域和行业提供高效快捷的问题答案提取方法。

技术特征：

1.一种基于大语言模型的知识问答方法，其特征在于，包括：

2.根据权利要求1所述的基于大语言模型的知识问答方法，其特征在于，所述将本地文档划分成段，得到多个分段知识文本，通过大语言模型基于每一个分段知识文本生成相关问题，包括：

3.根据权利要求2所述的基于大语言模型的知识问答方法，其特征在于，大语言模型的训练包括：

4.根据权利要求1所述的基于大语言模型的知识问答方法，其特征在于，所述将生成的所述相关问题向量化，将每一个所述相关问题与对应的分段知识文本存储至向量数据库作为本地知识问题库，包括：

5.根据权利要求1所述的基于大语言模型的知识问答方法，其特征在于，所述将用户的提问问题进行向量化，从所述向量数据库中检索与用户的提问问题距离最近的多个相似的相关问题，并获取每一个相似的相关问题对应的分段知识文本，还包括：

6.一种基于大语言模型的知识问答系统，其特征在于，包括：

7.根据权利要求6所述的基于大语言模型的知识问答系统，其特征在于，所述生成模块，生成模块，用于将本地文档划分成段，得到多个分段知识文本，通过大语言模型基于每一个分段知识文本生成相关问题，包括：

8.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-5任一项所述的基于大语言模型的知识问答方法的步骤。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-5任一项所述的基于大语言模型的知识问答方法的步骤。

技术总结
本发明提供一种基于大语言模型的知识问答方法及系统，方法包括：通过大语言模型基于每一个分段知识文本生成相关问题，并存储至向量数据库；从向量数据库中检索与用于提问问题距离最近的多个相似的相关问题，根据相似的相关问题以及对应的分段知识文本整合成带有提示词的问题文本；通过大语言模型基于带有提示词的问题文本输出相应的问题答案。针对专业领域或者机密行业的特殊性，常见的大语言模型无法满足其需求，本发明通过构建本地知识库，并根据用户问题从本地知识库中检索相关参考知识，利用大语言模型的文本解析能力，实现准确的知识问答功能，提高了大语言模型的使用范围，为特定领域和行业提供高效快捷的问题答案提取方法。

技术研发人员：吕松南
受保护的技术使用者：璞华软件（武汉）有限公司
技术研发日：
技术公布日：2024/3/17