知识问答方法、装置、设备及存储介质与流程

本技术涉及大语言模型，尤其涉及知识问答方法、装置、设备及存储介质。

背景技术：

1、现今，大型语言模型(large language models，llms)在各种自然语言处理任务中取得了显著进展，包括问答(qa)任务。但由于千人千面和知识的实时更新性，llm面临着较为严重的幻觉问题和时间不对齐问题，这影响了llm的可靠性，并阻碍了更广泛的实际应用。

2、目前，可以采用rag(retrieval-augmented generation，检索增强生成)技术对外挂知识库进行知识补充学习有效解决这一情况，rag是一种结合了检索(retrieval)和生成(generation)的深度学习模型，它通过检索相关信息并将其融合到生成过程中，以提高生成内容的相关性和准确性。以开放域问答任务为例，检索器首先为一个输入的query(问题)进行知识库检索，查找相关的文档片段，然后再通过prompt(提示词)工程将检索到的文档片段内容作为参考知识联合问题一并给到llm，使得llm接收query和文档来进行答案的生成。然而，由于用户问题的表述多种多样，且用户提交的query可能存在歧义、不完整或不够具体，而目前基于rag技术的llm中使用的传统的检索算法通常无法准确理解query的语义，导致检索结果的相关性不高，进而导致问答的准确性不高。同时，传统的检索算法的检索粗粒度及检索准确率差，且缺乏交互性、效率不高。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种知识问答方法、装置、设备及存储介质，旨在解决现有技术中基于rag技术的llm中使用的传统的检索算法通常无法准确理解问题的语义，进而导致问答的准确性不高，以及传统的检索算法的检索粗粒度及检索准确率差，且缺乏交互性、效率不高的技术问题。

2、为实现上述目的，本技术提出一种知识问答方法，所述的方法包括：

3、基于待回答问题和所述待回答问题对应的目标启发式答案判断所述待回答问题是否需要被检索；

4、若需要，则对所述目标启发式答案进行查询改写处理，获得若干组子问题声明对；

5、从各子问题声明对中确定待查询子问题，并对所述待查询子问题进行外部知识库检索，获得目标检索信息；

6、基于所述待查询子问题和所述目标检索信息获取所述待回答问题的最终答案。

7、在一实施例中，所述基于待回答问题和所述待回答问题对应的目标启发式答案判断所述待回答问题是否需要被检索的步骤，包括：

8、通过预设代理模型生成待回答问题对应的目标启发式答案；

9、基于所述待回答问题和所述目标启发式答案生成问题答案对；

10、将所述问题答案对输入至检索必要性判断模型，以通过所述检索必要性判断模型判断所述待回答问题是否需要被检索。

11、在一实施例中，所述通过预设代理模型生成待回答问题对应的目标启发式答案的步骤之前，还包括：

12、从问答数据集中获取问题样本集合；

13、将所述问题样本集合中的各问题样本输入至初始大语言模型，以获得所述各问题样本对应的启发式答案；

14、基于所述各问题样本和所述启发式答案构建判别数据集；

15、通过所述判断数据集对所述初始大语言模型进行训练，获得检索必要性判断模型。

16、在一实施例中，所述基于所述各问题样本和所述启发式答案构建判别数据集的步骤之前，还包括：

17、从所述问题样本集合中获取所述各问题样本对应的标准答案；

18、确定所述标准答案与所述各问题样本对应的启发式答案之间的匹配率；

19、基于所述匹配率和预设匹配率阈值确定所述各问题样本对应的判别标签；

20、所述基于所述各问题样本和所述启发式答案构建判别数据集的步骤，包括：

21、基于所述各问题样本、所述启发式答案和所述判别标签构建判别数据集。

22、在一实施例中，所述确定所述标准答案与所述各问题样本对应的启发式答案之间的匹配率的步骤，包括：

23、基于所述标准答案与所述各问题样本对应的启发式答案分别构建第一答案集合和第二答案集合；

24、确定所述第一答案集合和所述第二答案集合之间的子答案集合；

25、获取所述第一答案集合中元素的元素数量；

26、基于所述子答案集合和所述元素数量确定所述标准答案与所述各问题样本对应的启发式答案之间的匹配率。

27、在一实施例中，所述通过预设代理模型生成待回答问题对应的目标启发式答案的步骤之前，还包括：

28、通过初始问题改写模型对所述启发式答案进行拆解，获得若干个子问题和各子问题对应的声明；

29、通过所述初始问题改写模型基于所述子问题和所述声明生成查询重写结果；

30、基于所述查询重写结果对所述初始问题改写模型进行训练，获得预设问题改写模型；

31、所述对所述目标启发式答案进行查询改写处理，获得若干组子问题声明对的步骤，包括：

32、通过所述预设问题改写模型对所述目标启发式答案进行查询改写处理，获得若干组子问题声明对。

33、在一实施例中，所述从各子问题声明对中确定待查询子问题的步骤，包括：

34、通过所述检索必要性判断模型对各子问题声明中的目标子问题进行检索必要性判断；

35、根据判断结果确定所述目标子问题对应的目标判别标签；

36、将所述目标判别标签为未知标签的所有目标子问题确定为待查询子问题。

37、此外，为实现上述目的，本技术还提出一种知识问答装置，所述装置包括：

38、检索判断模块，用于基于待回答问题和所述待回答问题对应的目标启发式答案判断所述待回答问题是否需要被检索；

39、查询改写模块，用于若需要，则对所述目标启发式答案进行查询改写处理，获得若干组子问题声明对；

40、知识库检索模块，用于从各子问题声明对中确定待查询子问题，并对所述待查询子问题进行外部知识库检索，获得目标检索信息；

41、答案获取模块，用于基于所述待查询子问题和所述目标检索信息获取所述待回答问题的最终答案。

42、此外，为实现上述目的，本技术还提出一种知识问答设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的知识问答方法的步骤。

43、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的知识问答方法的步骤。

44、本技术提供了一种知识问答方法，本技术公开了基于待回答问题和待回答问题对应的目标启发式答案判断待回答问题是否需要被检索；若需要，则对目标启发式答案进行查询改写处理，获得若干组子问题声明对；从各子问题声明对中确定待查询子问题，并对待查询子问题进行外部知识库检索，获得目标检索信息；基于待查询子问题和目标检索信息获取待回答问题的最终答案；相较于现有技术中由于用户问题的表述多种多样，且用户提交的query可能存在歧义、不完整或不够具体，而传统的检索算法通常无法准确理解query的语义，导致检索结果的相关性不高，由于本发明在待回答问题需要被检索时对其对应的目标启发式答案进行查询改写处理，获得子问题声明对，并基于子问题声明对中待查询子问题及其检索信息获取待回答问题的答案，从而解决了现有技术中基于rag技术的llm中使用的传统的检索算法通常无法准确理解问题的语义，进而导致问答的准确性不高，以及传统的检索算法的检索粗粒度及检索准确率差，且缺乏交互性、效率不高的技术问题。