一种文本大模型幻觉缓解方法、装置、设备和介质与流程

本发明涉及模型幻觉缓解，具体涉及一种文本大模型幻觉缓解方法、装置、设备和介质。

背景技术：

1、三元组是知识图谱中的结构化表示方法，用于组织和呈现现实世界中的知识。它以图的形式表示知识，其中实体和关系是图的节点和边.文本大模型是当前最热门的技术，是一种利用巨大规模的transformer decoder结构完成客观世界知识建模的方法，该方法使用文本生成的方法实现各类文本理解和文本生成的任务，其中包括问答任务。

2、当前文本大模型一旦训练好后参数被固化，无法实时更新，因此当用户询问时效性较高的任务，无法生成正确的应答；文本大模型训练成本高，通过重新预训练灌入最新知识的方法不太现实，因此如何高效地进行知识更新，避免文本大模型产生幻觉现象，生成虚假的或者过时的信息，是需要解决的主要问题。

技术实现思路

1、本发明提供一种文本大模型幻觉缓解方法、装置、设备和介质，能够解决上述技术问题。

2、第一方面，本发明实施例提供一种文本大模型幻觉缓解方法，包括：

3、获取更新后的文档数据；

4、对更新后的文档数据进行预处理；

5、从预处理后的文档数据中抽取知识三元组；

6、将知识三元组放入图数据库中进行存储；

7、获取用户输入的query，对query进行实体识别；

8、在图数据库中进行检索取出对应的实体节点和与实体关联的内容；

9、将取出对应的实体节点和与实体关联的内容进行拼接得到prompt，将prompt与query进行拼接；

10、将prompt与query的拼接作为文本大模型的输入，生成应答结果。

11、进一步地，上述一种文本大模型幻觉缓解方法中，对更新后的文档数据进行预处理，包括：

12、对更新后的文档数据进行数据清洗、去重和敏感信息过滤。

13、进一步地，上述一种文本大模型幻觉缓解方法中，从预处理后的文档数据中抽取知识三元组，包括：

14、预处理后的文档数据作为输入文本集合，对文本集合中的元素进行编码、映射到隐状态空间；

15、利用信息抽取算法gplinker识别和抽取出文本数据中的实体以及实体之间的关系得到知识三元组。

16、进一步地，上述一种文本大模型幻觉缓解方法中，将知识三元组放入图数据库中进行存储，包括：

17、在图数据库nebula中创建图空间，并定义知识三元组的schema，将知识三元组放入图数据库中进行存储。

18、进一步地，上述一种文本大模型幻觉缓解方法中，获取用户输入的query，对query进行实体识别，包括：

19、将query通过预训练语言模型bert转换成隐状态空间；

20、使用crf算法对隐状态空间进行计算，将每个位置的状态转换成开头、实体中间、实体结尾和非实体的概率。

21、进一步地，上述一种文本大模型幻觉缓解方法中，在图数据库中进行检索取出对应的实体节点和与实体关联的内容，包括：

22、在图数据库中使用ngql语句进行检索，得到实体节点一跳或多跳的结果。

23、进一步地，上述一种文本大模型幻觉缓解方法中，将prompt与query的拼接作为文本大模型的输入，生成应答结果，包括：

24、将prompt与query的拼接进行形式化表示；

25、文本大模型对形式化表示进行编码得到隐层表示；

26、根据文本大模型的编码结构，输出隐层表征；

27、根据隐层表征，计算每个时刻词表中词的最大生成概率，概率分布中概率值最高对应的词作为当前时刻的应答生成结果。

28、第二方面，本发明实施例还提供一种文本大模型幻觉缓解装置，包括：

29、获取模块：用于获取更新后的文档数据；

30、预处理模块：用于对更新后的文档数据进行预处理；

31、抽取模块：用于从预处理后的文档数据中抽取知识三元组；

32、存储模块：用于将知识三元组放入图数据库中进行存储；

33、实体识别模块：用于获取用户输入的query，对query进行实体识别；

34、检索模块：用于在图数据库中进行检索取出对应的实体节点和与实体关联的内容；

35、拼接模块：用于将取出对应的实体节点和与实体关联的内容进行拼接得到prompt，将prompt与query进行拼接；

36、输入模块：用于将prompt与query的拼接作为文本大模型的输入，生成应答结果。

37、第三方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；

38、所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项一种文本大模型幻觉缓解方法。

39、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项一种文本大模型幻觉缓解方法。

40、本发明的有益效果是：本发明通过获取更新后的文档数据；对更新后的文档数据进行预处理；从预处理后的文档数据中抽取知识三元组；将知识三元组放入图数据库中进行存储；获取用户输入的query，对query进行实体识别；在图数据库中进行检索取出对应的实体节点和与实体关联的内容；将取出对应的实体节点和与实体关联的内容进行拼接得到prompt，将prompt与query进行拼接；将prompt与query的拼接作为文本大模型的输入，生成应答结果。本发明通过建立知识三元组进行知识更新，然后通过对用户输入的query进行命名实体识别，从知识三元组中检索与实体节点的相关信息，拼接作为prompt，从而在不需要重新训练和微调文本大模型前提下，输出正确的与事实相关的内容，有效的缓解了文本大模型较为容易出现的事实性的幻觉问题。

技术特征：

1.一种文本大模型幻觉缓解方法，其特征在于，包括：

2.根据权利要求1所述的一种文本大模型幻觉缓解方法，其特征在于，所述对所述更新后的文档数据进行预处理，包括：

3.根据权利要求1所述的一种文本大模型幻觉缓解方法，其特征在于，所述从预处理后的文档数据中抽取知识三元组，包括：

4.根据权利要求1所述的一种文本大模型幻觉缓解方法，其特征在于，将所述知识三元组放入图数据库中进行存储，包括：

5.根据权利要求1所述的一种文本大模型幻觉缓解方法，其特征在于，所述获取用户输入的query，对所述query进行实体识别，包括：

6.根据权利要求1所述的一种文本大模型幻觉缓解方法，其特征在于，在所述图数据库中进行检索取出对应的实体节点和与实体关联的内容，包括：

7.根据权利要求1所述的一种文本大模型幻觉缓解方法，其特征在于，所述将prompt与query的拼接作为文本大模型的输入，生成应答结果，包括：

8.一种文本大模型幻觉缓解装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器和存储器；

10.一种计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述一种文本大模型幻觉缓解方法。

技术总结
本发明涉及一种文本大模型幻觉缓解方法、装置、设备和介质，该方法包括：获取更新后的文档数据；对更新后的文档数据进行预处理；从预处理后的文档数据中抽取知识三元组；将知识三元组放入图数据库中进行存储；获取用户输入的Query，对Query进行实体识别；在图数据库中进行检索取出对应的实体节点和与实体关联的内容；将取出对应的实体节点和与实体关联的内容进行拼接得到Prompt，将Prompt与Query进行拼接；将Prompt与Query的拼接作为文本大模型的输入，生成应答结果。本发明依靠文本大模型的推理能力对检索得到的信息进行有选择的理解，最终输出正确的与事实相关的内容，有效的缓解了文本大模型的幻觉问题。

技术研发人员：唐博,王亦宁,刘升平,梁家恩,黄伟
受保护的技术使用者：云知声（上海）智能科技有限公司
技术研发日：
技术公布日：2024/5/10