基于后解码可信增强的大模型知识补全方法及系统

本发明实施例涉及知识补全，尤其涉及一种基于后解码可信增强的大模型知识补全方法及系统。

背景技术：

1、知识图谱知识补全是利用人工智能技术来自动填充知识图谱中的缺失信息或关系的过程。知识图谱是一种结构化的知识表示方式，它将现实世界中的实体、属性和关系以图的形式进行建模，使得计算机可以更好地理解和推理这些知识。然而，现实世界的知识是庞大而复杂的，构建一个完整的知识图谱是一项艰巨的任务。即使已经建立了一个初始的知识图谱，其中仍然会存在大量的缺失信息或不完整的关系。这时，知识图谱知识补全就发挥了作用。通过分析已有的知识，结合自然语言处理、机器学习和图神经网络等技术，可以预测出可能的实体、属性或关系，从而填补知识图谱的空白部分。

2、基于大模型的知识补全系统采用大模型作为知识补全的基础框架，利用大模型中存储的知识来补全知识图谱中缺失的三元组，具有很多优点，大模型能够利用自身丰富的训练数据与参数量，快速补全缺失内容。然而大模型输出的内容会存在“幻觉”问题，导致所补全的三元组可能会存在一定的错误。

3、因此，目前亟需一种新的大模型知识补全系统。

技术实现思路

1、本发明实施例提供一种基于后解码可信增强的大模型知识补全方法及系统，以至少部分解决相关技术中存在的问题。

2、本发明实施例第一方面提供了一种基于后解码可信增强的大模型知识补全方法，所述方法包括：

3、基于目标知识领域内待补全的三元组，构造提示文本prompt；

4、通过大模型基于prompt进行逐层推理得到隐层状态 sn；

5、通过基于多层感知机的后解码模块对 sn进行后解码，以对所述大模型输出的 sn进行调整修正，生成解码后的状态 rn；

6、通过融合模块对所述大模型输出的 sn和所述解码后的状态 rn进行融合，计算得到最终结果g；

7、根据所述最终结果g对所述待补全的三元组进行补全。

8、可选地，所述方法还包括：

9、获取所述目标知识领域内的已知三元组；

10、对所述已知三元组中的任一实体进行隐藏，基于隐藏任一实体后的三元组构造训练样本；

11、基于所述训练样本，对待训练的后解码模块和待训练的融合模块进行训练。

12、可选地，对已知三元组中的任一实体进行隐藏，基于隐藏任一实体后的三元组构造训练样本，包括：

13、确定已知三元组中各个实体的出现频率；

14、对所述已知三元组中出现频率低的低频实体进行隐藏；

15、基于隐藏低频实体后的三元组构造训练样本。

16、可选地，基于所述训练样本，对待训练的大模型、待训练的后解码模块和待训练的融合模块进行训练，包括：

17、将所述训练样本输入大模型，将所述大模型输出的样本隐层状态输入待训练的后解码模块，通过所述待训练的后解码模块对所述大模型输出的样本隐层状态进行调整修正，生成样本解码后状态，将样本隐层状态和样本解码后状态输入待训练的融合模块，得到样本最终结果；

18、以最小化所述样本最终结果和被隐藏的实体的差异为目标，保持所述大模型的参数不变，对所述待训练的后解码模块和所述待训练的融合模块的参数进行更新。

19、可选地，所述大模型的模型结构基于transformer架构，所述大模型通过以下公式基于prompt逐层推理得到隐层状态 sn；

20、；

21、；

22、；

23、；

24、；

25、其中分别代表三元组中的头实体、关系、尾实体，表示所述待补全的三元组中的缺失部分，代表第层transformer，代表第n输出的transformer隐层状态。

26、可选地，后解码模块为神经网络结构，所述后解码模块通过以下公式对 sn进行后解码，以对所述大模型输出的 sn进行调整修正，生成解码后的状态 rn:

27、；

28、；

29、；

30、；

31、……；

32、；

33、；

34、其中、、表示权重参数，、、代表偏置参数，代表非线性激活函数。

35、可选地，所述融合模块基于以下公式计算得到最终结果g：

36、；

37、；

38、；

39、其中、表示门控机制的权重参数，、为门控机制的偏置参数，与都表示相对应的非线性激活函数，与分别代表门控机制的中间结果。

40、本发明实施例第二方面提供了一种基于后解码可信增强的大模型知识补全系统，所述大模型知识补全系统包括：大模型、基于多层感知机的后解码模块和融合模块，所述大模型知识补全系统用于执行本发明第一方面所述的方法中的步骤。

41、本发明实施例第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面所述的方法中的步骤。

42、本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面所述的方法中的步骤。

43、本发明实施例中，针对目标知识领域，在大模型输出答案之前，使用后解码模块来对大模型的输出的隐层状态进行后解码处理，基于目标知识领域相对应的后解码模块，对大模型输出的隐层状态进行适当调整，可对错误内容进行修正，再基于融合模块对大模型输出的 sn和后解码模块输出的解码后的状态 rn进行融合，计算得到最终结果，进行知识补全，可以缓解大模型的“幻觉”输出问题，增强知识补全过程的准确性；并且可在不同知识领域的知识补全任务中高效扩展，能够准确地补全知识的缺失部分。

技术特征：

1.一种基于后解码可信增强的大模型知识补全方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于后解码可信增强的大模型知识补全方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的基于后解码可信增强的大模型知识补全方法，其特征在于，对已知三元组中的任一实体进行隐藏，基于隐藏任一实体后的三元组构造训练样本，包括：

4.根据权利要求2所述的基于后解码可信增强的大模型知识补全方法，其特征在于，基于所述训练样本，对待训练的大模型、待训练的后解码模块和待训练的融合模块进行训练，包括：

5.根据权利要求1所述的基于后解码可信增强的大模型知识补全方法，其特征在于，所述大模型的模型结构基于transformer架构，所述大模型通过以下公式基于prompt逐层推理得到隐层状态sn:

6.根据权利要求1所述的基于后解码可信增强的大模型知识补全方法，其特征在于，后解码模块为神经网络结构，所述后解码模块通过以下公式对sn进行后解码，以对所述大模型输出的sn进行调整修正，生成解码后的状态rn:

7.根据权利要求1所述的基于后解码可信增强的大模型知识补全方法，其特征在于，所述融合模块基于以下公式计算得到最终结果g：

8.一种基于后解码可信增强的大模型知识补全系统，其特征在于，所述大模型知识补全系统包括：大模型、基于多层感知机的后解码模块和融合模块，所述大模型知识补全系统用于实现上述权利要求1-7任一项所述的基于后解码可信增强的大模型知识补全方法。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的基于后解码可信增强的大模型知识补全方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的基于后解码可信增强的大模型知识补全方法的步骤。

技术总结
本发明提供了一种基于后解码可信增强的大模型知识补全方法及系统，涉及知识补全技术领域。本发明实施例中，针对目标知识领域，在大模型输出答案之前，使用后解码模块来对大模型的输出的隐层状态进行后解码处理，基于目标知识领域相对应的后解码模块，对大模型输出的隐层状态进行适当调整，可对错误内容进行修正，再基于融合模块对大模型输出的S<subgt;n</subgt;和后解码模块输出的解码后的状态R<subgt;n</subgt;进行融合，计算得到最终结果，进行知识补全，可以缓解大模型的“幻觉”输出问题，增强知识补全过程的准确性；并且可在不同知识领域的知识补全任务中高效扩展，能够准确地补全知识的缺失部分。

技术研发人员：陶建华,车飞虎,张帅
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/2/21