一种大模型幻觉治理方法、装置、设备及存储介质与流程

本发明实施例涉及计算机，尤其涉及一种大模型幻觉治理方法、装置、设备及存储介质。

背景技术：

1、随着人工智能的快速发展，大模型成为机器学习的新范式，在各个领域当中得到了广泛的应用。然而，大模型的幻觉问题阻碍了大模型技术在高可用性场景下的应用。

2、如何治理大型模型幻觉问题尚缺乏有效方法，当前的方法主要有如下几种：

3、1.通过提升语料质量来治理幻觉。用筛选过、多样化、广泛和高精度的数据集的数据集去训练模型，这样可以减少模型对特定群体或观点的偏好。虽说能一定程度上缓解幻觉，但提升空间有限。

4、2.通过对结果的迭代改进和反馈循环来降低幻觉产生的概率。不断收集模型的性能和输出反馈，以进一步对大模型生成的结果进行相应的调整和改进。此方法效果不稳定，往往会根据错误的信息继续往下延伸。

5、3.通过审查和审核机制来控制幻觉生成。建立审查和审核机制，对模型的训练数据、训练过程和输出进行审查。这可以包括对模型的算法、权重和参数进行审查，以减轻潜在的幻觉和偏见。由于大模型的黑盒性，此方法也不能提供有效的幻觉治理效果。

技术实现思路

1、本发明实施例提供一种大模型幻觉治理方法、装置、设备及存储介质，通过对所述待校验答案进行校验，能够减少模型生成结果出现幻觉的可能性，提升模型结果的可信度。

2、根据本发明的一方面，提供了一种大模型幻觉治理方法，包括：

3、获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；

4、将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；

5、根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

6、根据本发明的另一方面，提供了一种大模型幻觉治理装置，该大模型幻觉治理装置包括：

7、目标问答对获取模块，用于获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；

8、问答类型确定模块，用于将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；

9、校验模块，用于根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的大模型幻觉治理方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的大模型幻觉治理方法。

15、本发明实施例通过获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，能够减少模型生成结果出现幻觉的可能性，提升模型结果的可信度。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种大模型幻觉治理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述问答类型包括：关系型、推断型、形势比较型、论点型、强因果关系型以及真值判断型中的至少一种。

3.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

4.根据权利要求3所述的方法，其特征在于，根据第一边描述集合与待校验答案之间的相似度对待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

5.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

6.根据权利要求5所述的方法，其特征在于，将推理步骤描述集合和所述待校验答案与知识图谱进行匹配，得到第二目标节点集合，包括：

7.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

8.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

9.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

10.根据权利要求1所述的方法，其特征在于，根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，包括：

11.根据权利要求1所述的方法，其特征在于，通过训练样本集迭代训练待训练模型，包括：

12.一种大模型幻觉治理装置，其特征在于，包括：

13.一种电子设备，其特征在于，所述电子设备包括：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-11中任一项所述的大模型幻觉治理方法。

技术总结
本发明公开了一种大模型幻觉治理方法、装置、设备及存储介质。该方法包括：获取目标问答对，其中，所述目标问答对包括：目标问题和待校验答案；将所述目标问答对输入目标模型，得到目标问答对对应的问答类型，其中，所述目标模型通过训练样本集迭代训练待训练模型得到；根据问答类型确定校验规则，基于校验规则和目标问答对对所述待校验答案进行校验，若校验通过，则确定所述待校验答案为目标答案，通过本发明的技术方案，能够减少模型生成结果出现幻觉的可能性，提升模型结果的可信度。

技术研发人员：夏正勋,黄珈菘,蒋浩博
受保护的技术使用者：星环信息科技（上海）股份有限公司
技术研发日：
技术公布日：2024/2/19