一种大模型校正方法

本公开涉及人工智能，具体而言，涉及一种大模型校正方法。

背景技术：

1、随着新一代信息技术的发展，人工智能、大数据等技术逐渐应用到了人们实际工作中，极大限度地提高了人们的工作效率。尤其是近期人工智能大模型的应运而生，由于能够很好地理解用户意图、进行有效的多轮沟通，并且回答内容充实而在语言理解、文本生成和知识推理能力上的表现尤为突出。

2、然而，现有的人工智能大模型存着在这样或那样的问题。以大规模语言模型(large language models，llms)为例，其答案差异很大，如生成与用户输入不符、与先前生成的内容矛盾或与已知世界知识不符的内容，就算是之前评价很好的大模型，也可能在迭代或漂移后直接影响了其在下游任务中的应用性能。

3、可见，亟需一种对大模型进行校正的技术方案，为诸如llms这样的大模型，即使在包容最丰富资料集和迭代演化，仍能生成最适合的提示等，从而提升在下游任务中的性能。

技术实现思路

1、本公开实施例至少提供一种大模型校正方法，以通过各种模型校正方式实现更为全面、精准的大模型校正，提升后续在下游任务中的应用性能。

2、第一方面，本公开实施例提供了一种大模型校正方法，包括：

3、获取参考大模型数据和/或待校正大模型数据；所述参考大模型数据包括第一学习资料集、及第一演算法，所述待校正大模型数据包括第二学习资料集、及第二演算法；

4、按照如下校正方式中的至少一种或多种进行待校正大模型的校正操作：

5、基于第一学习资料集对第二演算法进行校正、基于第二演算法对第一学习资料集作为参考模型输入数据的质量进行校正、基于第一学习资料集与第二学习资料集对第二演算法进行校正、基于第二演算法与第一学习资料集对第二学习资料集的质量进行校正；

6、基于至少一种或多种所述校正操作，得到校正后大模型。

7、在一种可能的实施方式中，所述参考大模型数据还包括第一因子关系表，所述第一因子关系表用于表征各第一因子之间的关联关系；所述待校正大模型数据还包括第二因子关系表，所述第二因子关系表用于表征各第二因子之间的关联关系。

8、在一种可能的实施方式中，所述基于第一学习资料集对第二演算法进行校正，包括：

9、以所述第一演算法对所述第一学习资料集进行标签标注，得到标签后第一学习资料集；

10、基于所述第二演算法对应的简化关系对所述标签后第一学习资料集进行演算，确定输出的因子关系表；以及，判断所述输出的因子关系表是否出现所述第一因子关系表中的第一因子关系；

11、基于所述第二演算法对所述标签后第一学习资料集进行演算，确定输出的因子关系表；以及，判断所述输出的因子关系表是否出现所述第一因子关系表中的第一因子关系；

12、基于判断结果确定是否需要针对所述第二演算法新增拟合模块，所述拟合模块用于拟合所述第一因子关系。

13、在一种可能的实施方式中，在确定需要针对所述第二演算法新增拟合模块之后，还包括：

14、基于所述拟合模块确定拟合出所述第一因子关系所需的最少资料数量；

15、基于所述最少资料数量对所述第一学习资料集进行调整，得到调整后的第一学习资料集。

16、在一种可能的实施方式中，所述基于第二演算法对第一学习资料集作为参考模型输入数据的质量进行校正，包括：

17、在确定第二演算法与第一演算法相同，或在基于第一学习资料集对第二演算法对进行校正之后，将未标注的第一学习资料集输入至所述第二演算法进行演算，得到输出的因子关系表；

18、判断所述输出的因子关系表是否出现所述第一因子关系表中的第一因子关系；

19、基于判断结果对所述第一学习资料集的质量进行调整。

20、在一种可能的实施方式中，所述基于第一学习资料集与第二学习资料集对第二演算法进行校正，包括：

21、将所述第一学习资料集和所述第二学习资料集进行混合，得到混合后学习资料集；

22、基于所述第二演算法对应的简化关系对第二学习资料集及混合后学习资料集进行演算，确定输出的因子关系表；

23、判断所述输出的因子关系表是否出现所述第一因子关系表中的第一因子关系；

24、基于判断结果确定是否需要对第一学习资料集和/或第二学习资料集进行增添。

25、在一种可能的实施方式中，按照如下方式中的至少一种或多种对第一学习资料集和/或第二学习资料集进行增添：

26、从所述第一学习资料集中选取需要增添的学习资料进行增添；

27、基于所述第一学习资料集与第二演算法推估缺失的第二学习资料；

28、对部分学习资料进行格式转换或其它方式，得到适配第一学习资料集和第二学习资料集混合分析的学习资料。

29、在一种可能的实施方式中，在需要增添的学习资料为非连续资料的情况下，按照如下方式中的一种从所述第一学习资料集中选取需要增添的学习资料：

30、基于离散分布概率进行抽样；

31、基于马尔科夫链对所述第二演算法进行逆运算，并以分布概率对运算结果进行抽样。

32、在一种可能的实施方式中，所述对第二学习资料集的质量进行校正，包括：

33、将所述第一学习资料集和所述第二学习资料集进行混合，得到混合后学习资料集；

34、将所述混合后学习资料集输入至所述第二演算法进行演算，确定输出的因子关系表；

35、判断所述输出的因子关系表是否出现所述第一因子关系表中的第一因子关系；

36、基于判断结果对所述第二学习资料集的质量进行调整。

37、在一种可能的实施方式中，所述基于判断结果对所述第二学习资料集的质量进行调整，包括：

38、若未出现所述第一因子关系表中的第一因子关系，则以第二演算法对第二学习资料集与第一学习资料集所构成的混合后学习资料集进行标签标注；

39、将指定因子标签不符合所述第一学习资料集的指定因子标签分布的第二学习资料从所述第二学习资料集中移出，并得到更新后的混合后学习资料集；

40、将更新后的混合后学习资料集再次输入至所述第二演算法进行演算，并确定输出的因子关系表是否出现所述第一因子关系表中的第一因子关系；

41、若仍未出现所述第一因子关系表中的第一因子关系，则采用随机抽样方式或分层抽样方式将对应的第二学习资料进行筛除，得到涌现的新关系或非相关关系均匀的更新后的混合后学习资料集；其中，筛选排除的资料集保留，作为之后大模型迭代更新之用。

42、采用上述大模型校正方法，其在获取到参考大模型数据及待校正大模型数据的情况下，可以按照至少一种或多种进行待校正大模型的校正操作：这里的校正操作包括但不限于基于第一学习资料集对第二演算法进行校正、基于第二演算法对第一学习资料集作为参考模型输入数据的质量进行校正、基于第一学习资料集与第二学习资料集对第二演算法进行校正、基于第二演算法与第一学习资料集对第二学习资料集的质量进行校正，可见，基于参考大模型的比照作用，使得校正得到的校正后大模型在资料集、演算法上均得到了很大程度的增强，这为后续下游的具体应用提供了良好的模型支撑，更具实用性。

43、本公开的其他优点将结合以下的说明和附图进行更详细的解说。

44、应当理解，上述说明仅是本公开技术方案的概述，以便能够总体了解本公开的技术手段，进而依照说明书的内容予以实施。为了让本公开的上述和其它目的、特征及优点能够更明显易懂，以下特举例说明本公开的具体实施方式。