语言模型的提示语处理方法、装置、设备及存储介质与流程

本申请涉及人工智能技术，尤其涉及一种语言模型的提示语处理方法、装置、设备及存储介质。

背景技术：

1、近年来，伴随工业界积累的高质量数据增长，计算资源的增长以及大型模型架构和训练技术的发展，大语言模型被广泛地应用于翻译、对话等场景。申请人发现，语言模型的提示语的构造通常依赖于多个方面的因素，例如样本的选择，排列顺序等等，而这些因素的不同往往会导致最终性能的巨大差异，在巨大的搜索空间下，如何找到最优的提示语模板，以提升语言模型在下游的预测任务的性能，相关技术尚无有效的技术方案。

技术实现思路

1、本申请实施例提供一种语言模型的提示语处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够在节约计算资源的前提下，高效查询适用于语言模型的提示语模板。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供一种语言模型的提示语处理方法，所述方法包括：

4、获取语言模型的待优化的第一提示语模板；

5、获取所述第一提示语模板的第一偏见指标；

6、获取所述语言模型的训练集，其中，所述训练集包括多个语句样本以及所述语句样本对应的标签；

7、迭代执行以下处理：

8、遍历所述训练集以进行无放回抽样，基于每次无放回抽样得到的一个语句样本以及所述语句样本对应的标签生成提示语，

9、将所述提示语与所述第一提示语模板合并为第二提示语模板，

10、获取每个所述语句样本对应的所述第二提示语模板的第二偏见指标，将获取的所有第二偏见指标中取值最小的第二偏见指标对应的第二提示语模板，作为候选优化模板；

11、响应于当前迭代得到的取值最小的所述第二偏见指标大于或等于所述第一偏见指标，将当前迭代得到的所述候选优化模板，作为所述语言模型优化后的提示语模板。

12、本申请实施例提供一种语言模型的提示语处理装置，所述装置包括：

13、第一获取模块，用于获取语言模型的待优化的第一提示语模板；

14、第二获取模块，用于获取所述第一提示语模板的第一偏见指标；

15、第三获取模块，用于获取所述语言模型的训练集，其中，所述训练集包括多个语句样本以及所述语句样本对应的标签；

16、更新模块，用于迭代执行以下处理：遍历所述训练集以进行无放回抽样，基于每次无放回抽样得到的一个语句样本以及所述语句样本对应的标签生成提示语；将所述提示语与所述第一提示语模板合并为第二提示语模板；获取每个所述语句样本对应的所述第二提示语模板的第二偏见指标，将获取的所有第二偏见指标中取值最小的第二偏见指标对应的第二提示语模板，作为候选优化模板；

17、选取模块，用于响应于当前迭代得到的取值最小的所述第二偏见指标大于或等于所述第一偏见指标，将当前迭代得到的所述候选优化模板，作为所述语言模型优化后的提示语模板。

18、本申请实施例提供一种电子设备，所述电子设备包括：

19、存储器，用于存储计算机可执行指令或者计算机程序；

20、处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现本申请实施例提供的语言模型的提示语处理方法。

21、本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，用于被处理器执行时，实现本申请实施例提供的语言模型的提示语处理方法。

22、本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的语言模型的提示语处理方法。

23、本申请实施例具有以下有益效果：

24、通过多次调用语言模型计算第二提示语模板对应的第二偏见指标，并将第二偏见指标与第一偏见指标进行比较，以确定此次遍历得到的偏见指标最小的提示语模板，从而获得此次遍历得到的偏见指标最小的提示语模板，也即局部最优解，通过多次遍历训练集，将偏见指标最小的候选优化模板作为优化后的提示语模板，从而在不需要对训练集进行穷举搜索的情况下，获得最优偏见指标对应的提示语模板，减少了搜索的计算复杂度，节约了计算资源，并且实现了与全局最优解类似的搜索结果。

技术特征：

1.一种语言模型的提示语处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求1所述的方法，其特征在于，所述获取每个所述语句样本对应的所述第二提示语模板的第二偏见指标，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于每次无放回抽样得到的一个语句样本以及所述语句样本对应的标签生成提示语，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述提示语与所述第一提示语模板合并为第二提示语模板，包括：

6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1至5任一项所述的方法，其特征在于，在将获取的所有第二偏见指标中取值最小的第二偏见指标对应的第二提示语模板，作为候选优化模板之后，所述方法还包括：

8.根据权利要求8所述的方法，其特征在于，

9.根据权利要求1至5任一项所述的方法，其特征在于，所述遍历所述训练集以进行无放回抽样，包括：

10.一种语言模型的提示语处理装置，其特征在于，所述装置包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时，实现权利要求1至9任一项所述的语言模型的提示语处理方法。

13.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时，实现权利要求1至9任一项所述的语言模型的提示语处理方法。

技术总结
本申请提供了一种语言模型的提示语处理方法、装置、设备及存储介质；包括：获取语言模型的待优化的第一提示语模板、第一偏见指标和训练集；迭代执行以下处理：遍历训练集以进行无放回抽样，基于每次抽样得到的一个语句样本以及对应的标签生成提示语，将提示语与第一提示语模板合并为第二提示语模板，获取第二偏见指标，选取取值最小的第二偏见指标对应的第二提示语模板作为候选优化模板，基于候选优化模板更新第一提示语模板；响应于当前迭代得到的取值最小的第二偏见指标大于或等于第一偏见指标，将当前迭代得到的候选优化模板作为语言模型优化后的提示语模板。通过本申请，能够在节约计算资源的前提下，高效查询适用于语言模型的提示语模板。

技术研发人员：吴秉哲,马焕,张长青
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15