模型训练的处理方法及装置与流程

本申请涉及人工智能，尤其涉及一种模型训练的处理方法及装置。

背景技术：

1、当前，模型算法的不断进化，深度学习、强化学习等技术的不断成熟，使得模型的复杂度和规模也在不断变大。因此，大语言模型(英文：large language model，简称：llm)的引用越来越广泛。

2、随着llm进入开源阶段，越来越多的厂商对llm进行训练。由于代码开源、数据集开源，同时由于每次训练均要耗费大量的gpu资源和时间，因此，对于llm的训练成本非常高。

3、代码辅助开发是llm的一种典型应用。厂商通过集成开发环境，可实现代码辅助生成、代码评审、代码注释的工作。在实际应用中，每个厂商均存在大量需要保密的代码。因此，如何对llm进行私域训练是当前一个重要的问题。

4、目前，供应商可以为各厂商提供商用的原始llm，同时提供llm训练、推理部署的工具链。厂商对代码私域数据集进行整理，利用工具链对代码私域数据集进行训练。训练完成后，再利用工具链进行推理部署。厂商通过api接口访问经过私域训练后的llm，获得推理服务。

5、但是，现有对llm进行私域训练也暴露出以下问题：1)私域训练中包括的参数预训练以及指令微调过程，均需要较多gpu资源支持。随着模型迭代，llm参数逐渐增多，所需的gpu资源也将逐步增加，将导致服务器资源消耗殆尽；2)每个过程均包括多种训练方式，厂商不知道采用何种组合方式进行私域训练达到最优效果，现有训练过程也没有明确给出特定条件下训练方式的选择。

技术实现思路

1、有鉴于此，本申请提供了一种模型训练的处理方法及装置，用以解决现有私域训练所需gpu资源大量消耗以及如何选择训练最优组合方式的问题。

2、第一方面，本申请提供了一种模型训练的处理方法，所述方法应用于客户端，所述方法包括：

3、利用第一指令集对原始llm进行基础训练，生成第一基础llm；

4、获取对所述第一基础llm进行私域训练的多个训练方式，所述多个训练方式包括第一类型训练方式以及第二类型训练方式；

5、对所述第一类型训练方式以及所述第二类型训练方式进行随机组合，得到多种训练组合；

6、通过每种训练组合、第二指令集以及私域数据集，分别对所述第一基础llm进行多次私域训练，生成多个第二基础llm；

7、对每个第二基础llm分别进行模型能力评估，得到所述每个第二基础llm的模型能力评分；

8、根据每个模型能力评分，确定出第一训练组合，并将所述第一训练组合作为对llm进行私域训练的训练组合，所述训练组合的模型能力评分为多个模型能力评分的最大值。

9、第二方面，本申请提供了一种模型训练的处理装置，所述装置应用于客户端，所述装置包括：

10、第一训练单元，用于利用第一指令集对原始llm进行基础训练，生成第一基础llm；

11、获取单元，用于获取对所述第一基础llm进行私域训练的多个训练方式，所述多个训练方式包括第一类型训练方式以及第二类型训练方式；

12、组合单元，用于对所述第一类型训练方式以及所述第二类型训练方式进行随机组合，得到多种训练组合；

13、第二训练单元，用于通过每种训练组合、第二指令集以及私域数据集，分别对所述第一基础llm进行多次私域训练，生成多个第二基础llm；

14、评估单元，用于对每个第二基础llm分别进行模型能力评估，得到所述每个第二基础llm的模型能力评分；

15、选择单元，用于根据每个模型能力评分，选择出第一训练组合，并将所述第一训练组合作为对llm进行私域训练的训练组合，所述训练组合的模型能力评分为多个模型能力评分的最大值。

16、第三方面，本申请提供了一种网络设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器被机器可执行指令促使执行本申请第一方面所提供的方法。

17、因此，应用本申请提供的模型训练的处理方法及装置，利用第一指令集对原始llm进行基础训练，生成第一基础llm；获取对第一基础llm进行私域训练的多个训练方式，该多个训练方式包括第一类型训练方式以及第二类型训练方式；对第一类型训练方式以及第二类型训练方式进行随机组合，得到多种训练组合；通过每种训练组合、第二指令集以及私域数据集，分别对第一基础llm进行多次私域训练，生成多个第二基础llm；对每个第二基础llm分别进行模型能力评估，得到每个第二基础llm的模型能力评分；根据每个模型能力评分，确定出第一训练组合，并将第一训练组合作为对llm进行私域训练的训练组合，该训练组合的模型能力评分为多个模型能力评分的最大值。

18、如此，上述对于原始llm进行私域训练的过程，能够让用户方便的对llm进行私域训练，并从多次训练中选择出最终的训练组合，保证训练质量。解决了现有私域训练所需gpu资源大量消耗以及如何选择训练最优组合方式的问题。本申请提供的模型训练的处理方法及装置可在各行各业中提供私域模型的服务。

技术特征：

1.一种模型训练的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一类型训练方式为参数预训练方式，所述第二类型训练方式为指令微调方式；

3.根据权利要求1所述的方法，其特征在于，所述对每个第二基础llm分别进行模型能力评估，得到所述每个第二基础llm的模型能力评分，具体包括：

4.根据权利要求3所述的方法，其特征在于，所述对所述第二基础llm进行公域能力评估，得到公域能力评分，具体包括：

5.根据权利要求3所述的方法，其特征在于，所述对所述第二基础llm进行私域能力评估，得到私域能力评分，具体包括：

6.根据权利要求3所述的方法，其特征在于，所述对所述第二基础llm进行推理能力评估，得到推理能力评分，具体包括：

7.根据权利要求2所述的方法，其特征在于，所述第一训练组合包括所述参数预训练方式中的增量预训练以及所述指令微调方式中的instruct tunning。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

9.根据权利要求1所述的方法，其特征在于，所述根据每个模型能力评分，确定出第一训练组合之前，所述方法还包括：

10.根据权利要求3或9任一项所述的方法，其特征在于，所述方法还包括：

11.一种模型训练的处理装置，其特征在于，所述装置包括：

技术总结
本申请提供一种模型训练的处理方法及装置，利用第一指令集对原始LLM进行基础训练，生成第一基础LLM；获取对第一基础LLM进行私域训练的第一类型训练方式以及第二类型训练方式；对第一类型训练方式以及第二类型训练方式进行随机组合，得到多种训练组合；通过每种训练组合、第二指令集以及私域数据集，分别对第一基础LLM进行多次私域训练，生成多个第二基础LLM；对每个第二基础LLM分别进行模型能力评估，得到每个第二基础LLM的模型能力评分；根据每个模型能力评分，选择出第一训练组合，并将第一训练组合作为对LLM进行私域训练的训练组合，该训练组合的模型能力评分为多个模型能力评分的最大值。

技术研发人员：文晋阳,王鑫,宋涛,王玲
受保护的技术使用者：新华三人工智能科技有限公司
技术研发日：
技术公布日：2024/2/21