模型训练方法及一站式模型训练平台与流程

本申请涉及人工智能，具体涉及一种模型训练方法及一站式模型训练平台。

背景技术：

1、随着人工智能的不断发展，基于机器学习或深度学习等方式的模型被广泛应用在各行各业，很多企业或机构具有训练属于自身的各类模型的需求，对此模型的有效训练及高效交付具有十分重要的意义。

2、目前，相关的企业或机构中通常通过多平台跨产业的多站式方式进行模型训练交付，目前的多站式方式模型训练方案对于企业或机构来说，模型训练交付周期往往较长，且模型效果往往不能够有效满足项目需求，会导致模型应用的项目难以及时可靠落地。

技术实现思路

1、本申请实施例提供一种模型训练方案，可以有效降低模型训练交付周期，且提升模型应用在项目的效果，保证应用模型的项目及时可靠落地。

2、本申请实施例提供以下技术方案：

3、根据本申请的一个实施例，一种模型训练方法，其包括：监控模型训练项目下的不同数据需求；对各所述数据需求下产生的数据进行版本化管控，得到各所述数据需求下的不同版本数据集；基于工作流引擎分别拉取不同工作流对应的预设模型代码分支及训练集进行流式模型训练，得到各所述工作流对应的训练模型文件，各所述工作流对应的所述训练集为对应数据需求下的一种版本的所述数据集；将所述不同工作流对应的训练模型文件进行集成，得到所述模型训练项目对应的目标模型文件。

4、在本申请的一些实施例中，所述方法还包括：对各所述工作流下的模型训练过程进行数据跟踪收集，得到各所述工作流下的所述模型训练过程产生的过程资源、中间产物和训练参数；将各所述工作流下产生的过程资源、中间产物和训练参数，分别按照产生顺序存储在各所述工作流下的过程追溯文件。

5、在本申请的一些实施例中，所述基于工作流引擎分别拉取不同工作流对应的预设模型代码分支及训练集进行流式模型训练，得到各所述工作流对应的训练模型文件，包括：拉取各所述工作流对应的所述预设模型代码分支以及所述训练集；获取各所述工作流对应的工作流文件、资源及超参数；根据各所述工作流对应的工作流文件，基于各所述工作流对应的资源，采用各所述工作流对应的所述训练集对各所述工作流对应的所述超参数及所述预设模型代码分支进行流式训练，得到各所述工作流对应的训练模型文件。

6、在本申请的一些实施例中，所述对各所述数据需求下产生的数据进行版本化管控，得到各所述数据需求下的不同版本数据集，包括：针对各所述数据需求，接收数据标注平台传输的所述数据需求对应指定版本的标准化数据，所述标准化数据为所述数据标注平台中针对所述数据需求按照标准进行数据处理所生成的；将所述数据需求对应的所述指定版本的标准化数据进行版本化管控，得到所述数据需求对应的指定版本的标准数据集；将各所述数据需求对应的所述指定版本的标准数据集，存储至数据版本管理系统，其中，所述工作流引擎从所述数据版本管理系统中拉取所述训练集。

7、在本申请的一些实施例中，所述方法还包括：接收用户上传的所述指定版本的临时数据；将所述临时数据标记为临时类型后传输给所述数据标注平台，以使得所述数据标注平台审核所述临时数据通过后合并所述指定版本的标准数据集和所述临时数据，得到所述指定版本的合并数据集；将所述指定版本的合并数据版集，存储至所述数据版本管理系统。

8、在本申请的一些实施例中，所述将所述不同工作流对应的训练模型文件进行集成，得到所述模型训练项目对应的目标模型文件，包括：将所述不同工作流对应的训练模型文件进行集成，得到集成后模型文件；采用预设测试用例对所述集成后模型文件进行测试；若测试通过，将所述集成后模型文件打包为模型镜像，所述模型镜像用于实现为所述模型训练项目对应的目标模型文件。

9、在本申请的一些实施例中，所述监控模型训练项目下的不同数据需求，包括：根据模型训练项目下的不同数据需求生成对应的数据需求表；将所述不同数据需求对应的数据需求表发送至数据标注平台，并监控所述数据标注平台中针对所述不同数据需求的数据实现进度。

10、在本申请的一些实施例中，所述方法还包括：构建所述模型训练项目下的不同预设模型代码分支；将所述不同模型代码分支按照分支存储在代码仓库系统，所述工作流引擎从所述代码仓库系统中拉取所述不同工作流对应的预设模型代码分支。

11、根据本申请的一个实施例，一种一站式模型训练平台，所述一站式模型训练平台包括数据需求模块、数据版本模块、训练需求模块及模型集成模块；所述数据需求模块被配置为：监控模型训练项目下的不同数据需求；所述数据版本模块被配置为：对各所述数据需求下产生的数据进行版本化管控，得到各所述数据需求下的不同版本数据集；所述训练需求模块被配置为：基于工作流引擎分别拉取不同工作流对应的预设模型代码分支及训练集进行流式模型训练，得到各所述工作流对应的训练模型文件，各所述工作流对应的所述训练集为对应数据需求下的一种版本的所述数据集；所述模型集成模块被配置为：将所述不同工作流对应的训练模型文件进行集成，得到所述模型训练项目对应的目标模型文件。

12、在本申请的一些实施例中，所述训练需求模块还被配置为：对各所述工作流下的模型训练过程进行数据跟踪收集，得到各所述工作流下的所述模型训练过程产生的过程资源、中间产物和训练参数；将各所述工作流下产生的过程资源、中间产物和训练参数，分别按照产生顺序存储在各所述工作流下的过程追溯文件。

13、本申请实施例中，监控模型训练项目下的不同数据需求；对各所述数据需求下产生的数据进行版本化管控，得到各所述数据需求下的不同版本数据集；基于工作流引擎分别拉取不同工作流对应的预设模型代码分支及训练集进行流式模型训练，得到各所述工作流对应的训练模型文件，各所述工作流对应的所述训练集为对应数据需求下的一种版本的所述数据集；将所述不同工作流对应的训练模型文件进行集成，得到所述模型训练项目对应的目标模型文件。

14、以这种方式，通过监控模型训练项目下的不同数据需求，对各数据需求下产生的数据进行版本化管控，基于工作流引擎进行各工作流下的模型的分别流式模型训练，最后通过集成的方式集成不同工作流对应的训练模型文件，得到模型训练项目对应的目标模型文件，实现一站式模型训练，可以高效进行模型训练完成交付，且整体流程中通过版本化管控、流式执行以及集成交付的方式使得训练交付流程精准可控，提升模型训练效果，进而，整体上可以有效降低模型训练交付周期，且提升模型应用在项目的效果，保证应用模型的项目及时可靠落地。

技术特征：

1.一种模型训练方法，其特征在于，所述方法包括；

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述基于工作流引擎分别拉取不同工作流对应的预设模型代码分支及训练集进行流式模型训练，得到各所述工作流对应的训练模型文件，包括：

4.根据权利要求1所述的方法，其特征在于，所述对各所述数据需求下产生的数据进行版本化管控，得到各所述数据需求下的不同版本数据集，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述将所述不同工作流对应的训练模型文件进行集成，得到所述模型训练项目对应的目标模型文件，包括：

7.根据权利要求1所述的方法，其特征在于，所述监控模型训练项目下的不同数据需求，包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.一种一站式模型训练平台，其特征在于，所述一站式模型训练平台包括数据需求模块、数据版本模块、训练需求模块及模型集成模块；

10.根据权利要求9所述的平台，其特征在于，所述训练需求模块还被配置为：

技术总结
本申请公开了一种模型训练方法及一站式模型训练平台，涉及人工智能技术领域，该方法包括：监控模型训练项目下的不同数据需求；对各所述数据需求下产生的数据进行版本化管控，得到各所述数据需求下的不同版本数据集；基于工作流引擎分别拉取不同工作流对应的预设模型代码分支及训练集进行流式模型训练，得到各所述工作流对应的训练模型文件，各所述工作流对应的所述训练集为对应数据需求下的一种版本的所述数据集；将所述不同工作流对应的训练模型文件进行集成，得到所述模型训练项目对应的目标模型文件。本申请可以有效降低模型训练交付周期，且提升模型应用在项目的效果，保证应用模型的项目及时可靠落地。

技术研发人员：孙锡瑜
受保护的技术使用者：深圳TCL新技术有限公司
技术研发日：
技术公布日：2024/1/22