基于训练平台进行模型训练的方法、系统、设备及介质与流程

本发明涉及操作系统安装，尤其涉及一种基于训练平台进行模型训练的方法、系统、设备及介质。

背景技术：

1、目前通过模型文件数据进行深度学习模型训练的几种方式包括：一种是在深度学习模型训练开始前，将模型文件数据拷贝到公共目录中，运行训练任务时挂载公共目录，这样训练脚本可以读取容器中挂载的公共目录中的模型文件数据；一种是在训练脚本中编写下载模型文件数据的代码，在运行脚本时实时下载模型文件数据，下载完成后再进行深度学习模型训练。这两种方式都存在深度学习模型训练的易用性问题，使得每次进行深度学习模型训练时，都需要进行模型文件数据的实时下载或拷贝，使得深度学习模型训练的便捷性不足。

技术实现思路

1、有鉴于此，本发明提供一种基于训练平台进行模型训练的方法、系统、设备及介质。旨在提高深度学习模型训练的便捷性，从而提升深度学习模型训练的训练效率。

2、在本发明实施例的第一方面，提供了一种基于训练平台进行模型训练的方法，所述方法包括：

3、构建模型文件管理模块，用于维护模型文件数据；

4、创建训练任务时，启动模型文件管理模块；

5、根据所述训练任务所对应的目标模型文件数据，模型文件处理模块通过模型文件管理模块进行所述目标模型文件数据的挂载；

6、所述训练任务基于挂载的所述目标模型文件数据进行深度学习模型训练。

7、可选的，所述模型文件管理模块所维护的模型文件数据包括：外部导入的模型文件数据，以及，训练任务执行过程中生成的模型文件数据。

8、可选的，模型文件管理模块用于维护模型文件数据，包括：

9、将模型文件数据添加至所述模型文件管理模块对应的数据库；

10、通过所述模型文件管理模块在对应的模型表中添加该模型文件数据的位置信息和参数信息。

11、可选的，所述根据所述训练任务所对应的目标模型文件数据，模型文件处理模块通过模型文件管理模块进行所述目标模型文件数据的挂载，包括：

12、创建训练任务，通过所述模型文件管理模块展示维护的模型表；

13、根据所述训练任务，从所述模型表中选择对应的目标模型文件数据；

14、根据选择的所述目标模型文件数据，所述模型文件处理模块从对应的数据库中获取所述模型文件数据进行挂载。

15、可选的，所述方法还包括：

16、根据所述训练任务，自定义对应的目标模型文件数据的挂载路径；

17、根据所述挂载路径，所述模型文件处理模块从所述挂载路径中挂载该目标模型文件数据。

18、可选的，所述方法还包括：

19、对确定的目标模型文件数据进行校验；

20、在校验通过时，根据确定的目标模型文件数据，所述模型文件处理模块获取所述目标模型文件数据进行挂载；

21、在校验未通过时，根据校验结果，向用户提示对应的告警信息，所述告警信息至少包括：确定的目标模型文件数据不存在、确定的目标模型文件数据重复。

22、可选地，所述方法还包括：

23、通过脚本执行训练任务时，自定义所述脚本执行过程中的模型文件数据在容器内的挂载路径；

24、根据所述挂载路径，所述模型文件处理模块从所述挂载路径中挂载该模型文件数据。

25、在本发明实施例的第二方面，提供了一种基于训练平台进行模型训练的方法的系统，所述系统包括：

26、所述系统包括：

27、模型文件管理模块，用于维护模型文件数据；

28、启动模块，用于创建训练任务时，启动模型文件管理模块；

29、挂载模块，用于根据所述训练任务所对应的目标模型文件数据，模型文件处理模块通过模型文件管理模块进行所述目标模型文件数据的挂载；

30、训练模块，用于所述训练任务基于挂载的所述目标模型文件数据进行深度学习模型训练。

31、在本发明实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

32、存储器，用于存放计算机程序；

33、处理器，用于执行存储器上所存放的程序时，实现本发明第一方面提供的一种基于训练平台进行模型训练的方法的步骤。

34、在本发明实施例的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面所述的一种基于训练平台进行模型训练的方法。

35、针对在先技术，本发明具备如下优点：

36、本发明实施例提供的一种基于训练平台进行模型训练的方法，通过在深度学习模型训练平台中构建模型文件管理模块，通过模型文件管理模块维护模型文件数据群；在用户创建训练任务的同时，启动模型文件管理模块，模型文件管理模块提供所维护的模型文件数据群供用户选择，根据用户选择的训练任务所对应的目标模型文件数据时，模型文件管理模块挂载目标模型文件数据；在训练任务执行时基于挂载的目标模型文件数据进行模型的训练。由此，本发明通过构建一个模型文件管理模块，通过该模型文件管理模块维护一个大的模型文件数据群，在用户创建训练任务时，直接根据用户选择的用于该训练任务的目标模型文件数据通过模型文件管理模块进行挂载，而无需再进行模型文件数据的拷贝和实时下载，从而能够提高深度学习模型训练的便捷性，从而提高深度学习模型训练的训练效率。

37、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种基于训练平台进行模型训练的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述模型文件管理模块所维护的模型文件数据包括：外部导入的模型文件数据，以及，训练任务执行过程中生成的模型文件数据。

3.根据权利要求1所述的方法，其特征在于，模型文件管理模块用于维护模型文件数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述训练任务所对应的目标模型文件数据，模型文件处理模块通过模型文件管理模块进行所述目标模型文件数据的挂载，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种基于训练平台进行模型训练的方法的系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的一种基于训练平台进行模型训练的方法。

技术总结
本发明提供一种基于训练平台进行模型训练的方法、系统、设备及介质，所述方法包括：构建模型文件管理模块，用于维护模型文件数据；创建训练任务时，启动模型文件管理模块；根据所述训练任务所对应的目标模型文件数据，模型文件处理模块通过模型文件管理模块进行所述目标模型文件数据的挂载；所述训练任务基于挂载的所述目标模型文件数据进行深度学习模型训练。旨在提高深度学习模型训练的便捷性，从而提升深度学习模型训练的训练效率。

技术研发人员：邢良占
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：
技术公布日：2024/1/13