一种训练任务创建方法、装置、电子设备及存储介质与流程

文档序号:35627091发布日期:2023-10-05 23:41阅读:28来源:国知局
一种训练任务创建方法、装置、电子设备及存储介质与流程

本发明涉及训练任务创建,特别是涉及一种训练任务创建方法、一种训练任务创建装置、一种电子设备以及一种计算机可读存储介质。


背景技术:

1、目前人工智能技术飞速发展,各行各业正在迅速的进行智能化改造,企业在进行智能化改造时,会存在大量的可复用的模型和训练方法,均需要专业的深度学习开发者进行开发,而在深度学习领域,模型开发平台对模型任务低代码方式的支持有限,配置复杂,因此,对开发者的专业技能知识要求高,模型开发效率低,不能满足企业智能化转型的需求。

2、因此,如何提升模型训练的效率是本领域技术人员需要攻克的技术问题。


技术实现思路

1、本发明实施例是提供一种训练任务创建方法、装置、电子设备以及计算机可读存储介质,以解决如何针对模型训练创建训练任务的问题。

2、本发明实施例公开了一种训练任务创建方法,可以包括:

3、获取初始算法;

4、确定所述初始算法对应的连接节点和基本属性信息;

5、响应于针对所述基本属性信息的第一选择操作,将与所述基本属性信息对应的初始算法作为目标算法;

6、当多个所述目标算法对应的连接节点符合预设连接规则时,采用所述目标算法创建训练任务。

7、可选地,在所述响应于针对所述基本属性信息的第一选择操作,将与所述基本属性信息对应的初始算法作为目标算法的步骤之前,还可以包括:

8、采用所述初始算法,和,所述连接节点,和,所述基本属性信息构建算法仓库。

9、可选地,所述算法仓库具有对应的客户端,所述客户端配置有用户操作界面,还可以包括:

10、确定针对所述初始算法的共享权限;

11、获取针对用户的登录信息;

12、当所述登录信息符合所述共享权限时,在所述用户操作界面显示与所述共享权限对应的初始算法。

13、可选地,所述针对所述基本属性信息的第一选择操作可以包括拖拽操作。

14、可选地,所述目标算法包括数据清洗算法和模型训练算法,所述连接节点包括输入连接节点和输出连接节点,所述输出连接节点为针对所述数据清理算法的输出存储路径,所述输入连接节点为针对所述模型训练算法的输入存储路径,所述当多个所述目标算法对应的连接节点符合预设连接规则时,采用所述目标算法创建训练任务的步骤可以包括:

15、确定针对所述输出存储路径的第一字符串;

16、确定针对所述输入存储路径的第二字符串;

17、当所述输出存储路径对应的第一字符串和所述输入存储路径对应的第二字符串匹配时,采用所述目标算法创建训练任务;所述训练任务包括工作流;所述用户操作界面包括用于对所述工作流执行启动命令的启动选项;所述客户端配置有对应的平台调度器;

18、当监听到针对所述启动选项的第二选择操作时,响应于所述第二选择操作启动所述工作流;

19、生成针对所述训练任务的时间信息,当所述时间信息超过预设阈值时,调用所述平台调度器启动所述工作流。

20、可选地,所述工作流为有向无环工作流,所述工作流包括多个工作流任务,所述工作流任务具有对应的算法节点,还可以包括:

21、当通过所述算法节点判定上游工作流任务完成时,调用所述平台调度器执行与所述上游工作流任务对应的下游工作流任务;

22、当判定所述上游工作流任务执行失败时,调用所述平台调度器重新执行所述上游工作流任务。

23、可选地,在所述采用所述目标算法创建训练任务的步骤之后,还可以包括:

24、构建针对所述目标算法的算法模板,并将所述算法模板存储至所述算法仓库。

25、本发明实施例还公开了一种训练任务创建装置,可以包括:

26、初始算法获取模块,用于获取初始算法;

27、信息确定模块,用于确定所述初始算法对应的连接节点和基本属性信息;

28、目标算法确定模块,用于响应于针对所述基本属性信息的第一选择操作,将与所述基本属性信息对应的初始算法作为目标算法;

29、训练任务创建模块,用于当多个所述目标算法对应的连接节点符合预设连接规则时,采用所述目标算法创建训练任务。

30、可选地,还可以包括:

31、算法仓库构建模块,用于采用所述初始算法,和,所述连接节点,和,所述基本属性信息构建算法仓库。

32、可选地,所述算法仓库具有对应的客户端,所述客户端配置有用户操作界面,还可以包括:

33、共享权限确定模块,用于确定针对所述初始算法的共享权限;

34、登录信息获取模块,用于获取针对用户的登录信息;

35、初始算法显示模块,用于当所述登录信息符合所述共享权限时,在所述用户操作界面显示与所述共享权限对应的初始算法。

36、可选地,所述针对所述基本属性信息的第一选择操作可以包括拖拽操作。

37、可选地,所述目标算法包括数据清洗算法和模型训练算法,所述连接节点包括输入连接节点和输出连接节点,所述输出连接节点为针对所述数据清理算法的输出存储路径,所述输入连接节点为针对所述模型训练算法的输入存储路径,所述训练任务创建模块可以包括:

38、第一字符串确定子模块,用于确定针对所述输出存储路径的第一字符串;

39、第二字符串确定子模块,用于确定针对所述输入存储路径的第二字符串;

40、训练任务创建子模块,用于当所述输出存储路径对应的第一字符串和所述输入存储路径对应的第二字符串匹配时,采用所述目标算法创建训练任务;所述训练任务包括工作流;所述用户操作界面包括用于对所述工作流执行启动命令的启动选项;所述客户端配置有对应的平台调度器;

41、工作流启动子模块,用于当监听到针对所述启动选项的第二选择操作时,响应于所述第二选择操作启动所述工作流;

42、平台调度器调用子模块,用于生成针对所述训练任务的时间信息,当所述时间信息超过预设阈值时,调用所述平台调度器启动所述工作流。

43、可选地,所述工作流为有向无环工作流,所述工作流包括多个工作流任务,所述工作流任务具有对应的算法节点,还可以包括:

44、下游工作流任务执行子模块,用于当通过所述算法节点判定上游工作流任务完成时,调用所述平台调度器执行与所述上游工作流任务对应的下游工作流任务;

45、上游工作流任务执行子模块,用于当判定所述上游工作流任务执行失败时,调用所述平台调度器重新执行所述上游工作流任务。

46、可选地,还可以包括:

47、算法模板构建模块,用于构建针对所述目标算法的算法模板,并将所述算法模板存储至所述算法仓库。

48、本发明实施例还公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;

49、所述存储器,用于存放计算机程序;

50、所述处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述的方法。

51、本发明实施例还公开了一种计算机可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如本发明实施例所述的方法。

52、本发明实施例包括以下优点:

53、本发明实施例,通过获取初始算法;确定所述初始算法对应的连接节点和基本属性信息;响应于针对所述基本属性信息的第一选择操作,将与所述基本属性信息对应的初始算法作为目标算法;当多个所述目标算法对应的连接节点符合预设连接规则时,采用所述目标算法创建训练任务,从而实现了基于目标算法和连接规则创建训练任务,进一步地提升了深度学习模型训练的效率。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1