一种任务管理方法及系统与流程

1.本申请涉及算法模型管理技术领域，尤其涉及一种任务管理方法及系统。


背景技术：

2.随着人工智能技术的不断发展，算法模型也越来越多样化，这种多样化一方面体现在算法本身的多样性，如各类机器学习算法、深度学习算法等，另一方面也体现在算法的应用场景的多样性，对于同一种算法，在不同的应用场景下生成的算法模型也不尽相同，进一步地，同一算法多次训练生成的算法模型之间的效果也有较大差异。算法模型虽然在人工智能领域上解决了很多疑难问题，但这种多样性也为算法开发人员带来了很多不便。在研发过程中，多个算法多次执行总是会遇到资源抢占、环境污染、模型文件查找困难、算法运行状态未知等问题，如何保证算法任务的独立运行、模型文件的集中管理以及算法任务运行状态的透明化，解决算法模型任务全流程一体化管理，方便开发人员专注于算法研发工作，是目前亟需解决的技术问题。
3.因此，针对以上现状，本发明提出一种任务管理方法及系统，本发明实现对每个任务实例运行状态的监控，并通过日志追踪任务执行过程中遇到的各种异常，同时，本发明应用于算法任务的各类文件，实现对算法脚本文件、算法模型文件等的集中管理以及应用于多种定制化任务执行需求，并提供三种任务执行策略，能够有效地解决算法模型任务全流程一体化管理问题，方便算法开发人员专注于算法研发工作。


技术实现要素：

4.本申请实施例提供了一种任务管理方法及系统，以至少解决相关技术中主观因素影响的问题。
5.本发明提供了一种任务管理方法，包括：
6.新建步骤：新建算法及任务；
7.选择步骤：选择任务类型，根据所述任务类型选择所述算法，并配置所述算法的参数后，选择任务执行策略，并选择所述任务执行策略的执行时间；
8.执行步骤：根据所述任务执行策略执行所述任务后，获取所述任务的执行结果。
9.上述的任务管理方法，所述新建步骤包括，准备所述算法的脚本文件与配置文件，并新建所述算法及所述任务。
10.上述的任务管理方法，所述选择步骤包括，当所述任务类型选择预测任务时，先选择算法模型后选择所述算法，并配置所述算法的所述参数后，选择所述任务执行策略，并选择所述任务执行策略的所述执行时间，当所述任务类型选择训练任务时，直接选择所述算法，并配置所述算法的所述参数后，选择所述任务执行策略，并选择所述任务执行策略的所述执行时间。
11.上述的任务管理方法，任务执行策略包括，立即执行、定时执行以及定时重复执行。
12.上述的任务管理方法，所述执行步骤包括，根据所述任务执行策略执行所述预测任务时，获取所述预测任务的预测结果，根据所述任务执行策略执行所述训练任务时，获取所述算法模型并发布所述算法模型。
13.本发明还提供一种任务管理系统，其中，适用于上述所述的任务管理方法，所述任务管理系统包括：
14.新建单元：新建算法及任务；
15.选择单元：选择任务类型，根据所述任务类型选择所述算法，并配置所述算法的参数后，选择任务执行策略，并选择所述任务执行策略的执行时间；
16.执行单元：根据所述任务执行策略执行所述任务后，获取所述任务的执行结果。
17.上述的任务管理系统，所述新建单元准备所述算法的脚本文件与配置文件，并新建所述算法及所述任务。
18.上述的任务管理系统，所述选择单元中当所述任务类型选择预测任务时，先选择算法模型后选择所述算法，并配置所述算法的所述参数后，选择所述任务执行策略，并选择所述任务执行策略的所述执行时间，当所述任务类型选择训练任务时，直接选择所述算法，并配置所述算法的所述参数后，选择所述任务执行策略，并选择所述任务执行策略的所述执行时间。
19.上述的任务管理系统，所述任务执行策略包括，立即执行、定时执行以及定时重复执行。
20.上述的任务管理系统，所述执行单元根据所述任务执行策略执行所述预测任务时，获取所述预测任务的预测结果，根据所述任务执行策略执行所述训练任务时，获取所述算法模型并发布所述算法模型。
21.相比于相关技术，本发明提出一种任务管理方法及系统，本发明实现对每个任务实例运行状态的监控，并通过日志追踪任务执行过程中遇到的各种异常，同时，本发明应用于算法任务的各类文件，实现对算法脚本文件、算法模型文件等的集中管理以及应用于多种定制化任务执行需求，并提供三种任务执行策略，能够有效地解决算法模型任务全流程一体化管理问题，方便算法开发人员专注于算法研发工作。
22.本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
23.此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
24.图1是根据本申请实施例的任务管理方法流程图；
25.图2是根据本申请实施例的系统结构框架图；
26.图3是根据本申请实施例的流程步骤框架图；
27.图4是根据本申请实施例的任务执行情况示意图；
28.图5为本发明的任务管理系统的结构示意图；
29.图6是根据本申请实施例的电子设备的框架图。
30.其中，附图标记为：
31.新建单元：51；
32.选择单元：52；
33.执行单元：53；
34.81：处理器；
35.82：存储器；
36.83：通信接口；
37.80：总线。
具体实施方式
38.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
39.显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
40.在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
41.除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
42.本发明基于算法模型任务管理，下面进行简要的介绍。
43.模型是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体，不局限于实体与虚拟、不限于平面与立体)。模型≠商
品。任何物件定义为商品之前的研发过程中形态均为模型，当定义型号、规格并匹配相应价格的时候，模型将会以商品形式呈现出来。从广义上讲：如果一件事物能随着另一件事物的改变而改变，那么此事物就是另一件事物的模型。模型的作用就是表达不同概念的性质，一个概念可以使很多模型发生不同程度的改变，但只要很少模型就能表达出一个概念的性质，所以一个概念可以通过参考不同的模型从而改变性质的表达形式。模型构成形式分为实体模型(拥有体积及重量的物理形态概念实体物件)及虚拟模型(用电子数据通过数字表现形式构成的形体以及其他实效性表现)。模型展示形式分为平面展示和立体展示(标识是平面展示的一种例如图册示例图)。实体模型从表现形式分为静模(物理相对静态，本身不具有能量转换的动力系统，不在外部作用力下表现结构及形体构成的完整性)、助力模型(以静模为基础，可借助外界动能的作用，不改变自身表现结构，通过物理运动检测的一种物件结构连接关系)以及动模(可通过能量转换方式产生动能，在自身结构中具有动力转换系统，在能量转换过程中表现出的相对连续物理运动形式)。虚拟模型分为虚拟静态模型、虚拟动态模型、虚拟幻想模型。数学模型用数学语言描述的一类模型。数学模型可以是一个或一组代数方程、微分方程、差分方程、积分方程或统计学方程，也可以是它们的某种适当的组合，通过这些方程定量地或定性地描述系统各变量之间的相互关系或因果关系。除了用方程描述的数学模型外，还有用其他数学工具，如代数、几何、拓扑、数理逻辑等描述的模型。需要指出的是，数学模型描述的是系统的行为和特征而不是系统的实际结构。物理模型也称实体模型，又可分为实物模型和类比模型。实物模型：根据相似性理论制造的按原系统比例缩小(也可以是放大或与原系统尺寸一样)的实物，例如风洞实验中的飞机模型，水力系统实验模型，建筑模型，船舶模型等。类比模型：在不同的物理学领域(力学的、电学的、热学的、流体力学的等)的系统中各自的变量有时服从相同的规律，根据这个共同规律可以制出物理意义完全不同的比拟和类推的模型。例如在一定条件下由节流阀和气容构成的气动系统的压力响应与一个由电阻和电容所构成的电路的输出电压特性具有相似的规律，因此可以用比较容易进行实验的电路来模拟气动系统。在数学和计算机科学之中，算法(algorithm)为一个计算的具体步骤，常用于计算、数据处理和自动推理。精确而言，算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。算法分类可以根据算法设计原理、算法的具体应用和其他一些特性进行分类。算法(algorithm)是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。国内外有关的研究和科学文献中对于算法分类这个术语还没有明确定义，算法分类简单可以根据算法设计原理、算法的具体应用和其他一些特性进行分类。可分为基本算法或根据具体应用领域进行分类，在机器学习中，按照学习方式，常把算法分为监督学习算法、非监督学习算法及半监督学习算法。按照图论的算法进行分类，算法可以分为哈夫曼编码、树的遍历、最短路径算法、最小生成树算法、最小树形图、网络流算法、匹配算法。
44.随着人工智能技术的不断发展，算法模型也越来越多样化，这种多样化一方面体现在算法本身的多样性，如各类机器学习算法、深度学习算法等，另一方面也体现在算法的应用场景的多样性，对于同一种算法，在不同的应用场景下生成的算法模型也不尽相同，进一步地，同一算法多次训练生成的算法模型之间的效果也有较大差异。算法模型虽然在人工智能领域上解决了很多疑难问题，但这种多样性也为算法开发人员带来了很多不便。在
研发过程中，多个算法多次执行总是会遇到资源抢占、环境污染、模型文件查找困难、算法运行状态未知等问题，如何保证算法任务的独立运行、模型文件的集中管理以及算法任务运行状态的透明化，解决算法模型任务全流程一体化管理，方便开发人员专注于算法研发工作，是目前亟需解决的技术问题。
45.本发明提出一种任务管理方法及系统，本发明实现对每个任务实例运行状态的监控，并通过日志追踪任务执行过程中遇到的各种异常，同时，本发明应用于算法任务的各类文件，实现对算法脚本文件、算法模型文件等的集中管理以及应用于多种定制化任务执行需求，并提供三种任务执行策略，能够有效地解决算法模型任务全流程一体化管理问题，方便算法开发人员专注于算法研发工作。
46.下面将算法模型任务管理为例对本申请实施例进行说明。
47.实施例一
48.本实施例提供了任务管理方法。请参照图1
‑
图3，图1是根据本申请实施例的任务管理方法流程图；图2是根据本申请实施例的系统结构框架图；图3是根据本申请实施例的流程步骤框架图，如图所示，任务管理方法包括如下步骤：
49.新建步骤s1：新建算法及任务；
50.选择步骤s2：选择任务类型，根据所述任务类型选择所述算法，并配置所述算法的参数后，选择任务执行策略，并选择所述任务执行策略的执行时间；
51.执行步骤s3：根据所述任务执行策略执行所述任务后，获取所述任务的执行结果。
52.实施例中，所述新建步骤s1包括，准备所述算法的脚本文件与配置文件，并新建所述算法及所述任务。
53.具体实施中，系统结构框架图如图2所示，其中，算法管理模块用于算法的上传、展示、修改和删除。其中，算法的上传包括新建步骤s1中的脚本文件和配置文件两部分，所述脚本文件包含了运行算法所需的所有代码，所述配置文件包含了运行算法脚本所需的固定配置参数。
54.实施例中，所述选择步骤s2包括，当所述任务类型选择预测任务时，先选择算法模型后选择所述算法，并配置所述算法的所述参数后，选择所述任务执行策略，并选择所述任务执行策略的所述执行时间，当所述任务类型选择训练任务时，直接选择所述算法，并配置所述算法的所述参数后，选择所述任务执行策略，并选择所述任务执行策略的所述执行时间。
55.实施例中，所述任务执行策略包括，立即执行、定时执行以及定时重复执行。
56.具体实施中，立即执行表示任务创建完成后立即执行；定时执行表示任务在创建完成之后的一个时间点开始执行，具体地，选择定时执行策略并设置定时任务的执行时间，执行时间应大于等于当前时间，若设置的任务执行时间小于当前时间，则系统默认为任务创建完成后自动执行；定时重复执行表示任务在创建完成之后的一个时间段重复执行，比如设定一个每天凌晨一点执行的定时任务，具体地，选择定时重复执行策略并设置定时重复任务的执行时间，如按日每天凌晨一点重复执行。
57.实施例中，所述执行步骤s3包括，根据所述任务执行策略执行所述预测任务时，获取所述预测任务的预测结果，根据所述任务执行策略执行所述训练任务时，获取所述算法模型并发布所述算法模型。
58.具体实施中，系统结构框架图如图2所示，其中，任务管理模块用于任务的创建、启停、修改、更新和查看日志。具体地，任务类型分为训练任务和预测任务两种，确定好执行策略之后，任务被调度器执行生成一个任务实例，实例运行在独立环境中并分配固定资源，调度器可以监控每个实例的运行状态并可以通过日志查看当前任务的具体执行情况，特别地，如果任务异常停止，可以通过日志查看异常原因。上述任务实例的具体信息包括实例id、开始时间、结束时间、任务状态，特别地，对于训练任务，任务实例的信息还包括任务生成的算法模型名称和模型状态。其中，任务状态包括完成、运行中、终止和异常停止，模型状态包括未发布和已发布。模型管理模块，用于对算法模型的集中管理，包括模型的生成、删除和发布。具体地，对于同一个算法，可能会训练多次生成多个任务实例，每一个实例完成之后都会生成一个算法模型，算法模型名称由系统自动生成。由于算法模型的不确定性，即便是同一个算法，每次训练生成的模型效果也有差异，并不是所有模型都适合于预测任务。进一步地，对于已生成的算法模型，只有进行发布操作才能用于预测任务。执行步骤s3具体地说，在任务实例列表可查看当前任务实例的运行状态，若任务实例正在运行，则显示运行中，若任务实例运行成功，则显示已完成，若任务实例因为算法或配置等原因导致运行失败，则状态显示为异常停止，若任务实例由于人为原因手动停止，则状态显示为终止；若是训练任务执行完成，则会生成算法模型，查看训练结果决定当前模型是否需要发布，已发布模型可在模型列表中进行查看；若是预测任务执行完成，则会生成预测结果，查看预测结果。
59.由此，本发明提出一种任务管理方法及系统，本发明实现对每个任务实例运行状态的监控，并通过日志追踪任务执行过程中遇到的各种异常，同时，本发明应用于算法任务的各类文件，实现对算法脚本文件、算法模型文件等的集中管理以及应用于多种定制化任务执行需求，并提供三种任务执行策略，能够有效地解决算法模型任务全流程一体化管理问题，方便算法开发人员专注于算法研发工作。
60.实施例二
61.请参照图4，图4是根据本申请实施例的任务执行情况示意图。以某工业算法为实施例的训练任务步骤如下：
62.新建步骤：准备好运行算法所需的可执行python脚本文件，其他可选的脚本文件还包括shell脚本；准备好算法配置文件，文件格式为json，配置参数以json的形式展示，新建上传算法，新建任务，选择任务类型为“训练任务”，并选择所述上传的算法。
63.选择步骤：配置任务所需参数，可配置参数包括时间范围，则在该时间范围内的数据集会被用于任务预测；可选的，也可自定义参数配置，在本实施例中，由于算法所处工业背景的关系，其他参数配置还包括设备实例、上次预测结果等。并选择执行策略，可选的执行策略包括立即执行、定时执行和定时重复执行。立即执行任务适用于需要立刻执行的一次性任务，定时执行任务适用于需要在未来的某一个时间点执行的一次性任务，定时重复任务适用于在未来的某一段时间内需要重复执行的任务。在本实施例中，预测任务期望于在未来的一段时间内，根据数据集的变化动态获得预测结果，则选择的执行策略为定时重复执行，并设置定时执行时间，在本实施例中设置为按日每天09:30:00执行一次。
64.执行步骤：执行训练任务，如图4是在未来五天内任务执行情况示意图。
65.实施例三
access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory，简称sdram)等。
78.存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
79.处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意任务管理方法。
80.在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图6所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
81.通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/任务管理设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
82.总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制，总线80可包括图形加速接口(accelerated graphics port，简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，简称为ei sa)总线、前端总线(front side bus，简称为fsb)、超传输(hyper transport，简称为ht)互连、工业标准架构(industry standard architecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count，简称为lpc)总线、存储器总线、微信道架构(micro channel architecture，简称为mca)总线、外围组件互连(peripheral component interconnect，简称为pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment，简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
83.电子设备可连接任务管理系统，从而实现结合图1
‑
图3描述的方法。
84.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
85.以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。