任务调度方法、装置、电子设备及存储介质与流程

本申请涉及云计算，尤其涉及一种任务调度方法、装置、电子设备及存储介质。

背景技术：

1、目前基于云计算和人工智能(artificial intelligence，简称ai)的开放式物联网控制优化系统越来越多，通过人工智能算法以及完备的云计算安全体系架构，可以提供强大的建模、仿真、优化、控制基础能力，通过输出“供、研、产、销”全链路智能算法服务，激活工业海量数据的价值，可以帮助工业生态伙伴快速、低成本构建行业解决方案。一套工业控制系统通常需要控制多条产线，每个产线都有多条控制回路，不仅需要工业算法、机器学习算法、ai算法等多种异构算法组合解决，而且还需要在如此大业务量和复杂度的前提下，能够长期稳定地实现任务调度。因此，如何实现异构算法任务的混合调度是需要尽快解决的技术问题。

技术实现思路

1、本申请实施例提供一种任务调度方法、装置、电子设备及存储介质，以实现异构算法任务的混合调度。

2、第一方面，本申请实施例提供了一种任务调度方法，包括：获取目标任务的任务逻辑信息；其中，所述目标任务包括多个任务节点，所述多个任务节点与多个算子之间具有一一对应的映射关系，所述任务逻辑信息中包括所述多个任务节点之间的调用关系；解析所述任务逻辑信息，得到部署容器组所需的部署资源信息和部署逻辑信息；其中，所述容器组中包括任务调度容器和多个任务执行容器，所述多个任务执行容器与多个算子槽之间具有一一对应的映射关系，所述算子槽用于容纳至少一个算子；所述部署逻辑信息中包括所述多个算子之间的调用关系以及所述多个算子与所述多个算子槽之间的容纳关系；基于所述部署资源信息获取部署所述容器组所需的部署资源，并部署所述任务调度容器和所述多个任务执行容器；其中，所述任务调度容器和所述多个任务执行容器用于基于所述部署逻辑信息实现所述多个算子的执行。

3、第二方面，本申请实施例提供了一种任务调度方法，包括：解析目标任务的部署逻辑信息，得到执行逻辑信息；其中，所述目标任务包括多个任务节点，所述多个任务节点与多个算子之间具有一一对应的映射关系；所述部署逻辑信息包括所述多个算子之间的调用关系以及所述多个算子与多个算子槽之间的容纳关系，所述多个算子槽与多个任务执行容器之间具有一一对应的映射关系；所述执行逻辑信息包括所述多个算子之间的调用关系以及所述多个算子、多个算子执行进程和所述多个任务执行容器之间的映射关系；按照所述多个算子、所述多个算子执行进程和所述多个任务执行容器之间的映射关系在所述任务执行容器中启动一个或多个所述算子执行进程，并按照所述多个算子之间的调用关系调度所述多个算子执行。

4、第三方面，本申请实施例提供了一种任务调度装置，包括：任务逻辑信息获取模块，用于获取目标任务的任务逻辑信息；其中，所述目标任务包括多个任务节点，所述多个任务节点与多个算子之间具有一一对应的映射关系，所述任务逻辑信息中包括所述多个任务节点之间的调用关系；任务逻辑信息解析模块，用于解析所述任务逻辑信息，得到部署容器组所需的部署资源信息和部署逻辑信息；其中，所述容器组中包括任务调度容器和多个任务执行容器，所述多个任务执行容器与多个算子槽之间具有一一对应的映射关系，所述算子槽用于容纳至少一个算子；所述部署逻辑信息中包括所述多个算子之间的调用关系以及所述多个算子与所述多个算子槽之间的容纳关系；部署模块，用于基于所述部署资源信息获取部署所述容器组所需的部署资源，并部署所述任务调度容器和所述多个任务执行容器；其中，所述任务调度容器和所述多个任务执行容器用于基于所述部署逻辑信息实现所述多个算子的执行。

5、第四方面，本申请实施例提供了一种任务调度装置，包括：部署逻辑信息解析模块，用于解析目标任务的部署逻辑信息，得到执行逻辑信息；其中，所述目标任务包括多个任务节点，所述多个任务节点与多个算子之间具有一一对应的映射关系；所述部署逻辑信息包括所述多个算子之间的调用关系以及所述多个算子与多个算子槽之间的容纳关系，所述多个算子槽与多个任务执行容器之间具有一一对应的映射关系；所述执行逻辑信息包括所述多个算子之间的调用关系以及所述多个算子、多个算子执行进程和所述多个任务执行容器之间的映射关系；调度模块，用于按照所述多个算子、所述多个算子执行进程和所述多个任务执行容器之间的映射关系在所述任务执行容器中启动一个或多个所述算子执行进程，并按照所述多个算子之间的调用关系调度所述多个算子执行。

6、第五方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器在执行计算机程序时实现本申请任一实施例提供的方法。

7、第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本申请任一实施例提供的方法。

8、与现有技术相比，本申请实施例的技术方案具有如下优点：根据本申请实施例的任务调度方法，基于统一的算法框架编程规范将不同编程语言算法的任务节点映射为算子，用算子槽容纳一个或多个算子，而算子槽与任务执行容器具有一一对应的映射关系，从而实现异构算法的混合编排。进一步地，不同编程语言算法的任务节点之间的调用关系可以映射为异构算子之间的调用关系，因此通过在任务调度容器中运行任务调度进程(jobmaster)，并基于算子之间的调用关系调度任务执行容器中的算子执行，从而实现异构算子的混合部署和异构算法任务的混合调度。

9、上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

技术特征：

1.一种任务调度方法，包括：

2.根据权利要求1所述的方法，其中，基于所述部署资源信息获取部署所述容器组所需的部署资源，包括：

3.根据权利要求1所述的方法，还包括：

4.根据权利要求3所述的方法，还包括：

5.根据权利要求1至4任一项所述的方法，其中，所述任务逻辑信息中还包括所述任务节点的资源配置信息，所述算子槽用于容纳多个具有相同资源配置信息的任务节点所对应的算子。

6.一种任务调度方法，包括：

7.根据权利要求6所述的方法，还包括：

8.根据权利要求6所述的方法，其中，在具有调用关系的第一算子和第二算子属于同一算子执行进程的情况下，进行所述第一算子和所述第二算子之间的反射调用；或者，

9.根据权利要求6至8任一项所述的方法，按照所述多个算子、所述多个算子执行进程和所述多个任务执行容器之间的映射关系在各所述任务执行容器中分别启动至少一个算子执行进程，并按照所述多个算子之间的调用关系调度所述多个算子执行，包括：

10.根据权利要求6至8任一项所述的方法，还包括：

11.一种任务调度装置，包括：

12.一种任务调度装置，包括：

13.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现权利要求1至10中任一项所述的方法。

14.一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法。

技术总结
本申请提供了一种任务调度方法、装置、电子设备及存储介质。方法包括：获取目标任务的任务逻辑信息；任务逻辑信息中包括多个任务节点之间的调用关系；解析任务逻辑信息，得到部署容器组所需的部署资源信息和部署逻辑信息；容器组中包括任务调度容器和多个任务执行容器，多个任务执行容器与多个容纳算子的算子槽一一对应；部署逻辑信息中包括算子之间的调用关系以及算子与算子槽的容纳关系；基于部署资源信息获取部署容器组所需的部署资源，并部署任务调度容器和任务执行容器，以基于部署逻辑信息实现多个算子的执行。本申请的技术方案可以实现异构算法的混合编排调度，提升算子部署速度和调度性能。

技术研发人员：石佳劼,刘培谦,梁子豪,袁仑
受保护的技术使用者：阿里云计算有限公司
技术研发日：
技术公布日：2024/1/13