任务处理方法、系统、处理器以及电子设备与流程

本技术涉及大数据领域，具体而言，涉及一种任务处理方法、系统、处理器以及电子设备。

背景技术：

1、随着大数据平台的发展，通过大数据平台运行相关任务能够提高处理效率、降低生产成本，例如需要长期运行的流式任务，当流式任务在运行时，所需要的资源通常在程序部署启动之前通过提交命令或调整配置文件内的参数发起申请，随后将申请发送至资源调度器，并部署本地程序代码后开始运行。

2、但由于每一任务在申请资源时，预先申请的cpu(central processing unit，中央处理器)、内存、网络带宽等资源为预设定量，导致任务能处理的数据吞吐量是有上限的。但在实际业务处理中，经常会遇到处理任务的数据量突变的情况，例如当上游出现异常导致重复发数、发脏数据异常的现象，使得数据量的吞吐超过了可处理的上限，出现反压、资源占用率高、线程锁死等问题，并产生结果延迟、产生误差等负面影响。

3、而对于上述问题，相关技术中的通常做法为对任务的资源进行扩容，而对资源进行扩容时需要停止任务执行，在修改资源数量后重新提交任务，但该方法会导致任务的结果数据中断输出，并产生冷启动执行效率低、堆积数据导致资源负载量高、结果重复输出等问题。

4、针对相关技术中待执行任务在进行资源扩容时需要重新启动、执行效率低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种任务处理方法、系统、处理器以及电子设备，以解决相关技术中待执行任务在进行资源扩容时需要重新启动、执行效率低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种任务处理方法。该方法包括：获取任务处理程序的待执行任务，并生成待执行任务的任务执行图，其中，通过在待执行任务的物理执行图上添加控制开关的方式得到任务执行图；将任务执行图同步至备用资源池管理程序，得到备用任务执行图，其中，控制开关用于将待执行任务的待处理数据分流至备用资源池管理程序；在任务处理程序运行待执行任务的过程中，获取待执行任务的资源使用指标数据；在资源使用指标数据大于等于预设指标值的情况下，启动控制开关，通过任务执行图和备用任务执行图执行待执行任务。

3、可选地，任务执行图通过以下方式构建：根据待执行任务生成逻辑执行图，并对逻辑执行图进行处理，得到物理执行图，其中，逻辑执行图包含具有逻辑执行关系的多个算子；在待执行任务的物理执行图上添加控制开关，得到任务执行图。

4、可选地，控制开关包括数据源分流开关、第一标志位控制开关以及第二标志位控制开关，在待执行任务的物理执行图上添加控制开关，得到任务执行图包括：获取物理执行图中的数据源算子与预设分区规则，并获取预设分区规则上游的第一算子和预设分区规则下游的第二算子；在数据源算子处设置数据源分流开关，并在第一算子的网络缓冲写入区设置第一标志位控制开关，在第二算子的网络缓冲写出区设置第二标志位控制开关，得到任务执行图。

5、可选地，在获取待执行任务的资源使用指标数据之前，该方法还包括：在任务执行图的控制开关的设置位置设置吞吐量监控插件，其中，吞吐量监控插件用于监测运行待执行任务时的数据吞吐量情况；在运行待执行任务的情况下，启动吞吐量监控插件，通过吞吐量监控插件生成资源使用指标数据。

6、可选地，在资源使用指标数据大于等于预设指标值的情况下，启动控制开关，通过任务执行图和备用任务执行图执行待执行任务包括：基于任务执行图生成第一待执行任务，基于备用任务执行图生成第二待执行任务；在资源使用指标数据大于等于预设指标值的情况下，分别向第一待执行任务和第二待执行任务发送扩容指令；在第一待执行任务和第二待执行任务接收到扩容指令的情况下，启动控制开关，其中，通过启动后的控制开关将待处理数据划分为第一组数据和第二组数据，并将第二组数据分流至第二待执行任务；通过第一待执行任务处理第一组数据，通过第二待执行任务处理第二组数据。

7、可选地，在通过连接后的任务执行图和备用任务执行图执行待执行任务之后，该方法还包括：判断资源使用指标数据是否小于预设指标值；在资源使用指标数据小于预设指标值的情况下，关闭控制开关，并获取第二待执行任务的关联数据；将关联数据迁移至任务处理程序中，并清理备用资源池管理程序中的数据。

8、可选地，将任务执行图同步至备用资源池管理程序包括：获取备用资源池管理程序中的m个资源空间以及每个资源空间的资源使用率，其中，m为正整数；获取m个资源空间中资源使用率小于预设使用率阈值的资源空间，得到n个候选资源空间，其中，n为正整数；获取待执行任务的执行程序，将任务执行图迁移至n个候选资源空间中。

9、为了实现上述目的，根据本技术的另一方面，提供了一种任务处理系统。该系统包括：任务处理程序，用于运行待执行任务；资源管理器，用于检测待执行任务运行时的资源使用指标数据；任务调度程序，用于在待执行任务的物理执行图上添加控制开关，得到任务执行图，将任务执行图同步至备用资源池管理程序，得到备用任务执行图，还用于在待执行任务运行时的资源使用指标数据大于等于预设指标值的情况下，通过控制开关将待执行任务的部分任务数据分流至备用资源池管理程序；备用资源池管理程序，用于基于备用任务执行图处理部分任务数据。

10、为了实现上述目的，根据本技术的另一方面，提供了一种任务处理装置。该装置包括：第一获取单元，用于获取任务处理程序的待执行任务，并生成待执行任务的任务执行图，其中，通过在待执行任务的物理执行图上添加控制开关的方式得到任务执行图；同步单元，用于将任务执行图同步至备用资源池管理程序，得到备用任务执行图，其中，控制开关用于将待执行任务的待处理数据分流至备用资源池管理程序；第二获取单元，用于在任务处理程序运行待执行任务的过程中，获取待执行任务的资源使用指标数据；第一启动单元，用于在资源使用指标数据大于等于预设指标值的情况下，启动控制开关，通过任务执行图和备用任务执行图执行待执行任务。

11、根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时控制非易失性存储介质所在的设备执行一种任务处理方法。

12、根据本发明实施例的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种任务处理方法。

13、通过本技术，采用以下步骤：获取任务处理程序的待执行任务，并生成待执行任务的任务执行图，其中，通过在待执行任务的物理执行图上添加控制开关的方式得到任务执行图；将任务执行图同步至备用资源池管理程序，得到备用任务执行图，其中，控制开关用于将待执行任务的待处理数据分流至备用资源池管理程序；在任务处理程序运行待执行任务的过程中，获取待执行任务的资源使用指标数据；在资源使用指标数据大于等于预设指标值的情况下，启动控制开关，通过任务执行图和备用任务执行图执行待执行任务，解决了相关技术中待执行任务在进行资源扩容时需要重新启动、执行效率低的问题，通过根据待执行任务生成任务执行图，并将任务执行图迁移至备用资源池管理程序，在待执行任务资源出现不足的情况时，启动控制开关，通过任务处理程序和备用资源池管理程序一同执行待执行任务，进而达到了提高执行效率、优化资源分配的效果。