批量任务调度系统、方法、装置、计算机设备和存储介质与流程

本技术涉及大数据和分布式，特别是涉及一种批量任务调度系统、方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着移动支付对线上线下消费等场景的全行业覆盖，收单业务量呈现出爆炸性的增长趋势。具体地，商户个数从百万级别快速发展到千万级别，收单查询日均交易量也从百万笔快速增长到千万笔，账务性交易日均交易量更是由千万笔陡升到亿笔。

2、目前，常规的批量调度系统执行作业数量众多，处理数据量大且流程复杂,批量任务调度系统在实际工作中，容易达到系统瓶颈，降低批量处理效率。

3、因此，为满足大量交易数据的任务调度，亟需提供一种能够提高批量数据处理效率的批量任务调度方案。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种高效的批量任务调度系统、方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种批量任务调度系统。所述系统包括：相互通信连接的任务调度服务器和多个任务执行节点；

3、任务调度服务器，用于获取当前批次的主任务，将主任务拆分为多个子任务，并将多个子任务分配至不同的任务执行节点，在监测到主任务中仍存在执行失败的异常子任务的情况下，根据预设的任务重跑配置数据，更新异常子任务的任务状态，以使任务执行节点重新执行异常子任务，在当前批次的主任务均成功执行的情况下，重新执行获取当前批次的主任务的操作，直至待处理的主任务执行完毕；

4、任务执行节点，用于获取待执行的多个子任务，创建多个进程并发执行子任务，并更新每一子任务的执行状态，在出现执行失败的异常子任务的情况下，根据预设的任务执行异常配置数据，更新异常子任务的执行状态，重新执行异常子任务。

5、上述批量任务调度系统，任务调度服务器将主任务拆分为多个子任务，并将多个子任务分配给不同的任务执行节点，可以实现任务的并行执行，提高整体的批处理效率，当任务调度服务器监测到主任务中存在执行失败的异常子任务时，根据预设的任务重跑配置数据，自动更新异常子任务的任务状态，以重新执行异常子任务，能够确保任务的连续性，减少人工干预的需求；任务执行节点通过创建多个并发进程来执行子任务并更新任务的执行状态，当出现执行失败的异常子任务时，根据预设的任务执行异常配置数据，自动更新异常子任务的执行状态，并重新执行，如此，可以快速响应异常情况，提高系统的稳定性和可靠性。综上所述，上述批量任务调度系统，具有高效性、可靠性和自动化处理异常的优点，能够提高任务处理效率，减少人工干预，保证任务的连续性和稳定性。

6、在其中一个实施例中，任务调度服务器，还用于定时检测当前运行的主控任务进程是否存在，若未检测到主控任务进程，则重启主控任务进程，若未成功重启主控任务进程，则将主控任务进程的可用性状态标识字段更新为不可用，继续定时重启，直至重启成功。

7、在其中一个实施例中，任务调度服务器包括运行有主控任务进程的主控任务调度服务器和备控任务调度服务器；

8、主控任务调度服务器，还用于定时更新目标数据表中的最近更新时间字段，目标数据表中维护有主控机器名字段、可用性状态标识字段以及最近更新时间字段；

9、备控任务调度服务器，用于定时检测目标数据表的字段状态，在判定主任务调度服务器出现故障的情况下，将主控机器名字段更新为自身机器名，将可用性状态标识字段更新为可用，并将最近更新时间字段更新为当前时间，定时更新最近更新时间字段，以接管主任务调度服务器的权限和任务。

10、在其中一个实施例中，备控任务调度服务器，还用于若检测到目标数据表中的主控机器名字段不为自身机器名、且可用性状态标识字段为不可用，则判定主控任务调度服务器出现故障；

11、以及，若检测到目标数据表中的主控机器名字段不为自身机器名、且可用性状态标识字段为可用，则获取最近更新时间与当前数据库时间的差额，若差额超出预设的时长阈值，则判定主控任务调度服务器出现故障。

12、在其中一个实施例中，任务执行节点，还用于在检测到执行失败的异常子任务的情况下，根据预设的错误信息判断异常子任务是否需要重跑，若判断异常子任务需要重跑，则根据预设的任务重跑条件和重跑次数，判断异常子任务是否满足任务重跑条件，若异常子任务满足任务重跑条件，则更新异常子任务的任务状态以及重跑次数，以重新执行异常子任务，若异常子任务不满足任务重跑条件，则将异常子任务的执行状态更新为失败，并记录任务执行失败信息。

13、在其中一个实施例中，任务调度服务器，还用于在监测到主任务中仍存在执行失败的异常子任务的情况下，获取异常子任务的任务执行失败信息，若根据任务执行失败信息判定异常子任务的异常类型属于预设的异常类型，则根据预设的任务重跑配置数据，更新异常子任务的任务状态和对应的数据状态，以使任务执行节点重新执行异常子任务。

14、在其中一个实施例中，任务执行节点，还用于在出现异常子进程的情况下，捕获上一次成功执行的目标位置，重启异常子进程，将重启的异常子进程定位到目标位置，从目标位置开始继续执行子任务。

15、在其中一个实施例中，任务调度服务器，还用于在主任务对应的子任务均成功执行的情况下，将主任务的任务状态更新为成功执行状态。

16、在其中一个实施例中，系统还包括公共数据库和多个批量数据库，公共数据库用于存储任务配置信息、调度信息、任务执行信息以及公共配置信息，批量数据库用于存储批量数据和批量任务。

17、在其中一个实施例中，系统还包括与任务调度服务器和任务执行节点通信连接的批量共享nas盘，批量共享nas盘用于存储配置信息文件、数据文件备份和日志备份。

18、第二方面，本技术还提供了一种批量任务调度方法。所述方法包括：

19、获取当前批次的主任务；

20、将主任务拆分为多个子任务，并将多个子任务分别分配至不同的任务执行节点中，以使任务执行节点通过多进程并发执行子任务；

21、在监测到主任务中存在执行失败的异常子任务的情况下，根据预设的任务重跑配置数据，更新异常子任务的执行状态，以使任务执行节点重新执行异常子任务；

22、在当前批次的主任务均成功执行的情况下，返回获取当前批次的主任务的步骤，直至待处理的主任务执行完毕。

23、在其中一个实施例中，根据预设的任务重跑配置数据，更新异常子任务的执行状态，以使任务执行节点重新执行异常子任务包括：

24、获取异常子任务的任务执行失败信息；

25、根据任务执行失败信息，识别异常子任务的异常类型；

26、若异常子任务的异常类型属于预设的异常类型，则根据预设的任务重跑配置数据，更新异常子任务的任务状态和对应的数据状态，以使任务执行节点重新执行异常子任务。

27、第三方面，本技术还提供了一种批量作业调度装置。所述装置包括：

28、数据获取模块，用于获取当前批次的主任务；

29、数据分配模块，用于将主任务拆分为多个子任务，并将多个子任务分别分配至不同的任务执行节点中，以使任务执行节点通过多进程并发执行子任务；

30、异常处理模块，用于在监测到主任务中存在执行失败的异常子任务的情况下，根据预设的任务重跑配置数据，更新异常子任务的执行状态，以使任务执行节点重新执行异常子任务；

31、数据处理模块，用于在当前批次的主任务均成功执行的情况下，执行获取当前批次的主任务的操作，直至待处理的主任务执行完毕。

32、第四方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述批量任务调度方法实施例中的步骤。

33、第五方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述批量任务调度方法实施例中的步骤。

34、第六方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述批量任务调度方法实施例中的步骤。

35、上述批量任务调度方法、装置、计算机设备、存储介质和计算机程序产品，通过将主任务拆分为多个子任务，并将其分配给不同的任务执行节点，可以实现任务的并行执行，提高整体的批处理效率，当监测到主任务中存在执行失败的异常子任务时，根据预设的任务重跑配置数据，自动更新异常子任务的任务状态，以重新执行异常子任务，能够确保任务的连续性，减少人工干预的需求，在当前批次的主任务均成功执行的情况下，重新获取当前批次的主任务，直至待处理的主任务执行完毕，如此，可以确保所有任务都得到处理，避免遗漏或中断。采用上述方法不仅能够提高批量数据处理的效率，还能保证数据处理的连续性，减少人工运维的成本。