任务调度方法、装置、设备、介质及程序产品与流程

本申请涉及金融科技领域或其他相关领域，尤其涉及一种任务调度方法、装置、设备、介质及程序产品。

背景技术：

1、随着大型网站中越来越多的高并发访问场景以及海量数据处理场景，普通的单机系统无法满足迅速增长的业务量，主要通过分布式系统来实现大型网站的高可用性、易伸缩性、可扩展性以及安全性，分布式系统还能够根据业务需求不断的横向扩展系统来提升系统的性能。

2、目前，分布式系统包括控制器、协调器以及多个执行器，其中，控制器负责向协调器下发任务，协调器用于将控制器下发的任务分发给能够处理该任务的且在线的执行器，执行器则用于接收并处理该任务。若执行器执行任务过程中突然离线，协调器则将该任务重新发送给其他任一个在线的且能够处理该任务的执行器进行执行。

3、然而，现有技术存在任务执行效率较低的问题。

技术实现思路

1、本申请提供一种任务调度方法、装置、设备、介质及程序产品，用以解决现有技术存在的任务执行效率较低的问题。

2、第一方面，本申请提供一种任务调度方法，应用于分布式系统的协调器，所述方法包括：

3、当检测到正在执行初始任务的执行器离线时，获取所述执行器存储在数据库中的所述初始任务的处理进度，所述初始任务包括多条数据及每个数据对应的处理操作，所述处理进度为所述多条数据中已被处理的数据以及对应的处理子结果；

4、根据所述初始任务，从分布式系统的其他执行器中确定出目标执行器，所述目标执行器是所述其他执行器中在线的且能够处理所述初始任务的执行器；

5、根据所述初始任务以及所述处理进度，生成目标任务，所述目标任务包括初始任务中未被处理的数据以及每个未被处理的数据对应的处理操作；

6、将所述目标任务发送给所述目标执行器。

7、第二方面，本申请提供一种任务调度方法，应用于分布式系统的目标执行器，所述方法包括：

8、接收所述分布式系统的协调器发送的目标任务，所述目标任务包括初始任务中未被处理的数据及每个未被处理的数据对应的处理操作，所述初始任务包括多条数据及每个数据对应的处理操作；

9、按照所述目标任务中各未被处理的数据的处理顺序，依次对所述目标任务中各未被处理的数据执行对应的处理操作，将各未被处理的数据对应的处理子结果存储至数据库中。

10、第三方面，本申请提供一种任务调度装置，应用于分布式系统的协调器，所述装置包括：

11、获取模块，用于当检测到正在执行初始任务的执行器离线时，获取所述执行器存储在数据库中的所述初始任务的处理进度，所述初始任务包括多条数据及每个数据对应的处理操作，所述处理进度为所述多条数据中已被处理的数据以及对应的处理子结果；

12、第一处理模块，用于根据所述初始任务，从分布式系统的其他执行器中确定出目标执行器，所述目标执行器是所述其他执行器中在线的且能够处理所述初始任务的执行器；

13、第二处理模块，用于根据所述初始任务以及所述处理进度，生成目标任务，所述目标任务包括初始任务中未被处理的数据以及每个未被处理的数据对应的处理操作；

14、发送模块，用于将所述目标任务发送给所述目标执行器。

15、第四方面，本申请提供一种任务调度装置，应用于分布式系统的目标执行器，所述装置包括：

16、接收模块，用于接收所述分布式系统的协调器发送的目标任务，所述目标任务包括初始任务中未被处理的数据及每个未被处理的数据对应的处理操作，所述初始任务包括多条数据及每个数据对应的处理操作；

17、处理模块，用于按照所述目标任务中各未被处理的数据的处理顺序，依次对所述目标任务中各未被处理的数据执行对应的处理操作，将各未被处理的数据对应的处理子结果存储至数据库中。

18、第五方面，本申请提供一种协调器，包括：处理器，通信接口，以及与所述处理器通信连接的存储器；

19、所述存储器存储计算机执行指令；

20、所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面以及各可能设计提供的方法。

21、第六方面，本申请提供一种执行器，包括：处理器，通信接口，以及与所述处理器通信连接的存储器；

22、所述存储器存储计算机执行指令；

23、所述处理器执行所述存储器存储的计算机执行指令，以实现第二方面以及各可能设计提供的方法。

24、第七方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面、第二方面以及各可能设计提供的方法。

25、第八方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现第一方面、第二方面以及各可能设计提供的方法。

26、本申请提供的任务调度方法、装置、设备、介质及程序产品，当检测到正在执行初始任务的执行器离线时，协调器获取执行器存储在数据库中的初始任务的处理进度，根据初始任务，从分布式系统的其他执行器中确定出目标执行器，根据初始任务以及处理进度，生成目标任务，并将目标任务发送给目标执行器。目标执行器接收分布式系统的协调器发送的目标任务，按照目标任务中各未被处理的数据的处理顺序，依次对目标任务中各未被处理的数据执行对应的处理操作，将各未被处理的数据对应的处理子结果存储至数据库中。其中，初始任务包括多条数据及每个数据对应的处理操作，处理进度为多条数据中已被处理的数据以及对应的处理子结果，目标执行器是其他执行器中在线的且能够处理初始任务的执行器，目标任务包括初始任务中未被处理的数据以及每个未被处理的数据对应的处理操作。本技术方案在初始任务执行中断后，协调器可以获取离线执行器对该初始任务的处理进度，从而确定出该初始任务中未被处理的数据，将该未被处理的数据通过新的执行器进行继续处理，有效节约了处理时间，提高了处理效率。

技术特征：

1.一种任务调度方法，其特征在于，应用于分布式系统的协调器，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述初始任务，从分布式系统的其他执行器中确定出目标执行器，包括：

3.根据权利要求2所述的方法，其特征在于，所述当检测到正在执行初始任务的执行器离线时，获取所述执行器存储在数据库中的所述初始任务的处理进度，包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

5.一种任务调度方法，其特征在于，应用于分布式系统的目标执行器，所述方法包括：

6.根据权利要求5所述的方法，其特征在于，在所述按照所述目标任务中各未被处理的数据的处理顺序，依次对所述目标任务中各未被处理的数据执行对应的处理操作，将各未被处理的数据对应的处理子结果存储至数据库中之前，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述按照所述目标任务中各未被处理的数据的处理顺序，依次对所述目标任务中各未被处理的数据执行对应的处理操作，将各未被处理的数据对应的处理子结果存储至数据库中，包括：

8.一种任务调度装置，其特征在于，应用于分布式系统的协调器，所述装置包括：

9.一种任务调度装置，其特征在于，应用于分布式系统的目标执行器，所述装置包括：

10.一种协调器，其特征在于，包括：处理器，通信接口，以及与所述处理器通信连接的存储器；

11.一种执行器，其特征在于，包括：处理器，通信接口，以及与所述处理器通信连接的存储器；

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现如权利要求1至7任一项所述的方法。

技术总结
本申请提供一种任务调度方法、装置、设备、介质及程序产品，涉及金融科技领域或其他相关领域。该方法包括：当检测到正在执行初始任务的执行器离线时，协调器获取执行器存储在数据库中的初始任务的处理进度，根据初始任务，从分布式系统的其他执行器中确定出目标执行器，根据初始任务以及处理进度，生成目标任务，并将目标任务发送给目标执行器。目标执行器接收分布式系统的协调器发送的目标任务，按照目标任务中各未被处理的数据的处理顺序，依次对目标任务中各未被处理的数据执行对应的处理操作，将各未被处理的数据对应的处理子结果存储至数据库中。本技术方案有效的节约了处理时间，提高了处理效率。

技术研发人员：曹铭洋,徐克宝,张素洁,戚海荣
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/13