一种批处理任务的并发数调整方法、装置、设备及介质与流程

本技术涉及任务调度，具体涉及到一种批处理任务的并发数调整方法、装置、设备及介质。

背景技术：

1、批处理任务是针对数据、文件等对象进行的较大规模的处理任务，通常需要耗费较长的处理时间，使用较多的处理资源。为了提高批处理任务的处理效率，通常将批处理任务划分为多个子处理任务，并发执行。现有技术中，分布式系统使用固定的并发数处理一个批处理任务，但分布式系统的资源使用状况是动态变化的。在某一时刻，使用固定的并发数可能会超过分布式系统的负载能力，反而使批处理任务耗费的时间增加；在另一时刻，使用固定的并发数可能未充分利用分布式系统的计算资源。因此，如何确定调整并发数，提高分布式系统处理批处理任务的效率成为了亟待解决的问题。

技术实现思路

1、本技术实施例提供一种批处理任务的并发数调整方法、装置、设备及介质，用于提高分布式系统处理批处理任务的效率。

2、第一方面，本技术实施例提供一种批处理任务的并发数调整方法，一种批处理任务的并发数调整方法，所述方法应用于包括多个服务器的分布式系统中的任一服务器，所述多个服务器组合完成所述分布式系统的批处理任务，所述方法包括：

3、获取所述多个服务器的反馈信息；所述多个服务器中每个服务器的反馈信息用于指示所述每个服务器的资源使用率；

4、基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数；

5、在所述设定时间段，将所述批处理任务所包括的多个子处理任务中，与所述最优并发数对应数量的子处理任务分配至所述多个服务器。

6、在本方案中，分布式系统中的任一服务器根据多个服务器的反馈信息，确定分布式系统在设定时间段的最优并发数，将与最优并发数对应数量的子处理任务分配至多个服务器，如此可以在分布式系统的负载能力范围内，充分的利用分布式系统的计算资源，提高分布式系统处理批处理任务的效率。

7、可选的，所述基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数，包括：按照预设的时间间隔，周期性的基于所述多个服务器在上一周期的反馈信息确定所述分布式系统在当前周期的最优并发数；其中，所述预设的时间间隔的时长与所述多个子处理任务中每个子处理任务的处理时长相关。

8、通过本方式，由于最优并发数可以根据分布式系统的资源使用情况的变化而变化，因此周期性的根据反馈信息确定最优并发数，提高了方案的灵活性与可靠性。

9、可选的，所述基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数，包括：对所述多个服务器的同一项资源的使用率求均值，得到所述多个服务器的至少一项资源的使用率均值；从所述至少一项资源中确定资源使用率均值最大的代表资源；若所述代表资源的使用率均值不等于阈值，根据所述代表资源在最近的至少一个周期中的使用率均值与并发数确定所述代表资源的使用率均值与所述分布式系统的并发数的函数关系；基于所述函数关系，确定所述代表资源的使用率均值为阈值时的并发数，将所述代表资源的使用率均值为阈值时的并发数作为当前周期的最优并发数。

10、通过本方式，从多个服务器涉及的至少一项资源中，确定出资源使用率均值最大的代表资源，若代表资源的使用率均值不等于阈值，根据代表资源的使用率均值与分布式系统的并发数的函数关系，确定代表资源的使用率均值为阈值时的并发数，将其作为最优并发数。由于代表资源的使用率均值最大，确定代表资源的使用率均值为阈值时的并发数为最优并发数可以保证其余资源的使用率均值均小于阈值，如此确定的最优并发数既不超过分布式系统的负载能力，又可以充分利用分布式系统的计算资源。

11、可选的，所述方法还包括：若所述代表资源的使用率均值等于所述阈值，则将所述分布式系统上一周期的并发数作为当前周期的最优并发数。

12、通过本方式，当代表资源的使用率均值等于阈值时，分布式系统上一周期的并发数即为当前周期的最优并发数，在当前周期无需调整并发数，提高了方案的完整性。

13、可选的，所述将所述批处理任务所包括的多个子处理任务中，与所述最优并发数对应数量的子处理任务分配至所述多个服务器，包括：按照所述多个服务器的代表资源的使用率从大到小的顺序，对所述多个服务器进行优先级排序；若当前周期的最优并发数大于上一周期的最优并发数，则按照优先级从小到大的顺序，从优先级最小的服务器开始依次增加所述服务器被分配的子处理任务的数量；或者，若当前周期的最优并发数小于上一周期的最优并发数，则按照优先级从大到小的顺序，从优先级最大的服务器开始依次减少所述服务器被分配的子处理任务的数量。

14、通过本方式，当前周期的最优并发数大于上一周期的最优并发数，则从代表资源使用率最小的服务器开始，依次增加服务器被分配的子处理任务的数量，如此避免超出代表资源使用率较高的服务器的负载，且充分利用代表资源使用率较低的服务器的计算能力；当前周期的最优并发数小于上一周期的最优并发数，则从代表资源使用率最大的服务器开始，依次减少服务器被分配的子处理任务的数量，如此降低了代表资源使用率较高的服务器的负载，提高了分布式系统的稳定性与可靠性。

15、第二方面，本技术实施例提供一种批处理任务的并发数调整装置，该装置应用于包括多个服务器的分布式系统中的任一服务器，所述多个服务器组合完成所述分布式系统的批处理任务，该装置包括用于执行上述第一方面或第一方面任一种可选的实施方式中的方法的模块/单元/技术手段。

16、示例性的，该装置可以包括：

17、获取模块，用于获取所述多个服务器的反馈信息；所述多个服务器中每个服务器的反馈信息用于指示所述每个服务器的资源使用率；

18、处理模块，用于基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数；在所述设定时间段，将所述批处理任务所包括的多个子处理任务中，与所述最优并发数对应数量的子处理任务分配至所述多个服务器。

19、可选的，所述处理模块在基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数时，具体用于：按照预设的时间间隔，周期性的基于所述多个服务器在上一周期的反馈信息确定所述分布式系统在当前周期的最优并发数；其中，所述预设的时间间隔的时长与所述多个子处理任务中每个子处理任务的处理时长相关。

20、可选的，所述处理模块在基于所述多个服务器的反馈信息确定所述分布式系统在设定时间段的最优并发数时，具体用于：对所述多个服务器的同一项资源的使用率求均值，得到所述多个服务器的至少一项资源的使用率均值；从所述至少一项资源中确定资源使用率均值最大的代表资源；若所述代表资源的使用率均值不等于阈值，根据所述代表资源在最近的至少一个周期中的使用率均值与并发数确定所述代表资源的使用率均值与所述分布式系统的并发数的函数关系；基于所述函数关系，确定所述代表资源的使用率均值为阈值时的并发数，将所述代表资源的使用率均值为阈值时的并发数作为当前周期的最优并发数。

21、可选的，所述处理模块还用于：若所述代表资源的使用率均值等于所述阈值，则将所述分布式系统上一周期的并发数作为当前周期的最优并发数。

22、可选的，所述处理模块在将所述批处理任务所包括的多个子处理任务中，与所述最优并发数对应数量的子处理任务分配至所述多个服务器时，具体用于：按照所述多个服务器的代表资源的使用率从大到小的顺序，对所述多个服务器进行优先级排序；若当前周期的最优并发数大于上一周期的最优并发数，则按照优先级从小到大的顺序，从优先级最小的服务器开始依次增加所述服务器被分配的子处理任务的数量；或者，若当前周期的最优并发数小于上一周期的最优并发数，则按照优先级从大到小的顺序，从优先级最大的服务器开始依次减少所述服务器被分配的子处理任务的数量。

23、第三方面，本技术提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器、通信接口；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，使得所述电子设备通过通信接口执行如第一方面或第一方面任一种可选的实施方式中所述的方法。

24、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质用于存储指令，当所述指令被执行时，使如第一方面或第一方面任一种可选的实施方式中所述的方法被实现。

25、第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面或第一方面任一可选的实施方式中所述的方法。

26、本技术实施例中第二、第三、第四、第五方面中提供的一个或多个技术方案所具有的技术效果或优点，均可以由第一方面中提供的对应的一个或多个技术方案所具有的技术效果或优点对应解释，此处不再赘述。