计算任务的资源调度方法及装置与流程

本技术涉及数据处理，尤其涉及一种计算任务的资源调度方法及装置

背景技术：

1、随着技术的发展，需要对计算任务进行资源调度，以满足任务执行需求。例如，为了缩短任务的执行时长，需要对可用资源如算力资源和存储资源等进行占用或释放控制，以实现资源调度。

2、目前，多按照历史任务的经验数据进行资源分配。但是，即使是相同的任务类型，不同的数据集大小不同的任务参数都会影响任务的执行时长，这就使得按照经验数据为计算任务所分配的资源与计算任务并不匹配，无法满足任务执行需求。

3、因此，亟需一种能够实现计算任务进行资源调度的技术方案。

技术实现思路

1、有鉴于此，本技术提供一种计算任务的资源调度方法及装置，如下：

2、一种计算任务的资源调度方法，包括：

3、响应于资源调度指令，获得待调度的目标任务；

4、至少根据所述目标任务的执行预测时长和资源集群中的计算资源，获得所述目标任务对应的调度列表；

5、其中，所述调度列表包括至少一个调度配置项，所述调度配置项包括：所述目标任务在当前占用的计算资源的基础上对应的资源增量以及所述资源增量对应的执行时长增量；

6、根据所述调度列表中每个所述调度配置项所包含的执行时长增量，在所述调度列表所包含的调度配置项中，确定所述目标任务对应的目标配置项；

7、按照所述目标配置项，调整所述目标任务在所述资源集群中所占用的计算资源。

8、上述方法，优选的，所述资源调度指令表征没有新任务且所述资源集群中有处于空闲状态的计算资源；

9、其中，响应于资源调度指令，获得待调度的目标任务，包括：

10、获得每个计算任务在所述资源集群中占用的计算资源的当前资源数量；

11、在多个所述计算任务中，筛选出所述当前资源数量小于对应的最大资源数量的计算任务，作为待调度的目标任务。

12、上述方法，优选的，所述计算任务对应的最大资源数量从所述计算任务对应的资源配置列表中获得；所述资源配置列表在接收到所述计算任务的资源配置请求后根据所述资源配置请求中的资源需求信息生成；

13、其中，所述资源配置列表包括：所述计算任务对应的最大资源数量和至少一个资源分配项，所述资源分配项包括计算资源的资源数量和执行预测时长，所述执行预测时长表征所述计算任务按照所述资源分配项中的资源数量的计算资源执行所需要的时长；

14、所述最大资源数量根据所述资源配置列表中所有所述资源分配项所包含的资源数量和执行预测时长确定；其中，第一预测时长超出第二预测时长的时长差值小于或等于差值阈值；所述第一预测时长为：所述计算任务在所述资源配置列表中占用所述最大资源数量的计算资源的情况下对应的执行预测时长；所述第二预测时长为：所述计算任务在所述资源配置列表中占用超过所述最大资源数量的单位数量的计算资源的情况下对应的执行预测时长。

15、上述方法，优选的，至少根据所述目标任务的执行预测时长和资源集群中的计算资源，获得所述目标任务对应的调度列表，包括：

16、获得在所述目标任务在当前占用的计算资源的基础上依次增加单位数量的计算资源后所述目标任务的执行减少时长；

17、按照所述目标任务每次所增加的计算资源的第一数量和增加所述第一数量的计算资源后所述目标任务的执行减少时长，生成所述目标任务对应的至少一个调度配置项，所述至少一个调度配置项组成所述目标任务对应的调度列表。

18、上述方法，优选的，其中：

19、所述目标配置项在所述调度列表中对应的执行减少时长，在所述调度列表中所有调度配置项所包含的执行减少时长中，最大。

20、上述方法，优选的，所述资源调度指令表征有新任务且所述资源集群中处于空闲状态的计算资源的资源数量小于所述新任务所需要的计算资源的资源数量；

21、其中，响应于资源调度指令，获得待调度的目标任务，包括：

22、获得每个计算任务在所述资源集群中占用的计算资源的当前资源数量；

23、在多个所述计算任务中，筛选出所述当前资源数量大于对应的最小资源数量的计算任务，作为待调度的目标任务。

24、上述方法，优选的，至少根据所述目标任务的执行预测时长和资源集群中的计算资源，获得所述目标任务对应的调度列表，包括：

25、获得在所述目标任务在当前占用的计算资源的基础上依次减少单位数量的计算资源后所述目标任务的执行增加时长；

26、按照所述目标任务每次所减少的计算资源的第二数量和减少所述第二数量的计算资源后所述目标任务的执行增加时长，生成所述目标任务对应的至少一个调度配置项，所述至少一个调度配置项组成所述目标任务对应的调度列表。

27、上述方法，优选的，其中：

28、所述目标配置项在所述调度列表中对应的执行增加时长，在所述调度列表中所有调度配置项所包含的执行增大长中，最小。

29、上述方法，优选的，在按照所述目标配置项，调整所述目标任务在所述资源集群中所占用的计算资源之后，所述方法还包括：

30、在所述资源集群中有计算资源被所述目标任务释放之后，在所述资源集群中处于空闲状态的计算资源中，为所述新任务分配相应数量的计算资源。

31、一种计算任务的资源调度装置，包括：

32、任务获得单元，用于响应于资源调度指令，获得待调度的目标任务；

33、列表获得单元，用于至少根据所述目标任务的执行预测时长和资源集群中的计算资源，获得所述目标任务对应的调度列表；

34、其中，所述调度列表包括至少一个调度配置项，所述调度配置项包括：所述目标任务在当前占用的计算资源的基础上对应的资源增量以及所述资源增量对应的执行时长增量；

35、配置项获得单元，用于根据所述调度列表中每个所述调度配置项所包含的执行时长增量，在所述调度列表所包含的调度配置项中，确定所述目标任务对应的目标配置项；

36、资源调度单元，用于按照所述目标配置项，调整所述目标任务在所述资源集群中所占用的计算资源。

37、从上述技术方案可以看出，本技术公开的一种计算任务的资源调度方法及装置中，在获得待调度的目标任务之后，至少根据目标任务的执行预测时长和资源集群中的计算资源，获得包含至少一个调度配置项的调度列表，这里的调度配置项中包括有目标任务在当前占用的计算资源的基础上的资源增量以及资源增量对应的执行时长增量，基于此，根据调度列表中每个调度配置项所包含的执行时长增量，在调度列表所包含的调度配置项中筛选出一个目标配置项，然后就可以按照目标配置项调整目标任务在资源集群中所占用的计算资源。可见，本技术中针对目标任务，通过执行预测时长和资源集群中的计算资源为目标任务统计至少一个调度配置方案即调度配置项，这样就可以按照从中筛选出的目标配置项调整目标任务所占用的计算资源，实现灵活准确的资源调度，避免基于历史经验调度资源导致的任务与资源不匹配的情况，从而满足计算任务的资源需求。