一种集群资源调度方法、装置、设备和介质与流程

本发明涉及资源调度，尤其涉及一种集群资源调度方法、装置、设备和介质。

背景技术：

1、随着科学技术的不断发展，可以通过集群的方式为各类业务提供物理资源以供各业务执行相应作业。而在集群中有多个租户，每个租户都设有一定的资源配额，以限制其在集群中的资源使用量。

2、在传统的集群中，租户使用的资源量不能超过配额，在集群资源利用率较高时，每个租户均拥有自身的配额进行任务运行，能够保证各个租户的业务正常使用。

3、而在自动驾驶系统中需要应对突发状况或是实验性任务，对资源调度的灵活度要求较高，传统的集群配额式资源分配方案，在集群仅有某个租户在使用时存在过多空闲资源，集群资源利用率较低，但若是不设置配额，则可能在资源利用率高时无法保证部分租户的资源可用性，进而导致资源调度的灵活度较差低。

技术实现思路

1、本发明提供了一种集群资源调度方法、装置、设备和介质，解决了传统的集群配额式资源分配方案应用在自动驾驶系统中难以应对突发状况或实验性任务的场景，导致资源调度的灵活度较低的技术问题。

2、本发明第一方面提供的一种集群资源调度方法，应用于待调度集群的资源调度器，所述待调度集群包括多个节点且具有多个租户，所述方法包括：

3、响应于接收到的用户任务资源调度请求，查询所述用户任务资源调度请求对应的用户任务以及所属租户的资源信息；

4、根据所述资源信息和所述用户任务对应的抢占策略类型，对所述用户任务进行资源调度；

5、若资源调度成功，则在调度节点上执行所述用户任务。

6、可选地，所述方法还包括：

7、若资源调度失败，则跳过所述用户任务并缓存至任务队列，直至调度节点满足所述用户任务的调度需求。

8、可选地，所述待调度集群还设有管理终端，所述方法还包括：

9、当通过所述管理终端接收到配额配置信息时，按照所述配额配置信息对所述待调度集群内的各个租户进行配额配置，生成对应的配额关系；

10、将所述配额关系持久化存储至数据库。

11、可选地，所述响应于接收到的用户任务资源调度请求，查询所述用户任务资源调度请求对应的用户任务以及所属租户的资源信息的步骤，包括：

12、响应于接收到的用户任务资源调度请求，提取所述用户任务资源调度请求对应的用户任务和租户信息；

13、按照所述租户信息查询集群资源管理器，确定所述用户任务所属租户对应的资源使用量；

14、按照所述租户信息查询数据库，确定所述用户任务所属租户对应的资源配额；

15、采用所述资源使用量和所述资源配额生成所属租户的资源信息。

16、可选地，所述抢占策略类型包括第一抢占类型、第二抢占类型和第三抢占类型；所述根据所述资源信息和所述用户任务对应的抢占策略类型，对所述用户任务进行资源调度的步骤，包括：

17、获取所述待调度集群在当前时刻的闲置资源量和可弹性调度资源量；

18、若所述用户任务对应的抢占策略类型为第一抢占类型，则对所述用户任务进行标签添加，并根据所述闲置资源量进行资源调度；

19、若所述用户任务对应的抢占策略类型为第二抢占类型，则根据所述资源信息对所述用户进行标签添加，并所述闲置资源量和所述可弹性调度资源量进行资源调度；

20、若所述用户任务对应的抢占策略类型为第三抢占类型，则根据所述资源信息、所述闲置资源量和所述可弹性调度资源量进行资源调度。

21、可选地，所述若所述用户任务对应的抢占策略类型为第一抢占类型，则对所述用户任务进行标签添加，并根据所述闲置资源量进行资源调度的步骤，包括：

22、若所述用户任务对应的抢占策略类型为第一抢占类型，则在所述用户任务所属工作负载上添加可抢占标签；

23、若所述闲置资源量满足所述用户任务对应的调度需求，则将所述用户任务调度至调度节点，并判定资源调度成功；

24、若所述闲置资源量不满足所述用户任务对应的调度需求，则判定资源调度失败。

25、可选地，所述资源信息包括资源使用量和资源配额；所述若所述用户任务对应的抢占策略类型为第二抢占类型，则根据所述资源信息对所述用户进行标签添加，并所述闲置资源量和所述可弹性调度资源量进行资源调度的步骤，包括：

26、若所述用户任务对应的抢占策略类型为第二抢占类型，则比较所述资源使用量和所述资源配额；

27、若所述资源使用量超过所述资源配额，则在所述用户任务所属工作负载上添加可抢占标签；

28、若所述闲置资源量满足所述用户任务对应的调度需求，则将所述用户任务调度至调度节点，并判定资源调度成功；

29、若所述闲置资源量不满足所述用户任务对应的调度需求，则判定资源调度失败；

30、若所述资源使用量未超过所述资源配额，则计算所述闲置资源量与所述可弹性调度资源量之间的资源和值；

31、若所述资源和值满足所述用户任务对应的调度需求，则将所述用户任务调度至调度节点，并判定资源调度成功；

32、若所述资源和值不满足所述用户任务对应的调度需求，则判定资源调度失败。

33、可选地，所述若所述用户任务对应的抢占策略类型为第三抢占类型，则根据所述资源信息、所述闲置资源量和所述可弹性调度资源量进行资源调度的步骤，包括：

34、若所述用户任务对应的抢占策略类型为第三抢占类型，则比较所述资源使用量和所述资源配额；

35、若所述资源使用量超过所述资源配额，则判定资源调度失败；

36、若所述资源使用量未超过所述资源配额，则计算所述闲置资源量与所述可弹性调度资源量之间的资源和值；

37、若所述资源和值满足所述用户任务对应的调度需求，则将所述用户任务调度至调度节点，并判定资源调度成功；

38、若所述资源和值不满足所述用户任务对应的调度需求，则判定资源调度失败。

39、可选地，所述方法还包括：

40、若所述可弹性调度资源量对应的弹性节点上已有用户任务，且所述用户任务所属工作负载上设有所述可抢占标签，则在对所述弹性节点进行资源调度时驱逐所述用户任务；

41、统计标识有所述可抢占标签的工作负载的实时数量，更新所述可弹性调度资源量。

42、可选地，所述若所述可弹性调度资源量对应的弹性节点上已有用户任务，且所述用户任务所属工作负载上设有所述可抢占标签，则在对所述弹性节点进行资源调度时驱逐所述用户任务的步骤，包括：

43、若所述可弹性调度资源量对应的弹性节点上已有用户任务，且所述用户任务所属工作负载具有所述可抢占标签，则按照所述用户任务的特定属性，对所述用户任务所属租户的全部用户任务进行第一优先级排序；

44、在对所述弹性节点进行资源调度时，按照所述第一优先级排序从低至高驱逐所述用户任务，直至满足所述调度需求。

45、可选地，所述方法还包括：

46、若在同一所述弹性节点上的用户任务分别属于多个所述租户，则按照所述租户对应的租户属性，对各个所述租户进行第二优先级排序；

47、按照所述第二优先级排序从低至高驱逐所述租户对应的用户任务，直至满足所述调度需求。

48、本发明第二方面提供了一种集群资源调度装置，应用于待调度集群的资源调度器，所述待调度集群包括多个节点且具有多个租户，所述装置包括：

49、请求响应模块，用于响应于接收到的用户任务资源调度请求，查询所述用户任务资源调度请求对应的用户任务以及所属租户的资源信息；

50、资源调度模块，用于根据所述资源信息和所述用户任务对应的抢占策略类型，对所述用户任务进行资源调度；

51、用户任务执行模块，用于若资源调度成功，则在调度节点上执行所述用户任务。

52、本发明第三方面提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如本发明第一方面任一项所述的集群资源调度方法的步骤。

53、本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如本发明第一方面任一项所述的集群资源调度方法。

54、从以上技术方案可以看出，本发明具有以下优点：

55、通过待调度集群的资源调度器响应接收到的用户任务资源调度请求，查询用户任务资源调度请求对应的用户任务以及所属租户的资源信息，根据资源信息和用户任务对应的抢占策略类型，对用户任务进行资源调度，以将其用户任务调度至适配的调度节点上，若资源调度成功，则在调度节点上执行用户任务。从而通过为不同的用户任务设置不同的抢占策略类型，充分利用集群资源，提高集群资源利用率，提高资源调度的灵活度。