分布式集群管理方法、装置及电子设备与流程

文档序号:39685529发布日期:2024-10-18 13:38阅读:30来源:国知局
分布式集群管理方法、装置及电子设备与流程

本技术涉及通信,尤其涉及分布式集群管理方法、装置及电子设备。


背景技术:

1、在分布式集群中,为了实现存储集群中的存储节点上服务的故障检测、状态收集等,各存储节点会定期向控制集群中的控制节点上报服务事件;所谓服务事件是指与对应服务(如对象存储服务等)所关联的事件,比如可包括属于该服务的读请求对应的事件和写请求对应的事件等。目前在实际应用中,通常是从控制集群中预先选举出一个控制节点作为主控制节点(其用于对所接收的服务事件进行处理),其他节点作为从控制节点(其用于对具备事件处理权限的事件进行处理,将不具备事件处理权限的事件上报给主控制节点处理)。

2、但是,当上述存储集群规模较大时(即存储节点数量较大时),主控制节点接收和处理的服务事件会线性增大,这样会导致主控制节点的中央处理器(central processingunit,cpu)开销增大,在此情况下由于主控制节点的cpu资源有限,无法及时处理大量服务事件,从而降低服务事件的处理效率。


技术实现思路

1、有鉴于此,本技术提供了分布式集群管理方法、装置及电子设备,以提高服务事件的处理效率。

2、本技术实施例提供一种分布式集群管理方法,分布式集群中至少包括存储集群、管理集群和控制集群;管理集群包括多个管理节点,管理节点至少用于配置和管理分布式集群中的各个节点;控制集群包括多个控制节点,控制节点至少用于处理存储集群中各个存储节点上报的服务事件并控制各个存储节点的节点工作状态;该方法应用于管理集群中的任一管理节点;该方法包括:

3、为控制集群中每一控制节点创建各服务对应的服务实例;任一服务的服务实例用于处理该服务下的各事件;

4、针对每一服务,从控制集群中的n个控制节点中确定该服务对应的服务集群,服务集群中包括至少一个控制节点;从服务集群中选择一个控制节点作为该服务的主服务节点,剩下的控制节点作为该服务的从服务节点;其中,主服务节点上与该服务对应的服务实例和从服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限不相同;从服务节点上与该服务对应的服务实例在接收到属于该服务下的事件时,若不具备处理该事件的权限,则上报该事件给主服务节点上与该服务对应的服务实例进行处理。

5、本技术实施例还提供一种分布式集群管理装置,分布式集群中至少包括存储集群、管理集群和控制集群;管理集群包括多个管理节点,管理节点至少用于配置和管理分布式集群中的各个节点;控制集群包括多个控制节点,控制节点至少用于处理存储集群中各个存储节点上报的服务事件并控制各个存储节点的节点工作状态;该装置配置于管理集群中的任一管理节点;该装置包括:

6、创建模块,用于为控制集群中每一控制节点创建各服务对应的服务实例;任一服务的服务实例用于处理该服务下的各事件;

7、确定模块,用于针对每一服务,从控制集群中的n个控制节点中确定该服务对应的服务集群,服务集群中包括至少一个控制节点;从服务集群中选择一个控制节点作为该服务的主服务节点,剩下的控制节点作为该服务的从服务节点;其中,主服务节点上与该服务对应的服务实例和从服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限不相同;从服务节点上与该服务对应的服务实例在接收到属于该服务下的事件时,若不具备处理该事件的权限,则上报该事件给主服务节点上与该服务对应的服务实例进行处理。

8、可选地,从控制集群中的n个控制节点中确定该服务对应的服务集群,包括:

9、针对每一服务,从控制集群中的n个控制节点中选择满足设定要求的控制节点;满足设定要求的控制节点是指该控制节点的第一被使用次数小于n个控制节点中其他控制节点的第一被使用次数;

10、若满足设定要求的控制节点的数量x小于被配置的该服务对应的服务集群中控制节点的数量m,则依据剩余控制节点的节点标识从剩余控制节点中选择p个控制节点;剩余控制节点是指n个控制节点中除满足设定要求的控制节点外的节点;p为m与x的差值;基于满足设定要求的控制节点和p个控制节点构建该服务对应的服务集群;

11、若x等于m,则基于满足设定要求的控制节点构建该服务对应的服务集群;

12、若x大于m,则从满足设定要求的控制节点中选择m个控制节点,并基于所选择的m个控制节点构建该服务对应的服务集群;

13、从控制集群中的n个控制节点中确定该服务对应的服务集群之后,确定模块,进一步用于:

14、将被选择用于构建该服务对应的服务集群的控制节点的第一被使用次数增加设定值。

15、可选地,节点标识为节点编号;

16、依据剩余控制节点的节点标识从剩余控制节点中选择p个控制节点,包括:

17、从剩余控制节点中选择节点编号最大的前p个剩余控制节点作为所选择的p个控制节点。

18、可选地,从服务集群中选择一个控制节点作为该服务的主服务节点,包括:

19、从服务集群中选择第二被使用次数最小的控制节点作为该服务的主服务节点;

20、在从服务集群中选择一个控制节点作为该服务的主服务节点之后,确定模块,进一步用于:

21、将被选择作为该服务的主服务节点的控制节点所对应的第二被使用次数增加设定值。

22、可选地,主服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限包括:该服务下的读请求对应的事件的权限和写请求对应的事件的权限;

23、从服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限包括:该服务下的读请求对应的事件的权限。

24、可选地,主服务节点上与该服务对应的服务实例在接收到该服务下的写请求对应的事件时,对该事件进行处理得到事件处理结果,并将事件处理结果发送至该服务的从服务节点;主服务节点上与该服务对应的服务实例还用于将事件处理结果缓存至预配置的缓存空间;

25、从服务节点上与该服务对应的服务实例用于在接收到该服务下的事件处理结果时将事件处理结果缓存至预配置的缓存空间;

26、创建模块,进一步用于:

27、针对每一服务,在该服务对应的服务集群中的各控制节点上创建存储实例;其中,该服务对应的存储实例用于对该服务下的事件处理结果进行持久化存储。

28、可选地,针对每一服务,在控制集群中还存在除该服务对应的服务集群之外的控制节点的情况下,该服务对应的服务集群中的任一控制节点上与该服务对应的服务实例还用于将最新的事件处理结果发送至除该服务对应的服务集群之外的其中一个控制节点;除该服务对应的服务集群之外的控制节点上与该服务对应的服务实例用于在接收到该服务下的事件处理结果时将事件处理结果缓存至预配置的缓存空间;

29、除该服务对应的服务集群之外的控制节点上与该服务对应的服务实例和该服务对应的主服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限不相同;

30、除该服务对应的服务集群之外的控制节点上与该服务对应的服务实例在接收到属于该服务下的事件时,若不具备处理该事件的权限,则上报该事件给该服务对应的主服务节点上与该服务对应的服务实例进行处理。

31、本技术实施例还提供一种电子设备,该电子设备包括:

32、处理器;以及

33、存储器,在该存储器中存储有计算机程序指令,计算机程序指令在被处理器运行时使得处理器执行如上方法的步骤。

34、本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,该计算机程序指令在被处理器运行时使得处理器执行如上方法中的步骤。

35、由以上技术方案可以看出,本技术实施例通过为每一服务从控制集群的n个控制节点中确定该服务对应的服务集群,并从服务集群中选择该服务的主服务节点和从服务节点,主服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限和从服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限不相同。这样每个服务对应的服务事件由该服务对应的服务集群中的服务节点处理,避免了现有各个服务对应的服务事件均由一个主控制节点处理所造成的节点cpu开销大、事件处理效率低等问题,有效提高了事件处理效率。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1