一种应用于天翼云备份服务的高可用方法与流程

本发明涉及备份服务的，具体涉及一种应用于天翼云备份服务的高可用方法。

背景技术：

1、随着互联网的普及和计算机技术的发展，互联网业务的用户规模愈发庞大，对业务系统运行的稳定性和可靠性也提出了更高的要求。在实际的生产环境中，大多数业务都会采用高可用架构来保证系统的稳定性与可用性，包括主备模式、主从模式和集群模式等。采用高可用架构可以保证整个系统的可用性，规避单点故障问题的发生，但是同时也引入了一些潜在的问题，比如脑裂问题等。脑裂是指高可用系统中的节点间由于网络隔离等原因，导致两个或者多个节点同时成为对外提供服务的主节点，此时两个或者多个节点可能会争抢共享资源，导致业务系统混乱等严重后果。因此，脑裂问题是高可用系统不可忽视的场景，如果不能很好的处理脑裂问题，产生的后果可能比引入高可用系统所要解决的单点故障还要严重。高可用系统中出现脑裂问题后，当下普遍的解决方法是停止多余主节点中的服务进程或者直接关闭相应的系统，待确认故障修复后再启动服务进程或者恢复相应的系统。这些处理方式可以有效的应对脑裂场景，但是仍然有一定的问题：

2、出现脑裂情况后，业务系统需要具备高效的监控告警机制通知相关人员第一时间进行处理，对预警机制要求较高；即使人工及时介入，仍然会有一定的时间存在双主或者多主的情况，对整个业务系统造成的影响可能是难以估量的。综上所述，从系统设计层面解决潜在的脑裂问题，避免双主或者多主情况的发生，对高可用系统的稳定运行具有重要意义。

3、如申请公开号为cn116107787a的专利公开了一种解决双机高可用架构脑裂的方法，针对当前现有的计算机技术应用技术仍存在计算机出现故障时高可用架构将出现脑裂，导致双机高可用架构的稳定率较低，业务异常率较高的问题，现提出如下方案，其中包括以下步骤：s1：发出信号，s2：判断处理，s3：进行验证，该发明的目的是通过提供一种解决双机高可用架构脑裂的方法，保证在出现上联交换机异常，心跳网络异常，网络闪断故障等故障时避免高可用架构出现脑裂，提高了双机高可用架构的稳定率，降低了业务异常率。

4、如申请公开号为cn110377487a的专利公开了一种解决双机高可用架构脑裂的方法，针对当前现有的计算机技术应用技术仍存在计算机出现故障时高可用架构将出现脑裂，导致双机高可用架构的稳定率较低，业务异常率较高的问题，现提出如下方案，其中包括以下步骤：s1：发出信号，s2：判断处理，s3：进行验证，该发明的目的是通过提供一种解决双机高可用架构脑裂的方法，保证在出现上联交换机异常，心跳网络异常，网络闪断故障等故障时避免高可用架构出现脑裂，提高了双机高可用架构的稳定率，降低了业务异常率。

5、以上专利都存在本背景技术提出的问题：判断脑裂场景的时间窗口比较长，存在较高的双主风险；对部署节点的系统版本有一定的限制，并且系统恢复依赖于集群的数据同步能力，无法很好的适用基于双机主备高可用架构的业务系统。

6、公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。

技术实现思路

1、本发明所要解决的技术问题是克服现有技术的缺陷，提供一种应用于天翼云备份服务的高可用方法，保证备份服务的高可用能力，解决潜在的脑裂问题，并且能够适用于大多数基于双机主备架构模式的业务系统。

2、为解决上述技术问题，本发明提供如下技术方案：

3、一方面，本发明提供一种应用于天翼云备份服务的高可用方法，包括以下步骤：

4、s1：进行两台主机间的主节点选举；

5、s2：基于互斥锁机制启动主节点的mds服务进程；

6、s3：周期性检查mds服务的运行状态，当主节点的mds服务进程异常时进行主备节点切换；

7、s4：判断是否发生脑裂问题，当发生脑裂问题时启动高可用系统恢复服务。

8、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：所述主节点选举的方法如下：启动两台主机的keepalived组件进行自动主节点选举，选举成功的主机作为主节点，选举失败的主机作为备节点。

9、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：所述启动主节点的mds服务进程的方法如下：

10、主节点生成vip；

11、主节点创建租约leaseid1；

12、主节点向etcd数据库集群注册互斥锁key：lockid1；

13、所述互斥锁key：lockid1注册成功后启动主节点的mds服务进程；

14、主节点向etcd数据库集群进行周期性群续约。

15、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：所述进行主备节点切换的方法如下：

16、令主备节点切换前的主节点为主机a，备节点为主机b，则进行主备节点切换时，主机a释放vip，注销互斥锁key：lockid1，删除租约leaseid1，关闭mds服务；

17、主机b进入master状态；主机b生成vip，创建租约leaseid2，向etcd数据库集群注册互斥锁key：lockid2，注册成功后启动主机b的mds服务进程，并向etcd数据库集群进行周期性续约。

18、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：所述主机b进入master状态的触发条件为接收到主节点的mds服务进程异常的心跳信息。

19、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：所述互斥锁机制涉及的时间变量如下：

20、tcheck，表示所述keepalived组件检测主节点的mds服务运行状态的周期；

21、tlease，表示所述互斥锁租约的有效期；

22、tround，表示所述互斥锁续约的周期；

23、tretry，表示备节点注册互斥锁的时间间隔；

24、ttimeout，表示备节点注册互斥锁的超时时限。

25、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：所述时间变量满足如下关系：

26、

27、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：判断是否发生脑裂问题的方法如下：在进行主备节点切换时，若etcd数据库集群中存在互斥锁，则备节点会注册互斥锁失败，并每隔时长为tretry的时间间隔重复注册一次互斥锁，直至注册成功；若从第一次注册失败后经过时长为ttimeout的时间间隔后仍未注册成功，则发生脑裂问题。

28、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：所述高可用系统恢复服务具体如下：

29、停止运行备节点的keepalived组件；

30、周期性检测主备节点间的网络连通性；当网络故障修复，高可用系统恢复服务停止运行并启动备节点的keepalived组件。

31、作为本发明所述应用于天翼云备份服务的高可用方法的一种优选方案，其中：所述网络故障修复的判定方法为：若主节点与备节点间的icmp通信与tcp通均正常，则网络故障修复。

32、与现有技术相比，本发明所达到的有益效果如下：

33、基于etcd数据库集群实现的互斥锁机制能够规避脑裂场景下的双主问题，并且由于etcd数据库集群本身具备高可用性，互斥锁不会出现单点故障，能够保证互斥锁机制的稳定工作；

34、高可用系统恢复服务能够在发生脑裂后对主备主机间的网络连通性进行检测，当网络故障修复后可以自动恢复到脑裂发生前的系统状态，极大的增强了高可用系统的健壮性。