一种CDH集群元数据库高可用的解决方法与流程

：本发明属于数据处理领域，尤其涉及一种cdh集群元数据库高可用的解决方法。

背景技术

0、
背景技术：

1、目前互联网大数据行业的大数据集群除了开源的外，多数选择cdh集群，元数据信息存储在本地部署的mysql中，但是mysql存在单点问题，如果不支持高可用，影响cdh集群的稳定性。

2、cdh集群的元数据库是本地部署的mysql，存在单点问题，当部署的服务器及mysql服务存在异常，将影响cdh集群的稳定性及正常使用。

3、本发明提出的cdh的元数据库mysql进行主从部署，通过高可用解决方案keepalived组件进行分发，优先主节点，当主节点出现故障挂掉，分发到从节点，进而通过主备的方式支持高可用，cdh集群的元数据库一台服务出现挂掉，对于cdh集群没有任何影响，单点问题得到解决，支持高可用。能够解决互联网大数据行业中cdh集群的元数据库mysql的单点问题，支持高可用，提高稳定性。

技术实现思路

1、针对cdh集群的元数据库中存在的单点问题，本发明提出一种cdh集群元数据库高可用的解决方法，其特征在于，该方法包括如下步骤：

2、s1、在所述cdh集群元数据库设置独立keepalived组件；

3、s2、在所述cdh集群元数据库中将搭载mysql的服务器设置为主从架构；

4、s3、所述keepalived组件监测主服务器工作状态，并基于监测结果调整数据处理策略；

5、s4、执行所述调整后的数据处理策略，并向所述keepalived组件反馈执行状况；

6、基于s31-s3321的数据处理策略调整结果，继续执行数据处理进程；

7、s41、若所述调整策略为在所述主服务器执行完毕当前进程后，选择任一所述备选服务器处理下一数据处理进程；

8、则在当前在所述主服务器执行完毕当前进程后，将当前所述主服务器调整为临时从服务器；

9、所述临时从服务器为原主服务器；

10、并将所述处理下一数据处理进程的所述备选服务器调整为临时主服务器；

11、同时，在执行完毕所述下一数据处理进程后，若所述临时主服务器无新的数据处理进程待执行时，所述独立keepalived组件通过心跳信号检测监测所述临时主服务器。

12、在执行完毕所述下一数据处理进程后，若所述临时主服务器存在新的数据处理进程待执行时，则由所述临时主服务器继续执行下一数据处理进程。

13、s42、若所述调整策略为向用户反馈当前主服务器效率低，但无法解决的反馈信息；

14、则在当前所述主服务器执行完毕当前进程后，由所述独立keepalived组件发起缓存查询以及网络运行状况查询；

15、若由于缓存数据过多导致数据处理速率小于所述第一阈值，则对所述缓存进行清理；

16、若由于网络运行状况不佳，导致数据传输速率小于所述第二阈值，则向用户反馈网络不佳，传输速率较低信息。

17、并继续由所述主服务器处理下一数据处理进程。

18、s43、若所述调整策略为中断所述主服务器当前所执行的进程，选择最优所述备选服务器重新处理所述中断的数据处理进程；

19、则将当前所述主服务器调整为临时从服务器；

20、所述临时从服务器为原主服务器；

21、并将所述处理下一数据处理进程的所述备选服务器调整为临时主服务器；

22、同时，在执行完毕所述下一数据处理进程后，若所述临时主服务器无新的数据处理进程待执行时，所述独立keepalived组件通过心跳信号检测监测所述临时主服务器。

23、在执行完毕所述下一数据处理进程后，若所述临时主服务器存在新的数据处理进程待执行时，则由所述临时主服务器继续执行下一数据处理进程。

24、s44、若所述调整策略为中断当前进程，并向用户反馈数据无法处理；

25、则在等待第一时间段后，所述独立keepalived组件重新探测全部所述从服务器，并重新确定是否存在符合条件的备选服务器；

26、若存在符合条件的备选服务器，则将所述符合条件的备选服务器作为临时主服务器处理所述中断的当前进程；

27、若仍然不存在符合条件的备选服务器，则在所述独立keepalived组件探测的从服务器中选取数据处理结果准确度最高的从服务器处理所述中断的当前进程。

28、s45、若不存在所述调整策略，则重复执行所述s31-s34。

29、s5、基于所述执行状况，二次调整数据处理策略；

30、s6、执行所述二次调整后的数据处理策略，并向所述keepalived组件反馈二次执行状况；

31、s7、基于所述二次执行状况，重新设定主服务器，并处理其他从服务器的异常。

32、进一步地，s11、所述独立keepalived组件独立于所述搭载mysql的服务器的主从架构。

33、进一步地，s21、所述主从架构中，存在一个主服务器以及多个从服务器。

34、进一步地，s22、所述主服务器及从服务器中均部署mysql。

35、进一步地，s31、在所述主服务器无数据处理进程时，所述独立keepalived组件通过心跳信号监测所述主服务器的工作状态。

36、进一步地，s32、当所述主服务器正存在数据处理进程时，所述独立keepalived组件监测所述主服务器的数据处理速率、数据传输速率以及数据处理结果准确度。

37、进一步地，s33、若所述主服务器的数据处理速率小于第一阈值、或所述主服务器的数据传输速率小于第二阈值、或所述主服务器数据处理结果准确度小于第三阈值，则调整所述数据处理策略。

38、进一步地，所述调整数据处理策略为：

39、s331、若所述主服务器的数据处理速率小于第一阈值、或所述主服务器的数据传输速率小于第二阈值，且所述数据处理结果准确度大于所述第三阈值时，则所述独立keepalived组件探测全部所述从服务器，选择数据处理速率大于所述第一阈值且数据传输速率大于所述第二阈值，并且数据处理结果准确度大于所述第三阈值的从服务器作为备选服务器；

40、在所述主服务器执行完毕当前进程后，选择任一所述备选服务器处理下一数据处理进程。

41、进一步地，s332、若所述数据处理结果准确度小于所述第三阈值时，则所述独立keepalived组件探测全部所述从服务器，选择数据处理速率大于所述第一阈值且数据传输速率大于所述第二阈值，并且数据处理结果准确度大于所述第三阈值的从服务器作为备选服务器；

42、中断所述主服务器当前所执行的进程，选择最优所述备选服务器重新处理所述中断的数据处理进程。

43、进一步地，s3311、在所述主服务器的数据处理速率小于第一阈值、或所述主服务器的数据传输速率小于第二阈值，且所述数据处理结果准确度大于所述第三阈值时，若不存在符合条件的备选服务器，则向用户反馈当前主服务器效率低，但无法解决的反馈信息；

44、s3321、在所述数据处理结果准确度小于所述第三阈值时，若不存在符合条件的备选服务器，则中断当前进程，并向用户反馈数据无法处理。

45、本发明的有益效果如下：

46、1)通过将高可用解决方案keepalived组件进行独立设置，能够以第三方角色对服务器主从架构进行管理，并且能够在服务器单点故障时，不影响keepalived组件的工作，也不影响系统整体的运作，能够持续处理数据，cdh集群的元数据库一台服务出现挂掉，对于cdh集群没有任何影响，单点问题得到解决，支持高可用。能够解决互联网大数据行业中cdh集群的元数据库mysql的单点问题，支持高可用，提高稳定性。

47、2)通过设置两级调整数据处理策略变化，能够精细化管理服务器主从架构，并基于两次调整数据处理策略变化能够更加精确确定是否需要更换主服务器，能够避免过于频繁更换主服务器；同时，能够基于两次数据处理策略变化能够令keepalived组件基于时间段和进程处理次数结合考量，精确管理主服务器的变更过程。

48、3)通过步骤s41-s45的设置，能够明确不同情形下的数据处理策略如何调整，并且，在数据处理策略调整后能够明确如何处理下一进程，并且在基于进程处理来不断调整数据处理策略的过程中，能够明确策略调整目的，并且发现服务器主从架构中的影响效率的因素，并能够随时解决，同时，在无法有效解决异常情况时，能够提醒用户，并且能够由系统触发最低保障，基于最低数据处理保障尽可能不影响业务处理。

49、4)通过步骤s5-s7的设定，能够在基于数据处理策略调整后，对策略进行二次调整，该二次调整不仅仅能够有效确保数据处理进程的高效性，同时还能对首次数据处理策略调整方案进行保障，及时基于服务器当前状态调整进程处理策略，有效降低首次策略调整引发系统数据处理效率低下的可能性。

50、上述说明，仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述说明和其它目的、特征及优点能够更明显易懂，特举较佳实施例，详细说明如下。