基于分布式架构的集群数据监控方法、装置及系统与流程

本发明涉及云计算，具体地，涉及一种基于分布式架构的集群数据监控方法、装置及系统。

背景技术：

1、目前采集kafka集群的性能数据主要依赖于kafka的jmx参数数据，通过配置好每个集群的kafka配置文件中jmx参数数据获取端口后，通过某些系统监控采集各集群jmx参数数据并形成各维度指标ui视图。但单个系统监控节点的数据采集能力是有限的，无法满足大规模集群的监控需求。且单节点在使用上可用性较差，如果该节点因某些原因宕机后，则性能采集链路会崩溃，直到节点恢复前都无法知道各集群的性能状态，存在较大的性能风险问题。

技术实现思路

1、本发明实施例的主要目的在于提供一种基于分布式架构的集群数据监控方法、装置及系统，以满足大规模集群监控性能，提高节点可用性。

2、为了实现上述目的，本发明实施例提供一种基于分布式架构的集群数据监控方法，包括：

3、采集对应的集群数据，分析所述集群数据得到数据分析结果；

4、对所述集群数据和所述分析结果进行持久化处理得到本地持久化处理结果，将本地持久化处理结果存入数据库；

5、发送所述本地持久化处理结果至对应的核心中间件，以使所述核心中间件对所述本地持久化处理结果进行分析后输出。

6、在其中一种实施例中，还包括：

7、从对应的监控节点中采集非本地持久化处理结果，对所述非本地持久化处理结果进行数据转换；

8、将数据转换后的非本地持久化处理结果存入所述数据库。

9、在其中一种实施例中，还包括：

10、获取来自对应的监控节点的故障信息；

11、根据所述故障信息发送数据采集转换指令至所述核心中间件，以使所述核心中间件根据所述数据采集转换指令和对应监控节点的待获取数据返回备份数据获取指令；

12、根据所述备份数据获取指令发送所述非本地持久化处理结果至所述核心中间件。

13、在其中一种实施例中，还包括：

14、根据历史集群数据生成贝塞尔曲线；

15、根据所述贝塞尔曲线和所述集群数据生成告警结果；

16、对所述集群数据和所述分析结果进行持久化处理得到本地持久化处理结果包括：

17、对所述集群数据、所述分析结果和所述告警结果进行持久化处理得到本地持久化处理结果。

18、在其中一种实施例中，根据所述贝塞尔曲线和所述集群数据生成告警结果包括：

19、获取所述集群数据对应的线程状态；

20、根据所述贝塞尔曲线、所述集群数据和所述线程状态生成告警结果；

21、根据所述告警结果更新所述贝塞尔曲线。

22、本发明实施例还提供一种基于分布式架构的集群数据监控装置，包括：

23、分析模块，用于采集对应的集群数据，分析所述集群数据得到数据分析结果；

24、持久化模块，用于对所述集群数据和所述分析结果进行持久化处理得到本地持久化处理结果，将本地持久化处理结果存入数据库；

25、发送模块，用于发送所述本地持久化处理结果至对应的核心中间件，以使所述核心中间件对所述本地持久化处理结果进行分析后输出。

26、在其中一种实施例中，还包括：

27、数据转换模块，用于从对应的监控节点中采集非本地持久化处理结果，对所述非本地持久化处理结果进行数据转换；

28、存储模块，用于将数据转换后的非本地持久化处理结果存入所述数据库。

29、在其中一种实施例中，，还包括：

30、获取模块，用于获取来自对应的监控节点的故障信息；

31、指令发送模块，用于根据所述故障信息发送数据采集转换指令至所述核心中间件，以使所述核心中间件根据所述数据采集转换指令和对应监控节点的待获取数据返回备份数据获取指令；

32、处理结果发送模块，用于根据所述备份数据获取指令发送所述非本地持久化处理结果至所述核心中间件。

33、在其中一种实施例中，还包括：

34、贝塞尔曲线生成模块，用于根据历史集群数据生成贝塞尔曲线；

35、告警结果生成模块，用于根据所述贝塞尔曲线和所述集群数据生成告警结果；

36、持久化模块具体用于：

37、对所述集群数据、所述分析结果和所述告警结果进行持久化处理得到本地持久化处理结果。

38、在其中一种实施例中，告警结果生成模块包括：

39、线程状态获取单元，用于获取所述集群数据对应的线程状态；

40、告警结果申城单元，用于根据所述贝塞尔曲线、所述集群数据和所述线程状态生成告警结果；

41、贝塞尔曲线更新单元，用于根据所述告警结果更新所述贝塞尔曲线。

42、本发明实施例还提供一种基于分布式架构的集群数据监控系统，包括：

43、多个如上所述的基于分布式架构的集群数据监控装置；

44、多个核心中间件，用于对本地持久化处理结果进行分析后输出；从对应的核心中间件中采集非本地核心持久化处理结果，对所述非本地核心持久化处理结果进行数据转换，将数据转换后的非本地核心持久化处理结果存入所述数据库。

45、本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现所述的基于分布式架构的集群数据监控方法的步骤。

46、本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述的基于分布式架构的集群数据监控方法的步骤。

47、本发明实施例还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现所述的基于分布式架构的集群数据监控方法的步骤。

48、本发明实施例的基于分布式架构的集群数据监控方法、装置及系统先分析所述集群数据得到数据分析结果，对集群数据和分析结果进行持久化处理后发送至对应的核心中间件，以使核心中间件对本地持久化处理结果进行分析后输出，可以满足大规模集群监控性能，提高节点可用性。

技术特征：

1.一种基于分布式架构的集群数据监控方法，其特征在于，包括：

2.根据权利要求1所述的基于分布式架构的集群数据监控方法，其特征在于，还包括：

3.根据权利要求2所述的基于分布式架构的集群数据监控方法，其特征在于，还包括：

4.根据权利要求1所述的基于分布式架构的集群数据监控方法，其特征在于，还包括：

5.根据权利要求4所述的基于分布式架构的集群数据监控方法，其特征在于，根据所述贝塞尔曲线和所述集群数据生成告警结果包括：

6.一种基于分布式架构的集群数据监控装置，其特征在于，包括：

7.一种基于分布式架构的集群数据监控系统，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的基于分布式架构的集群数据监控方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的基于分布式架构的集群数据监控方法的步骤。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至5任一项所述的基于分布式架构的集群数据监控方法的步骤。

技术总结
本发明提供一种基于分布式架构的集群数据监控方法、装置及系统，涉及云计算技术领域，可应用于金融技术领域或其他技术领域。该基于分布式架构的集群数据监控方法包括：采集对应的集群数据，分析所述集群数据得到数据分析结果；对所述集群数据和所述分析结果进行持久化处理得到本地持久化处理结果，将本地持久化处理结果存入数据库；发送所述本地持久化处理结果至对应的核心中间件，以使所述核心中间件对所述本地持久化处理结果进行分析后输出。本发明可以满足大规模集群监控性能，提高节点可用性。

技术研发人员：杨旭杰,蔡佳纯,江炜轩,梁海燕
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/16