一种基于telegrafjolokia的大数据组件监控方法与流程

本发明涉及软件监控，具体为一种基于telegraf jolokia的大数据组件监控方法。

背景技术：

1、jmx是java环境下系统管理的标准解决方案，从jdk 1.5开始，jmx在所有jvm中都可用，企业级应用服务器中甚至通过jvm进行管理。

2、现有技术中，jmx是一个精心设计的规范，在其它ejb规范轰轰烈烈的失败的时候创建。在创建之后十年，jmx仍然是java环境下唯一的管理解决方案。jmx丰富的mbeans实现方式和层次是它设计的亮点，从简单的标准mbean到非常灵活的开放mbeans和mxbeans。

3、但是，jmx里的一些概念直到过时也没有被正式使用，比如jsr-77没有达到发布标准，jsr-160被设计用于远程访问jmx，希望能够隐藏通信细节，让远程和本地访问jmx没有却别，但不幸的是rmi协议和编程模型以java为中心，导致在java环境外并不适用。

技术实现思路

1、本发明的目的在于提供一种基于telegraf jolokia的大数据组件监控方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于telegraf jolokia的大数据组件监控方法，所述方法包括以下步骤：

3、进入需要监控的组件所在的节点，切换至root用户，安装telegraf，安装完成后，设置telegraf的配置文件telegraf.conf，并将telegraf设置为服务；

4、将jolokia的jar包放入每个节点任意目录下，通过在大数据组件的环境变量中加入jolokia的配置，将jolokia集成到每个组件中需要注意的是jolokia的端口不要重复，host应设为当前节点的ip地址；

5、在telegraf.d目录下添加需要采集监控指标的大数据组件配置文件，在其中配置jolokia的连接信息以及jmx中的指标信息；

6、将telegraf接入prometheus或其他数据库中，将采集到的监控指标写入库中持久化，方便接入第三方可视化工具进行监控展示。

7、优选的，进入需要监控的组件所在的节点，切换至root用户，安装telegraf，安装完成后，设置telegraf的配置文件telegraf.conf，并将telegraf设置为服务的具体操作步骤包括：

8、各个节点独立上报监控指标，在每个节点都部署telegraf，获取上报节点的host信息，在配置telegraf是需要注意要将hostname设置为连接的地址，出于安全性考虑，要将ip_range设置为允许访问telegraf的ip地址。

9、优选的，在大数据组件的环境变量中加入jolokia的配置完成后重启各个组件。

10、优选的，分别设置hadoop-env中的hdfs_namenode_opts与hdfs_datanode_opts，将jolokia的配置添加到这两个环境变量中；

11、分别设置yarn-env中的yarn_nodemanager_opts与yarn_resourcemanager_opts，将jolokia的配置添加到这两个环境变量中；

12、分别设置hbase-env中的hbase_master_opts与hbase_regionserver_opts，将jolokia的配置添加到这两个环境变量中；

13、设置mapred-env中的hadoop_opts，将jolokia的配置添加到环境变量中；

14、修改kafka_jmx_opts来开启jmx,然后设置kafka-env中的kafka_opts，将jolokia的配置添加到环境变量中，重启kafka；

15、设置hive-env中的hadoop_opts，将jolokia的配置添加到环境变量中；

16、修改zkserver.sh开启jmx，然后设置zookeeper-env中的server_jvmflags与client_jvmflags，并添加jmx相关的环境变量，再重启zookeeper所有组件；

17、在start-master.sh、start-slave.sh、start-thriftserver.sh添加jmx的端口，然后在spark-config.sh中添加jolokia的相关配置。重启spark的所有组件。

18、优选的，在telegraf.d目录下添加需要采集监控指标的大数据组件配置文件，在其中配置jolokia的连接信息以及jmx中的指标信息的具体操作包括：

19、为每个需要监控的组件建立独立的配置文件，方便管理，在jolokia2_agent中配置上一步中设置的jolokia地址，metric中配置具体需要监控的jmx指标名称，通过tags设置tag方便进行筛选与聚合。

20、与现有技术相比，本发明的有益效果是：

21、本发明提出的基于telegraf jolokia的大数据组件监控方法，从大量输入中收集指标并将它们写入大量输出中，telegraf插件架构支持现有的流程，不需要更改工作流程以使用该技术。无论需要将它置于边缘还是集中式，它都可以适应架构，具有极佳的灵活性，可以方便的接入第三方的可视化工具实现对大数据组件的实时监控，从而拜托了对ambari原生监控组建的依赖。

技术特征：

1.一种基于telegraf jolokia的大数据组件监控方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的一种基于telegraf jolokia的大数据组件监控方法，其特征在于：进入需要监控的组件所在的节点，切换至root用户，安装telegraf，安装完成后，设置telegraf的配置文件telegraf.conf，并将telegraf设置为服务的具体操作步骤包括：

3.根据权利要求1所述的一种基于telegraf jolokia的大数据组件监控方法，其特征在于：在大数据组件的环境变量中加入jolokia的配置完成后重启各个组件。

4.根据权利要求1所述的一种基于telegraf jolokia的大数据组件监控方法，其特征在于：分别设置hadoop-env中的hdfs_namenode_opts与hdfs_datanode_opts，将jolokia的配置添加到这两个环境变量中；

5.根据权利要求1所述的一种基于telegraf jolokia的大数据组件监控方法，其特征在于：在telegraf.d目录下添加需要采集监控指标的大数据组件配置文件，在其中配置jolokia的连接信息以及jmx中的指标信息的具体操作包括：

技术总结
本发明涉及软件监控技术领域，具体为一种基于telegraf jolokia的大数据组件监控方法，包括以下步骤：进入需要监控的组件所在的节点，切换至root用户，安装telegraf，安装完成后，设置telegraf的配置文件telegraf.conf，并将telegraf设置为服务；将jolokia的jar包放入每个节点任意目录下；有益效果为：本发明提出的基于telegraf jolokia的大数据组件监控方法，从大量输入中收集指标并将它们写入大量输出中，telegraf插件架构支持现有的流程，不需要更改工作流程以使用该技术。无论需要将它置于边缘还是集中式，它都可以适应架构，具有极佳的灵活性，可以方便的接入第三方的可视化工具实现对大数据组件的实时监控，从而拜托了对ambari原生监控组建的依赖。

技术研发人员：于渊,李国涛,张伟宗
受保护的技术使用者：浪潮云信息技术股份公司
技术研发日：
技术公布日：2024/3/5