收藏备用小知识：使用 JMX 监控 Kafka 和 Zookeeper

JVM 默认会通过 JMX 的收藏识使方式暴露基础指标，很多中间件也会通过 JMX 的备用方式暴露业务指标，比如 Kafka、小知Zookeeper 、监控ActiveMQ 
、收藏识使Cassandra 、备用Spark、小知Tomcat
、监控Flink 等等。收藏识使掌握了 JMX 监控方式，备用就掌握了一批程序的小知监控方式 。本节介绍 JMX-Exporter 的监控使用 ，利用 JMX-Exporter 把 JMX 监控数据暴露为 Prometheus 可识别的香港云服务器收藏识使格式 。

JMX

JMX（Java Management Extensions）是备用 Java 管理扩展的简称，是小知一种为 Java 应用程序植入管理功能的框架 。Java 类程序经常使用 JMX 暴露监控指标数据，也可以通过 JMX 来控制 Java 类程序，典型的比如通过 JMX 触发程序 GC
。

Java 程序里，某个类如果实现了 MBean 接口
，那么这个类就可以通过 JMX 来读取和修改这个类的属性，也可以调用这个类的免费模板方法
。JMX 通过 MBeanServer 来管理 MBean，MBeanServer 是一个管理器
，它可以管理多个 MBean，每个 MBean 都有一个 ObjectName，用来唯一标识这个 MBean。

更新信息可以参考 JMX Specification
。非本文重点。

JMX-Exporter 简介

JMX-Exporter 是 Prometheus 社区提供的一个工具，用来把 JMX 暴露的监控指标数据转换为 Prometheus 可识别的格式。JMX-Exporter 通过 HTTP 服务的模板下载方式暴露监控指标数据 ，Prometheus 通过 HTTP 协议来拉取监控指标数据。

JMX-Exporter 就是个 jar 包，以 javaagent（何为 javaagent，需要读者自行 Google） 的方式运行，和业务 Java（或 Scala） 程序运行在一个 JVM 虚拟机里
 。有了 JMX-Exporter ，业务程序无需暴露 JMX 端口了，JMX-Exporter 会把 JMX 暴露的监控指标数据转换为 Prometheus 可识别的格式，然后通过 HTTP 只读方式暴露出去，也更为安全 。

JMX-Exporter 安装

因为 JMX-Exporter 是源码下载个 jar 包，所以安装非常简单  ，只需要把 jar 包下载到服务器上就可以了。JMX-Exporter 的下载地址是 https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/ ，下载最新版本的 jar 包即可。

比如我们把下载的 jar 包放在 /opt/jmx-exporter 目录，另外，建立 /etc/jmx-exporter 目录放置 JMX-Exporter 所需配置文件。像 Kafka
，暴露的 JMX 指标非常非常多，我们不需要全部采集，服务器租用只需要采集我们关心的指标即可 。所以，我们需要配置文件来告诉 JMX-Exporter ，我们需要采集哪些指标 。

JMX-Exporter 提供了很多样例配置  ，地址在这里 ：https://github.com/prometheus/jmx_exporter/tree/main/example_configs。

使用 JMX 监控 Zookeeper

实际上，新版 Zookeeper 已经直接暴露了 Prometheus 协议的监控数据，无需通过 JMX 方式采集了。另外，Zookeeper 还提供了四字命令的监控数据采集方式  ，比如 Categraf 的 input.zookeeper 插件就是云计算采用的这种方式。

不过
，本文主要是演示 JMX 的方式，所以还是使用 JMX 的方式来采集 Zookeeper 的监控数据
。

首先 ，从 https://github.com/prometheus/jmx_exporter/tree/main/example_configs 这里找到 Zookeeper 的配置样例文件，下载到 /etc/jmx-exporter/zookeeper.yml。然后把 jmx-exporter 的 jar 包作为 javaagent 启动参数加入 Zookeeper 的启动命令即可。

复制# zookeeper-env.sh SERVER_JVMFLAGS="-javaagent:/opt/jmx-exporter/jmx-exporter.jar=7070:/etc/jmx-exporter/zookeeper.yml"1.2.

Zookeeper 有个 zookeeper-env.sh 控制 Zookeeper 的启动参数，我们在这里加入 javaagent 启动参数 ，然后重启 Zookeeper 即可。上例是把 JMX-Exporter 的 HTTP 服务端口设置为 7070 ，可以根据实际情况修改 ，配置文件指定为 /etc/jmx-exporter/zookeeper.yml。

OK，现在可以测试了，先看 7070 端口是否在监听  ，如果在监听
 ，就可以请求这个端口的 /metrics 接口采集 Prometheus 协议的监控数据了。

复制$ netstat -tlnp | grep 7070 tcp 0 0 0.0.0.0:7070 0.0.0.0:* LISTEN 892/java $ curl -s localhost:7070/metrics | head # HELP jvm_threads_current Current thread count of a JVM # TYPE jvm_threads_current gauge jvm_threads_current 16.0 # HELP jvm_threads_daemon Daemon thread count of a JVM # TYPE jvm_threads_daemon gauge jvm_threads_daemon 12.0 # HELP jvm_threads_peak Peak thread count of a JVM # TYPE jvm_threads_peak gauge jvm_threads_peak 16.0 # HELP jvm_threads_started_total Started thread count of a JVM1.2.3.4.5.6.7.8.9.10.11.12.13.14.

可以看到
，Zookeeper 的监控数据已经暴露出来了，接下来就可以采集这些数据了 ，抓取 Prometheus 协议的监控数据有很多方式，可以直接使用 Prometheus 自身来抓取
，也可以通过 Categraf 的 input.prometheus 插件来抓取
，也可以通过 vmagent 来抓取 ，大家自行决策即可 。

使用 JMX 监控 Kafka

从 JMX-Exporter 提供的样例配置目录 ，下载 kafka.yml，然后导出 KAFKA_OPTS 环境变量即可
。

复制$ export KAFKA_OPTS=-javaagent:/opt/jmx-exporter/jmx-exporter.jar=7071:/etc/jmx-exporter/kafka.yml $ /opt/kafka_2.11-0.10.1.0/bin/kafka-server-start.sh /opt/kafka_2.11-0.10.1.0/conf/server.properties1.2.

上例中
，我们把端口换成了7071
，配置文件指定为 /etc/jmx-exporter/kafka.yml。测试一下端口是否成功监听 ：

复制$ netstap -tlnp | grep 7071 tcp6 0 0 :::7071 :::* LISTEN 19288/java $ curl -s localhost:7071 | grep -i kafka | head # HELP kafka_server_replicafetchermanager_minfetchrate Attribute exposed for management (kafka.server<type=ReplicaFetcherManager, name=MinFetchRate, clientId=Replica><>Value) # TYPE kafka_server_replicafetchermanager_minfetchrate untyped kafka_server_replicafetchermanager_minfetchrate{ clientId="Replica",} 0.0 # HELP kafka_network_requestmetrics_totaltimems Attribute exposed for management (kafka.network<type=RequestMetrics, name=TotalTimeMs, request=OffsetFetch><>Count) # TYPE kafka_network_requestmetrics_totaltimems untyped kafka_network_requestmetrics_totaltimems{ request="OffsetFetch",} 0.0 kafka_network_requestmetrics_totaltimems{ request="JoinGroup",} 0.0 kafka_network_requestmetrics_totaltimems{ request="DescribeGroups",} 0.0 kafka_network_requestmetrics_totaltimems{ request="LeaveGroup",} 0.0 kafka_network_requestmetrics_totaltimems{ request="GroupCoordinator",} 0.01.2.3.4.5.6.7.8.9.10.11.12.13.14.

一切正常哈，如果你的 Kafka 是通过 systemd 运行的 ，可以类似下面的方式来配置 kafka.service 文件 ：

复制... [Service] Restart=on-failure Environment=KAFKA_OPTS=-javaagent:/opt/jmx-exporter/jmx-exporter.jar=7071:/etc/jmx-exporter/kafka.yml ExecStart=/opt/kafka/bin/kafka-server-start.sh /etc/kafka/server.properties ExecStop=/opt/kafka/bin/kafka-server-stop.sh TimeoutStopSec=600 User=kafka ...1.2.3.4.5.6.7.8.9.

加餐

使用 jmx-exporter jar 包的时候 ，会引用一个配置文件 ，不同的 Java 应用可能会通过 jmx 的方式暴露特别多的监控指标，显然，我们不需要采集所有，具体要采集哪些指标，就是靠 jmx-exporter jar 包引用的那个配置文件决定的  。我们来看一下 /etc/jmx-exporter/zookeeper.yml 的内容：

复制rules: # replicated Zookeeper - pattern: "org.apache.ZooKeeperService<name0=ReplicatedServer_id(\\d+)><>(\\w+)" name: "zookeeper_$2" type: GAUGE - pattern: "org.apache.ZooKeeperService<name0=ReplicatedServer_id(\\d+), name1=replica.(\\d+)><>(\\w+)" name: "zookeeper_$3" type: GAUGE labels: replicaId: "$2" - pattern: "org.apache.ZooKeeperService<name0=ReplicatedServer_id(\\d+), name1=replica.(\\d+), name2=(\\w+)><>(Packets\\w+)" name: "zookeeper_$4" type: COUNTER labels: replicaId: "$2" memberType: "$3" - pattern: "org.apache.ZooKeeperService<name0=ReplicatedServer_id(\\d+), name1=replica.(\\d+), name2=(\\w+)><>(\\w+)" name: "zookeeper_$4" type: GAUGE labels: replicaId: "$2" memberType: "$3" - pattern: "org.apache.ZooKeeperService<name0=ReplicatedServer_id(\\d+), name1=replica.(\\d+), name2=(\\w+), name3=(\\w+)><>(\\w+)" name: "zookeeper_$4_$5" type: GAUGE labels: replicaId: "$2" memberType: "$3" # standalone Zookeeper - pattern: "org.apache.ZooKeeperService<name0=StandaloneServer_port(\\d+)><>(\\w+)" type: GAUGE name: "zookeeper_$2" - pattern: "org.apache.ZooKeeperService<name0=StandaloneServer_port(\\d+), name1=InMemoryDataTree><>(\\w+)" type: GAUGE name: "zookeeper_$2"1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.

这个配置文件里定义了一堆 rules，每个 rule 由四部分组成 ：pattern、name
 、type 、labels
，其中 pattern 是一个正则表达式，用来匹配 MBean 的 object name（什么是 MBean
，什么是 object name 可以自行 Google
，这里暂不展开），如果匹配到了就采集对应的 MBean 的数据 ，否则就不采集 。type 是指定了数据类型，labels 是指定了标签，标签值是来自 pattern 中提取到的正则数据
。

所以 ，jmx 监控数据采集的关键点，其实是这个 rules 的最佳实践 ，也就是说 ，对于某个 Java 应用
，你具体要采集哪些指标 ，这是真经验，真正有价值的东西。

文章主要翻译了 https://alex.dzyoba.com/blog/jmx-exporter/ 并加入了一些个人理解 。enjoy…make a better world :)