【运维监控】Prometheus+grafana+kafka_exporter监控kafka运行情况

• 运维监控系列文章入口：【运维监控】系列文章汇总索引

• 本示例通过kafka_exporter收集kafka的监控指标，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化。
• 本示例分为四个部分，即prometheus、grafana部署、kafka_exporter部署与配置和最后的集成。
• 说明：本示例中的部署环境没有要求，即应用部署的机器根据实际情况而定，只要网络连通即可。

一、prometheus

参考：【运维监控】prometheus+node exporter+grafana 监控linux机器运行情况关于prometheus的部署。

二、grafana

参考：【运维监控】prometheus+node exporter+grafana 监控linux机器运行情况 关于grafana的部署。

三、部署kafka_exporter

通过kafka_exporter 用来收集 Topic、Broker、ConsumerGroup 的相关信息，可以方便对接 prometheus 和 grafana，使用起来比较方便。

相比JMX，kafka_exporter优势在于不需要消耗 JVM资源，指标收集时间从分钟级别降到秒级别，便于大规模集群的监控。

1、下载

下载地址：https://github.com/danielqsj/kafka_exporter/releases
下载版本：kafka_exporter-1.8.0.linux-amd64.tar.gz

2、解压

tar -xvf kafka_exporter-1.8.0.linux-amd64.tar.gz
cd kafka_exporter-1.8.0.linux-amd64/

[alanchan@server3 bigdata]$ pwd
/usr/local/bigdata
[alanchan@server3 bigdata]$ ll
total 742444
drwxr-xr-x  9 alanchan root      4096 Dec 30  2022 kafka_2.12-3.0.0
-rw-r--r--  1 alanchan root  10451435 Sep  6 02:49 kafka_exporter-1.8.0.linux-amd64.tar.gz
[alanchan@server3 bigdata]$ tar -xvf kafka_exporter-1.8.0.linux-amd64.tar.gz
kafka_exporter-1.8.0.linux-amd64/
kafka_exporter-1.8.0.linux-amd64/LICENSE
kafka_exporter-1.8.0.linux-amd64/kafka_exporter
[alanchan@server3 bigdata]$ cd kafka_exporter-1.8.0.linux-amd64
[alanchan@server3 kafka_exporter-1.8.0.linux-amd64]$ ll
total 19980
-rwxr-xr-x 1 alanchan root 20446894 Aug 20 07:06 kafka_exporter
-rw-r--r-- 1 alanchan root    11357 Aug 20 07:02 LICENSE

3、配置

1个kafka集群只需要1个kafka_exporter，在集群上的任意1台服务器部署（视情况而定）。
作者的kafka是一个集群环境，部署在server1、server2和server3上，kafka_exporter选择部署在server3上。

kafka_exporter使用默认配置。

4、启动

# 收集单个kafka集群的指标
cd /usr/local/bigdata/kafka_exporter-1.8.0.linux-amd64
./kafka_exporter --kafka.server=server1:9092

[alanchan@server3 kafka_exporter-1.8.0.linux-amd64]$ ./kafka_exporter --kafka.server=server1:9092
I0906 06:21:32.330396   28902 kafka_exporter.go:823] Starting kafka_exporter (version=1.8.0, branch=HEAD, revision=477643dd764c46ddd804ac4bd4022be877e3085b)
I0906 06:21:32.334258   28902 kafka_exporter.go:994] Listening on HTTP :9308
I0906 06:21:59.889927   28902 kafka_exporter.go:678] [server1:9092 server3:9092 server2:9092]

# 收集多个kafka集群的指标，以下为示例
kafka_exporter --kafka.server=server1:9092 [--kafka.server=another-server ...]
kafka_exporter --kafka.server=server1:9092 --kafka.server=server2:9092 --kafka.server=server3:9092

5、验证

启动成功后，可以访问 http://server3:9308/metrics

四、prometheus集成grafana监控kafka

1、修改prometheus配置

在prometheus的配置文件（prometheus.yml）中添加如下配置部分。增加kafka_exporter的收集服务配置，示例如下。

  - job_name: "kafka-monitor"
    static_configs:
      - targets: ["server3:9308"]

重启prometheus后，并验证是否收集到监控信息。
查看Prometheus是否监控到运行的kafka应用如下图。

在prometheus中查询收集到的指标数据，如下图所示。

2、导入grafana模板

导入过程不再赘述，参考文章：【运维监控】Prometheus+grafana监控tomcat8.5 运行情况
本示例导入的模板ID是7589(kafka-exporter-overview)。

3、验证

以上所涉及的服务均能正常的运行，以及验证都通过。
导入模板完成后，会显示“No Data”，只有当kafka中有数据的时候，才会在模板中显示具体的指标数据。图示如下。


以上，完成了Prometheus+grafana监控kafka运行情况的示例。