kafka脚本工具使用

如何定位kakfa消费端消息异常问题

1. 查看主题
2. 查看消费者组
3. 查看消费者详情（LAG: 消费者与最新消息的滞后程度(数字越大说明消费者处理消息的速度越慢)）

进入docker容器，直接运行sh脚本即可

docker exec -it <containerName> /bin/bash

或进入kafka安装路径bin目录下，通过 ./ 运行脚本

kafka主题列表

kafka-topics.sh --list --bootstrap-server <broker>

kafka主题详情

kafka-topics.sh --describe --topic <topic-name> --bootstrap-server <broker>

TopicId: 主题id
PartitionCount: 分区数
ReplicationFactor: 复制因子
Configs:配置信息
Partition: 分区
Leader:
Replicas: 副本数
Isr: (In-Sync Replicas)

kafka创建主题

kafka-topics.sh --bootstrap-server <broker> --create --topic <topic-name> --partitions <num-partitions> --replication-factor <rep-factor>

kafka删除主题

kafka-topics.sh --bootstrap-server <broker> --delete --topic <topic-name>

kafka消费者组

kafka-consumer-groups.sh --bootstrap-server <broker> --list

kafka消费者详细信息

kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group  <topic-name>

GROUP: 消费者组名称
TOPIC: 消费的主题
PARTITION: 消费的分区
CURRENT-OFFSET: 消费者当前的偏移量
LOG-END-OFFSET: 当前主题分区的最后一个消息偏移量
LAG: 消费者与最新消息的滞后程度(数字越大说明消费者处理消息的速度越慢)
CONSUMER-ID: 消费者的唯一标识
HOST: 消费者所在的主机
CLIENT-ID: 消费者客户端 ID

kakfa重置消费者组的偏移量(最新)

kafka-consumer-groups.sh --bootstrap-server <broker> --reset-offsets --group <consumer-group> --topic <topic-name> --to-latest --execute

kafka生产消息

kafka-console-producer.sh --broker-list <broker> --topic <topic-name>

kafka消费消息

kafka-console-consumer.sh --bootstrap-server <broker> --topic <topic-name> --from-beginning