Kafka in Docker

最新推荐文章于 2024-08-19 11:10:16 发布

chen_jiangtao

最新推荐文章于 2024-08-19 11:10:16 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Kafka 文章标签： kafka docker

本文链接：https://blog.csdn.net/evane1890/article/details/121961885

Kafka 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了如何使用Docker启动并管理Zookeeper和Kafka集群，包括创建主题、生产消费消息，以及通过Zookeeper进行topic操作和性能测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先起 zookeeper ，依赖

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

再起kafka

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.105:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.105:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

其中192.168.0.105是本机IP

查看docker 已经起来了请添加图片描述

进入kafka，测试消息

docker exec -it kafka bash

创建（连接）topic，test

cd /opt/kafka_2.13-2.8.1/bin/
./kafka-console-producer.sh --broker-list localhost:9092 --topic test

发消息
请添加图片描述
收消息

cd /opt/kafka_2.13-2.8.1/bin/
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

请添加图片描述

查看zookeeper

docker exec -it zookeeper bash

连接zk，查看内容

./bin/zkCli.sh

在这里插入图片描述

获取内容
在这里插入图片描述
查看zk，kfk上的topic，做删除等动作

查zk上的topic

./kafka-topics.sh --list --zookeeper 192.168.0.105:2181

删除

./kafka-topics.sh --delete --topic test  --zookeeper 192.168.0.105:2181

查kfk上的topic

./kafka-topics.sh --list --bootstrap-server localhost:9092

删除

./kafka-topics.sh --delete --topic test --bootstrap-server localhost:9092

性能测试

生产者

bin/kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100 --producer-props bootstrap.servers=localhost:9092

bin/kafka-producer-perf-test.sh --topic test --num-records 1000 --record-size 100 --throughput 100 --producer-props bootstrap.servers=localhost:9092

消费者
kafka-manager web界面管理

docker run -d --name kafka-manager --link zookeeper:zookeeper --link kafka:kafka -p 9000:9000 --restart=always --env ZK_HOSTS=zookeeper:2181 sheepkiller/kafka-manager

参考：