docker-compose 部署 kafka zook

<think>好的，我现在需要帮用户提供一个使用docker-compose部署Kafka和Zookeeper的示例配置文件。用户之前可能遇到网络配置的问题，比如kafka-manager和Kafka不在同一个网络导致连接失败，所以需要特别注意网络的设置。 首先，我得回忆一下Docker Compose的基本结构，通常包括version、services、networks和volumes这几个部分。Kafka依赖于Zookeeper，所以需要先部署Zookeeper服务。然后Kafka服务需要连接到Zookeeper的网络，确保它们能够通信。接下来，我需要确定正确的镜像版本。Zookeeper通常使用官方镜像，比如zookeeper:3.8.0。Kafka的话，可以选择confluentinc/cp-kafka:7.3.2，这个镜像比较稳定。kafka-manager虽然已经不再维护，但用户可能还在用，所以还是需要包含进去，比如选择docker.io/hlebalbau/kafka-manager:latest，不过要提醒用户可能存在兼容性问题。然后，配置每个服务的环境变量。Zookeeper可能需要设置ZOO_MY_ID和端口映射。Kafka需要配置连接到Zookeeper的地址，比如KAFKA_ZOOKEEPER_CONNECT，以及监听地址和广告地址，确保内外网都能访问。KAFKA_ADVERTISED_LISTENERS需要设置PLAINTEXT://kafka:9092，这样其他服务可以通过容器名访问。网络配置是关键，所有服务必须放在同一个自定义网络里，比如kafka-net。这样它们可以通过服务名互相解析，避免网络隔离的问题。用户之前提到kafka-manager不在同一个网络，所以这里必须显式指定网络。端口映射方面，Zookeeper的2181端口映射到宿主机的2181，Kafka的9092映射到宿主机的9092。kafka-manager的9000端口映射到用户指定的9002，这样用户可以通过ip:9002访问。 数据持久化也不能忽视，需要为Zookeeper和Kafka配置volumes，这样数据在容器重启后不会丢失。比如，zookeeper的数据存在./zookeeper/data，Kafka的数据存在./kafka/data。最后，还要检查依赖关系和健康检查。Zookeeper需要先启动，Kafka依赖Zookeeper，所以depends_on要设置正确。健康检查可以确保服务完全启动后再进行后续操作。生成示例配置后，还需要提醒用户注意事项，比如版本兼容性、防火墙设置、数据持久化路径和kafka-manager的替代方案。用户可能需要进一步的问题，比如如何验证部署是否成功，或者如何配置多个Kafka节点，所以相关问题部分也要涵盖这些方面。</think>以下是一个使用docker-compose部署Kafka和Zookeeper的配置示例，包含网络配置和关键参数说明： ```yaml version: '3.8' services: zookeeper: image: zookeeper:3.8.0 container_name: zookeeper ports: - "2181:2181" environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zookeeper:2888:3888 networks: - kafka-net volumes: - ./zookeeper/data:/data - ./zookeeper/datalog:/datalog kafka: image: confluentinc/cp-kafka:7.3.2 container_name: kafka depends_on: - zookeeper ports: - "9092:9092" environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1 networks: - kafka-net volumes: - ./kafka/data:/var/lib/kafka/data healthcheck: test: ["CMD", "kafka-topics","--bootstrap-server","localhost:9092","--list"] interval: 5s timeout: 10s retries: 5 networks: kafka-net: driver: bridge ``` ### 关键配置说明： 1. **网络配置**：通过`kafka-net`自定义网络确保容器间通信[^2] 2. **环境变量**： - `KAFKA_ADVERTISED_LISTENERS`：指定Kafka对外暴露的地址 - `KAFKA_ZOOKEEPER_CONNECT`：指向Zookeeper服务地址 3. **数据持久化**： - Zookeeper数据目录：`./zookeeper/data` - Kafka数据目录：`./kafka/data` 4. **健康检查**：通过kafka-topics命令验证服务状态 ### 验证部署： ```bash # 创建测试主题 docker exec kafka kafka-topics --create --topic test-topic \ --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 # 查看主题列表 docker exec kafka kafka-topics --list --bootstrap-server localhost:9092 ``` ### 注意事项： 1. 生产环境需要调整`replication-factor`参数 2. 如需添加kafka-manager，需要确保使用相同网络配置[^2] 3. 建议使用`docker-compose up -d`后台启动服务