docker 部署kafka 并设置鉴权

### 通过 Docker 部署 Kafka 并配置鉴权 #### 使用 Docker Compose 部署 Kafka 和 Zookeeper 为了在 Docker 中部署 Kafka，通常会结合 Zookeeper 进行管理。可以通过 `docker-compose` 文件定义服务并启动它们。 以下是用于部署 Kafka 的基本 `docker-compose.yml` 文件： ```yaml version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:latest environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 ports: - "2181:2181" kafka: image: confluentinc/cp-kafka:latest depends_on: - zookeeper ports: - "9092:9092" environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:plaintext,PLAINTEXT_HOST:plaintext KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 ``` 此文件定义了一个简单的 Kafka 和 Zookeeper 设置[^1]。 --- #### 配置 Kafka 认证机制 (Authentication Setup) Kafka 支持多种认证方式，常见的有 SASL/PLAIN、SSL 或者两者组合的方式。下面介绍如何设置基于 SASL/PLAIN 的简单用户名密码验证。 ##### 修改 `docker-compose.yml` 添加 SASL/PLAIN 验证支持 更新后的 `docker-compose.yml` 如下所示： ```yaml version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:latest environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 ports: - "2181:2181" kafka: image: confluentinc/cp-kafka:latest depends_on: - zookeeper ports: - "9092:9092" - "29092:29092" environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: | SASL_PLAINTEXT://kafka:29092,SASL_PLAINTEXT_HOST://localhost:9092 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_PLAINTEXT_HOST:SASL_PLAINTEXT KAFKA_SASL_ENABLED_MECHANISMS: PLAIN KAFKA_SASL_MECHANISM_INTER_BROKER_PROTOCOL: PLAIN KAFKA_AUTHORIZER_CLASS_NAME: kafka.security.authorizer.AclAuthorizer KAFKA_ALLOW_EVERYONE_IF_NO_ACL_FOUND: "false" KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true" KAFKA_INTER_BROKER_LISTENER_NAME: SASL_PLAINTEXT KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 volumes: - ./security:/etc/kafka/secrets ``` 在此配置中，启用了 SASL/PLAIN 协议作为安全层，并指定了 ACL 授权器来控制访问权限[^2]。 --- #### 创建 JAAS 配置文件 JAAS（Java Authentication and Authorization Service）是实现 Kafka 用户名和密码验证的核心组件。创建一个名为 `jaas.conf` 的文件，内容如下： ```conf KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="password123" user_admin="password123"; }; ``` 将该文件挂载到容器中的 `/etc/kafka/secrets/jaas.conf` 路径下。 --- #### 启动服务 运行以下命令以启动 Kafka 和 Zookeeper 容器： ```bash docker-compose up -d ``` 这将在后台启动所有指定的服务。 --- #### 测试连接 可以使用 Kafka 提供的工具测试客户端是否能够成功连接到服务器。例如，尝试生产消息或消费消息时需提供相应的用户名和密码。 ```bash kafkacat -b localhost:9092 -X security.protocol=SASL_PLAINTEXT \ -X sasl.mechanisms=PLAIN -X sasl.username=admin -X sasl.password=password123 \ -L ``` 上述命令列出了可用的主题列表，并验证了身份验证功能的工作状态。 --- ### 总结 以上方法展示了如何利用 Docker Compose 部署带有 SASL/PLAIN 鉴权的 Kafka 实例。通过自定义环境变量以及挂载必要的配置文件，实现了对用户的强安全性保护。 ---