Kafka KRaft + SSL + SASL/PLAIN 部署文档

已于 2025-05-31 11:59:03 修改
阅读量1.2k 收藏 26
点赞数 23
CC 4.0 BY-SA版权
文章标签： kafka ssl 分布式
于 2025-05-28 21:13:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/livemegoodboy/article/details/148291810

本文档介绍如何在 Windows 环境下部署 Kafka 4.x，使用 KRaft 模式、SSL 加密和 SASL/PLAIN 认证。stevensu1/test-kafka

1. 环境准备

  • JDK 17 或更高版本
  • Kafka 4.x 版本（本文档基于 kafka_2.13-4.0.0）

2. 目录结构

D:\kafka_2.13-4.0.0\
├── bin\windows\
├── config\
│   ├── server.properties
│   ├── ssl.properties
│   ├── jaas.conf
│   └── log4j2.properties
├── logs\
└── config\ssl\
    ├── kafka.server.keystore.jks
    └── kafka.server.truststore.jks

3. 配置文件说明

3.1 server.properties

# 节点角色配置
process.roles=broker,controller
node.id=1

# 监听器配置
listeners=PLAINTEXT://:9092,CONTROLLER://:9093,SSL://:9094,SASL_SSL://:9095
advertised.listeners=SSL://localhost:9094,SASL_SSL://localhost:9095
controller.listener.names=CONTROLLER
inter.broker.listener.name=SSL
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_SSL:SASL_SSL

# 控制器配置
controller.quorum.voters=1@localhost:9093

# 日志配置
log.dirs=D:/kafka_2.13-4.0.0/logs

# 安全配置
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
authorizer.class.name=org.apache.kafka.metadata.authorizer.StandardAuthorizer
allow.everyone.if.no.acl.found=true

# SSL 配置
ssl.keystore.location=config/ssl/kafka.server.keystore.jks
ssl.keystore.password=kafka123
ssl.key.password=kafka123
ssl.truststore.location=config/ssl/kafka.server.truststore.jks
ssl.truststore.password=kafka123
ssl.client.auth=required
ssl.enabled.protocols=TLSv1.2,TLSv1.3
ssl.endpoint.identification.algorithm=HTTPS
ssl.secure.random.implementation=SHA1PRNG

3.2 ssl.properties

# SSL 配置
ssl.keystore.location=config/ssl/kafka.server.keystore.jks
ssl.keystore.password=kafka123
ssl.key.password=kafka123
ssl.truststore.location=config/ssl/kafka.server.truststore.jks
ssl.truststore.password=kafka123
ssl.client.auth=required
ssl.enabled.protocols=TLSv1.2,TLSv1.3
ssl.endpoint.identification.algorithm=HTTPS
ssl.secure.random.implementation=SHA1PRNG

3.3 jaas.conf

KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret"
    user_admin="admin-secret"
    user_alice="alice-secret";
};

3.4 log4j2.properties

status = INFO
name = KafkaConfig

# 控制台输出
appender.console.type = Console
appender.console.name = console
appender.console.layout.type = PatternLayout
appender.console.layout.pattern = %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n

# 文件输出
appender.kafka.type = RollingFile
appender.kafka.name = kafka
appender.kafka.fileName = ${sys:kafka.logs.dir}/server.log
appender.kafka.filePattern = ${sys:kafka.logs.dir}/server-%d{yyyy-MM-dd}-%i.log.gz
appender.kafka.layout.type = PatternLayout
appender.kafka.layout.pattern = %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n
appender.kafka.policies.type = Policies
appender.kafka.policies.time.type = TimeBasedTriggeringPolicy
appender.kafka.policies.size.type = SizeBasedTriggeringPolicy
appender.kafka.policies.size.size = 100MB
appender.kafka.strategy.type = DefaultRolloverStrategy
appender.kafka.strategy.max = 10

# 根日志配置
rootLogger.level = INFO
rootLogger.appenderRefs = console, kafka
rootLogger.appenderRef.console.ref = console
rootLogger.appenderRef.kafka.ref = kafka

# Kafka 日志配置
logger.kafka.name = kafka
logger.kafka.level = INFO
logger.kafka.additivity = false
logger.kafka.appenderRefs = console, kafka
logger.kafka.appenderRef.console.ref = console
logger.kafka.appenderRef.kafka.ref = kafka

4. 部署步骤

4.1 初始步骤

1. 下载 Kafka 4.x 版本（本文档基于 kafka_2.13-4.0.0）

2. 解压到 D:\kafka_2.13-4.0.0

3. 创建必要的目录：

mkdir D:\kafka_2.13-4.0.0\logs
mkdir D:\kafka_2.13-4.0.0\config\ssl

4. 创建配置文件（server.properties、ssl.properties、jaas.conf、log4j2.properties）

4.2 生成 SSL 证书

运行以下命令生成 SSL 证书：

# 1. 生成 CA 私钥和证书
openssl req -new -x509 -keyout ca-key -out ca-cert -days 365 -nodes -subj "/CN=kafka-ca"

# 2. 生成服务器私钥
openssl genrsa -out kafka.server.key 2048

# 3. 生成服务器证书签名请求（CSR）
openssl req -new -key kafka.server.key -out kafka.server.csr -subj "/CN=localhost"

# 4. 使用 CA 证书签名服务器证书
openssl x509 -req -CA ca-cert -CAkey ca-key -in kafka.server.csr -out kafka.server.cert -days 365 -CAcreateserial

# 5. 创建 JKS 格式的密钥库
keytool -import -alias ca -file ca-cert -keystore kafka.server.truststore.jks -storepass kafka123 -noprompt
keytool -import -alias server -file kafka.server.cert -keystore kafka.server.keystore.jks -storepass kafka123 -noprompt

# 6. 将私钥导入密钥库
openssl pkcs12 -export -in kafka.server.cert -inkey kafka.server.key -out kafka.server.p12 -name server -password pass:kafka123
keytool -importkeystore -srckeystore kafka.server.p12 -srcstoretype PKCS12 -destkeystore kafka.server.keystore.jks -deststoretype JKS -srcstorepass kafka123 -deststorepass kafka123

# 7. 移动证书文件到配置目录
move kafka.server.keystore.jks config\ssl\
move kafka.server.truststore.jks config\ssl\

4.3 格式化存储目录

在启动 Kafka 服务前，需要格式化存储目录，确保 meta.properties 正确生成：

bin\windows\kafka-storage.bat random-uuid
bin\windows\kafka-storage.bat format -t  -c config\server.properties

4.4 启动 Kafka 服务

运行以下命令启动 Kafka 服务：

start-kafka-kraft.bat

5. 客户端连接示例

5.1 Java 客户端配置

bootstrap.servers=localhost:9095
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret";
ssl.truststore.location=你的truststore路径
ssl.truststore.password=kafka123

5.2 命令行工具配置

使用以下命令创建主题：

bin\windows\kafka-topics.bat --create --topic test-topic --bootstrap-server localhost:9095 --command-config config\client.properties

6. 常见问题

  • 问题： No `meta.properties` found in logs directory
    解决： 运行 kafka-storage.bat format 命令格式化存储目录。
  • 问题： ClassNotFoundException: kafka.security.authorizer.AclAuthorizer
    解决： 将 authorizer.class.name 修改为 org.apache.kafka.metadata.authorizer.StandardAuthorizer。
  • 问题： Log4j 配置错误
    解决： 确保使用 Log4j2 配置文件，并在启动脚本中正确设置 KAFKA_LOG4J_OPTS。

7. 参考链接

livemetee
关注
Kubernetes基于helm部署Kafka_Kraft集群并取消SASL认证且开启数据持久化
你说亮不亮的博客
08-06 940
注：本文档部署Kafka时，取消了默认的SASL认证的相关配置，并开启了数据持久化。
Linux-Kafka 3.7.0 Kraft+SASL认证模式 集群安装与部署超详细
qq_41118173的博客
07-04 4801
这个是3.2.0版本新引入的认证方式，可以参考 https://cwiki.apache.org/confluence/display/KAFKA/KIP-801%3A+Implement+an+Authorizer+that+stores+metadata+in+__cluster_metadata。5.修改kafka-console-producer.sh和kafka-console-consumer.sh启动文件两个都要改。# 如果未设置，则使用"listeners"的值.
Kafka安全认证机制详解之SASL_PLAIN
空城的博客
01-02 3872
上面配置是新增了两个用户，admin和tly，这两个用户都是普通用户，KafkaServer中的username、password配置的用户和密码，是用来broker和broker连接认证。在本例中，admin是代理broker间通信的用户。这个时候使用auth.conf已经不能创建topic了，使用admin.conf可以创建，因为admin账号和配置的超级管理员一致；使用权限配置并且超级用户是admin，这个用户和我们上面配置的列表中的admin用户相互映射，每个机器都需要配置然后重启所有节点。
kafka二进制部署（Kraft方式,SASL认证）
weixin_47575974的博客
10-01 2055
所有节点执行thenfi可以根据实际jvm参数在此处调整。
[Kafka with kraft] SASL_PLAINTEXT认证
Aspirin's Nest
01-09 2298
集成带SASL_PLAINTEXT的kafka
【kafka+Kraft模式集群+SASL安全认证】
眼中星辰的博客
12-01 2407
kafka+Kraft模式集群+SASL安全认证
kafka集群之kraft模式
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
08-28 5608
Kafka作为一种高吞吐量的分布式发布订阅消息系统，在消息应用中广泛使用，在Kafka2.8之前，Kafka强依赖zookeeper，这也导致当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。最新的3.5版本中，Kafka依然兼容zookeeper Controller，但Kafka Raft元数据模式，已经可以在不依赖zookeeper的情况下独立启动Kafka了。3、更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。
Kafka SASL/PLAIN认证模式
虽非技冠群英首，愿与同道共长歌； 大鹏一日同风起，扶摇直上九万里；
10-09 2030
Kafka Kraft模式SASL认证
Kafka SASL/SCRAM介绍
王多鱼的梦想
02-02 2274
SASL/SCRAM（Salted Challenge Response Authentication Mechanism）使用加密的密码存储和认证机制，可以有效防止密码明文传输，因此在生产环境中得到了广泛应用。
基于 SASL/SCRAM 让 Kafka 实现动态授权认证
zlt2000的博客
07-29 942
本文将从零开始部署ZooKeeper和Kafka并通过配置SASL/SCRAM和ACL（访问控制列表）来增强Kafka的安全性
Kafka sasl配置
qq_39816041的博客
08-27 514
Kafka开启使用 SASL_PLAINTEXT认证： 　　输入下面命令，关闭kafka： 　　　　bin/kafka-server-stop.sh 　　输入下面命令，关闭zookeeper： 　　　　bin/zookeeper-server-stop.sh 　　进入config目录，增加如下配置文件： 　　　　cd config 　　　　（1）touch kafka_server...
Apache Kafka 官方文档
最新发布
冯丙见的博客
04-29 879
Apache Kafka 是一个分布式事件流平台，用于构建高性能的数据管道、流式分析和关键任务应用程序。它由 Apache 软件基金会开发，使用 Java 和 Scala 编写，旨在提供高吞吐量、低延迟的实时数据处理能力。截至2025年4月29日，最新版本为 Kafka 4.0.0，引入了多项新功能，如默认使用 KRaft 协议替代 ZooKeeper 进行元数据管理。
Kafka 3.3.1 Kraft 多端口协议搭建，无zookeeper
青冬的博客
12-07 2103
Kafka 3.3.1 已经出来挺久了，很多公司还停留在 1.X/2.X 甚至 0.8 版本的 kafka，不是说不能用，但是用起来真的糟糕，况且现在 Kraft 已经正式推出了，早就该更新了。本篇文章从实践角度出发，使用真实的搭建手册改编，带领大家搭建多网卡、多端口、多认证的 Kafka 3.3.1 on Kraft。预计效果，内部通信的非认证、内部数据传输的 sasl-plain、外部数据消费的 sasl-ssl。Kafka 2.12-3.3.1 with KRaftauth: huangyichun
6.kafka3.x-kraft集群模式
woshiwjma956的博客
07-07 758
kafka kraft
kafka+Kraft模式集群+安全认证
鸢尾_的博客
08-30 3328
kafka+Kraft模式集群+安全认证
kafka 安装 以及 Kraft 模式、安全认证配置
何xiao树
03-26 3254
kafka部署、Kafka- Kraft 模式部署、安全认证开启
kafka3.5.1（raft版本 sasl认证）集群docker部署
fly7632785的专栏
02-21 1384
Kafka分布式消息队列集群，kafka的三个节点分别坐落在三台主机上。
Kafka配置SSL认证
热门推荐
JustryDeng
03-10 2万+
目录 Kafka配置SSL认证 使用kafka自带的消费者生产者测试一下 我是一只小小小小鸟~嗷！嗷！ Kafka配置SSL认证 准备工作：生成SSL相关证书 注：详见https://blog.csdn.net/justry_deng/article/details/88383081。 注：其实对于本节内容来说，有SSL的服务端证书就够了。 第一步：修改kafka安装目录下conf...
kafka sasl/scram kraft配置
03-13
### 配置Kafka KRaft模式下使用SASL/SCRAM进行身份验证 在Kraft模式下配置Kafka以支持SASL/SCRAM认证涉及多个方面，包括设置服务器端和客户端的安全协议以及具体的认证参数。 #### 服务端配置 为了使Kafka Broker能够接受并处理来自客户端的SASL请求，在`server.properties`文件中需指定安全协议和支持的身份验证机制： - `listeners`: 定义监听器地址及其对应的安全协议。例如，对于仅采用SASL_PLAINTEXT的情况，应写成如下形式： ```properties listeners=SASL_PLAINTEXT://0.0.0.0:9092 ``` - `advertised.listeners`: 对外发布的监听者列表，通常与上述`listeners`保持一致。 - `listener.name.sasl_plaintext.plain.sasl.enabled.mechanisms`: 明确指出允许使用的具体SASL机制，如SCRAM-SHA-512: ```properties listener.name.sasl_plaintext.scram-sha-512.sasl.enabled.mechanisms=SCRAM-SHA-512 ``` 此外，还需确保启用了相应的JAAS配置来加载必要的登录模块，并指定了合法用户的凭证信息[^2]。 #### JAAS配置 创建一个名为`kafka_server_jaas.conf`的文件用于定义Broker侧的JAAS条目，内容类似于下面这样： ```plaintext KafkaServer { org.apache.kafka.common.security.scram.ScramLoginModule required; }; Client { org.apache.kafka.common.security.scram.ScramLoginModule required \ username="admin" password="password"; }; ``` 此文件路径应在启动命令或者环境变量里被正确引用，以便于JVM读取到这些设定。 #### 客户端连接选项 当应用程序作为生产者或消费者接入时，则要相应调整其自身的属性集，使之匹配上层架构所规定的访问控制策略。这主要包括但不限于以下几个关键项： - 设置`security.protocol`为`sasl_plaintext`； - 指定`ssl.endpoint.identification.algorithm`为空字符串（如果不需要SSL/TLS握手过程中的主机名校验的话）； - 提供合适的`sasl.mechanism`值——即选用何种散列算法变体； - 填入有效的用户名密码组合至`jaas.config`字段内； 示例性的Java客户端代码片段可能看起来像这样： ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); // SASL/SCRAM related settings props.put("security.protocol", "SASL_PLAINTEXT"); // or other protocols like SASL_SSL depending on your setup props.put("sasl.mechanism", "SCRAM-SHA-512"); props.put("sasl.jaas.config", "org.apache.kafka.common.security.scram.ScramLoginModule required username=\"reader\" password=\"reader-password\";"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Arrays.asList("test-topic")); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); } ``` 以上就是针对Kafka Kraft模式启用SASL/SCRAM鉴权所需执行的主要操作步骤概述[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值