使用 Apache Kafka 的关键要点：开发者必知指南-CSDN博客

本文链接：https://blog.csdn.net/weixin_43680337/article/details/148878465

Apache Kafka 是一个高吞吐量、分布式、可水平扩展的消息队列系统，广泛应用于实时数据流处理、日志聚合、事件驱动架构等场景。本文将整理 Kafka 的核心关键点，帮助开发者高效使用 Kafka。

1. Kafka 核心概念

(1) 基本组件

Producer：消息生产者，向 Kafka 发送数据。
Consumer：消息消费者，从 Kafka 读取数据。
Broker：Kafka 服务器节点，负责存储和转发消息。
Topic：消息的逻辑分类，类似于数据库表。
Partition：Topic 的分区，提高并行处理能力。
Offset：消息在 Partition 中的唯一标识（类似数据库主键）。
Consumer Group：一组 Consumer 共同消费一个 Topic，实现负载均衡。

(2) ZooKeeper 的角色（Kafka 3.0+ 逐步弃用）

Kafka 早期依赖 ZooKeeper 管理集群元数据（Broker、Topic、Partition 信息）。
Kafka 3.0+ 引入 KRaft（Kafka Raft）模式，逐步替代 ZooKeeper，简化部署。

2. Kafka 关键配置

(1) Producer 关键配置

# 确保消息可靠投递
acks=all                  # 所有副本确认后才返回成功
retries=3                 # 失败重试次数
enable.idempotence=true   # 启用幂等性，防止重复消息

# 提高吞吐量
linger.ms=5              # 批量发送延迟（毫秒）
batch.size=16384         # 批量发送大小（字节）
compression.type=snappy  # 压缩方式（snappy/gzip/lz4）

(2) Consumer 关键配置

# 消费组管理
group.id=my-group        # 消费者组ID
auto.offset.reset=earliest # 无偏移量时从最早（earliest）/最新（latest）开始消费

# 提高消费效率
max.poll.records=500     # 单次拉取最大消息数
fetch.max.bytes=52428800 # 单次拉取最大字节数

(3) Broker 关键配置

# 数据持久化
log.dirs=/data/kafka     # 日志存储目录
num.partitions=3         # 默认分区数

# 高可用
default.replication.factor=2  # 默认副本数
min.insync.replicas=1    # 最少同步副本数（确保数据不丢失）

3. Kafka 消息可靠性保障

(1) 消息不丢失

Producer：acks=all + retries + idempotence（幂等性）。
Broker：replication.factor≥2 + min.insync.replicas≥1。
Consumer：手动提交 Offset（enable.auto.commit=false）。

(2) 消息不重复

Producer：启用幂等性（enable.idempotence=true）。
Consumer：业务层去重（如数据库唯一键、Redis 幂等检查）。

4. Kafka 性能优化

(1) 提高吞吐量

Producer：增大 batch.size + linger.ms（批量发送）。
Consumer：增加 max.poll.records + 多线程消费。
Broker：调整 num.io.threads（IO 线程数）和 log.flush.interval.messages（刷盘策略）。

(2) 分区策略优化

Key 分区：相同 Key 的消息进入同一 Partition，保证顺序性。
轮询分区：均匀分布消息（默认方式）。
自定义分区：实现 Partitioner 接口。

(3) 数据压缩

compression.type=snappy  # 或 lz4/gzip

Snappy：低 CPU 开销，适中压缩率（推荐）。
Gzip：高压缩率，但 CPU 消耗高。

5. Kafka 监控与管理

(1) 常用监控工具

Kafka Manager：集群管理、Topic 监控。
Prometheus + Grafana：实时监控 Broker/Consumer Lag。
Kafka Eagle：可视化监控 Offset、Consumer Group。

(2) 关键指标

Broker：UnderReplicatedPartitions（副本同步延迟）、RequestQueueSize（请求队列堆积）。
Consumer：Consumer Lag（消费延迟）。
Producer：RecordSendRate（发送速率）、RecordErrorRate（错误率）。

6. Kafka 常见问题与解决方案

问题	可能原因	解决方案
Consumer Lag 高	消费速度 < 生产速度	增加消费者实例、优化消费逻辑
消息丢失	`acks=0/1`，Broker 宕机	设置 `acks=all` + 副本机制
重复消费	Consumer 崩溃后 Offset 未提交	手动提交 Offset + 业务去重
Broker 负载不均	Partition 分配不均	调整 Partition 数量或手动迁移