kafka broker详解

原创

已于 2023-02-15 11:33:32 修改 · 728 阅读

CC 4.0 BY-SA版权

文章标签：

于 2023-02-09 22:42:04 首次发布

本文详细介绍了Kafka Broker的工作流程，包括副本机制、副本同步、Leader选举以及故障恢复策略。讨论了Kafka如何通过ISR、HW确保数据可靠性，并探讨了Leader Partition的自动平衡和Kafka的高效读写数据技术，如Page Cache和零拷贝。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

broker总体工作流程图

副本机制

副本作用提高数据可靠性。
Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；过多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。
Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader，然后 Follower 找 Leader 进行同步数据。
Kafka 分区中的所有副本统称为 AR（Assigned Repllicas）。AR = ISR + OSR ISR，表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向 Leader 发送通信请求或同步数据，则该 Follower 将被踢出 ISR。该时间阈值由 replica.lag.time.max.ms
参数设定，默认 30s。Leader 发生故障之后，就会从 ISR中选举新的 Leader。
OSR ，表示 Follower 与 Leader副本同步时，延迟过多的副本。

leader选举过程