Kafka 的工作原理是什么？
Kafka 是一个分布式的消息队列系统，它的核心工作围绕着消息的生产、存储和消费展开。
从生产者角度来看，生产者负责创建消息并将其发送到 Kafka 集群。生产者首先要确定消息所属的主题（Topic），主题类似于一个消息的分类标签。例如，一个电商系统可能有 “订单消息” 主题、“用户注册消息” 主题等。当生产者确定主题后，它会根据配置的分区策略将消息发送到主题中的某个分区（Partition）。分区是 Kafka 实现数据并行处理和存储的基本单位，每个分区在物理上是一个有序的、不可变的消息序列。生产者发送消息时，会根据分区策略（如基于消息键的哈希分区或者轮询分区等）来选择分区。
在消息存储方面，Kafka 将消息持久化存储在磁盘上。每个分区的数据存储在独立的文件中，这些文件按照一定的顺序存储消息。当消息被发送到分区后，Kafka 会将消息追加到分区对应的文件末尾。分区的存储还涉及到副本（Replica）机制，每个分区可以有多个副本，其中一个是领导者副本（Leader Replica），其余是追随者副本（Follower Replica）。领导者副本负责处理所有的读写请求，追随者副本则会从领导者副本同步消息，以保证数据的冗余和高可用性。例如，当生产者发送消息时，消息首先会发送到领导者副本，领导者副本将消息存储后，追随者副本会定期从领导者副本拉取消息进行同步。
<
订阅专栏 解锁全文
扫一扫
368
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
