一、Kafka是什么?
Apache Kafka是分布式发布-订阅消息系统。
它最初由LinkedIn公司开发,之后成为Apache项目的一部分。
Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。
二、Kafka的特点
Apache Kafka与传统消息系统相比,有以下不同:
- 它将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序。
- 它被设计为一个分布式系统,易于向外扩展;
- 它同时为发布和订阅提供高吞吐量;
- 它支持多订阅者,当失败时能自动平衡消费者;
三、Kafka几个主要的概念
概念 | 解释 |
---|---|
Broker | 节点,一个Broker代表是一个Kafka实例节点,多个Broker可以组成Kafka集群 |
Topic | 主题,等同于消息系统中的队列(queue),一个Topic中存在多个Partition |
Partition | 分区,构成Kafk |