Kafka的基本架构
producter(生产者):
同一类消息push到一个topic里面,
topic(主题):
存放同一类型的消息
partition(分区):
一个topic分放到不同的节点下,且产生副本,里面含有都哦个segment
1.segment:
一个partition文件里面含有把多个segment文件
一个segment文件里面含有以 .index 和 .log文件
a).index文件
里面存放的是.log文件的索引值
用来查找.log里面的数据
index文件每隔一段距离,记录一次数据的offset索引值
b).log文件:
消费者产生的真实的数据。一个.log文件达到1GB就会产生一个新的segment
replica(副本):
partition 的副本,保障 partition 的高可用。
consumer(消费者):
从 kafka 集群中消费消息的终端或服务(以topic为单位)。
消费到哪一条数据offset(数据的偏移量)来进行记录;每一条数据有唯一的offset
.log文件的寻址机制
折半查找法,先确认是在哪个segment,再根据index文件查找