Kafka的基本架构

本文深入解析Kafka的架构,包括生产者、主题、分区、副本和消费者的运作机制,以及.log和.index文件的角色,阐述了其高效的数据管理和寻址机制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

producter(生产者):

		同一类消息push到一个topic里面,

topic(主题):

	  存放同一类型的消息

partition(分区):

	一个topic分放到不同的节点下,且产生副本,里面含有都哦个segment

1.segment:

	一个partition文件里面含有把多个segment文件		
	一个segment文件里面含有以 .index 和 .log文件

a).index文件

	里面存放的是.log文件的索引值
	用来查找.log里面的数据
	index文件每隔一段距离,记录一次数据的offset索引值

b).log文件:

	消费者产生的真实的数据。一个.log文件达到1GB就会产生一个新的segment		

replica(副本):

	partition 的副本,保障 partition 的高可用。		

consumer(消费者):

	从 kafka 集群中消费消息的终端或服务(以topic为单位)。
	消费到哪一条数据offset(数据的偏移量)来进行记录;每一条数据有唯一的offset	  			

.log文件的寻址机制

	折半查找法,先确认是在哪个segment,再根据index文件查找 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值