我的架构梦:(八十八)消息中间件之Kafka基于磁盘存储为啥这么快?

本文探讨了Kafka如何实现基于磁盘存储的高性能,重点介绍了零拷贝技术和页缓存的作用。Kafka利用零拷贝减少数据在内存间的复制,通过sendfile和mmap提高数据传输效率。同时,页缓存的使用减少了磁盘I/O操作,提升读写速度。顺序写入策略进一步优化了磁盘性能,使得Kafka在磁盘存储上仍能保持高吞吐和低延迟。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

欢迎大家关注我的公众号【老周聊架构】,Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。

一、前言

各位读者朋友们,博主给大家拜年了。因为在写这篇文章的时候正是2021年的除夕夜,刚和家人吃完年夜饭,去睡之前,想着脑海里还有个问题困惑着我。这个问题是什么呢?没错,就是本篇的标题:Kafka基于磁盘存储为啥这么快?

Kafka基于磁盘存储,却具有高性能、高吞吐、低延时的特点,其吞吐量动辄几十上百万。小伙伴们是否也有和我一样的困惑?磁盘存储io相对于内存来说不是很慢吗?那Kafka怎么会有如此高的性能呢!!!

kafka高性能,是多方面协同的结果,包括宏观架构分布式partition存储ISR数据同步、以及“无所不用其极”的高效利用磁盘、操作系统特性

别急,跟着博主一起来探究竟。

二、零拷贝

零拷贝并不是不需要拷贝,而是减少不必要的拷贝次数。通常是说在IO读写过程中。

nginx的高性能也有零拷贝的身影。

1、传统IO

比如:读取文件,socket发送。

传统方式实现:先读取、再发送,实际经过1~4四次copy。

buffer
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老周聊架构

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值