mq选型：rocketMq和kafka对比

最新推荐文章于 2025-05-28 11:00:18 发布
最新推荐文章于 2025-05-28 11:00:18 发布
阅读量1.8k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
文章标签： mq java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangdx001/article/details/107532495
本文对比了RocketMQ和Kafka在消息队列选型中的优劣势，详细探讨了Kafka的高性能源于其顺序写入、Memory Mapped Files、Zero Copy和批量压缩技术。RocketMQ的高性能则依赖于顺序写入、随机读优化以及其特有的消费模型。Kafka的吞吐量更高，但可能牺牲可靠性；RocketMQ在topic数量较多时表现更优，适合复杂业务场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为什么在RocketMQ和kafka中选型

在单机同步发送的场景下，Kafka>RocketMQ，Kafka的吞吐量高达17.3w/s，RocketMQ吞吐量在11.6w/s。

kafka高性能原因

生产者

Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafak采用了两个技术，顺序写入和MMFile。

顺序写入

因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。所以硬盘最“讨厌”随机I/O，最喜欢顺序I/O。为了提高读写硬盘的速度，Kafka就是使用顺序I/O。

收到消息后Kafka会把数据插入到文件末尾。这种方法有一个缺陷——没有办法删除数据，所以Kafka是不会删除数据的，它会把所有的数据都保留下来，每个消费者（Consumer）对每个Topic都有一个offset用来表示读取到了第几条数据。

Memory Mapped Files

Kafka的数据并不是实时的写入硬盘，它充分利用了现代操作系统分页存储来利用内存提高I/O效率。

Memory Mapped Files也被翻译成内存映射文件，在64位操作系统中一般可以表示20G的数据文件，它的工作原理是直接利用操作系统的Page来实现文件到物理内存的直接映射。完成映射之后你对物理内存的操作会被同步到硬盘上（操作系统在适当的时候）。

这种方法也有一个很明显的缺陷——不可靠，写到mmap中的数据并没有被真正的写到硬盘，操作系统会在程序主动调用flush的时候才把数据真正的写到硬盘。Kafka提供了一个参数——p

最低0.47元/天 解锁文章
消息队列选型：RocketMQ vs Kafka
DeoSql的博客
09-19 241
Kafka还有许多第三方工具和库的支持，如Kafka Connect和Kafka Streams，可以方便地集成到现有的数据处理和分析流程中。如果您更关注消息的过滤、定时投递和顺序性等特性，以及与阿里巴巴产品和技术的集成，那么RocketMQ是一个不错的选择。如果您更关注高吞吐量、低延迟和持久化存储，以及与现有的大数据处理流程的集成，那么Kafka可能更适合您的需求。RocketMQ和Kafka都是强大而成熟的消息队列系统，它们在架构设计、性能和生态系统方面都有各自的优势。
招行面试：RocketMQ、Kafka、RabbitMQ，如何选型？
架构师尼恩
01-07 1714
只要按照上面的 尼恩团队梳理的 方案去作答， 你的答案不是 100分，而是 120分。面试官一定是 心满意足， 五体投地。按照尼恩的梳理，进行 深度回答，可以充分展示一下大家雄厚的 “技术肌肉”，让面试官爱到 “不能自已、口水直流”，然后实现”offer直提”。在面试之前，建议大家系统化的刷一波 5000页《尼恩Java面试宝典PDF》，里边有大量的大厂真题、面试难题、架构难题。很多小伙伴刷完后， 吊打面试官， 大厂横着走。在刷题过程中，如果有啥问题，大家可以来 找 40岁老架构师尼恩交流。
技术选型：RocketMQ or Kafka
X_January的博客
10-15 895
当业务需要系统间调用解耦时，MQ 是一个很好的方案，目前选择最多的当属Kafka和阿里的RocketMQ, 两种中间件都可以使用，都是备选方案，摆在面前，怎么选择？ 一.方法论-评估和选择备选方案的方法 按优先级选择，即架构师综合当前的业务发展情况、团队人员规模和技能、业务发展预测等因素，将质量属性按照优先级排序，首先挑选满足第一优先级的，如果方案都满足，那就再看第二优先级……以此类推。 二.RocketMQ和Kafka到底有什么区别 1、适用场景 kafka适合做日志处理 rocketmq适.
RocketMQ和Kafka应用场景与选型
joely1的专栏
07-03 2088
1、适用场景 kafka适合日志处理 rocketmq适合业务处理 结论：两者没有区别，根据具体业务定夺 2、性能 kafka单机写入TPS号称在百万条/秒 rocketmq大约在10万条/秒 结论：追求性能方面，kafka单机性能更高 3、可靠性 kafka使用异步刷盘方式，异步Replication rocketmq支持异步/同步刷盘，异步/同步Replication 结论：rocketmq所支持的同步方式提升了数据的可靠性 4、实时性 kafka和rocketmq均支持pull长轮询，rocketmq
RocketMQ与Kafka对比分析
最新发布
走过冬季
05-28 491
两者均为优秀消息中间件，Kafka 胜在吞吐量和生态成熟度，适合大数据和流处理；RocketMQ 强在可靠性和功能完备性，适合交易和金融场景。实际选型需结合业务需求、技术栈和运维成本综合评估。
常用mq对比及rocketmq、kafka选型
weixin_34212762的博客
10-11 353
一、常用MQ对比上述来自CSDN搜索博客中的图片。上述来自阿里云栖社区搜索博客中的图片。二、rocket、kafka选型（以下汉字内容是从下述各个网站中摘取出的个人认为的重点内容。）1、Kafka vs RocketMQ ——消息及时性对比https://yq.aliyun.com/articles/62836在Kafka里面，Maser/Slave是选举出来的！！！Rock...
消息队列技术选型（Kafka + RocketMQ）
司马懿的西山居
12-27 1571
当业务需要系统间调用解耦时，MQ是一个很好的解决方案。目前选择最多的当属Kafka和阿里的RocketMQ。备注：TPS：Transaction Per Second，每秒事务处理量。
消息队列原理和选型：RabbitMQ、Kafka、RocketMQ和ActiveMQ
飞楼踏梦
02-26 2981
RabbitMQ、Kafka、RocketMQ和ActiveMQ，肝了我一个月，原理是什么，如何选型，本文会告诉你答案。 往期精选： 如何看待程序员35岁职业危机？ Java全套学习资料（14W字），耗时半年整理 消息队列：从选型到原理，一文带你全部掌握 MySQL：资料大放送，告诉你如何学习MySQL 我肝了三个月，为你写出了GO核心手册 更多... 消息队列中间件重要吗？面试必问问题之一，你说重不重要。我有时会问同事，为啥你用Rabb...
消息中间件（RocketMQ、Kafka、RabbitMQ）：选型全攻略
weinichendian的博客
05-09 558
消息中间件（MQ）在系统开发中扮演着至关重要的角色，特别是在解决模块间强耦合、任务处理效率低及流量高峰期系统崩溃等问题上。本文深度剖析了MQ的选型、实战应用及避坑指南，帮助开发者轻松驾驭分布式系统开发。文章首先介绍了MQ的三大价值：解耦、异步和削峰填谷，接着对比了三大主流MQ（RocketMQ、Kafka、RabbitMQ）的性能和适用场景，并提供了选型建议。此外，文章还探讨了MQ在电商系统、日志收集和实时计算等场景中的实际应用，并分享了使用规范、运维监控和性能优化等方面的避坑指南。最后，文章强调了MQ作为
深度分析Kafka与RocketMQ：定义、优缺点、使用场景及选型指南
weixin_48313678的博客
06-23 3177
Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发，并于2011年开源。Kafka的设计初衷是用于高吞吐量、低延迟的数据流处理和实时数据管道。Kafka的核心组件包括生产者、消费者、主题和分区。Apache RocketMQ是由阿里巴巴开发的一款分布式消息中间件，2016年捐赠给Apache基金会。RocketMQ的设计目标是高可靠性、高性能和高可用性，支持分布式事务和顺序消息等高级特性。RocketMQ的核心组件包括生产者、消费者、主题和队列。
kafka开发和rocketmq消息技术文档
12-20
kafka开发和rocketmq消息技术文档 官方文档 带书签 分布式消息
消息队列选型（RabbitMq、RocketMq、Kafaka）
简单简单小白
04-19 1598
当引入消息队列时，常见的选择包括ActiveMQ、Kafka、RabbitMQ和RocketMQ。然而，近年来，ActiveMQ的活跃度已经下降，很多公司已经不再使用这款消息队列中间件，因此在比较中不再涉及该产品。其实如果一般来说你业务使用mq，对消息的安全性要求较高，选择RocketMq；如果对于一些使用mq数据量比较大的场景，比如日志相关的，对消息的丢失要求不高的情况下，选择kafaka。
MODBUS协议
w0131的博客
09-30 1176
Modbus协议 1.协议简介 Modbus协议是应用于电子控制器上的一种通用语言。通过此协议，控制器互相之间。控制器经网络（例如以太网）和其他设备之间可以通信。 此协议定义了一个控制器能认识使用的消息结构，而不管他们是经过任何网络进行通信的。它制定了消息域格局和内容的公共格式。 当在Modbus网络上通信时，此协议决定了每个控制器须要知道他们的设备地址，识别按地址发来的消息，决定要产生何种行动。若在其他网络上，包含了Modbus协议的消息转换为在此网络上使用的帧或包结构。 Modbus协议是一项
RabbitMQ、Kafka、RocketMQ正确选型姿势【消息中间件篇】
b_just的博客
07-06 919
大家想一想在你们平时开发的系统里面有没有这种情况，就是你们系统会调用到第三方接口服务，而且这个接口服务是在你流程里面进行同步调用的，这个时候你们的系统性能是直接和第三方接口服务挂钩的，也就是第三方接口服务性能的好坏直接影响到你自己的系统。 我想大部分人都遇到过这样的系统调用吧，我们公司也经常遇到，合作商给的接口，就直接同步调用了，上个月我们有一个第三方接，开始组员调研时没太仔细，以为对于我们业务影响不是太大，就采用了直接同步调用，以至于线上运行两周后内存增长迅速，性能吞吐量逐渐下降，后来发现是因为三方接口
消息队列Kafka、RocketMQ、RabbitMQ的优劣势、技术应用及选择
jjc4261的博客
03-08 1037
号称大数据的杀手锏，谈到大数据领域内的消息传输，则绕不开Kafka，这款为大数据而生的消息中间件，以其百万级TPS的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输，适合产生大量数据的互联网服务的数据收集业务。天生为金融互联网领域而生，对于可靠性要求很高的场景，尤其是电商里面的订单扣款，以及业务削峰，在大量交易涌入时，后端可能无法及时处理的情况。
「RocketMQ技术专题」帮你梳理RocketMQ/Kafka的选择理由及二者PK
wdj_yyds的博客
03-16 3081
前提背景 大家都知道，市面上有许多开源的MQ，例如，RocketMQ、Kafka、RabbitMQ等等，现在Pulsar也开始发光，今天我们谈谈笔者最常用的RocketMQ和Kafka，想必大家早就知道二者之间的特点以及区别，但是在实际场景中，二者的选取有可能会范迷惑，那么今天笔者就带领大家分析一下二者之间的区别，以及选取标准吧！ 架构对比 RocketMQ的架构 RocketMQ由NameServer、Broker、Consumer、Producer组成，NameServer之间互不通信，Brok
MQ选型：ActiveMQ、RocketMQ、RabbitMQ、Kafka对比
热门推荐
老树的技术博客
04-21 2万+
关于ActiveMQ、RocketMQ、RabbitMQ、Kafka一些总结和区别 本文大概围绕如下几点进行阐述: 为什么使用消息队列？ 使用消息队列有什么缺点? 消息队列如何选型? 如何保证消息队列是高可用的？ 如何保证消息不被重复消费? 如何保证消费的可靠性传输? 如何保证消息的顺序性？ 我们围绕以上七点进行阐述。需要说明一下，本文不是《消息队列从入门到精通》这种课程，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值