RocketMQ存储设计CommitLog和零拷贝等

最新推荐文章于 2025-03-27 00:10:34 发布

原创

最新推荐文章于 2025-03-27 00:10:34 发布 · 737 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#java-rocketmq #rocketmq #java #后端 #面试

1.RocketMQ消息存储结构

RocketMQ支持消息的持久化，所以对消息可以基于文件进行存储。

1.1 存储文件

     - commitLog：消息存储的目录。
     - config：运行期间的一些配置信息。
     - consumequeue：消息队列的存储目录。
     - index：消息索引文件存储目录。
     - abort：RocketMQ的Broker非正常关闭产生的错误文件。
     - checkpoint：文件检查点，存储commitLog文件最后一次刷盘的时间、consumerqueue最后一次刷盘时间等等。

1.2 消息的存储结构

在这里插入图片描述

1.2.1 CommitLog

CommitLog是以物理文件的方式进行存放，每一台Broker节点上的CommitLog被所有的ConsumerQueue共享。在CommitLog中，每一个消息的长度是不固定的。CommitLog里面不同Topic消息通过磁盘顺序写进行存储。
CommitLog文件大小默认是1GB，也可以支持配置。每台Broker只会往一个CommitLog文件中顺序写，写完一个接着写另一个。
IndexFile和ConsumerQueue都有消息对应的物理偏移量，通过偏移量就可以得到消息的具体在哪个CommitLog中的位置。
CommitLog的特点是：顺序写，随机读。