RocketMQ-Dledger高可用集群搭建

最新推荐文章于 2025-06-12 01:19:54 发布
置顶 最新推荐文章于 2025-06-12 01:19:54 发布
阅读量3.1k 收藏 11
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 中间件 文章标签： java 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22937623/article/details/106972126
本文详细介绍如何使用DLedger构建RocketMQ集群，包括下载、配置和启动过程。通过三台服务器配置，实现主从切换，确保消息系统的高可用性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RocketMQ-Dledger集群搭建


构建集群需要至少3台服务器

构建安装DLedger

  1. git clone https://github.com/openmessaging/openmessaging-storage-dledger.git
  2. cd openmessaging-storage-dledger
  3. mvn clean install -DskipTests

下载RocketMQ

  1. 从 https://github.com/apache/rocketmq/releases 这里下载需要的RocketMQ版本

  2. unzip rocketmq-all-4.7.0-source-release.zip

  3. cd rocketmq-all-4.7.0/

  4. mvn -Prelease-all -DskipTests clean install -U

  5. cd distribution/target/rocketmq-4.7.0/rocketmq-4.7.0

    可以将该文件拷出

    cp rocketmq-all-4.7.0/distribution/target/rocketmq-4.7.0/rocketmq-4.7.0 /opt/rocketmq-4.7.0

修改配置文件

服务器说明：(生产中应该将 NameServer 部署到其他服务器中，在这为了方便，与Broker部署在一起)

服务器ip安装的服务
服务器1-主192.168.56.102DLedger，Broker，NameServer
服务器2-从192.168.56.103DLedger，Broker，NameServer
服务器3-从192.168.56.104DLedger，Broker，NameServer

服务器1配置-Master

  1. vim conf/dledger/broker-n0.conf
  2. 修改Broker配置
## 集群名
brokerClusterName = RaftCluster
## broker组名，同一个RaftClusterGroup内，brokerName名要一样
brokerName=RaftNode00
## 监听的端口
listenPort=30911
## 你设置的NameServer地址和端口
namesrvAddr=192.168.56.102:9876;192.168.56.103:9876;192.168.56.104:9876
storePathRootDir=/tmp/rmqstore/node00
storePathCommitLog=/tmp/rmqstore/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
## n0 n1 n2 分别是broker1,broker2,broker3 的 dLegerSelfId
## 例如：dLegerPeers=n0-服务器1的IP:40911;n1-服务器2的IP:40912;n2-服务器3的IP:40913
dLegerPeers=n0-192.168.56.102:40911;n1-192.168.56.103:40912;n2-192.168.56.104:40913
## must be unique
## 这个值必须是在同一个RaftClusterGroup内唯一的
dLegerSelfId=n0
sendMessageThreadPoolNums=16
## 由于我的虚拟机配置了多个网卡，所以会绑定ip错误，因此我配置了这项，
brokerIP1=192.168.56.102

​ 其他配置与详细说明：Broker 配置

服务器2配置-Slave

  1. vim conf/dledger/broker-n1.conf
  2. 修改Broker配置
brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30921
namesrvAddr=192.168.56.102:9876;192.168.56.103:9876;192.168.56.104:9876
storePathRootDir=/tmp/rmqstore/node01
storePathCommitLog=/tmp/rmqstore/node01/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-192.168.56.102:40911;n1-192.168.56.103:40912;n2-192.168.56.104:40913
## must be unique
dLegerSelfId=n1
sendMessageThreadPoolNums=16
brokerIP1=192.168.56.103

服务器3配置-Slave

  1. vim conf/dledger/broker-n2.conf
  2. 修改Broker配置
brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30931
namesrvAddr=192.168.56.102:9876;192.168.56.103:9876;192.168.56.104:9876
storePathRootDir=/tmp/rmqstore/node02
storePathCommitLog=/tmp/rmqstore/node02/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-192.168.56.102:40911;n1-192.168.56.103:40912;n2-192.168.56.104:40913
## must be unique
dLegerSelfId=n2
sendMessageThreadPoolNums=16
brokerIP1=192.168.56.104

启动集群

  1. 在服务器1 执行
nohup sh bin/mqnamesrv > nohubNameserv &
nohup sh bin/mqbroker  > nohubBroker -c conf/dledger/broker-n0.conf &
  1. 在服务器2 执行
nohup sh bin/mqnamesrv > nohubNameserv &
nohup sh bin/mqbroker  > nohubBroker -c conf/dledger/broker-n1.conf &
  1. 在服务器3 执行
nohup sh bin/mqnamesrv > nohubNameserv &
nohup sh bin/mqbroker  > nohubBroker -c conf/dledger/broker-n2.conf &

查看集群情况

sh bin/mqadmin clusterList -n 127.0.0.1:9876

[root@localhost rocketmq-4.7.1]# sh bin/mqadmin clusterList -n 127.0.0.1:9876
RocketMQLog:WARN No appenders could be found for logger (io.netty.util.internal.PlatformDependent0).
RocketMQLog:WARN Please initialize the logger system properly.
#Cluster Name     #Broker Name            #BID  #Addr                  #Version                #InTPS(LOAD)       #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
RaftCluster       RaftNode00              0     192.168.56.102:30911   V4_7_1                   0.00(0,0ms)         0.00(0,0ms)          0 442545.08 -1.0000
RaftCluster       RaftNode00              2     192.168.56.103:30921   V4_7_1                   0.00(0,0ms)         0.00(0,0ms)          0 442545.08 -1.0000
RaftCluster       RaftNode00              3     192.168.56.104:30931   V4_7_1                   0.00(0,0ms)         0.00(0,0ms)          0 442545.08 -1.0000

BID 为 0 的是Master

kill 主broker 并再次查看集群情况

sh bin/mqshutdown broker

sh bin/mqadmin clusterList -n 127.0.0.1:9876

[root@localhost rocketmq-4.7.1]# sh bin/mqadmin clusterList -n 127.0.0.1:9876
RocketMQLog:WARN No appenders could be found for logger (io.netty.util.internal.PlatformDependent0).
RocketMQLog:WARN Please initialize the logger system properly.
#Cluster Name     #Broker Name            #BID  #Addr                  #Version                #InTPS(LOAD)       #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
RaftCluster       RaftNode00              0     192.168.56.104:30931   V4_7_1                   0.00(0,0ms)         0.00(0,0ms)          0 442545.18 -1.0000
RaftCluster       RaftNode00              2     192.168.56.103:30921   V4_7_1                   0.00(0,0ms)         0.00(0,0ms)          0 442545.18 -1.0000

Master切换成功

备注

Broker 配置

参考文档：

参数名默认值说明
listenPort10911接受客户端连接的监听端口
namesrvAddrnullnameServer 地址
brokerIP1网卡的 InetAddress当前 broker 监听的 IP
brokerIP2跟 brokerIP1 一样存在主从 broker 时，如果在 broker 主节点上配置了 brokerIP2 属性，broker 从节点会连接主节点配置的 brokerIP2 进行同步
brokerNamenullbroker 的名称
brokerClusterNameDefaultCluster本 broker 所属的 Cluser 名称
brokerId0broker id, 0 表示 master, 其他的正整数表示 slave
storePathCommitLog$HOME/store/commitlog/存储 commit log 的路径
storePathConsumerQueue$HOME/store/consumequeue/存储 consume queue 的路径
mappedFileSizeCommitLog1024 * 1024 * 1024(1G)commit log 的映射文件大小
deleteWhen04在每天的什么时间删除已经超过文件保留时间的 commit log
fileReservedTime72以小时计算的文件保留时间
brokerRoleASYNC_MASTERSYNC_MASTER/ASYNC_MASTER/SLAVE
flushDiskTypeASYNC_FLUSHSYNC_FLUSH/ASYNC_FLUSH SYNC_FLUSH 模式下的 broker 保证在收到确认生产者之前将消息刷盘。ASYNC_FLUSH 模式下的 broker 则利用刷盘一组消息的模式，可以取得更好的性能。
enableDLegerCommitLog是否启动 DLedgertrue
dLegerGroupDLedger Raft Group的名字，建议和 brokerName 保持一致RaftNode00
dLegerPeersDLedger Group 内各节点的端口信息，同一个 Group 内的各个节点配置必须要保证一致n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913
dLegerSelfId节点 id, 必须属于 dLegerPeers 中的一个；同 Group 内各个节点要唯一n0
sendMessageThreadPoolNums发送线程个数，建议配置成 Cpu 核数16

启动内存不够

修改 bin/runbroker.sh 和 bin/runserver.sh 中的

JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g

将参数调低 （可以改为别的值）

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m"

报连接超时

查看防火墙服务状态 systemctl status firewalld

将防火墙关闭 systemctl stop firewalld

Dledger部署RocketMQ高可用集群（9节点集群）
我是Java程序员廖志伟，感谢朋友们的支持！不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作，坚决杜绝粗制乱造。
02-27 1076
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
RocketMQ-RocketMQ集群实践(搭建)
weixin_43874650的博客
12-03 1393
而且更严重的是，如果服务器出现了问题，比如磁盘坏了，那么存储在磁盘上的数据就会丢失。指令另一部分节点作为Slave节点，负责备份Master节点上的数据，这样，当Master节点出现故障时，在Slave节点上可以保留有数据备份，至少保证数据不会丢失。​ 为了便于观察，我们这次搭建一个2主2从的RocketMQ集群，并将主节点和节点都分别部署在不同的服务器上。我们这次采用2m-2s-async的方式搭建集群，需要在worker2和worker3上修改这个文件夹下的配置文件。这种集群存在单点故障。
RocketMQ - 高可用设计
yang的博客
05-31 1320
计算机系统的可用性用平均无故障时间来度量，系统的可用性越高，则平均无故障时间越长。
第三章 搭建RocketMQ （Deldger集群）
yaw的博客
04-15 4140
第三章 搭建RocketMQ （Deldger集群）
RocketMQ集群高级特性
最新发布
weixin_58611042的博客
06-12 643
RocketMQ提供的Dledger虽然确实增加了集群的高可用，但是他是把集群选举和同步日志都一起完成的。当有多数节点共同保存了 Entry 后，就可以执行 Entry 中的客户端执行，提交到State Machine 状态机中。在一个Server集群中，数据写入到Server集群中的一个节点，然后希望从集群中任何一个节点都能读到写入的数据，这种问题就称为分布式数据一致性问题。注意，是保证Entry顺序一致，而不是保证Entry不丢失（但是主节点有的从节点也会有，丢失是发生在主节点上的），这是两个概念。
RocketMQ Dledger 模式集群搭建
m0_49962289的博客
03-17 8031
Deledger 集群模式是多副本模式，每个Master配置二个 Slave 组成 Dledger Group，可以有多个 Dledger Group，由 Dledger 实现 Master 选举，具体定义的时候核心在于ID。 考虑到可维护性的特点，本次Broker集群采用的是DLeger多副本模式，这样就需要用过Broker配置文件的方式定义每一个DLegerGroup，再每一个DLegerGroup 中必须存在有三个Broker节点，这样就需要为每一个节点设置一个ID标记，并且通过此标记来绑定与之相关
Dledger模式rocketMq高可用集群
comezhouyi的博客
08-10 512
docker-compose搭建dledger模式rocketmq高可用集群
RocketMQ 整合 DLedger(多副本)即主从切换实现平滑升级的设计技巧
中间件兴趣圈
10-03 7330
源码分析 RocketMQ DLedger 多副本系列已经进行到第 8 篇了，前面的章节主要是介绍了基于 raft 协议的选主与日志复制，从本篇开始将开始关注如何将 DLedger 应用到 RocketMQ中。 摘要：详细分析了RocketMQ DLedger 多副本(主从切换) 是如何整合到 RocketMQ中，本文的行文思路首先结合已掌握的DLedger 多副本相关的知识初步思考其实现思路，...
RocketMQ 高可用架构原理
杨宇昌的博客
04-27 2439
RocketMQ 高可用架构 主从同步、故障转移
【消息中间件】RocketMQ快速实战指南与集群架构解析：从安装到高可用集群搭建
04-03
重点讲解了NameServer、Broker、Producer和Consumer等核心组件的功能与配置，并深入探讨了消息转发模型、集群搭建及优化、以及Dledger高可用集群的实现。最后，文档还简要介绍了RocketMQ的消息模型和关键概念，为...
RocketMQ集群搭建：基于DLedger的主备切换
qq_40230026的博客
02-16 2377
文章目录1：RocketMQ 的 DLedger 介绍1.1：引子1.2：DLedger 的作用1.3：DLedger 的选举的注意点2：基于DLedger的主备切换集群搭建2.1：机器准备2.2：四台机器启动 NameServer2.3：配置 rocketmq-151 的配置文件（主）2.4：配置 rocketmq-152 的配置文件（备）2.4：配置 rocketmq-153 的配置文件（备）2.5：配置 rocketmq-154 的配置文件（备）3：启动控制台，查看集群情况4：测试选主 1：Rocke
五、RocketMq本地集群搭建：Dledger方式
java coding girl
09-02 514
此处只用作本地模拟集群，只用一个rocketmq。启动三个broker。
RocketMQ DLedger 多副本即主从切换配置
IT匠人的专栏
04-16 1377
0、快速配置 背景补充 我是基于现有测试环境下3主3从的异步复制的集群下进行配置的。 没有过多考虑配置变更后rocketmq消息数据的一致性问题。建议在安装部署时就按改方案进行。 配置过程 为了完成这次配置看了好多资料，但是并没有任何一篇技术文档提供“傻瓜式配置”和注意事项，所以为了弄清楚一些概念和验证一些配置的必要性上花了较长的时间，最后回过头来看就是那么几个步骤： 1、 关闭需要配...
Dledger-RocketMQ 基于Raft协议的commitlog存储库
java开发郭靖
02-27 2233
1.2 Master/Slave 多副本最早的是Master/Slave架构，即简单地用Slave去同步Master的数据，RocketMQ最早也是这种实现。分为同步模式（Sync Mode）和异步模式（Async Mode），区别就是Master是否等数据同步到Slave之后再返回Client。这两种方式目前在RocketMQ社区广泛使用的版本中都有支持，原理图如下图1所示。 图1 Maste...
源码分析 RocketMQ DLedger 多副本即主从切换实现原理
notOnlyRush的博客
01-07 1265
原文：https://juejin.im/post/5db837186fb9a0204c5c36bb DLedger 基于 raft 协议，故天然支持主从切换，即主节点(Leader)发生故障，会重新触发选主，在集群内再选举出新的主节点。 RocketMQ 中主从同步，从节点不仅会从主节点同步数据，也会同步元数据，包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信...
源码分析 RocketMQ DLedger 多副本存储实现，泛微网络java面试题
m0_69379830的博客
04-10 679
前言 俗话说“生于忧患，死于安乐”，其实大部分中年危机，就是在安乐中产生的。 有的人或许会反驳，“照你这么说，我还必须奋斗了，不奋斗就要死，难道选择安逸的生活就不对吗？我就没有选择自己生活方式的权利吗？” 说这句话的人其实有一些误解，误解就在于，安逸的生活并不等于不需要奋斗，这要看你的家底。 某聪如果说要选择安逸的生活，他可以很安逸，因为他有了安逸的资本，而大部分的你，并没有这个资本，你如果过早的选择了安逸的生活，那么结局往往会很悲惨，而你能做的，最多也就是让你的后代有选择安逸的资本。 而你，并没有这个选择
源码分析 RocketMQ DLedger 多副本即主从切换实现原理，java开发数据库面试题
m0_65485530的博客
12-27 396
1、BrokerController 中与主从相关的方法详解 本节先对 BrokerController 中与主从切换相关的方法。 1.1 startProcessorByHa BrokerController#startProcessorByHa private void startProcessorByHa(BrokerRole role) { if (BrokerRole.SLAVE != role) { if (this.transactionalMessageCheckService != nu
RocketMQ-Dledger高可用集群，为什么是高可用？
12-16 1213
Dledger高可用集群，为什么说是高可用的？一文简要说明和如何搭建服务。
docker安装rocketmq集群(Dleger模式)
lzjgg0_0的博客
12-07 2598
rocketmq集群之Dleger模式
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值