RocketMQ高级特性二-消息重试与流控

StaticKing

已于 2024-09-02 18:05:00 修改

阅读量967

点赞数 27

分类专栏： RocketMQ 文章标签： rocketmq java java-rocketmq

于 2024-09-02 17:53:23 首次发布

本文链接：https://blog.csdn.net/StaticKing/article/details/141750962

版权

前言

本章将基于RocketMQ的高级特性消费者负载均衡、消费进度管理、消费重试、消息存储和清理机制四大方面进行讲解。注：部分图片及信息来源于Apache

消息发送重试和流控机制

定义

消息发送重试：当消息发送失败时，客户端（Producer）会自动尝试重新发送消息，以确保消息最终能够成功送达Broker。
流控机制：在高并发情况下，RocketMQ通过限制消息发送速率和并发量，防止系统过载，确保系统的稳定性和可靠性。

使用场景

消息发送重试：
- 网络不稳定或临时故障导致消息发送失败时，确保消息不丢失。
- Broker临时不可用或负载过高时，自动重试发送消息以提高消息传递的成功率。
流控机制：
- 高并发环境下，防止消息发送速率过快导致Broker或网络资源耗尽。
- 保护系统在负载高峰期仍能稳定运行，避免因资源不足引发系统故障。

原理机制

消息发送重试

RocketMQ的消息发送重试机制主要由生产者（Producer）端实现。当发送消息失败时，Producer会根据配置的重试次数自动重试发送消息。

内置重试机制：

retryTimesWhenSendFailed：配置生产者在发送失败时的重试次数，默认为2次。
retryAnotherBrokerWhenNotStoreOK：当发送消息到指定Broker失败时，是否尝试发送到其他Broker。
异步发送失败的回调：在异步发送模式下，可以通过回调函数处理发送失败的情况。

重试策略：

RocketMQ的内置重试机制主要是同步地进行有限次数的重试，通常是固定间隔重试。RocketMQ并不直接支持复杂的重试策略（如指数退避等），但用户可以通过自定义实现来扩展重试逻辑。

重试策略

为了提高消息发送的可靠性和效率，用户可以根据需求自定义不同的重试策略。常见的重试策略包括：

固定间隔重试：每次重试之间保持固定的时间间隔。
指数退避重试：每次重试的间隔时间按指数级增长，逐渐增加等待时间，减少系统负载。
抖动重试：在重试间隔中添加随机性，防止大规模的并发重试请求导致的系统压力。
条件重试：根据失败原因决定是否重试，例如只对网络异常或临时故障进行重试，而对逻辑错误则不重试。

流控机制

RocketMQ的流控机制主要通过以下方式实现：

信号量控制：使用信号量限制并发发送请求的数量，当并发请求数达到上限时，生产者会阻塞或抛出异常。
限速：限制消息发送的速率，确保在高负载情况下不会超过系统的承载能力。

优缺点

消息发送重试
- 优点：
  - 提高消息发送的可靠性，确保消息能够最终送达Broker。
  - 处理临时的网络或Broker故障，减少消息丢失的可能性。
- 缺点：
  - 重试次数过多可能导致消息顺序混乱，尤其是在顺序消息场景下。
  - 增加网络负担，特别是在高重试次数配置下，可能导致系统资源消耗增加。
流控机制
- 优点：
  - 保护Broker和网络资源，防止过载，确保系统稳定性。
  - 通过控制发送速率，避免在高负载情况下发生系统崩溃。
- 缺点：
  - 流控可能导致消息发送延迟增加，影响消息的实时性。
  - 需要根据系统负载合理配置流控参数，调优难度较大。

Java 代码示例

消息发送重试

使用RocketMQ内置重试机制：

以下示例展示了如何配置RocketMQ生产者的内置重试机制，包括设置重试次数和是否在失败时切换Broker。

import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;

public class RocketMQProducerRetryExample {
    public static void main(String[] args) throws MQClientException, InterruptedException {
        // 创建生产者实例并设置组名
        DefaultMQProducer producer = new DefaultMQProducer("producer_group");
        producer.setNamesrvAddr("localhost:9876");
        
        // 配置重试次数
        producer.setRetryTimesWhenSendFailed(3);  // 设置重试次数为3次
        producer.setRetryAnotherBrokerWhenNotStoreOK(true); // 发送失败时是否重试到其他Broker
        
        // 启动生产者
        producer.start();
        
        // 创建消息实例

最低0.47元/天解锁文章