springboot使用redis实现消息队列功能,redis使用list和stream实现消息队列功能,redis实现消息队列的风险点分析

一、写在前面

消息队列的实现,主要有三个要点:

  • 消息保序:保证消息的顺序消费。
  • 重复消费:对重复消息的有效处理。
  • 消息可靠性:保证消息不会因为服务器宕机而消失。

对于以上三个要点,其实redis的list和stream是可以做到的。

但是很多小伙伴也会使用发布/订阅模式来实现redis的消息队列,这样真的好吗?

下面咱们就一起分析一下,list、stream、发布/订阅模式做消息队列的可行性。

二、基于list的消息队列解决方案

使用list实现消息队列其实有一些坑的,这里我们慢慢剖析里面的坑并加以改进。

使用list基本实现消息队列

List 本身就是按先进先出的顺序对数据进行存取的,所以,如果使用 List 作为消息队列保存消息的话,就已经能满足消息保序的需求了。

生产者可以使用 LPUSH 命令把要发送的消息依次写入 List,而消费者则可以使用 RPOP 命令,从 List 的另一端按照消息的写入顺序,依次读取消息并进行处理。

1.消费者使用while(true)不断的尝试获取消息。

while(true) {
   
    Object o = redisTemplate.opsForList().rightPop("list:topic");
    if(o != null){
   
        System.out.println(o);
    }
    System.out.println("消费者尝试获取消息");
}

2.生产者发送消息。

redisTemplate.opsForList().leftPush("list:topic", "我是订阅消息");

3.提出问题

在生产者往 List 中写入数据时,List 并不会主动地通知消费者有新消息写入,如果消费者想要及时处理消息,就需要在程序中不停地调用 RPOP 命令(比如使用一个 while(true) 循环)。如果有新消息写入,RPOP 命令就会返回结果,否则,RPOP 命令返回空值,再继续循环。

所以,即使没有新消息写入 List,消费者也要不停地调用 RPOP 命令,这就会导致消费者程序的 CPU 一直消耗在执行 RPOP 命令上,带来不必要的性能损失。

解决方案请继续往下看。

阻塞式消费,避免性能损失

Redis 提供了 BRPOP 命令。BRPOP 命令也称为阻塞式读取,客户端在没有读到队列数据时,自动阻塞,直到有新的数据写入队列,再开始读取新数据。和消费者程序自己不停地调用 RPOP 命令相比,这种方式能节省 CPU 开销。

1.消费者优化:

使用list阻塞式读取可以阻塞式读取list中的消息,避免while(true)不断的访问redis。

while(true) {
   
    // 阻塞3秒钟
    Object o = redisTemplate.opsForList().rightPop("list:topic", 3000, TimeUnit.MINUTES);
    if(o != null){
   
        System.out.println(o);
    }
    System.out.println("消费者尝试获取消息");
}

2.提出问题

使用while(true)总感觉并不是很优雅,有什么更好的方式可以替换while(true)呢?

解决方案请继续往下看。

替换while(true)

可以使用线程池来替换while(true)。

1.消费者优化

// 带有定时功能的线程池
ScheduledExecutorService scheduler =  Executors.newScheduledThreadPool(1);

ScheduledFuture<?> scheduleTask =  scheduler.scheduleWithFixedDelay(() -> {
   
    // 阻塞3秒钟
    Object o = redisTemplate.opsForList().rightPop("list:topic", 3, TimeUnit.SECONDS);
    if(o != null){
   
        System.out.println(o);
    }
    System.out.println("消费者尝试获取消息");
    System.out.println(Thread.currentThread().getName() + "111" + new Date());
}, 1, 1,  TimeUnit.SECONDS);//1秒初始化之后执行一次,以后每1秒执行一次(频率可以适当调节)

2.提出问题

list如何解决消息重复读取问题?

虽然说list只能读取一次,但是谁都无法保证生产者因为某种原因 会不会重复的生产相同的消息。

所以,基于redis的list,消费者只能自己本身来实现消息的幂等。

解决方案请继续往下看。

实现消息幂等

消息队列要能给每一个消息提供全局唯一的 ID 号;另一方面,消费者程序要把已经处理过的消息的 ID 号记录下来。

当收到一条消息后,消费者程序就可以对比收到的消息 ID 和记录的已处理过的消息 ID,来判断当前收到的消息有没有经过处理。如果已经处理过,那么,消费者程序就不再进行处理了。这种处理特性也称为幂等性,幂等性就是指,对于同一条消息,消费者收到一次的处理结果和收到多次的处理结果是一致的。

所以,该设计与redis本身无关,需要生产者与消费者达成一致协议,每一条消息生成一个唯一ID,用来判断重复消费问题。

保证消息可靠性

设想这样一个场景:
消费者收到消息之后,还没有处理完毕,消费者宕机了怎么办?

如果是Rabbitmq、Kafka这种消息队列,是有ack机制的,但是redis的list是没有这种机制的,怎么处理?

List 类型提供了 BRPOPLPUSH 命令,这个命令的作用是让消费者程序从一个 List 中读取消息,同时,Redis 会把这个消息再插入到另一个 List(可以叫作备份 List)留存。这样一来,如果消费者程序读了消息但没能正常处理,等它重启后,就可以从备份 List 中重新读取消息并进行处理了。

// 带有定时功能的线程池
ScheduledExecutorService scheduler =  Executors.newScheduledThreadPool(1);

ScheduledFuture<?> scheduleTask =  scheduler.scheduleWithFixedDelay(() -> {
   
    // 阻塞3秒钟,并生成备份
    Object o = redisTemplate.opsForList().rightPopAndLeftPush("list:topic", "list:topic:back",  3, TimeUnit.SECONDS);
    if(o != null){
   
        System.out.println(o);
    }
    System.out.println("消费者尝试获取消息");
    System.out.println(Thread.currentThread().getName() + "111" + new Date());
}, 1, 1,  TimeUnit.SECONDS);//1秒初始化之后执行一次,以后每1秒执行一次(频率可以适当调节)

但是以上要手动实现备份中哪些已经消费,哪些未被消费,实现起来还是比较麻烦的。。。

redis中有一种数据类型——stream,可以完美实现消息队列。

三、基于stream的消息队列解决方案(redis消息队列终极解决方案)

关于stream基本用法请移步:redis中stream数据结构使用详解——redis最适合做消息队列的数据结构

stream可以完美实现消息保序、自动生成消息唯一id、同时对消息的可靠性也有保障,提供了ack机制。

springboot使用stream实现消息队列

1.生产者不断生产消息

Random random = new Random();
Map<String, String> content = new HashMap<>();
content.put("id", "1");
content.put("name", "zhangsan");
content.put("age", String.valueOf(random.nextInt(1000)));
redisTemplate.opsForStream().add("stream:topic", content);

2.工具类

public String createGroup(String key, String group){
   
    return redisTemplate.opsForStream().createGroup(key, group);
}

public String addMap(String key, Map<String, String> value){
   
    return redisTemplate.opsForStream().add(key, value).getValue();
}

public String addRecord(Record<String, Object> record){
   
    return redisTemplate.opsForStream().add(record).getValue();
}

public Long ack(String key, String group, String... recordIds){
   
    return redisTemplate.opsForStream().acknowledge(key, group, recordIds);
}

public Long del(String key, String... recordIds){
   
    return redisTemplate.opsForStream().delete(key, recordIds);
}

3.创建消费者1

此处为了简化,直接使用匿名内部类定义了个bean,实际开发时可以单独定义一个类。

/**
 * 消费者A
 */
@Bean
public StreamListener consumer1(RedisStreamUtil redisStreamUtil){
   
    return new StreamListener<String, MapRecord<String, String, String>>() {
   
        @Override
        public void onMessage(MapRecord<String, String, String> message) {
   
            String stream = message.getStream();
            RecordId id = message.getId();
            Map<String, String> map = message.getValue();
            System.out.println
<think>好的,用户遇到了Git合并时本地更改会被覆盖的问题,需要解决方案。根据之前的引用资料,解决方法主要有commit、stashrevert三种。首先,我得确认用户的具体情况,比如他们的本地更改是否已经完成,是否需要保留,或者是否可以丢弃。用户可能不太清楚这三种方法的适用场景,需要详细解释每个选项的步骤优缺。比如,commit适用于需要保留更改的情况,stash适合临时保存以便后续恢复,而revert则是直接撤销更改,适用于不需要保留的情况。需要结构清晰,分说明,每个方法都给出操作步骤适用场景,帮助用户理解哪种情况最适合他们。还要注意使用中文,避免技术术语过于复杂,让用户容易理解。同时,生成相关问题,可能涉及如何恢复stash的内容,或者如何避免频繁冲突等,扩展用户的知识。另外,要确保LaTeX格式正确,但在这个问题中可能用不上数学公式,所以主要关注代码块引用标识。检查引用是否正确,比如引用[^1][^2]的来源是否相关,用户提供的引用内容是否准确对应解决方案。 最后,确保回答真实可靠,操作步骤准确无误,避免误导用户。可能还需要提醒用户根据具体情况选择方法,比如如果有未完成的实验性代码,stash可能是更好的选择,而如果是确定要保留的修改,则应该commit。</think>要解决Git合并时本地更改被覆盖的问题,可根据不同场景选择以下三种方法: ### 一、提交本地更改(commit) **适用场景**:当本地更改已测试通过且需要保留到版本历史中。 **操作步骤**: 1. 将改动添加到暂存区: ```bash git add . # 添加所有文件 # 或指定文件 git add file1.txt file2.py ``` 2. 提交更改并添加描述: ```bash git commit -m "完成用户登录模块优化" ``` 3. 执行合并操作: ```bash git merge origin/main ``` **优**:保留完整的开发记录,便于后续追溯[^1]。 ### 二、暂存更改(stash) **适用场景**:需要临时保存未完成的修改(如调试代码),优先处理合并操作。 **操作步骤**: 1. 保存当前工作状态: ```bash git stash # 可选添加备注 git stash save "用户登录模块调试代码" ``` 2. 查看暂存记录列表: ```bash git stash list ``` 3. 合并远程分支: ```bash git merge origin/main ``` 4. 恢复暂存内容: ```bash git stash pop # 恢复并删除最近一次暂存 # 或指定特定暂存 git stash apply stash@{1} ``` **优**:保持工作目录整洁,特别适合处理紧急合并任务[^2]。 ### 三、撤销本地更改(revert) **适用场景**:本地修改可丢弃(如实验性代码或错误修改)。 **操作步骤**: 1. 撤销所有未提交的修改: ```bash git checkout -- . # 全部文件 # 或指定文件 git checkout -- file1.txt ``` 2. 执行合并操作: ```bash git merge origin/main ``` **风险提示**:此操作不可逆,需确认文件无需保留。 --- ### 对比决策表 | 方法 | 保留记录 | 可恢复性 | 适用阶段 | |---------|----------|----------|------------------| | commit | ✅ | ✅ | 功能开发完成时 | | stash | ❌ | ✅ | 开发中途临时切换 | | revert | ❌ | ❌ | 放弃无效修改 | ### 扩展应用场景 - 当存在多个暂存时,可用`git stash list`查看记录,通过`git stash apply stash@{n}`精准恢复 - 合并后出现冲突时,可使用`git mergetool`可视化工具解决冲突 - 长期分支开发推荐使用`git rebase`保持提交历史线性
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秃了也弱了。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值