SpringBoot中SSE流式输出中止的核心代码

在大模型会话中,会有一个功能是停止生成功能。这个功能如果在前端实现,既取消监听后端的流式返回事件,会导致后端日志中报错连接中断等错误。

由此引出的需求,我的接口A中使用了sse流式返回,需要做一个接口B,B的功能是中止第一个接口的流式返回,以下是核心代码和思路:

方案一:需要借助redis,在输出时循环判定来解决。

import org.springframework.beans.factory.annotation.Autowired;  
import org.springframework.data.redis.core.RedisTemplate;  
import org.springframework.stereotype.Controller;  
import org.springframework.web.bind.annotation.RequestMapping;  
import org.springframework.web.bind.annotation.ResponseBody;  
import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;  
  
import javax.servlet.http.HttpServletRequest;  
import java.io.BufferedReader;  
import java.io.IOException;  
import java.io.InputStreamReader;  
import java.util.concurrent.TimeUnit;  
  
@Controller  
public class MyController {  
      
    @Autowired  
    private RedisTemplate<String, Object> redisTemplate;  
      
    @RequestMapping("/startStreaming")  
    public SseEmitter startStreaming(HttpServletRequest request) throws IOException {  
        String requestId = request.getId(); // 获取请求的唯一标识符  
        String key = "shouldStopStreaming_" + requestId; // 生成唯一的key  
          
        SseEmitter emitter = new SseEmitter();  
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(/*输入流*/));  
          
        // SSE输出逻辑  
        String line;  
        while ((line = bufferedReader.readLine()) != null) {  
            Boolean shouldStop = (Boolean) redisTemplate.opsForValue().get(key);  
            if (shouldStop != null && shouldStop) {  
                break; // 检查shouldStopStreaming标志,若为true则中断循环  
            }  
            // 发送数据给客户端  
            emitter.send(line);  
        }  
          
        // 删除key,确保不再需要该key时将其移除  
        redisTemplate.delete(key);  
          
        return emitter;  
    }  
      
    @RequestMapping("/stopStreaming")  
    @ResponseBody  
    public String stopStreaming(HttpServletRequest request) {  
        String requestId = request.getId(); // 获取请求的唯一标识符  
        String key = "shouldStopStreaming_" + requestId; // 生成唯一的key  
          
        // 设置shouldStopStreaming为true,终止流式输出  
        redisTemplate.opsForValue().set(key, true, 1, TimeUnit.HOURS); // 设置过期时间为1小时(可根据需要调整)  
          
        return "Streaming stopped";  
    }  
}

A接口定期从Redis中获取shouldStopStreaming的值,并检查是否应该中止流式输出。B接口使用RedisTemplate将shouldStopStreaming的值设置为true,以指示A接口中止输出。由于Redis的操作是原子性的,并且RedisTemplate提供了线程安全的访问,这样可以确保多个线程之间的协调和线程安全性。

方案二:使用本地缓存,结合SseEmitter特性实现(实际使用的此种方案)

private final Map<String, SseEmitter> sseCache = new ConcurrentHashMap<>(10);

## 对话接口中put一下前端随机生成的不唯一emitterId
sseCache.put(emitterId, emitter);

## 停止回答接口
    @Override
    public void stop(String emitterId) {
        if (sseCache.containsKey(emitterId)) {
            sseCache.get(emitterId).complete();
            sseCache.remove(emitterId);
        }
    }
在Spring Boot中,可以通过使用Server-Sent Events(SSE)技术来实现流式输出SSE是一种基于HTTP的服务端推送技术,它允许服务器向客户端发送单向的数据流,这些数据可以是文本、JSON等数据格式。 下面是一个使用Spring Boot SSE实现流式输出的示例代码: 首先,在Spring Boot应用程序中添加以下依赖项: ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-webflux</artifactId> </dependency> ``` 然后,创建一个RESTful控制器,该控制器使用SSE技术向客户端输出数据。以下是一个简单的控制器示例: ```java @RestController public class MyController { @GetMapping("/stream") public Flux<String> stream() { return Flux.interval(Duration.ofSeconds(1)) .map(seq -> "Stream - " + seq); } } ``` 在上面的示例中,我们使用`@GetMapping`注解将一个路由绑定到`/stream`路径。当客户端连接到此路由时,控制器将使用`Flux`对象返回数据流。在这种情况下,我们使用`Flux.interval()`方法创建一个每秒发送一次消息的数据流。 最后,在客户端中,可以使用JavaScript代码来订阅SSE事件并接收数据。以下是一个简单的JavaScript代码示例: ```javascript const source = new EventSource('/stream'); source.onmessage = function(event) { console.log(event.data); }; ``` 在上面的示例中,我们使用`EventSource`对象来订阅`/stream`路径上的SSE事件。当事件被触发时,回调函数将被调用,并显示接收到的数据。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值