springai ollama流式返回

### 实现Spring AI Ollama 流式返回 为了实现在Spring AI Ollama中的流式返回，可以利用`Server-Sent Events (SSE)`技术来实现服务器向客户端推送数据。这允许应用程序实时更新前端界面而无需频繁轮询。 在配置文件中设置Ollama连接信息和模型参数[^1]： ```yaml spring: ai: ollama: base-url: http://你的地址:11434 chat: model: qwen:1.8b ``` 创建一个控制器类用于处理请求并发送事件给客户端。此示例展示了如何通过定义REST端点来启动聊天会话，并使用SSE传输消息: ```java import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import reactor.core.publisher.Flux; @RestController public class ChatController { @GetMapping(value = "/chat/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE) public Flux<String> streamChat(@RequestParam String message) { // 假设这里有一个方法可以从Ollama获取响应流 return getResponseStreamFromOllama(message); } private Flux<String> getResponseStreamFromOllama(String inputMessage){ // 这里应该调用实际的服务接口去与Ollama交互， // 并将得到的结果封装成Flux对象逐条发出。 // 返回模拟的数据流作为例子 return Flux.just("Hello, ", "how are you? ", "This is a streamed response."); } } ``` 上述代码片段展示了一个简单的GET映射路径 `/chat/stream` ，它接受来自用户的输入并通过SSE协议持续不断地把从Ollama接收到的消息推送给浏览器或其他HTTP客户端。 对于前端部分，在Vue.js项目中可以通过EventSource API监听这些服务端事件。下面是一个基本的例子说明怎样订阅这个API并将结果显示出来[^2]: ```javascript <template> <div id="app"> <h1>Ollama Streamed Response</h1> <div v-for="(msg, index) in messages" :key="index">{{ msg }}</div> </div> </template> <script> export default { data() { return {messages: []}; }, mounted(){ const eventSource = new EventSource('/chat/stream?message=your_message_here'); eventSource.onmessage = function(event) { this.messages.push(event.data); }.bind(this); // 断开连接逻辑可以根据实际情况调整 window.addEventListener('beforeunload', () => { eventSource.close(); }); } } </script> ``` 这段JavaScript代码会在页面加载完成后建立到指定URL的持久连接，并每当有新的消息到达时将其追加显示在界面上；当用户离开当前页签前关闭该链接以释放资源。