【大模型应用开发-FastAPI框架】(十一) Fastapi使用SSE实现流式输出

forest_long

已于 2024-04-21 21:17:59 修改

阅读量3.2k

点赞数 5

CC 4.0 BY-SA版权

分类专栏：大模型应用开发文章标签： fastapi python web3.py 机器学习人工智能目标检测语音识别

于 2024-04-15 23:30:56 首次发布

本文链接：https://blog.csdn.net/forest_long/article/details/137799837

一、SSE介绍

服务端推送
在服务器推送技术中，服务器在消息可用后立即主动向客户端发送消息。其中，有两种类型的服务器推送：SSE和 WebSocket。

SSE（Server-Send Events）
SSE 是一种在基于浏览器的 Web 应用程序中仅从服务器向客户端发送文本消息的技术。SSE基于 HTTP 协议中的持久连接，具有由 W3C 标准化的网络协议和 EventSource 客户端接口，作为 HTML5 标准套件的一部分。

二、使用SSE实现流式输出

1、安装依赖库

pip install asyncio
pip install sse-starlette

2、后端代码

import json
 
from fastapi import FastAPI, Query, Path
import uvicorn
from starlette.requests import Request
import asyncio
from sse_starlette import EventSourceResponse
 
app = FastAPI()
 
 
@app.get("/stream")
async def flush_stream(request: Request):
    async def event_generator(request: Request):
        res_str = "这是一个流式输出他会将每个字挨个挨个的输出哈哈！！！"
        for idx, word in enumerate(res_str):
            if await request.is_disconnected():
                print("连接已中断")
                break
            data = json.dumps({"id": idx, "message": word}, ensur