gradio ollama 流式输出

### 配置 Gradio 和 Ollama 的流式输出功能 为了使 Gradio 和 Ollama 实现流式输出功能，需要确保两者之间的通信能够支持逐步返回模型生成的结果。以下是具体的实现方法： #### 使用 Ollama 提供的 API 支持流式传输 Ollama 提供了一个基于 HTTP 的接口来处理请求和响应[^3]。当调用其 `/api/generate` 接口时，可以通过设置参数 `stream=true` 来启用流式模式。这使得每次生成的部分结果都可以被客户端即时接收。 ```python import gradio as gr from fastapi import FastAPI, Request app = FastAPI() @app.post("/ollama-stream/") async def ollama_stream(request: Request): data = await request.json() prompt = data["prompt"] # 调用 Ollama 流式 API async with aiohttp.ClientSession() as session: headers = {"Content-Type": "application/json"} payload = { "model": "your_model_name", "prompt": prompt, "stream": True } async with session.post('http://localhost:11434/api/generate', json=payload, headers=headers) as resp: async for line in resp.content.iter_any(): yield line.decode("utf-8").strip() ``` 此代码片段展示了如何利用 Python 的异步特性以及 `aiohttp` 库向 Ollama 发送带有 `stream=True` 参数的 POST 请求，并逐块读取服务器传回的数据。 #### 整合到 Gradio 中提供交互界面 Gradio 是一个用于构建机器学习演示应用的强大工具。它允许开发者轻松定义输入组件（如文本框）、输出组件（如标记区域），并通过自定义函数连接这些组件完成端到端的任务展示[^1]。对于需要实现实时更新的应用场景，则可借助其内置的支持回调机制或者直接嵌入 Websocket 进行更复杂的控制逻辑设计。 下面是一个简单的例子说明怎样把上面提到过的后端服务接入前端 GUI 当中去： ```python def chatbot(prompt): url = 'http://0.0.0.0:8000/ollama-stream/' # 假设前面启动的服务监听在此地址上运行 response = requests.post(url, json={"prompt": prompt}, stream=True) partial_message = "" for chunk in response.iter_lines(decode_unicode=True): if chunk.startswith('data:'): new_part = chunk.split('data:', 1)[1] partial_message += new_part yield partial_message with gr.Blocks() as demo: input_text = gr.Textbox(label="Enter your message here...") output_text = gr.Textbox(label="Response from model") input_text.submit(chatbot, inputs=input_text, outputs=output_text, api_name="generate", queue=False) demo.launch(share=True) ``` 这里我们创建了一个名为 `chatbot()` 的生成器函数，在其中不断获取来自远程 RESTful Service 的增量数据并将其累积起来直到整个回复结束为止；与此同时还将这个过程绑定到了由 Gradio 自动生成出来的 HTML 页面上的事件处理器之上以便于最终用户操作体验更加友好流畅^. ---