Open WebUI如何添加大模型
时间: 2025-06-07 15:52:53 浏览: 14
### 如何在 Open WebUI 中集成和添加大模型支持
要在 Open WebUI 中集成并添加大模型的支持,可以通过以下方式实现:
#### 集成 Ollama 和 Open WebUI
Ollama 是一种用于管理本地大型语言模型 (LLM) 的工具,可以轻松与 Open WebUI 结合使用。以下是具体操作说明:
- **安装 Ollama**: 使用官方文档中的指南完成 Ollama 的安装过程[^1]。
- **运行指定模型**: 在终端中执行 `ollama run <model_name>` 命令来启动所需的 LLM 模型。这一步会确保模型已经加载到内存中以便后续调用。
对于 Docker 用户来说,则可以直接通过定义好的参数创建容器环境:
```bash
docker run -d \
-p 3000:8080 \
--gpus all \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:cuda
```
此命令设置了必要的选项以充分利用硬件资源以及保持服务稳定性[^2]。
#### 添加自定义模型至 Open WebUI
如果希望导入新的预训练权重文件或者微调后的版本作为扩展功能的一部分,按照下面流程处理即可:
1. 将下载得到的 `.bin` 或其他格式的模型存档上传至服务器相应路径下;
2. 修改配置文件使其识别新增加的数据源位置;
3. 刷新界面后应该能够看到新加入项可供选择交互测试效果。
注意,在实际部署过程中可能还需要调整一些高级设置比如最大上下文长度、温度系数等超参数值来获得最佳表现[^1]。
```python
import requests
def query_open_webui(prompt, model="default"):
url = f"http://localhost:7860/api/v1/generate"
payload = {
'prompt': prompt,
'max_new_tokens': 50,
'do_sample': True,
'temperature': 0.7,
'top_p': 0.9,
'typical_p': 1,
'repetition_penalty': 1.1,
'encoder_repetition_penalty': 1.0,
'top_k': 0,
'min_length': 0,
'no_repeat_ngram_size': 0,
'num_beams': 1,
'penalty_alpha': 0,
'length_penalty': 1,
'early_stopping': False,
'seed': None,
'truncation_length': 2048,
'custom_stopping_strings': [],
'add_bos_token': True,
'skip_special_tokens': True,
'_use_cache': True,
'streaming': False,
'model': model
}
response = requests.post(url, json=payload).json()
result = response['results'][0]['text']
return result.strip()
print(query_open_webui("What is the capital of France?", "bigscience/bloom"))
```
以上脚本展示了如何利用 Python 脚本向已搭建完毕的服务端发送请求获取回复内容[^2]。
阅读全文
相关推荐


















