dify连接本地模型
时间: 2025-06-30 12:10:47 浏览: 15
### 如何让 Dify 连接到本地运行的模型
为了使 Dify 能够成功连接到本地运行的大模型,需要按照特定流程进行配置。以下是关于此过程的关键点:
#### Docker Desktop 的安装与验证
确保已正确安装并启动 Docker Desktop[^1]。可以通过执行以下命令来验证其状态:
```bash
docker --version
```
如果返回版本号,则说明 Docker 已正常安装。
#### Ollama 和大模型的准备
Ollama 是一种轻量级工具,用于管理和运行大型语言模型 (LLM)[^1]。在安装完成后,需通过以下命令下载所需的本地模型:
```bash
ollama pull llama2
```
上述命令会拉取 Meta 提供的 Llama2 模型作为示例。其他支持的模型可通过 `ollama list` 查看。
#### 配置 Dify 使用本地模型
当 Docker 和 Ollama 均已完成设置后,在 Dify 中启用本地模型的支持需要修改环境变量文件 `.env` 或者直接调整容器内的参数[^2]。具体操作如下:
1. **进入项目目录**
切换至 Dify 所属路径下(假设位于 `D:\wsl\dify\docker`),并通过终端输入:
```bash
cd D:\wsl\dify\docker\
```
2. **启动服务**
如果尚未初始化服务,请使用以下指令开启后台进程:
```bash
docker compose up -d
```
3. **编辑 .env 文件**
修改或创建名为 `.env` 的配置文档,加入指向 Ollama API 地址的内容:
```plaintext
MODEL_PROVIDER=local
LOCAL_MODEL_URL=http://localhost:11434
```
此处定义了模型提供方为本地实例,并指定默认监听端口 11434。
4. **重启应用**
更改生效前重新加载镜像和服务:
```bash
docker compose down && docker compose up -d
```
完成以上步骤之后,访问 Web 界面即可测试新集成的功能是否可用。
```python
import requests
response = requests.post(
'http://localhost:3000/api/v1/chat/completions',
json={
"model": "llama2",
"messages": [{"role": "user", "content": "你好"}],
}
)
print(response.json())
```
该脚本展示了如何向本地部署的服务发送请求以及解析响应数据。
---
阅读全文
相关推荐

















