前言
本篇文章介绍如何将Dify本地私有化部署,并且接入Ollama部署本地模型,实现在本地环境中部署和管理LLM,再结合cpolar内网穿透实现公网远程访问Dify。
Dify 它是一个开源 LLM 应用开发平台。拥有直观的界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等,可以快速从原型开发到生产。
Ollama 是一个本地推理框架,允许开发人员轻松地在本地部署和运行 LLM,例如 Llama 3、Mistral 和 Gemma。Dify 是一个 AI 应用开发平台,提供了一套完整的工具和 API,用于构建、管理和部署 AI 应用。
接下来在本地部署DIfy。
1. 本地部署Dify应用开发平台
本篇文章安装环境:Linux Ubuntu22.04
使用Docker Compose部署:Docker 19.03 或更高版本、Docker Compose 1.25.1或更高版本
安装Dify之前,请确保你的机器已满足最低安装要求:CPU>2 Core RAM>=4GB
克隆 Dify 源代码至本地环境:
git clone https://github.com/langgenius/dify.git
启动Dify:
进入 Dify 源代码的 Docker 目录
cd dify/docker
复制环境配置文件
cp .env.example .env
启动 Docker 容器
sudo docker compose up -d
运行命令后,你应该会看到类似以下的输出,显示所有容器的状态和端口映射:
最后检查是否所有容器都正常运行:
docker compose ps
然后打开一个新的浏览器,输入localhost,或者本机IP地址,可以看到进入到了Dify中。
设置管理员账号:填写邮箱、用户名、密码后,再重新登录一下
可以看到进入到了Dify的主界面当中
接下来配置ollama模型<