dify Xinference 安装bgm-3 ubantu

### 在 Ubuntu 上安装 Dify 和 Xinference 的 bgm-3 模型 #### 安装 Docker 为了在 Ubuntu 系统上部署 Dify 和 Xinference，首先需要确保 Docker 已经正确安装并运行。以下是安装 Docker 的具体方法： 更新系统包列表并安装必要的依赖项： ```bash sudo apt-get update sudo apt-get install ca-certificates curl gnupg lsb-release ``` 添加 Docker 的官方 GPG 密钥： ```bash sudo mkdir -p /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg ``` 设置 Docker APT 存储库： ```bash echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null ``` 安装 Docker CE（社区版）及相关组件： ```bash sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin ``` 验证 Docker 是否正常工作： ```bash sudo docker run hello-world ``` 如果一切顺利，则会显示一条欢迎消息[^2]。 --- #### 部署 Dify Dify 是一款用于构建 AI 应用程序的工具。可以通过以下步骤完成其安装和配置： 拉取 Dify 的官方镜像： ```bash docker pull ghcr.io/dify-community/dify:latest ``` 启动容器： ```bash docker run -d --name diify-container -p 3000:3000 ghcr.io/dify-community/dify:latest ``` 访问 Web 界面，默认情况下可通过浏览器打开 `http://localhost:3000` 来查看 Dify 控制台。 --- #### 部署 Xinference 及加载 BGM-3 模型 Xinference 提供了一种简单的方式来管理和推理机器学习模型。以下是具体的部署流程： 拉取 Xinference 的官方镜像： ```bash docker pull xinference/xinference:latest ``` 创建一个目录来存储模型文件，并下载 BGM-3 模型到该路径下： ```bash mkdir -p ~/xinference/models/bgm-3/ cd ~/xinference/models/bgm-3/ wget https://example.com/path/to/bgm-3-model-files.zip unzip bgm-3-model-files.zip rm bgm-3-model-files.zip ``` 启动 Xinference 并挂载本地模型目录至容器内部： ```bash docker run -it --name=xinference-instance -v ~/xinference/models:/models -p 9997:9997 xinference/xinference:latest ``` 此时，BGM-3 模型已成功加载到 Xinference 中，可以使用 REST API 或其他客户端接口调用它进行推理操作[^1]。 --- #### 测试与验证 测试 Dify 功能是否正常运作以及确认 Xinference 对 BGM-3 模型的支持情况非常重要。例如，尝试向 Xinference 发送 HTTP 请求以获取模型预测结果： ```python import requests url = 'http://localhost:9997/v1/completions' payload = { "model": "bgm-3", "prompt": "你好" } response = requests.post(url, json=payload).json() print(response['choices'][0]['text']) ``` 此脚本将返回由 BGM-3 模型生成的一段文字作为响应[^1]。 ---