ubuntu xinference部署本地模型
时间: 2025-05-05 12:07:23 浏览: 30
### 在 Ubuntu 系统中部署 Xinference 本地模型
要在 Ubuntu 上成功部署 Xinference 并加载本地模型,可以按照以下方法操作:
#### 安装依赖项
首先需要确保系统已安装必要的工具和库。运行以下命令来更新包管理器并安装基础开发工具:
```bash
sudo apt update && sudo apt upgrade -y
sudo apt install build-essential libssl-dev python3-pip python3-venv -y
```
接着创建一个新的虚拟环境用于隔离项目依赖关系:
```bash
python3 -m venv xinference-env
source xinference-env/bin/activate
```
#### 安装 Xinference 及其扩展模块
激活虚拟环境后,通过 `pip` 工具安装 Xinference 和所有相关组件[^2]:
```bash
pip install --upgrade pip setuptools wheel
pip install "xinference[all]"
```
如果遇到网络连接问题或者某些依赖无法正常下载,则尝试更换国内镜像源完成安装过程[^4]:
```bash
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "xinference[all]"
```
#### 启动 Xinference 服务端程序
进入解压后的 Xinference 文件夹路径下找到名为 `xinference-local` 的启动脚本文件,并赋予可执行权限后再运行它[^1]:
```bash
chmod +x ./xinference-local
./xinference-local
```
此时应该可以看到控制台打印出有关服务器状态的日志消息。
#### 注册与启动自定义模型实例
打开浏览器访问默认地址 http://localhost:9997/ui 登录图形化界面,在界面上点击 **Register Model** 按钮输入相应的参数描述刚才准备好的离线权重数据集;随后切换至 **Launch Model -> Custom Models** 查看刚刚注册成功的条目列表。
例如对于通义千问系列中的 Qwen2.5:7B 版本而言,具体设置如下所示:
| Field Name | Value |
|------------|-------|
| Model Type | custom_model |
| Weights Path | /path/to/qwen2_5_weights |
最后确认无误提交表单等待几秒钟直到提示加载完毕即表示整个流程顺利完成!
---
### 注意事项
上述步骤假设读者已经具备一定 Linux 使用经验以及熟悉 Python 生态圈基本概念。实际操作过程中可能会因为硬件资源不足等原因导致失败,请酌情调整超参数值或选用更轻量级预训练成果替代原方案。
阅读全文
相关推荐
















