debain12.9安装gpustack

使用文档

基础环境准备

基础环境安装

创建python虚拟环境

python3 -m venv ~/gpustack
source ~/gpustack/bin/activate

安装gpustack

pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
# all：包含全部组件，vllm：只安装vllm推理模型组件，audio：音频模型组件
pip install gpustack[all] -i https://pypi.tuna.tsinghua.edu.cn/simple

启动

gpustack version
gpustack start --port 8080
# 获取admin密码
cat /var/lib/gpustack/initial_admin_password
# 登录地址 http://192.168.3.17:8080

界面