linux vllm部署deepseek
时间: 2025-03-04 13:55:31 浏览: 154
### 部署准备
为了在Linux系统中使用vLLM部署DeepSeek,需先确保环境配置正确。对于鲲鹏服务器(ARM架构),推荐采用源码编译安装的方式构建vLLM[^1]。
```bash
git clone https://github.com/vllm-project/vllm.git
cd vllm
VLLM_TARGET_DEVICE=cpu pip install -e . -i https://mirrors.huaweicloud.com/repository/pypi/simple
```
如果遇到下载中断的情况,可以通过修改下载脚本来解决问题[^2]:
```bash
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
chmod +x ollama_install.sh
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh
sh ollama_install.sh
```
### CUDA兼容性处理
当面对CUDA版本不匹配的问题时,建议利用Conda来管理依赖关系并安装合适的CUDA版本[^4]:
```bash
conda install cuda -c nvidia
```
### DeepSeek模型部署
完成上述准备工作之后,即可着手于DeepSeek模型的具体部署工作。由于项目开源性质,可以直接获取到所需的模型文件及相关部署信息来进行操作[^3]。
### 实际应用案例
针对大型语言模型如`deepseek-70B` (即DeepSeek-R1-Distill-Llama-70B),其部署过程同样遵循前述指导原则,在Ubuntu环境下特别需要注意硬件驱动以及库的支持情况。
阅读全文
相关推荐


















