鲲鹏昇腾部署deepseek连接vscode
时间: 2025-05-30 19:08:44 浏览: 26
### 鲲鹏昇腾平台部署 DeepSeek 模型并通过 VSCode 进行连接和调试
#### 1. 环境准备
在鲲鹏昇腾平台上部署 DeepSeek 模型之前,需完成以下环境准备工作:
- 安装 openEuler 24.03 LTS 或更高版本的操作系统。
- 配置 Python 开发环境,推荐使用 `Python 3.8` 或以上版本。
- 安装 NVIDIA GPU 和昇腾 AI 处理器驱动程序以及相关依赖库。
安装必要的工具包以支持模型加载与推理:
```bash
pip install torch torchvision transformers accelerate safetensors vllm huggingface-hub
export HF_ENDPOINT="https://hf-mirror.com"
```
#### 2. 下载 DeepSeek 模型
为了提高下载效率,建议从 hf-mirror 获取预训练模型文件。执行以下命令下载指定的 DeepSeek-R1 蒸馏版本(8B 参数量)[^1]:
```bash
huggingface-cli login
huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Llama-8B --local-dir ./models/
```
确认模型已成功存储到本地路径 `/home/deepseek/models/DeepSeek-R1-Distill-Llama-8B` 中。
#### 3. 启动模型服务
基于 vLLM 推理框架启动 DeepSeek 模型的服务端口,具体命令如下所示[^3]:
```bash
python -m vllm.entrypoints.openai.api_server \
--served-model-name deepseek-r1-distilled-8b \
--model /home/deepseek/models/DeepSeek-R1-Distill-Llama-8B \
--trust-remote-code \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 4096 \
--tensor-parallel-size 8 \
--gpu-memory-utilization 0.8 \
--enforce-eager \
--dtype float16 &
```
此过程会绑定 HTTP API 到主机地址 `0.0.0.0` 的 `8000` 端口上供外部访问调用。
#### 4. 使用 VSCode 连接到远程服务器
通过 SSH 插件实现 Visual Studio Code 对目标鲲鹏昇腾计算节点的安全连接:
- 打开扩展市场搜索 “Remote – SSH”,点击安装插件;
- 添加新的配置项输入类似形式字符串:`ssh username@your-server-ip-address`;
- 输入密码或者密钥认证登录后即可进入远端开发模式;
设置断点并利用集成终端发送请求验证功能正常运作情况。例如编写简单的客户端脚本测试接口响应时间及准确性:
```python
import requests
url = 'http://localhost:8000/v1/completions'
payload = {
"prompt": "Explain quantum computing.",
"max_tokens": 50,
}
response = requests.post(url, json=payload).json()
print(response['choices'][0]['text'])
```
运行该代码片段应返回由 DeepSeek 提供的相关解释文字内容[^4]。
---
阅读全文
相关推荐


















