deepseek本地部署并使用cpu进行推理
时间: 2025-03-01 17:09:15 浏览: 58
### DeepSeek 本地部署与 CPU 推理
对于希望在本地环境中部署 DeepSeek 并利用 CPU 进行推理的需求,以下是详细的指导说明。
#### 部署准备
为了确保顺利部署,需确认已安装必要的依赖项以及配置好环境变量。通常情况下,官方推荐使用 Docker 或者虚拟机来隔离不同项目之间的依赖关系[^1]。
#### 启动 Ollama 服务
通过终端执行如下指令可以启动 Ollama 服务:
```bash
ollama start
```
此命令会初始化并激活所需的后台进程以便后续操作能够正常工作。
#### 下载指定版本模型
根据需求选择合适的参数量大小(例如7B, 8B, 14B 或 32B),这里以7B为例展示如何获取特定规模的预训练权重文件:
```bash
ollama pull deepseek-r1:7b
```
这一步骤将自动完成从远程仓库拉取对应资源的任务,并将其存储于本地缓存目录内待用[^2]。
#### 设置硬件加速选项
默认设置下,DeepSeek 支持 GPU 加速计算;然而当目标平台仅配备有通用处理器时,则需要特别指明采用纯软件方式实现前向传播过程中的各项运算逻辑。为此,在实际调用 `run` 子命令之前应当先设定相应的环境变量:
```bash
export CUDA_VISIBLE_DEVICES=""
```
上述做法相当于告知框架忽略任何可用图形处理单元的存在而完全依靠中央处理器来进行任务调度与数据处理。
#### 执行推理流程
最后便是正式发起预测请求了。假设先前已完成所有前置准备工作之后,现在只需简单输入下列语句即可触发一次完整的推断周期:
```bash
ollama run deepseek-r1:7b
```
值得注意的是,尽管当前场景限定了只运用到 CPU 资源,但整体性能表现仍取决于具体应用场景下的负载特征等因素影响。
阅读全文
相关推荐

















