DeepSeek R1 本地不熟
时间: 2025-02-06 12:08:59 浏览: 103
### DeepSeek R1 本地环境配置教程
#### 配置概述
DeepSeek R1 的本地部署依赖于 Docker 和 Ollama 框架的支持,这使得模型能够在各种环境中高效运行。为了确保顺利安装和使用,建议按照官方文档中的指导进行操作[^1]。
#### 准备工作
在开始之前,需确认计算机已安装 Docker 及其相关组件。对于 Windows 用户来说,推荐使用 WSL2 (Windows Subsystem for Linux version 2),因为它能提供更好的兼容性和性能表现;而对于 macOS 和 Linux 用户,则可以直接下载适用于各自平台版本的 Docker Desktop 或者命令行工具[^2]。
#### 安装过程
- **获取镜像文件**
使用 `docker pull` 命令拉取最新的 DeepSeek R1 映像:
```bash
docker pull deepseekai/r1:latest
```
- **启动容器**
创建一个新的容器实例来加载刚刚下载好的映像,并指定端口转发规则以便后续访问 Web UI:
```bash
docker run -d --name=deepseek-r1 \
-p 7860:7860 \
deepseekai/r1:latest
```
- **初始化设置**
打开浏览器输入 http://localhost:7860 即可进入 OpenWebUI 页面完成初始设定流程,包括但不限于 API 密钥创建、存储路径定义等重要参数调整[^3].
#### 转换 Hugging Face 至 GGUF 格式
由于 Ollama 支持特定格式的数据集——即所谓的 "GGUF" 文件格式,因此如果打算利用来自 Hugging Face 平台上的预训练权重资源的话就需要先将其转化为上述提到的标准形式。具体做法如下所示:
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_name_or_path = 'your-hf-model-id'
output_dir = './gguf_model'
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path)
# Save the model and tokenizer to disk in gguf format.
torch.save({
'state_dict': model.state_dict(),
}, f"{output_dir}/pytorch_model.bin")
with open(f'{output_dir}/config.json', 'w') as fp:
json.dump(tokenizer.config.to_diff_dict(), fp)
```
此脚本会读取给定名称/路径下的 PyTorch 版本 Transformer 序列到序列架构(例如 GPT),并将它们保存成两个独立的部分:一个是包含所有网络层参数的状态字典 (`pytorch_model.bin`) ,另一个则是描述 tokenization 过程所需信息的 JSON 对象(`config.json`). 接下来就可以把这两个文件上传至目标服务器上供进一步处理了.
---
阅读全文
相关推荐

















