window安装deepspeed

### 如何在 Windows 10 上安装 Deepspeed #### 准备环境 为了顺利安装 DeepSpeed，在开始之前需确保已准备好必要的开发环境。这包括但不限于 Python 和 PyTorch 的安装，以及 CUDA 或 ROCm 环境的搭建[^1]。 #### 安装必备组件 - **PyTorch**: 版本建议 >= 1.9。 - **CUDA 或 ROCm 编译器**: 使用 `nvcc` 或者 `hipcc` 来支持 GPU 加速计算。 - **Visual Studio**: 推荐版本为 2019 年发布的版本，用于提供 C++ 构建工具链的支持。 #### 下载并构建 DeepSpeed 获取 DeepSpeed 源代码可以通过访问其官方 GitHub 页面完成。之后进入解压后的文件夹执行如下命令自行编译： ```bash python setup.py bdist_wheel ``` 接着切换到 `dist` 文件夹下利用 pip 工具来安装刚刚生成的 `.whl` 文件: ```bash cd dist pip install *.whl ``` 对于遇到特定错误提示如 `AssertionError: Unable to pre-compile async_io` 的情况，则可以尝试修改 `setup.py` 中的相关参数设置。具体来说就是将原本判断操作系统平台的部分改为固定值零(`BUILD_OP_PLATFORM = 0`)以绕过此问题的发生[^3]。 #### 处理常见问题 如果在上述过程中遇到了其他类型的安装障碍，比如无法找到合适的预编译包等问题，可以从 PyPI 获取最新的源码发布版，并按照官方文档中的指导进行本地化定制化的安装流程[^4]。

### 使用 DeepSpeed 的编程教程 #### 配置环境 为了使用 DeepSpeed 进行开发，确保安装了必要的依赖库。可以通过 pip 安装最新版本的 DeepSpeed： ```bash pip install deepspeed ``` #### 初始化项目结构 创建一个新的 Python 文件 `train.py` 来定义训练逻辑。 #### 导入所需模块并配置参数 在脚本顶部导入所需的包，并设置基本的命令行解析器来处理传递给程序的各种选项。 ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer import deepspeed from deepspeed.runtime.config import DEEPSPEED_CONFIG_FILE ``` #### 加载预训练模型与分词器 加载 Hugging Face 上托管的一个预训练语言模型及其对应的分词工具。 ```python model_name_or_path = "EleutherAI/gpt-neo-1.3B" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) ``` #### 设置 DeepSpeed 参数文件路径 指定一个 JSON 格式的配置文件作为输入提供给 DeepSpeed，该文件包含了关于如何管理内存分配以及优化策略的信息。 ```json { "fp16": { "enabled": true, "loss_scale": 0, "initial_scale_power": 16, "loss_scale_window": 1000, "hysteresis": 2, "min_loss_scale": 1 }, ... } ``` 保存上述内容至名为 `ds_config.json` 的文件中[^1]。 #### 创建数据集类 编写自定义的数据集类以便于后续迭代读取样本用于训练过程。 ```python class MyDataset(torch.utils.data.Dataset): def __init__(self, texts, tokenizer, max_length=512): self.texts = texts self.tokenizer = tokenizer self.max_length = max_length def __len__(self): return len(self.texts) def __getitem__(self, idx): text = self.texts[idx] encoding = self.tokenizer( text=text, add_special_tokens=True, truncation=True, padding='max_length', max_length=self.max_length, return_tensors="pt", ) item = {key: val.squeeze(0) for key, val in encoding.items()} return item ``` #### 构建 DataLoader 实例 利用 PyTorch 提供的功能构建批量加载器对象，它能够有效地将整个数据集划分为多个批次以提高效率。 ```python texts = ["example sentence one", "another example two"] * 8 # 示例文本列表 dataset = MyDataset(texts, tokenizer) dataloader = torch.utils.data.DataLoader(dataset, batch_size=4) ``` #### 启动分布式训练会话 通过调用 `deepspeed.initialize()` 方法初始化 DeepSpeed 并启动多 GPU 或者多节点间的协作工作模式。 ```python engine, optimizer, _, _ = deepspeed.initialize( args=None, model=model, config_params="./ds_config.json" ) ``` #### 训练循环体设计 最后，在主函数内实现完整的训练流程控制逻辑，包括前向传播计算损失值、反向传播更新权重等操作均交由 DeepSpeed 负责执行。 ```python for epoch in range(num_epochs): engine.train() total_loss = 0. for step, batch in enumerate(dataloader): outputs = engine(**batch) loss = outputs.loss engine.backward(loss) engine.step() total_loss += loss.item() print(f"Epoch [{epoch}], Loss={total_loss / (step + 1)}") ``` 以上就是基于 DeepSpeed 开展大规模语言模型训练的基础指南。