【DeepSpeed】自动调优教程

最新推荐文章于 2025-07-19 13:19:28 发布
原创 最新推荐文章于 2025-07-19 13:19:28 发布 · 1.1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自动调优 #Autotuning #DeepSpeed #pytorch #python #大模型

DeepSpeed 的 自动调优（Autotuning） 功能是一个强大的工具，旨在通过自动搜索超参数空间来优化分布式训练性能。它可以帮助用户找到最佳的训练配置（如批次大小、微批次数量、ZeRO 参数、通信设置等），从而提高吞吐量、降低内存占用并提升训练稳定性。自动调优特别适合大规模模型（如 GPT、LLaMA）和复杂并行策略（如 ZeRO、流水线并行、专家并行）的训练场景。

本教程将全面讲解 DeepSpeed 自动调优的功能、配置方法、运行步骤、输出分析、优化建议和实际应用场景，包含详细的代码示例和调试技巧。

1. DeepSpeed 自动调优概述

1.1 功能

DeepSpeed 的自动调优通过以下方式优化训练性能：

  • 超参数搜索：自动测试用户指定的超参数组合（如 train_micro_batch_size_per_gpu、ZeRO 参数）。
  • 性能评估：评估每组配置的吞吐量（样本/秒）、内存使用和稳定性。
  • 最佳配置推荐：输出性能最佳的配置，供用户直接使用或进一步微调。
  • 快速模式：支持快速搜索，减少调优时间。

1.2 适用场景

  • 新模型训练：快速找到适合模型规模和硬件的配置。
  • 多节点分布式训练：优化通信参数（如 allgather_bucket_size）。
  • 复杂并行策略：调整流水线并行（微批次数量）、专家并行（ep_size）或 ZeRO 参数。
  • 资源受限环境：在低配硬件上优化内存和批次大小。

1.3 工作原理

  • 搜索空间：用户在 ds_config.json 中定义超参数及其候选值。
  • 试验执行：DeepSpeed 自动运行多个训练试验，测试每组配置。
  • 性能指标：记录吞吐量、内存使用和训练稳定性。
  • 结果保存：输出最佳配置到指定目录，生成日志和推荐配置。

2. 配置自动调优

自动调优通过 ds_config.json 中的 autotuning 字段配置。以下是关键配置项和说明。

2.1 配置结构

{
  "autotuning": {
    "enabled": true,
    "fast": true,
    "start_profile_step": 3,
    "end_profile_step": 5,
    "metric": "throughput",
    "results_dir": "autotuning_results",
    "exps_dir": "autotuning_exps",
    "overwrite": false,
    "percentile": 90,
    "arg_mappings": {
      "train_micro_batch_size_per_gpu": ["2", "4", "8", "16"],
      "zero_optimization.allgather_bucket_size": ["1e8", "5e8", "1e9"],
      "zero_optimization.reduce_bucket_size": ["1e8", "5e8", "1e9"],
      "gradient_accumulation_steps": ["1", "2", "4"],
      "pipeline_parallel.micro_batches": ["4", "8", "16"]
    }
  }
}

2.2 配置项说明

  • enabled（布尔值）：是否启用自动调优。设为 true 激活。
  • fast（布尔值）：启用快速模式，减少试验次数（适合初步调优）。
  • start_profile_step（整数）：从第几步开始性能分析（避免 warmup 干扰）。
  • end_profile_step（整数）：分析结束步数。
  • metric（字符串）：优化目标，默认 "throughput"（吞吐量），可选 "latency"（延迟）。
  • results_dir（字符串）：最佳配置保存目录（如 autotuning_results）。
  • exps_dir（字符串）：试验日志保存目录（如 autotuning_exps）。
  • overwrite（布尔值）：是否覆盖现有结果目录。
  • percentile（浮点数）：吞吐量评估的分位数（如 90 表示 90% 分位）。
  • arg_mappings（字典）：超参数及其候选值，支持以下常见参数：
    • train_micro_batch_size_per_gpu：每 GPU 微批次大小。
    • gradient_accumulation_steps：梯度累积步数。
    • zero_optimization.allgather_bucket_size：ZeRO AllGather 缓冲区大小。
    • zero_optimization.reduce_bucket_size：ZeRO ReduceScatter 缓冲区大小。
    • pipeline_parallel.micro_batches：流水线并行微批次数量。
    • moe.ep_size：专家并行组大小。
    • communication_data_type：通信数据类型（如 "fp16"、"fp32"）。

2.3 典型超参数选择

超参数推荐候选值适用场景
train_micro_batch_size_per_gpu[2, 4, 8, 16, 32]内存受限或吞吐量优化
gradient_accumulation_steps[1, 2, 4, 8]小批次训练或稳定性优化
allgather_bucket_size[1e8, 5e8, 1e9]ZeRO Stage 3 通信优化
micro_batches[4, 8, 16, 32]流水线并行效率优化
moe.ep_size[1, 2, 4, 8]专家并行（MoE）优化

3. 运行自动调优

3.1 准备工作

  1. 环境设置：

    • 确保 DeepSpeed 已正确安装（pip install deepspeed）。
    • 配置 NCCL 环境（优化通信）：
      export NCCL_IB_DISABLE=0
export NCCL_ALGO=Tree
export NCCL_BUFFSIZE=2097152
    • 设置分布式训练环境：
      export MASTER_ADDR=192.168.1.100
export MASTER_PORT=29500

  2. 模型和数据：

    • 准备你的模型（PyTorch nn.Module）。
    • 准备数据加载器或模拟数据。

  3. 配置文件：

    • 创建 ds_config.json，包含 autotuning 配置。
    • 确保其他必要配置（如 train_batch_size、fp16）正确。

3.2 代码示例

以下是一个完整的自动调优示例，优化 train_micro_batch_size_per_gpu 和 allgather_bucket_size。

import deepspeed
import torch
import torch.nn as nn

# Define model
class SimpleModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = nn.Linear(1000, 1000)

    def forward(self, x):
        return self.linear(x)

model = SimpleModel()

# DeepSpeed configuration
ds_config = {
    "train_batch_size": 64,
    "gradient_accumulation_steps": 4,
    "fp16": {"enabled": True},
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {"device": "cpu"}
    },
    "autotuning": {
        "enabled": True,
        "fast": True,
        "start_profile_step": 3,
        "end_profile_step": 5,
        "metric": "throughput",
        "results_dir": "autotuning_results",
        "exps_dir": "autotuning_exps",
        "arg_mappings": {
            "train_micro_batch_size_per_gpu": ["2", "4", "8"],
            "zero_optimization.allgather_bucket_size": ["1e8", "5e8"]
        }
    },
    "wall_clock_breakdown": True  # Enable timing for analysis
}

# Initialize DeepSpeed
model_engine, optimizer, _, _ = deepspeed.initialize(model=model, config=ds_config)

# Training loop
data = torch.randn(64, 1000).to(model_engine.device)
for step in range(10):
    output = model_engine(data)
    loss = output.sum()
    model_engine.backward(loss)
    model_engine.step()
    if model_engine.local_rank == 0:
        print(f"Step {step}, Loss: {loss.item():.4f}")

3.3 运行命令

使用 deepspeed 命令运行：

deepspeed train.py --deepspeed_config ds_config.json

或使用 torch.distributed.launch：

python -m torch.distributed.launch --nproc_per_node=4 train.py

3.4 输出

  • 日志：每次试验的配置和性能指标：
    [Autotuning] Trial 1: micro_batch=2, allgather_size=1e8, Throughput=100 samples/s
[Autotuning] Trial 2: micro_batch=4, allgather_size=5e8, Throughput=120 samples/s
[Autotuning] Trial 3: micro_batch=8, allgather_size=1e8, Throughput=115 samples/s
[Autotuning] Best: micro_batch=4, allgather_size=5e8, Throughput=120 samples/s
  • 结果文件：
    • 保存到 autotuning_results/best_config.json：
      {
  "train_micro_batch_size_per_gpu": 4,
  "zero_optimization": {
    "allgather_bucket_size": 500000000
  }
}
    • 试验日志存储在 autotuning_exps。

4. 分析自动调优结果

4.1 理解输出

  • 吞吐量：主要优化目标，单位为样本/秒（samples/s）。更高的吞吐量表示更好的性能。
  • 内存使用：日志可能显示内存占用，帮助识别 OOM 风险。
  • 稳定性：试验失败（OOM 或通信错误）会记录为无效配置。

4.2 使用最佳配置

  1. 直接应用：
    • 将 autotuning_results/best_config.json 合并到 ds_config.json：
      {
  "train_batch_size": 64,
  "train_micro_batch_size_per_gpu": 4,
  "zero_optimization": {
    "stage": 3,
    "allgather_bucket_size": 500000000
  }
}
  2. 进一步微调：
    • 根据日志分析，调整候选值范围（如增加 train_micro_batch_size_per_gpu 到 [4, 8, 16]）。
    • 重复调优以优化其他参数。

4.3 可视化结果

  • 使用 Python 脚本解析 autotuning_exps 日志：
    import json
import glob

logs = glob.glob("autotuning_exps/*.json")
for log in logs:
    with open(log, "r") as f:
        trial = json.load(f)
        print(f"Trial: {trial['config']}, Throughput: {trial['throughput']}")
  • 结合 TensorBoard 可视化吞吐量：
    {
  "tensorboard": {
    "enabled": True,
    "output_path": "logs/tensorboard"
  }
}

5. 优化建议

5.1 配置优化

  • 缩小搜索空间：
    • 限制 arg_mappings 的候选值，如：
      {
  "train_micro_batch_size_per_gpu": ["4", "8"]
}
    • 减少试验次数，加速调优。
  • 快速模式：
    • 始终启用 "fast": true 进行初步调优。
    • 必要时禁用 fast 进行全面搜索。
  • 分步调优：
    • 先优化批次大小（train_micro_batch_size_per_gpu），再调通信参数（allgather_bucket_size）。

5.2 性能优化

  • 通信：
    • 启用 FP16 通信：
      {
  "communication_data_type": "fp16",
  "compress_communication": True
}
    • 优化 NCCL：
      export NCCL_ALGO=Tree
  • 内存：
    • 启用 ZeRO 卸载：
      {
  "zero_optimization": {
    "offload_optimizer": {"device": "cpu"},
    "offload_param": {"device": "nvme"}
  }
}
    • 使用激活检查点：
      {
  "activation_checkpointing": {"partition_activations": True}
}
  • 计算：
    • 启用 FP16/BF16：
      {
  "fp16": {"enabled": True}
}
    • 使用优化算子（pip install deepspeed[ops]）。

5.3 调试

  • 启用日志：
    export DEEPSPEED_LOG_LEVEL=DEBUG
export NCCL_DEBUG=INFO
export NCCL_DEBUG_FILE=nccl_log.txt
  • 监控内存：
    from deepspeed.utils import memory_status
memory_status()
  • 检查 OOM：
    • 若试验失败，检查日志中的内存错误。
    • 降低 train_micro_batch_size_per_gpu 或启用 ZeRO Stage 3。
  • 通信失败：
    • 检查 NCCL 日志（nccl_log.txt）。
    • 确保 MASTER_ADDR 和 MASTER_PORT 正确。

5.4 结合其他工具

  • 挂钟时间细分：
    {
  "wall_clock_breakdown": True
}
    • 分析最佳配置的通信和计算时间。
  • FLOPs 分析：
    {
  "flops_profiler": {
    "enabled": True,
    "profile_step": 1
  }
}
    • 验证调优是否减少计算开销。
  • PyTorch Profiler：
    from torch.profiler import profile, ProfilerActivity
with profile(activities=[ProfilerActivity.CUDA]):
    output = model_engine(data)

6. 实际应用场景与示例

6.1 优化 ZeRO Stage 3 训练

ds_config = {
    "train_batch_size": 64,
    "fp16": {"enabled": True},
    "zero_optimization": {"stage": 3},
    "autotuning": {
        "enabled": True,
        "fast": True,
        "arg_mappings": {
            "train_micro_batch_size_per_gpu": ["2", "4", "8"],
            "zero_optimization.allgather_bucket_size": ["1e8", "5e8"],
            "zero_optimization.reduce_bucket_size": ["1e8", "5e8"]
        }
    }
}
model_engine, _, _, _ = deepspeed.initialize(model=model, config=ds_config)
  • 场景：优化 ZeRO Stage 3 的通信和批次大小。
  • 输出：最佳 allgather_bucket_size 和 train_micro_batch_size_per_gpu。

6.2 优化流水线并行

ds_config = {
    "train_batch_size": 64,
    "pipeline_parallel": {
        "enabled": True,
        "pp_size": 2
    },
    "autotuning": {
        "enabled": True,
        "fast": True,
        "arg_mappings": {
            "train_micro_batch_size_per_gpu": ["2", "4", "8"],
            "pipeline_parallel.micro_batches": ["4", "8", "16"]
        }
    }
}
model_engine, _, _, _ = deepspeed.initialize(model=model, config=ds_config)
  • 场景：优化流水线并行的微批次调度。
  • 输出：最佳 micro_batches 和批次大小。

6.3 优化 MoE 模型

from deepspeed.moe.layer import MoE

class MoEModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.expert = nn.Linear(512, 512)
        self.moe_layer = MoE(hidden_size=512, expert=self.expert, num_experts=8)

    def forward(self, x):
        output, _, _ = self.moe_layer(x)
        return output

model = MoEModel()
ds_config = {
    "train_batch_size": 64,
    "moe": {"num_experts": 8},
    "autotuning": {
        "enabled": True,
        "fast": True,
        "arg_mappings": {
            "train_micro_batch_size_per_gpu": ["2", "4", "8"],
            "moe.ep_size": ["1", "2", "4"]
        }
    }
}
model_engine, _, _, _ = deepspeed.initialize(model=model, config=ds_config)
  • 场景：优化专家并行的 ep_size 和批次大小。
  • 输出：最佳 ep_size 和 train_micro_batch_size_per_gpu。

7. 常见问题与解答

  1. 自动调优耗时长怎么办？

    • 启用快速模式：
      {
  "autotuning": {"fast": True}
}
    • 减少候选值（如 [2, 4] 而非 [2, 4, 8, 16]）。
    • 限制试验步数（end_profile_step - start_profile_step）。

  2. 试验失败（OOM 或通信错误）？

    • 检查日志（autotuning_exps）定位失败配置。
    • 降低 train_micro_batch_size_per_gpu 或启用 ZeRO 卸载：
      {
  "zero_optimization": {"offload_param": {"device": "nvme"}}
}
    • 确保 NCCL 配置正确：
      export NCCL_IB_DISABLE=0

  3. 吞吐量不理想？

    • 分析 wall_clock_breakdown 日志，定位通信或计算瓶颈。
    • 优化通信：
      {
  "communication_data_type": "fp16"
}
    • 增加 train_batch_size 或调整并行策略。

  4. 如何验证调优结果？

    • 使用最佳配置运行完整训练，检查吞吐量：
      ds_config.update(json.load(open("autotuning_results/best_config.json")))
model_engine, _, _, _ = deepspeed.initialize(model=model, config=ds_config)
    • 结合 flops_profiler 和 memory_status 分析性能。

  5. 多节点调优注意事项？

    • 确保所有节点配置一致（MASTER_ADDR、MASTER_PORT）。
    • 优化通信参数（如 allgather_bucket_size）。
    • 使用高带宽网络（如 InfiniBand）。

8. 进阶用法

8.1 自定义超参数

ds_config["autotuning"]["arg_mappings"]["optimizer.lr"] = ["1e-3", "5e-4", "1e-4"]
  • 功能：优化学习率。

8.2 动态调优

for param in ["train_micro_batch_size_per_gpu", "gradient_accumulation_steps"]:
    ds_config["autotuning"]["arg_mappings"] = {param: ["2", "4", "8"]}
    model_engine, _, _, _ = deepspeed.initialize(model=model, config=ds_config)
  • 功能：分阶段调优不同参数。

8.3 结合性能分析

ds_config.update({
    "wall_clock_breakdown": True,
    "flops_profiler": {"enabled": True},
    "print_memory_usage": True
})
model_engine, _, _, _ = deepspeed.initialize(model=model, config=ds_config)
  • 功能：在调优时分析时间、FLOPs 和内存。

8.4 保存和复用

import json
best_config = json.load(open("autotuning_results/best_config.json"))
ds_config.update(best_config)
with open("optimized_ds_config.json", "w") as f:
    json.dump(ds_config, f)
  • 功能：保存优化配置供生产使用。

9. 学习资源

大语言模型原理与工程实践：大语言模型训练工程实践DeepSpeed 训练调优实践
AI天才研究院
10-02 896
大语言模型原理与工程实践：大语言模型训练工程实践DeepSpeed 训练调优实践 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍
大语言模型原理与工程实践：强化学习工程实践 DeepSpeedChat 训练调优实践
AI天才研究院
07-09 986
大语言模型原理与工程实践：强化学习工程实践 DeepSpeed-Chat 训练调优实践 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大语言模型，强化学习，工程实践，DeepSpeed-C
deepspeed入门
weixin_40777649的博客
05-09 3128
4. 如果其他配置相同，ZeRO-3 可能会比 ZeRO-2 慢，因为除了 ZeRO-2 之外，前者还必须收集模型权重。4.1 deepspeed 配置主要包括：精度配置模块，优化器模块、零冗余优化器模块、预热调度器模块、batch_size/梯度等模块。2. ZeRO-1主要优化优化器的存储，ZeRO-2进一步优化模型参数和优化器状态的存储，而ZeRO-3还包括对激活的优化。1. ZeRO-1、ZeRO-2和ZeRO-3是递进的优化级别，每个级别都在前一个级别的基础上减少更多的内存冗余。
DeepSpeed使用指南(简略版)
热门推荐
weixin_43301333的博客
10-10 7万+
Zero Redundancy Optimizer (ZeRO)是DeepSpeed的workhorse. 用户可以提供不同的ZeRO config文件，来实现DeepSpeed的不同功能特性。来看一下官网教程对ZeRO的描述：一句话总结：，划分而不是复制。即，传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。而ZeRO就是为了消除这种冗余，提高对memory的利用率。
一文搞懂大模型训练加速框架DeepSpeed的使用！建议零基础小白人手一份！！
bugyinyin的博客
05-03 1416
在AI领域，常见的深度学习框架TensorFlow、PyTorch和Keras无疑是开发者们的得力工具，但随着模型规模的急剧膨胀，这些传统框架在应对大模型时往往会显得力不从心。 比如Pytorch的分布式并行计算框架DDP(Distributed Data Parallel)，尽管实现了数据并行，但是当模型大小超过单个GPU显存限制时显得捉襟见肘。此时，开发者往往只能手动进行复杂模型的参数拆分到各个GPU上，这无疑增加了研发的复杂性和门槛。
【DeepSpeed】使用 DeepSpeed 进行基于 Transformer 模型的推理教程
彬彬侠的博客
04-17 1330
本教程将展示如何使用 DeepSpeed 对基于 Transformer 的模型（如 Hugging Face 的 LLaMA-2-7B 或 DistilBERT）进行推理，结合 deepspeed.init_inference API 和优化配置。
开源深度学习优化框架DeepSpeed使用指南
最新发布
技术引领业务创新
07-19 1341
DeepSpeed 是由微软开发的开源深度学习优化框架，专为超大规模模型训练与推理设计，通过显存优化、并行策略和通信加速等核心技术，显著提升训练效率并降低资源消耗。以下从核心架构、实践指南到最佳实践进行全面解析
大规模深度学习框架 DeepSpeed 使用指南
Python实用宝典网
03-15 2万+
最常见的深度学习框架应该是TensorFlow、Pytorch、Keras，但是这些框架在面向大规模模型的时候都不是很方便。比如Pytorch的分布式并行计算框架（Distributed ...
【DeepSpeed】使用 DeepSpeed 进行模型训练加速
彬彬侠的博客
04-15 2193
使用 DeepSpeed进行训练加速通常包括以下几个步骤：安装 Deepspeed 并配置 PyTorch 环境。修改训练脚本，将模型、优化器与 Deepspeed 集成。使用 JSON 配置文件来指定训练参数和优化策略。启动训练并使用 Deepspeed 的分布式训练和混合精度训练功能。使用日志和性能监控工具进行训练优化。Deepspeed 提供了强大的加速功能，能够显著提高大规模模型的训练效率。通过精细的内存优化和分布式训练支持，Deepspeed 为深度学习模型的训练提供了出色的支持。
使用DeepSpeed进行单机多卡训练
weixin_45056021的博客
10-24 2911
【代码】使用DeepSpeed进行单机多卡训练。
AI人工智能中Llama模型的调优方法
AI 原生应用开发的博客
06-06 606
Llama模型自2023年发布以来，因开源特性和优异性能（在MMLU等基准测试中超越GPT-3），成为学术界和工业界的“调优靶场”。本文聚焦如何通过调优让Llama模型适配具体任务（如对话、代码生成、医疗问答），覆盖从基础原理到实战代码的全流程。本文先通过“教机器人学方言”的故事引入调优概念，再拆解Llama调优的核心技术（全参数微调、参数高效微调、量化调优），结合Python代码实战演示，最后总结不同场景下的调优策略。全参数微调：调整所有参数，效果好但成本高（适合资源充足的大公司）。
DeepSpeedExamples:使用 DeepSpeed 的示例模型
08-04
深速 此存储库包含使用示例模型。 关于威震天示例的说明 Megatron-LM ：这是 Megatron-LM 的一个相当古老的快照，我们一直在使用它来展示 DeepSpeed 的早期功能。 这不包含 ZeRO-3 或 3D 并行性。 Megatron-LM-v1.1.5-3D_parallelism：这是一个相对较新的 Megatron（2020 年 10 月），但在 Megatron 开始支持 3D 并行之前。 我们移植了这个版本来展示如何在 DeepSpeed 中使用 Megatron 中的 3D 并行性。 Megatron-LM-v1.1.5-ZeRO3：Megatron 底层版本与 3D_parallelism 相同，但不包含 3D 并行端口。 然而，它包含 DeepSpeed 的最新进展，包括 ZeRO-3、ZeRO-3 Offload 和 ZeRO-Infinity。 我
DeepSpeed：DeepSpeed是一个深度学习优化库，可让分布式培训变得轻松，高效，有效
02-04
是一个深度学习优化库，可让分布式培训变得轻松，高效和有效。 10倍大型号 训练速度提高10倍 最小的代码更改 DeepSpeed为所有人提供了极端规模的模型培训，从在大型超级计算机上进行数据科学家培训到在低端群集甚至在单个GPU上进行培训的人员： 极高的规模：使用当前拥有数百个设备的GPU集群，DeepSpeed的3D并行性可以有效地训练具有数万亿参数的深度学习模型。 极高的内存效率：DeepSpeed的ZeRO-Offload仅需一个GPU，即可训练具有超过10B参数的模型，比现有技术大10倍，使数十亿参数的模型训练民主化，从而使许多深度学习科学家可以探索更大更好的模型楷模。 极长的
大模型训练框架DeepSpeed使用入门(1): 训练设置
hjxu2016的博客
05-10 6403
大模型训练的痛点是模型参数过大，动辄上百亿，如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。对于更大模型的训练来说，DeepSpeed提供了更多策略，例如：Zero、Offload等。本文简单介绍下如何使用DeepSpeed。
Deepspeed详解与代码使用
weixin_43013480的博客
05-19 6759
CUDA_VISIBLE_DEVICES 不能与DeepSpeed一起使用来控制应该使用哪些设备。，DS中的WarmupLR也就相当于HF的参数lr_scheduler_type：constant_with_warmup，参数默认。有一个问题就来了，如果两边都配置了的话，会默认使用那个呢？这个问题困扰了我很久，直到看到源码：如下所示，核心便是其Zero策略，ZeRO训练支持了完整的ZeRO Stages1, 2和3。目前deepspeed已经与trainer集成了，故使用起来非常的简单，只需在。
一文搞懂大模型训练加速框架 DeepSpeed 的使用方法！
2401_84033492的博客
06-08 2933
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。在AI领域，常见的深度学习框架TensorFlow、PyTorch和Keras无疑是开发者们的得力工具，但随着模型规模的急剧膨胀，这些传统框架在应对大模型时往往会显得力不从心。
DeepSpeed系列 -- 1 - 初识DeepSpeed
大海中的游鱼
12-18 5251
什么是DeepSpeed，它解决了什么痛点？
【Pytorch基础教程41】DeepSpeed分布式训练框架
发现问题，并解决问题，批判性思维
07-10 1万+
在 DeepSpeed 中，可以通过在配置文件中设置 “bf16.enabled”: true 来启用 BF16 混合精度训练，减少占用内存。 混合精度训练是指在训练过程中同时使用FP16（半精度浮点数）和FP32（单精度浮点数）两种精度的技术。 deepspeed可以根据具体情况选择合适的通信库，例如在 CPU 集群上进行分布式训练，可以选择 mpi 和 gloo；如果是在 GPU 上进行分布式训练，可以选择 nccl。 mpi 是一种跨节点通信库，常用于 CPU 集群上的分布式训练； gloo 是一种高
使用DeepSpeed进行大模型推理加速的指南（附教程）
DEVELOPERAA的博客
01-16 2238
DeepSpeed是一个开源工具库，旨在通过系统优化和压缩技术加速大规模模型的推理和训练过程。
deepspeed安装教程
12-31
### DeepSpeed 安装教程 对于希望安装并配置 DeepSpeed 的用户来说，有多种途径可以实现这一目标。一种方式是从 GitHub 上克隆官方仓库来获取最新版本的源码： ```bash git clone https://github.com/microsoft/DeepSpeed.git ``` 之后进入该目录执行构建操作以完成安装过程[^3]。 另一种更为简便的方法是在支持 Python 包管理工具 pip 的环境中直接通过 pip 进行安装。这通常适用于大多数常规情况下的快速部署需求，在 Ubuntu 系统上仅需一条简单的命令即可完成整个流程: ```bash pip3 install deepspeed ``` 然而需要注意的是，在某些特定场景下可能会遭遇一些意想不到的问题，此时可以根据具体报错信息采取相应的解决措施[^2]。 为了确认安装无误以及环境变量设置正确与否，建议运行如下测试代码片段来进行验证： ```python import deepspeed print(deepspeed.__version__) ``` 如果一切正常，则会输出当前已安装好的 DeepSpeed 版本号；反之则可能需要重新审视之前的安装步骤或是查阅相关文档寻求帮助[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

彬彬侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值