DeepSpeed的json配置讲解：ds_config_zero3.json

最新推荐文章于 2025-04-17 11:38:32 发布

Ven%

最新推荐文章于 2025-04-17 11:38:32 发布

阅读量702

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习基础动手深度学习速通系列简单说深度学习文章标签： json 人工智能 AIGC ubuntu python

本文链接：https://blog.csdn.net/weixin_51455837/article/details/144769707

简单说深度学习同时被 3 个专栏收录

61 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

深度学习速通系列

63 篇文章

订阅专栏

深度学习基础动手

41 篇文章

订阅专栏

ds_config_zero3.json文件内容如下：

{
   
   
    "fp16": {
   
   
        "enabled": "auto",
        "loss_scale": 0,
        "loss_scale_window": 1000,</

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Ven%

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

llama factory运行deepspeed zero3产生stage3_prefetch_bucket_size Input should be a valid integer的解决方案

weixin_43178406的博客

09-04

16万+

本文主要介绍了llama factory运行deepspeed zero3产生stage3_prefetch_bucket_size Input should be a valid integer的解决方案，希望能对使用llama factory的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

（15-2）DeepSeek混合专家模型初探：ZeRO配置

码农三叔

02-16

195

ZeRO技术的实现分为如下所示的三个阶段，每个阶段在显存占用和通信开销之间找到不同的平衡。ZeRO Stage 1：仅对优化器状态进行分片存储，每个GPU保留完整的梯度和模型参数，易于实现，且通信量相对较小，适用于中等规模的模型训练，但显存节省有限。ZeRO Stage 2：在第一阶段的基础上，进一步对梯度进行分片，每个GPU只存储自己负责的部分梯度和优化器状态，而模型参数仍然完整存储在每个GPU上，较大幅度降低显存需求，同时通信开销适中，是大多数大规模模型训练的理想选择，兼顾效率和资源节省。

参与评论您还未登录，请先登录后发表或查看评论

deepspeed训练zero3策略cpu内存不足报错

weixin_43013480的博客

01-18

3029

大概率是cpu内存不足所致，训练用的zero3策略，将deepspeed的zero3策略换为zero2策略问题就解决了。用deepspeed训练deepseek过程中遇到如下问题，

基于vscode调试deepspeed，以及使用zeros3_offload

diehualong的博客

12-12

1747

使用其他优化器可能会报错，因此需要使用DeepSpeedCPUAdam针对cpu的优化器。这里只给出了zero-3的使用方式，deepspeed还包括zero-1和zero-2等方法。首先按照下图所示，新建lauch.json文件。主要需要更改以下三行。

白话deepspeed里面的ZeRO1,2,3以及affload以及实战演练

qq_50097745的博客

09-20

1万+

微软deepspeed的ZeRO的理解，以及实战

【DeepSpeed】自动调优教程

彬彬侠的博客

04-17

1124

DeepSpeed 的自动调优（Autotuning）功能是一个强大的工具，旨在通过自动搜索超参数空间来优化分布式训练性能。它可以帮助用户找到最佳的训练配置（如批次大小、微批次数量、ZeRO 参数、通信设置等），从而提高吞吐量、降低内存占用并提升训练稳定性。自动调优特别适合大规模模型（如 GPT、LLaMA）和复杂并行策略（如 ZeRO、流水线并行、专家并行）的训练场景。

（3-3）混合专家模型初探：ZeRO配置

码农三叔

02-11

1251

DeepSpeed配置参数 - 快速上手

O_1CxH的博客

02-14

1万+

针对DeepSpeed的几组重要的参数进行说明

The easiest method is to set these DeepSpeed config values to 'auto'. [rank1]: Traceback (most recent call last): [rank1]: File "/data1/users/heyu/find_size_and_weight/train711.py", line 625, in <module> [rank1]: train() [rank1]: File "/data1/users/heyu/find_size_and_weight/train711.py", line 617, in train [rank1]: train_result = trainer.train() [rank1]: File "/data1/users/heyu/uv_env/pyhy/lib/python3.10/site-packages/transformers/trainer.py", line 2240, in train [rank1]: return inner_training_loop( [rank1]: File "/data1/users/heyu/uv_env/pyhy/lib/python3.10/site-packages/transformers/trainer.py", line 2322, in _inner_training_loop [rank1]: self.optimizer, self.lr_scheduler = deepspeed_init(self, num_training_steps=max_steps) [rank1]: File "/data1/users/heyu/uv_env/pyhy/lib/python3.10/site-packages/transformers/integrations/deepspeed.py", line 444, in deepspeed_init [rank1]: hf_deepspeed_config.trainer_config_finalize(args, model, num_training_steps) [rank1]: File "/data1/users/heyu/uv_env/pyhy/lib/python3.10/site-packages/transformers/integrations/deepspeed.py", line 268, in trainer_config_finalize [rank1]: raise ValueError( [rank1]: ValueError: Please correct the following DeepSpeed config values that mismatch TrainingArguments values: [rank1]: - ds scheduler.params.warmup_max_lr=0.0001 vs hf learning_rate=1e-05 [rank1]: The easiest method is to set these DeepSpeed config values to 'auto'. 2025-07-11 16:02:32,818 - ERROR - Training failed: Please correct the following DeepSpeed config values that mismatch TrainingArguments values: - ds scheduler.params.warmup_max_lr=0.0001 vs hf learning_rate=1e-05 The easiest method is to set these DeepSpeed config values to 'auto'.上述代码报错，修改

热门推荐

weixin_43301333的博客

10-10

7万+

Zero Redundancy Optimizer (ZeRO)是DeepSpeed的workhorse. 用户可以提供不同的ZeRO config文件，来实现DeepSpeed的不同功能特性。来看一下官网教程对ZeRO的描述：一句话总结：，划分而不是复制。即，传统的深度学习，模型训练并行，是将模型参数复制多份到多张GPU上，只将数据拆分（如，torch的Dataparallel），这样就会有大量的显存冗余浪费。而ZeRO就是为了消除这种冗余，提高对memory的利用率。

LLM-分布式训练工具01-DeepSpeed：ZeRO-1、ZeRO-2、ZeRO-3配置【DeepSpeed的核心就在于，GPU显存不够，CPU内存来凑】

u013250861的博客

06-13

5778

现在的模型越来越大，动辄几B甚至几百B。但是显卡显存大小根本无法支撑训练推理。例如，一块RTX2090的10G显存，光把模型加载上去，就会OOM，更别提后面的训练优化。作为传统pytorch Dataparallel的一种替代，DeepSpeed的目标，就是为了能够让亿万参数量的模型，能够在自己个人的工作服务器上进行训练推理。本文旨在简要地介绍Deepspeed进行大规模模型训练的核心理念，以及最基本的使用方法。

[deepspeed源码解析]site-packages＞deepspeed ＞launcher ＞runner.py 多机多卡 + deepspeed配置

强化学习曾小健

07-05

1417

如果未检测到或传入主机文件，则 DeepSpeed 将查询本地计算机上的 GPU 数量以发现可用的插槽数量。一旦 DeepSpeed 引擎初始化完毕，就可以使用三个简单的 API 来训练模型，即前向传播（可调用对象）、后向传播（另外，DeepSpeed 允许您将模型的分布式训练限制在可用节点和 GPU 的子集上。：在 FP16/混合精度训练中，DeepSpeed 引擎会自动处理损失缩放，以避免梯度中的精度损失。然后，DeepSpeed 将确保在其训练作业的每个节点上启动每个进程时设置这些环境变量。

llamafactory用多卡4090服务器，训练qwen14B大模型时报错GPU显存不足oom（out of memory），已解决

qq_38773993的博客

10-23

4618

通过export CUDA_VISIBLE_DVICES=0,1,2,3,4,5,6,7指定使用8张显卡，训练qwen2.5-7B大模型时正常，但训练qwen2.5-14B，qwen2.5-32B模型时报错，torch.OutOfMemoryError:CUDA out of memory。至于ds_config_zero3.json这个，可以去qwen官网下载，https://github.com/QwenLM/Qwen/blob/main/finetune/ds_config_zero3.json。

大模型多机多卡脚本实例 - 增量预训练 -accelerate和deepspeed命令多机多卡训练有什么不同

强化学习曾小健

07-05

2425

总的来说,Accelerate更适合快速上手和一般规模的模型训练,而DeepSpeed则更适合大规模模型和需要高度优化的场景。选择哪个框架取决于具体的项目需求、模型规模和可用的硬件资源。根据具体的硬件资源和模型规模,可以选择合适的优化策略或组合使用。管线并行(Pipeline Parallelism)单GPU或少量GPU上能提供高效的训练吞吐量。CUDA核函数,可以实现更快的推理速度。减少模型状态(参数、梯度、优化器。数据并行进程间分割模型状态。ZeRO和Offload。ZeRO和Offload。

七月论文审稿GPT第4版：通过paper-review数据集微调Mixtral-8x7b，对GPT4胜率超过80%

结构之法算法之道

03-28

4150

解决方案：训练时使用了--quantization_bit 4 和 --flash_attn True，这里也要使用统一的才行。有些得单独版本对齐，本人使用的是cuda11.8。更多见七月的《大模型商用项目审稿GPT微调实战》推理所需显存为34318MiB。

Deepspeed的zero2和zero3的配置文件Demo

大模型天花板

02-09

789

使用下面这个文件，在8*H100的机器上训练了Qwen2.5-32B模型。上下文窗口8K，batch_size = 8（num_gpu）*2（per_gpu_batch_size）*8(gradient_accumulation_steps) =128，deepspeed采用zero3，显存占用约65G，内存占用约653G（还有数据占的显存，数据量为0.06B tokens），训练时长2 hour。使用下面这个文件，在8*H100的机器上训练了Qwen2.5-7B模型。

通义千问 Qwen-14B 模型微调实战案例及经验总结

机器学习社区

04-20

4456

微调是指在已经预训练好的深度学习模型基础上，通过进一步训练来适应特定任务或数据集。这种方法允许我们在具有大规模通用知识的模型基础上，更好地适应特定领域或任务。通俗点讲，就是用通用模型作为基础，配合上特定场景的数据做进一步训练，得到适合特定场景的模型。