速算：大模型训练和推理的显存占用计算

最新推荐文章于 2025-07-16 20:15:26 发布
最新推荐文章于 2025-07-16 20:15:26 发布
阅读量331 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM技术汇总 LLM技术优质文章 AI面经 文章标签： RAG 大模型 Agent 人工智能 Deepseek
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/147561525

大模型训练和推理的显存占用计算涉及多个因素，以下是详细分析和具体示例：过两遍

在这里插入图片描述

1.大模型训练和推理显存计算-快速版

1.1 训练阶段的显存占用

训练时显存主要消耗在以下四个部分：

  1. 模型参数（Parameters）
  2. 梯度（Gradients）
  3. 优化器状态（Optimizer States）
  4. 中间激活值（Intermediate Activations）

示例：1.5B参数的Transformer模型（如GPT-2）

假设使用 Adam优化器 和 混合精度训练（模型参数为fp16，梯度和优化器状态为fp32）。

  1. 模型参数

    • 参数数量：1.5B（15亿）
    • 显存占用：1.5B × 2字节（fp16） = 3
了解本专栏 订阅专栏 解锁全文
深入解析大模型显存占用大小：公式、推导及实例分析
weixin_41174300的博客
10-03 2243
在深度学习中，模型的显存（GPU memory）占用是决定训练和推理效率的关键因素之一。特别是近年来，随着模型参数规模的不断增长，显存的合理分配和优化变得至关重要。本文将深入讲解模型在显存上的主要占用来源，提供详细的计算公式和具体例子，帮助读者理解显存需求的不同来源及如何进行优化。
大模型GPU显存占用计算
weixin_44532170的博客
12-03 6951
以参数量13B大模型为例，其中B是Billion，代表十亿参数，13B就是130亿参数其中每个参数全精度是fp32，也就是float32，占用32位bit，也就是4byte字节。那么全精度13B模型占用。
大模型知识积累(一)——大模型简单显存计算
m0_73944777的博客
04-02 1861
本文系统分析了大模型训练中的显存占用问题，梳理了FP64至FP4等浮点格式的存储结构，并以Llama13B为例，详细计算了模型参数（26GB）、优化器（Adam约156GB）、激活值（14.5GB）及梯度（26GB）的显存消耗，总需求约222.5GB。通过量化公式与案例，揭示了混合精度训练、优化器选择及中间结果存储对显存的影响，为大模型部署与优化提供理论参考。
微调前戏-模型显存计算
qq_28611929的博客
07-05 1047
随着（LLM）的规模从数十亿扩展到万亿参数，显存需求成为开发者面临的核心挑战。本文分析大模型在不同阶段（训练、推理）的显存占用计算公式，以便对显存资源进行预估。
大模型显存占用分析笔记：模型显存，训练显存，推理显存，显存优化
最新发布
学习记录
07-16 340
模型显存，训练显存，推理显存，显存优化
AI大模型的推理显存占用分析
酌沧
05-28 3898
了解Transformer架构的AI大模型显存占用是非常重要的，特别是在训练和推理过程中。
深入解析大语言模型显存占用：训练与推理
十一月廿七风雨大作
03-27 1万+
本篇文章将帮助你优雅又快速地拒绝老板。看完本篇《深入解析大语言模型显存占用：训练与推理》，你将对模型占用显存的问题有个透彻的理解。
LLM大模型显存计算
weixin_40777649的博客
01-12 9506
1b(10亿)个模型参数，约占用4G显存(实际大小：10^9 * 4 / 1024^3 ~= 3.725 GB)，那么LLaMA的参数量为7b，那么加载模型参数需要的显存为：3.725 * 7 ~= 26.075 GB。综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右。例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为。int8 的 LLaMA-6B，AdamW 需要 6B。
大模型不同参数下的模型显存计算公式
志在创建优质博客、通俗易懂、助力大家提高学习效率！
03-16 1万+
在这个基础上跑一次原始参数量的推理（不需要梯度和优化器状态，但仍然需要一些显存来存储运算过程的数据），合起来就是LoRA的所需要的显存。例：原本需要微调1024×512的参数，用了LoRA之后，如果选择的 Rank=8，则只需要微调这么多参数：1024×8+512×8。以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = 70亿 * 2字节 = 140亿字节。LoRA 只需要给原始模型做推理，训练一个更小的模型来实现和训练原始参数差不多的效果。优化器的状态：参数量的2倍。
7.12 模型显存/mix-precision
IsayIwant的博客
07-13 424
PyTorch的自动混合精度（AMP） - 知乎自动混合精度的关键词有两个：自动、混合精度：- 混合精度预示着有不止一种精度的Tensor，那在PyTorch的AMP模块里是几种呢？2种：torch.FloatTensor和torch.HalfTensor；- 自动预示着Tensor的dtype类型会自动变化，也就是框架按需自动调整tensor的dtype（其实不是完全自动，有些地方还是需要手工干预）；torch.cuda。
YOLO如何计算模型的参数量
03-20
用户之前问了关于训练轮次的问题，现在转向参数量计算，可能是想更深入了解模型结构或优化模型性能。 首先，用户可能在使用YOLOv8进行目标检测，但遇到了模型大小或计算资源的问题，想知道如何评估模型的参数量。...
开源大模型训练及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略
热门推荐
Johntill的博客
09-01 2万+
随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老破小GPU显卡，这就引发了一个问题：如何在这样的条件下成功运行模型？
最近，大模型岗位爆了。。。
2301_82275412的博客
04-29 1350
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，掌控AI大模型技术，成为超级个体，给大家带来了AI大模型全套资料。
模型的显存和参数量计算
weixin_49305813的博客
07-28 9030
写在前面：以此记录关于模型显存和参数量的一些理解和计算。 显存 参数的显存占用：只有有参数的层，才会有显存占用。这部分的显存占用和输入无关，模型加载完成之后就会占用。 有参数的层主要包括：卷积、全连接、BatchNorm、Embedding等等 无参数的层主要包括：多数的激活层(Sigmoid/ReLU)、池化层、Dropout等等 具体来说，模型参数数目(不考虑偏置b)： Linear(M->N)：M×N Conv2d(Cin，Cout，K)：Cin×Cout×k×k BatchNorm(N)：2
大模型扫盲之推理时显存占用计算
算法熔炉的博客
04-19 614
快速计算大模型推理时所需显存
【大模型实战篇】大模型显存资源计算以及GPU如何选择
源泉的小广场
09-05 6876
大模型、GPU、大模型显存资源计算、LLM、模型资源估算、计算公式、大模型资源因素、显存计算器、数值精度、GPU选型、大模型部署
TensorFlow相关组件的安装
AAI666666的博客
01-11 2937
TensorFlow相关组件的安装
如何估算大模型推理及微调的GPU显存需求？影响因素、计算规则及注意事项
2401_84204207的博客
05-04 1152
计算LLM的显存需要考虑多个因素，
如何计算模型以及中间变量的显存占用大小
weixin_43143419的博客
06-07 2189
感谢博主的分享： 计算模型以及中间变量的显存占用大小 前言 OUT OF MEMORY，显然是显存装不下你那么多的模型权重还有中间变量，然后程序奔溃了。怎么办，其实办法有很多，及时清空中间变量，优化代码，减少batch，等等等等，都能够减少显存溢出的风险。 但是这篇要说的是上面这一切优化操作的基础，如何去计算我们所使用的显存。学会如何计算出来我们设计的模型以及中间变量所占显存的大小，想必知道了这一点，我们对自己显存也就会得心应手了。 计算 首先我们应该了解一下基本的数据量信息： 1 G = 1024 MB
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值