8.1 从28GB到7GB！大模型显存暴降4倍的量化实战指南

从28GB到7GB！大模型显存暴降4倍的量化实战指南

8.1 模型显存占用与量化技术简介

8.1.1 大模型显存占用分析

在部署和训练大语言模型（LLM）时，显存占用是开发者面临的核心挑战。以 LLaMA-7B 模型为例，其参数规模为70亿（7B），若使用 FP32（32位浮点数） 存储，单参数占用4字节，总显存需求为：

7B × 4 Bytes = 28 GB  

实际场景中，模型训练还需额外存储梯度（Gradients）和优化器状态（Optimizer States）：