模型量化各类论文综述（摘要、方法总结）

最新推荐文章于 2025-09-14 17:03:17 发布
原创 最新推荐文章于 2025-09-14 17:03:17 发布 · 置顶 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文综述了模型量化领域的研究进展，重点介绍了固定点标量量化方法。通过回顾韩松等人的工作及参考文献，深入探讨了量化技术在深度学习模型压缩中的应用。
CV/NLP大虾
关注
模型量化论文阅读#1----综述：A Survey of Quantization Methods for Efficient Neural Network Inference
羊藤枝的博客
05-20 6562
1. 量化的基本概念 A. 问题设置和符号表示 假设网络有L层，其每层的参数表示为：{W1,W2,…,WL}\left\{W_{1}, W_{2}, \ldots, W_{L}\right\}{W1​,W2​,…,WL​}，用θ\thetaθ表示所有参数的集合，以监督学习问题为例，其目标函数为： L(θ)=1N∑i=1Nl(xi,yi;θ)（1） \mathcal{L}(\theta)=\frac{1}{N} \sum_{i=1}^{N} l\left(x_{i}, y_{i} ; \theta\right
模型量化论文阅读#4----EWGS:Network Quantization with Element-wise Gradient Scaling
羊藤枝的博客
06-29 1416
在量化中，因为量化函数是不可微分的，所以一旦涉及到量化函数的反向传播时，就需要对量化函数的梯度进行近似，目前常用的近似是STE，从而避免量化函数的零梯度问题。所谓STE就是一个直通器，它只是传播相同的梯度而不考虑量化函数的输入和输出之间的离散误差。这篇论文就针对STE的缺点提出了一种元素级的梯度放缩算法，叫做EWGS。给定量化函数量化输出的梯度，EWGS自适应地放大或缩小每个梯度元素，并使用缩放后的梯度作为量化函数输入的梯度，通过反向传播来训练量化的网络。缩放是根据每个梯度元素的符号和量化函数的连续输入和离
论文阅读——SmoothQuant: 大型语言模型的精确高效后训练量化
最新发布
DuHz的博客
09-14 1009
SmoothQuant：大型语言模型的高效后训练量化方法 本研究提出SmoothQuant方法，解决大型语言模型(LLMs)量化中的激活值异常值问题。通过分析发现，LLMs激活值中存在系统性异常值，导致传统量化方法失效。SmoothQuant创新性地将量化难度从激活值迁移到权重，利用通道级平滑因子调整两者的比例关系。数学上通过$Y = (X\text{diag}(s)^{-1}) \cdot (\text{diag}(s)W)$实现等价变换，其中平滑因子$s_j$由超参数$\alpha$控制迁移强度。实验表
神经网络模型量化综述（下）
LF_AI的博客
10-09 1147
通过训练，神经网络就可以使用更低精度的数据格式（包括浮点、定点和整数）进行推理。低精度数据格式提供了几个性能优势：许多处理器通过 low-bit 格式提供更高吞吐量的数学管道，这可以加快计...
模型量化论文阅读#2----BRECQ: PUSHING THE LIMIT OF POST-TRAINING QUANTIZATION BY BLOCK RECONSTRUCTION
羊藤枝的博客
05-20 5525
1. 相关基础 量化基础知识 在量化中，一个比较重要的概念是量化函数q(⋅)q(\cdot)q(⋅)，即如何从一个浮点数值映射到具有特定宽度的量化值，即: q(⋅):R→Qbu,sym q(\cdot): \mathcal{R} \rightarrow \mathcal{Q}_{b}^{\text {u,sym }}q(⋅):R→Qbu,sym ​. 一般比较常用的量化函数是四舍五入函数，当前很多量化算法使用的是这个函数，比如PACT等。 一般量化问题可以表示为下述的优化目标函数： mi
模型量化（Model Quantization）
noobiee的博客
08-27 4328
模型量化（Model Quantization）通过某种方法。比如说原来的模型里面的权重（weight）都是float32，通过模型量化，将模型变成权重（weight）都是int8的定点模型IEEE标准中的FP16格式如下：取值范围是5.96× 10−8 ~ 65504，而FP32则是1.4×10-45 ~ 3.4×1038。从FP16的范围可以看出，用FP16代替原FP32神经网络计算的最大问题就是精度损失。
A Comprehensive Evaluation of Quantization Strategies for Large Language Models全面评估大型语言模型的量化策略论文阅读
m0_67450301的博客
03-18 1755
A Comprehensive Evaluation of Quantization Strategies for Large Language Models全面评估大型语言模型的量化策略论文阅读——————大模型量化的一个小综述
A Survey of Large Language Models大模型综述论文章节总结
weixin_45320238的博客
10-17 2366
这篇论文出自于中国人民大学，全面回顾了大型语言模型 (LLM) 的最新进展，重点关注其发展背景、关键发现和主流技术。
【论文阅读】 A Survey on Uncertainty Quantification Methods for Deep Learning：不确定性量化方法综述
Siyu_Zhu的博客
04-09 1341
ASurvey on Uncertainty Quantification Methods for Deep Learning
大模型量化技术原理-SmoothQuant
张伟的专栏
08-02 1404
根据量化参数s(数据量化的间隔)和z(数据偏移的偏置)的共享范围，即量化粒度的不同，量化方法可以分为逐层量化（per-tensor）、逐通道（per-token & per-channel 或者 vector-wise quantization ）量化和逐组量化（per-group、Group-wise）。近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
模型量化整理
u011279649的专栏
01-29 260
https://tensorflow.google.cn/model_optimization/guide/
神经网络模型量化论文小结
热门推荐
u012101561的博客
07-22 2万+
现在“边缘计算”越来越重要，真正能落地的算法才是有竞争力的算法。随着卷积神经网络模型堆叠的层数越来越多，网络模型的权重参数数量也随之增长，专用硬件平台可以很好的解决计算与存储的双重需求，但目前还不成熟，存在些亟待解决的问题，没能大规模商用。对模型进行参数量化的主要目的是减小模型存储体积，加速运算，能够将算法应用在通用的嵌入式移动平台。陆陆续续阅读了关于模型量化的论文，通过这篇博客做一个...
对模型量化的简单的总览
JachinMa的博客
02-02 949
本文总结了《哈佛大学在读博士董鑫：模型量化—更小更快更强》(https://www.bilibili.com/video/av76554696)的内容。 首先他简单介绍了下量化的必要性，这个其实随便哪篇文章的介绍里都会提及。 随后他介绍了量化目前的问题： 在前向传播时，由于量化使得参数精度下降，于是模型的表达能力下降了。这在一些简单的分类任务中表现得不太明显，甚至有时候量化还会增加分类精度。但当模...
神经网络模型量化综述（上）
csdndevpress0035的博客
08-09 727
作为通用神经网络模型优化方法之一，模型量化可以减小深度神经网络模型的尺寸大小和模型推理时间，其适用于绝大多数模型和不同的硬件设备。
模型量化技术综述：揭示大型语言模型压缩的前沿技术
deephub
08-03 6288
量化旨在将模型参数的精度从高位宽（如32位浮点数）降低到低位宽（如8位整数）。在减少表示原始参数的位数时，通常会有一些精度（细粒度）的损失。为了说明这种效应，我们可以拿任何一幅图像，仅使用8种颜色来表示它。放大部分看起来比原图更“粗糙”，因为我们用更少的颜色来表示它。量化的主要目标是在尽可能保持原始参数的精度的同时，减少表示原始参数所需的位数（颜色）。
大模型量化概述
2401_85324918的博客
08-09 2154
模型量化是指以较低的推理精度损失将连续取值（通常为float32或者大量可能的离散值）的浮点型权重近似为有限多个离散值（通常为int8）的过程。通过以更少的位数表示浮点数据，模型量化可以减少模型尺寸，进而减少在推理时的内存消耗，并且在一些低精度运算较快的处理器上可以增加推理速度。具体如下图所示，[-T, T]是量化前的数据范围，[-127, 127]是量化后的数据范围。image.png本文简要概述了模型量化基本原理以及目前针对大模型的一些量化方法。
模型压缩 | 量化算法概述
CV_Autobot的博客
05-01 2269
作者|嵌入式视觉 编辑|嵌入式视觉点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型压缩】获取模型压缩、裁剪、量化、蒸馏等综述论文！目录前言一，模型量化概述二，模型量化的方案三，量化算法四，量化方法的改进五，量化实战经验参考资料部分公式太长了，公众号阅读不方便，建议点击阅读原文跳转 gihutb 链接，阅读体验更好...
模型量化基本概念介绍
生活需要深度
02-21 3640
这些年来，深度学习在众多领域亮眼的表现使其成为了如今机器学习的主流方向，但其巨大的计算量仍为人诟病。近几年，业界涌现出越来越多基于深度神经网络的端侧上的智能应用。而对于端上产品而言，深度神经网络巨大计算量是非常大的挑战。为了弥补端侧智能应用的算力需求与端侧的算力能力的鸿沟，近几年来模型压缩成为了业界的热点之一。而模型量化属于非常实用的模型压缩技术，并且当前已经在工业界发展非常成熟。模型量化所处位置。
量化交易策略建模综述
DAN_L的博客
07-10 2099
一、常见的features （一）time lags （二） （三） （四）CCI CCI = (Typical price - MA of Typical price) / (0.015 * Standard deviation of Typical price) （五）Ease of Movement(EVM) （六）Distance moved = ((Current High + Current Low)/2 - (Pior High + Pior Low)/2) （七）MA （八）Rate
模型压缩领域重要文献综述与精选合集
模型压缩的主要方法可以分为两大类：结构化剪枝和参数量化。 1. **结构化剪枝（Structured Pruning）**： - **剪枝的概念**：剪枝是指移除神经网络中不重要的参数（通常是权重）的过程，可以是非结构化的，也可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值