一个demo了解TensorRT的PTQ和QAT

已于 2024-08-19 10:41:52 修改
阅读量354 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 量化_Onnx_TensorRT 文章标签： python 人工智能 持续部署
于 2024-08-17 00:42:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35435798/article/details/141272390

文章目录

一. 背景介绍

​ 模型开完并训练完成之后，为了部署到嵌入式设备，往往需要进行量化，以减少模型推理时的资源消耗，加快模型的推理速度。本教程仅针对TensorRT框架，使用TensorRT的python接口，进行量化相关的PTQ和QAT的介绍。本教程默认读者已经熟悉量化相关的基础概念（如量化QuantizeLinear和反量化DequantizeLinear算子），了解量化的过程需要完成的基本动作，如量化算子对模型节点进行精度变化（比如FP32->FP16，FP16->INT8）。相关的基础学习可以参考：

  1. 必看部署系列~懂你的神经网络量化教程：第一讲！ (qq.com)
  2. 量化番外篇——Tensor
了解本专栏 订阅专栏 解锁全文 超级会员免费看
TensorRT量化模型分析（耗时分布可视化等）
qq_35435798的博客
09-05 1133
又难以解决掉点问题，则我们往往会分析模型的不同模块，找到哪个模块量化后导致掉点严重，然后这些模块将不再被插入量化算子，保持其原始的模型结构。无论哪种方式，都不可避免要进行模型耗时分析，比如，了解模型某个模块甚至某个节点的耗时情况，才能更加精确的指导模型缩减耗时的方向。文件（笔者这里仅写结论，具体内容可以由读者进入该脚本文件中阅读代码），该文件具体执行的动作，可以分解为以下所述内容。会看到如下图示，点击左上角的选项，能选择各类对比分析，比如不同精度计算量的占比，即可，根据问题，补充依赖包，完成安装。
（24）目标检测算法之YOLOv6 (2)量化与部署详解
yohnyang的博客
07-02 2450
目标检测算法之YOLOv6 量化与部署详解
TensorRT的两种INT8量化方式: QTA, PTQ
专注于人工智能领域的小何尚
03-27 2338
深度学习 (DL) 模型的训练阶段包括学习大量密集的浮点权重矩阵，这导致推理过程中需要进行大量的浮点计算。研究表明，可以通过强制某些权重为零来跳过其中许多计算，而对最终精度的影响很小。与此同时，之前的帖子表明较低的精度（例如 INT8）通常足以在推理过程中获得与 FP32 相似的精度。稀疏性和量化是流行的优化技术，用于解决这些问题，缩短推理时间并减少内存占用。
TensorRT模型量化实践
保持分享欲
09-01 2086
2. onnx导出为tensort engine时可以采用trtexec(注：命令行需加–int8，需要fp16和int8混合精度时，再添加–fp16)，比较简单；trtexec 有提供 --calib=接口进行校正，但需要对中间特征进行cache文件保存，比较麻烦，官方文档也是采用上述方式进行int8量化；1.导出onnx时，显存占用非常大；3.量化过程中发现，即使模型为动态输入，校正数据集使用时也必须与推理时的输入shape[N, C, H, W]完全一致，否则，效果非常非常差，动态模型慎用。
【AI系统】感知量化训练 QAT
m0_54854484的博客
05-15 1052
之所以称之为“fake”量化，是因为它们对数据进行量化并立即反量化，添加了类似于在量化推理过程中可能遇到的量化噪声，以模拟训练期间量化的效果。为了求得网络模型 tensor 数据精确的 Min 和 Max 值，因此在模型训练的时候插入伪量化节点来模拟引入的误差，得到数据的分布。在这个过程中，转换器会将原始模型中的 FakeQuant 算子分解成 Q 和 DQ 两个算子，分别对应量化和反量化操作，包含了该层或者该激活值的量化 scale 和 zero-point。
七、深入学习TensorRT，Quantized
我的小天地 ^_^
02-07 664
距离上一篇文章已经过去快一年了，这一年也真够忙的，也够累的，躺平吧又躺不平，赚钱吧又赚不到，先混着吧，考虑到对于部署的人来说，TensorRT的确非常重要，而且自己还有很多不会的地方，所以还是想着把剩下没有滤掉的地方认真搞一下，特别是后面的plugin部分，估计是面试的重点和难点。这一节我们来学习一下量化的知识。
TensorRT 神经网络量化流程
专注基础架构领域
02-24 1049
TensorRT量化工具，支持PTQ和QAT量化基本流程：读取模型-》转化为IR进行图分析，做一些优化策略一、TensorRT量化模式TensorRT有两种量化模式：分别是implicitly以及explicitly量化，前者是隐式量化，在7.0及之前版本用的较多；后者显式量化在8.0版本后才完全支持，就是可以加载带有QDQ信息的模型，然后生成量化版本的Engine；1、 与隐式量化相关性较繦的。
TensoRT量化第四课：PTQ与QAT
热门推荐
周同学的博客
05-04 1万+
TensorRT量化第四课笔记
量化番外篇 | TensorRT-8的量化细节
CV_Autobot的博客
03-10 1896
作者|Oldpan 编辑| oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群好久不见各位~这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应...
pytorch TensorRT PQT,QAT + 相关资源
ResumeProject的博客
03-12 1111
这篇文章里使用了pythorch提供的量化工具。我首先看到了 pytorch文档的，但文档中仅有部分执行文件，我安装环境后，对代码进行修改，并执行到了PQT的部分，但是QAT训练总是报错(可能和我电脑上有关系，PQT的执行是需要电脑中cudnn的)，然后在查资料的过程中发现了官方提供了，我安装了docker环境，并得到以下的执行结果(PQT和QAT均能正常执行)，最后将环境配置成了的模式，以方便我对后续代码的调试。
一文读懂TensorRT整数量化
xiaohu的博客
02-07 1673
模型量化是一种流行的深度学习优化方法，其中模型数据（包括网络参数和激活）从浮点表示转换为较低精度表示，通常使用 8 位整数。在处理 8 位整数数据时， NVIDIA GPU 使用更快更低成本的 8 位张量核来计算卷积和矩阵乘法运算。这会产生更多的计算吞吐量，这在计算受限的层上尤其有效。将数据从内存移动到计算单元（在 NVIDIA GPU s 中的流式多处理器）需要时间和能量，而且还会产生热量。将激活和参数数据的精度从 32 位浮点值降低到 8 位整数可导致 4 倍的数据缩减，从而省电并减少产生的热量。
Deep Learning-3 深度学习-quant-2
weixin_42914706的博客
06-27 755
加入了权重的缩放系数的优化变量，导致了多变量优化问题。把一个 layer 的激活值范围的给圈出来，然后按照绝对值最大值作为阈值（因此当正负分布不均匀的时候，是有一部分是空缺的，部分值域被浪费，正负值的绝对值最大值相差较大），然后把这个范围直接按比例给映射到正负128的范围内来，即为int8的范围；量化的目的就是把训练得到的 FP32 的浮点数卷积操作，转换为 INT8 的卷积操作，这样计算就变成了原来的 1/4，最本质的操作 max-max 映射如下图，也叫不饱和映射（No saturation）；
创新玩法！AI应用架构师的AI模型量化部署新方式
最新发布
AI 算法实战派
08-01 685
训练好的FP32模型太大（比如ResNet50有100MB+），部署到边缘设备或云服务器时占用过多内存？推理速度太慢（比如实时目标检测需要100ms/帧），无法满足低延迟要求？传统量化方法（如QAT）需要重新训练，PTQ需要手动调参，流程繁琐且容易出错？本文将介绍一种创新的量化部署新方式：结合ONNX Runtime的自动化PTQ（Post-training Quantization）工具与TensorRT的高性能INT8推理引擎，实现从FP32模型到轻量级INT8模型的一键优化。
TensorRT--PTQ（隐式量化）--keras
Anita6681的博客
01-13 348
本文的网络模型框架是keras，无法使用pytorch量化工具，应用TensorRT对训练后得到的.onnx进行量化。
【TensorRT（5）】tensorrt官方int8量化方法汇总
Hali_Botebie的博客
05-27 1900
int8量化对小目标检测影响较大；int8量化相比fp16量化推理时间并不会节省一半，需实测；当fp16推理时间满足要求时，请采用fp16量化；
TensorRT PTQ量化Calibrator介绍
old_power的博客
01-23 685
在TensorRT中，PTQ（Post-Training Quantization，训练后量化）用于将浮点模型转换为INT8精度，以提升推理速度并减少内存占用。TensorRT提供了多种校准器（Calibrator）来实现INT8量化。
模型量化——NVIDIA——QAT
TigerZ*的博客
08-09 593
本文讲解如何使用QAT进行量化，并针对YOLO系列进行了代码演示，开箱即用量化YOLO v5、YOLO V8 等热门的检测模型，增强自己的竞争力，强力推荐吆。
深度学习系列六：将网络迁移到TensorRT7.0平台
liu3612162的博客
03-14 3432
概述 关于使用TensorRT对网络进行加速的基本工作在深度学习系列五：使用TensorRT对网络进行加速中描述很详细了，这里主要记录下在迁移到7.0时，顺便解决了之前ResizeNearestNeighbor这个层在uff模型中无法直接支持必须外挂plugin的问题。 Keras模型转ONNX模型 之前使用6.0时，采用的方案是Keras模型转uff模型，再创建engine，其实从官方文档可以看...
tensorrt PTQ
06-12
以下是一个简单的代码示例，展示如何使用 TensorRT 进行 PTQ： ```python import tensorrt as trt def build_int8_engine(onnx_model_path, calibration_cache_path): TRT_LOGGER = trt.Logger(trt.Logger....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值