【论文阅读】INT-FP-QSim: Mixed Precision and Formats For Large Language Models and Vision Transformers

作者及发刊详情

Nair, Lakshmi, et al. INT-FP-QSim: Mixed Precision and Formats For Large Language Models and Vision Transformers. arXiv, 7 July 2023. arXiv.org, https://doi.org/10.48550/arXiv.2307.03712.

Motivation

大型语言模型（llm）的兴起导致了以较低的精度运行llm的研究增加，为了支持这一工作，提出了一个开源模拟器来测试大型语言模型和视觉transformer模型在不同数值精度级别下的运行效果。

Related work

(Background)

Appraoch

主要贡献

1）提出了INT-FP-QSim，一个开源的灵活的模拟器，以模型的网络层为单位作为量化对象，模拟不同的数值格式

2）研究了使用具有4位整数权重和8位浮点激活的混合数据格式的效果

3）研究了混合和低精度对各种模型和任务领域的影响，从传统的llm到计算机视觉和文本到图像生成的transformer模型。

数值格式及精度恢复

本文设置权重为4bit，可以是FP，也可以是INT
激活可以是4bit或8bit的FP和INT格式，具体设置为如下：
1）4bit INT
2）8bit INT
3）4bit FP，分别E2M1和E1M2
4）8bit FP，E4M3

量化必然会导致模型精度变差，可以采用如下方法恢复精度：