SageAttention2：实现精确的4位注意力以加速推理

📜 引言

在这个人工智能和深度学习飞速发展的时代，注意力机制已经成为众多模型的核心组件，尤其是在自然语言处理和计算机视觉领域。随着应用场景的复杂性和数据量的增加，注意力机制的计算效率变得至关重要。SageAttention2的出现，正是为了应对这一挑战，通过引入4位量化技术和其他精度增强方法，显著提升了注意力计算的速度，而不损失精度。

🎭 注意力机制的复杂性

注意力机制的计算复杂度随着序列长度的增加而呈指数增长，这在实际应用中带来了巨大的计算负担。尽管线性注意力和稀疏注意力等方法通过减少计算复杂度来缓解这一问题，但它们通常仅适用于有限的模型和任务场景。为了在不牺牲精度的前提下提升计算速度，诸如FlashAttention、xformers及SageAttention等方法应运而生。

🎭 SageAttention的局限性

虽然SageAttention通过将QK⊤量化为INT8，并使用FP16进行P V的矩阵乘法实现了显著的加速效果，但它存在两个主要的局限性：首先，INT8的计算速度仅为INT4的一半