qwen注意力权重

### Qwen 注意力机制分析 Qwen 的注意力机制基于 Transformer 架构的核心组件 Multi-head Attention (MHA)，但在具体实现上进行了优化和改进。以下是关于 Qwen 注意力机制及其权重计算的相关细节： #### 1. **多头注意力机制** 在标准的 MHA 中，查询（Query, \( Q \)）、键（Key, \( K \)）和值（Value, \( V \)）分别通过线性变换得到[^1]： \[ Q = XW_Q,\quad K = XW_K,\quad V = XW_V \] 其中 \( W_Q, W_K, W_V \) 是可学习参数矩阵，\( X \) 表示输入向量。 对于每个注意力头，计算注意力分数的方式为： \[ Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V \] 这里 \( d_k \) 是键维度大小，用于缩放点积以防止梯度消失或爆炸。 #### 2. **组查询注意力（GQA）** Qwen 使用 Grouped Query Attention (GQA) 替代传统的 MHA，在推理阶段优化 KV 缓存结构，从而提升吞吐量[^2]。 GQA 将多个查询分组成共享相同的 Key 和 Value 向量，减少冗余计算的同时保持性能不变。其主要优势在于降低内存占用和加速长序列处理能力。 #### 3. **双重块注意力机制（DCA）** 为了支持更长的上下文窗口，Qwen 引入 Dual Chunk Attention (DCA)。该方法将输入划分为固定长度的小块，并利用 YARN 技术调整注意力权重分布。当单个块能够容纳整个序列时，DCA 输出与常规全连接注意力一致；而在跨块场景下，则额外考虑相对位置信息来增强建模效果。 #### 4. **旋转位置编码（RoPE）** Qwen 还采用了 RoPE（Rotary Position Embedding），一种轻量化的位置编码方案。相比于传统绝对位置编码方式，RoPE 能够动态适应不同长度序列而无需显式扩充预定义表项数。这使得模型具备更强泛化能力和高效资源利用率。 #### 5. **归一化与激活函数** - RMSNorm 归一化被应用于每一层之前作为前置操作； - SwiGLU 激活函数取代了普通的 ReLU 或 GeLU 函数形式。 这些设计共同促进了稳定训练过程以及最终预测质量改善。 ```python import torch from transformers import AutoModelForCausalLM model_name = 'qwen' tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) def compute_attention_weights(input_ids): outputs = model( input_ids=input_ids, output_attentions=True ) attentions = outputs.attentions[-1][0].detach().numpy() # 取最后一层第一个样本 return attentions input_text = "hello world" inputs = tokenizer.encode_plus(input_text, return_tensors="pt")['input_ids'] attention_matrix = compute_attention_weights(inputs) print(attention_matrix.shape) # 打印形状验证结果 ``` 上述代码片段展示了如何提取 Qwen 模型某一层内的自注意力权值矩阵实例。 ---