多头注意力机制与注意力机制的区别

### 多头注意力机制与普通注意力机制的区别 #### 基本概念 普通注意力机制是一种用于建模序列间依赖关系的技术，它允许模型动态关注输入的不同部分[^2]。具体来说，在给定查询（query）、键（key）和值（value）的情况下，注意力机制会计算查询与各个键的相关性得分，并据此加权求和得到最终的输出。 然而，普通的单头注意力机制存在一定的局限性——它仅能在一个固定的子空间中操作，无法同时捕捉多种类型的特征或模式。这可能导致某些复杂的关系被忽略，从而影响模型的整体性能。 #### 多头注意力机制的设计理念 为了克服这一缺陷，多头注意力机制应运而生。该方法的核心思想是将输入划分为多个不同的子空间，每个子空间对应一个独立的注意力头（head）。这样做的好处在于，每一个注意力头都可以专注于特定方面的信息提取，进而提升模型对多样化特征的学习能力[^1]。 更进一步地，多头注意力机制通过线性变换分别生成多个 query、key 和 value 的副本，随后针对每组副本执行标准的自注意力运算。最后，各头部的结果会被拼接在一起并通过另一个投影层整合成单一向量作为最终输出[^3]。 #### 数学描述对比 对于普通注意力机制而言，其核心公式可以概括如下： \[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V \] 其中 \( Q \), \( K \), \( V \) 分别代表查询矩阵、键矩阵以及值矩阵；\( d_k \) 表示键维度大小。 相比之下，多头注意力则由若干个类似的单元组成，整体表达式可写为： \[ \text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1,...,\text{head}_h)\cdot W^O \] 这里每一项 head_i 定义为单独的一次常规注意力过程: \[ \text{head}_i=\text{Attention}(QW_i^Q,KW_i^K,VW_i^V) \] 值得注意的是参数集合 {Wi^Q,Wi^K,Wi^V}, i=1..h 都是由随机初始化而来且在整个训练过程中不断优化调整; 而WO 则负责融合来自不同视角下的局部最优解形成全局一致性的表示形式. #### 实现差异分析 从实现角度来看，两者的主要差别体现在以下几个方面: - **并行化程度**: 单头版本本质上是一串顺序执行的操作流，难以充分利用现代硬件资源如GPU/TPU所提供的强大算力支持. 反观后者由于采用了分治策略故天然具备高度并发特性. - **灵活性&鲁棒性**: 当面对复杂的任务场景时(比如长距离依赖问题)，单纯依靠某一种固定映射可能不足以充分刻画目标对象间的内在联系结构. 此类情况下引入更多样化的观察角度显然有助于缓解此类困境. 以下是 Python 中的一个简单实现例子来直观感受两者的异同之处: ```python import torch import math def scaled_dot_product_attention(query, key, value): dk = query.size(-1) scores = torch.matmul(query, key.transpose(-2,-1)) / math.sqrt(dk) attn_weights = torch.softmax(scores,dim=-1) output = torch.matmul(attn_weights,value) return output,attn_weights class MultiHeadedAttention(torch.nn.Module): def __init__(self,h,d_model): super().__init__() assert d_model % h ==0 self.d_k=d_model//h self.h=h self.linears=[torch.nn.Linear(d_model,d_model,bias=False)for _ in range(4)] def forward(self,q,k,v,mask=None): nbatches=q.size(0) q=self.linears[0](q).view(nbatches,-1,self.h,self.d_k).transpose(1,2) k=self.linears[1](k).view(nbatches,-1,self.h,self.d_k).transpose(1,2) v=self.linears[2](v).view(nbatches,-1,self.h,self.d_k).transpose(1,2) x,_=scaled_dot_product_attention(q,k,v) x=x.transpose(1,2).contiguous().view(nbatches,-1,self.h*self.d_k) return self.linears[-1](x) ```