多头注意力和交叉注意力

### 多头注意力与交叉注意力的概念 多头注意力是一种扩展的自注意力机制，其核心在于通过多个并行的注意力头来捕获输入序列的不同子空间特征[^2]。每个注意力头可以专注于不同的模式或上下文信息，例如语法结构、语义关联或其他特定的关系。这种设计类似于卷积神经网络中的多滤波器策略，能够显著增强模型对复杂数据的理解能力。 相比之下，交叉注意力主要用于编码器-解码器架构中，在生成任务（如机器翻译）里起到重要作用[^1]。它允许解码器基于当前生成的状态查询整个源句子的信息，从而更精准地定位所需的内容片段用于下一步预测。 ### 区别分析 两者的主要差异体现在以下几个方面： 1. **作用对象** - 多头注意力通常应用于单一序列内部，无论是作为自注意还是其他形式都围绕同一组token展开计算过程。 - 而交叉注意力则涉及两个独立但相互关联的序列——通常是来自编码端和解码端的数据流之间建立联系[^1]。 2. **功能侧重** - 前者强调从不同角度提取丰富的局部特性； - 后者突出跨域映射关系的学习，即如何有效利用外部知识指导目标构建[^1]。 3. **参数配置** - 对于多头设置而言，存在K个平行运作的小型注意力模块共享部分权重矩阵却各自拥有独特偏置项；而后者仅需定义一对键值向量及其对应询问向量即可完成操作。 4. **性能表现** 实验数据显示采用八路并发处理方式相较于传统单通道方案可带来大约百分之十五左右质量上的改善效果特别是在自然语言转换场景下尤为明显。 ### 应用场景对比 #### 多头注意力的应用 适用于任何需要深入挖掘文本内在逻辑链条的任务场合比如但不限于情感分类、实体识别以及摘要生成等领域皆能发挥出色效能因为它们均依赖于详尽剖析词语间错综复杂的交互规律进而提炼出最具代表性的表达样式。 ```python import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, d_model=512, num_heads=8): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads ... ``` #### 交叉注意力的应用 广泛运用于双语文档对照分析或者图像描述生产等方面由于这类问题往往包含两套截然不同的表征体系所以借助该方法可以帮助我们找到最佳匹配点最终达成理想转化目的[^1]。 ```python def cross_attention(query, key, value, mask=None): scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) p_attn = F.softmax(scores, dim=-1) return torch.matmul(p_attn, value), p_attn ```