交叉注意力机制和自注意力机制的区别

### 自注意力机制与交叉注意力机制 #### 自注意力机制 (Self-Attention Mechanism) 自注意力机制允许模型的不同位置关注输入序列中的不同部分，从而更好地捕捉上下文信息。这种机制通过计算查询（Query）、键（Key）和值（Value）三者的交互来实现[^1]。 具体来说，在自然语言处理任务中，对于给定的一个词，可以考虑该词与其他所有词语之间的关系，而不仅仅是相邻的几个词。这有助于理解长距离依赖性和复杂语义结构。公式表示如下： \[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \] 其中 \( Q \)，\( K \)，以及 \( V \) 是由输入矩阵线性变换得到的向量组；\( d_k \) 表示维度大小用于缩放点积以稳定梯度传播。 ```python import torch.nn as nn import math class SelfAttention(nn.Module): def __init__(self, embed_size, heads): super(SelfAttention, self).__init__() self.embed_size = embed_size self.heads = heads # 定义线性层 self.values = nn.Linear(self.embed_size, self.embed_size, bias=False) self.keys = nn.Linear(self.embed_size, self.embed_size, bias=False) self.queries = nn.Linear(self.embed_size, self.embed_size, bias=False) def forward(self, value, key, query, mask=None): N = query.shape[0] value_len, key_len, query_len = value.shape[1], key.shape[1], query.shape[1] values = self.values(value).reshape(N, value_len, self.heads, self.embed_size // self.heads) keys = self.keys(key).reshape(N, key_len, self.heads, self.embed_size // self.heads) queries = self.queries(query).reshape(N, query_len, self.heads, self.embed_size // self.heads) energy = torch.einsum("nqhd,nkhd->nhqk", [queries, keys]) if mask is not None: energy = energy.masked_fill(mask == 0, float("-1e20")) attention = torch.softmax(energy / (self.embed_size ** (1/2)), dim=3) out = torch.einsum("nhql,nlhd->nqhd", [attention, values]).reshape( N, query_len, self.embed_size ) return out ``` #### 交叉注意力机制 (Cross-Attention Mechanism) 相比之下，交叉注意力机制涉及两个不同的源序列间的相互作用。通常应用于编码器-解码器架构中，其中一个序列表征来自编码端（通常是较长的历史信息），另一个则来自于当前正在生成的目标侧（较短的新数据）。这种方式使得目标侧能够有条件地聚焦于源侧的相关片段上[^2]。 例如在一个翻译任务里，当构建法语文本时，可以通过查看英文原文特定单词的影响来进行更精准的预测。其核心思想在于让每一个时刻都具备全局视角去寻找最匹配的部分作为参考依据。 ```python def cross_attention(Q_enc, K_dec, V_dec, dk): scores = torch.matmul(K_dec.transpose(-2,-1), Q_enc)/math.sqrt(dk) p_attn = F.softmax(scores,dim=-1) output = torch.matmul(p_attn,V_dec) return output,p_attn ``` 在实际应用中，这两种方法各有侧重并经常组合起来使用，比如Transformer模型就广泛采用了这些技术来提升性能表现。

注意力机制是一种机器学习中常用的技术，可以帮助模型更好地理解输入数据。多头注意力机制、交叉注意力机制和自注意力机制都是常见的注意力机制。其中，多头注意力机制可以让模型同时关注输入数据的不同部分，从而提高模型的表现；交叉注意力机制可以让模型学习不同输入数据之间的关系，从而更好地理解数据；自注意力机制则可以让模型关注输入数据中的不同部分，从而更好地理解数据的内部结构。这些注意力机制都有助于提高模型的性能和准确性。