Transformer动画讲解 - Cross Attention

### Cross Attention 的定义 Cross attention 是一种注意力机制，在深度学习和神经网络中广泛应用于涉及两个不同序列或多模态输入的任务。它允许一个序列（称为查询序列）关注另一个序列（称为键值序列）的不同部分，从而捕捉两者之间的关系[^1]。 具体来说，cross attention 可以看作是一个双向映射过程，其中一个序列作为查询 (query)，另一个序列作为键 (key) 和值 (value)。这种设计使得模型能够专注于另一组输入中最相关的部分，进而增强跨域信息交互的能力。 --- ### 实现方式 在实际实现中，cross attention 基于标准的自注意力机制 (self-attention mechanism) 进行扩展。以下是其实现的核心步骤： #### 输入准备 假设存在两个不同的输入序列 \( Q \in \mathbb{R}^{n_q \times d_k} \) （查询序列）、\( K \in \mathbb{R}^{n_k \times d_k} \) （键序列）和 \( V \in \mathbb{R}^{n_k \times d_v} \) （值序列）。这里： - \( n_q \): 查询序列长度； - \( n_k \): 键/值序列长度； - \( d_k \): 键向量维度； - \( d_v \): 值向量维度； #### 计算注意力权重 通过计算查询与键之间的相似度矩阵得到注意力分数，并对其进行 softmax 归一化操作： \[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V. \] 这里的除法项 \( \sqrt{d_k} \) 被用来缩放点积结果，防止数值过大影响 softmax 输出稳定性[^2]。 #### Python 实现示例 下面展示了一个简单的 cross attention 层实现代码片段： ```python import torch import torch.nn as nn import math class CrossAttention(nn.Module): def __init__(self, dim_query, dim_key_value, num_heads=8, dropout=0.1): super(CrossAttention, self).__init__() assert dim_query % num_heads == 0 and dim_key_value % num_heads == 0 self.num_heads = num_heads self.head_dim = dim_query // num_heads self.scale = self.head_dim ** -0.5 self.to_queries = nn.Linear(dim_query, dim_query) self.to_keys_values = nn.Linear(dim_key_value, dim_key_value * 2) self.attend = nn.Softmax(dim=-1) self.dropout = nn.Dropout(dropout) def forward(self, query, key_value): q = self.to_queries(query).view(query.shape[0], -1, self.num_heads, self.head_dim).transpose(1, 2) k, v = self.to_keys_values(key_value).chunk(2, dim=-1) k = k.view(k.shape[0], -1, self.num_heads, self.head_dim).transpose(1, 2) v = v.view(v.shape[0], -1, self.num_heads, self.head_dim).transpose(1, 2) dots = torch.matmul(q, k.transpose(-1, -2)) * self.scale attn = self.attend(dots) attn = self.dropout(attn) out = torch.matmul(attn, v) out = out.transpose(1, 2).contiguous().view(out.shape[0], -1, self.num_heads * self.head_dim) return out ``` 此模块接受 `query` 和 `key_value` 序列作为输入，并返回经过 cross attention 处理后的输出张量。 --- ### 应用场景 Cross attention 广泛用于多种多模态融合任务以及复杂序列建模问题，主要包括以下几个方面： #### 1. 图像与文本联合建模 在视觉问答 (Visual Question Answering, VQA) 或图像描述生成 (Image Caption Generation) 中，cross attention 将来自 CNN 提取的图像特征视为键值对，而将 LSTM 或 Transformer 编码器产生的文本嵌入当作查询。这样可以让模型动态调整哪些区域的信息对于当前单词预测更重要[^3]。 #### 2. 神经机器翻译 当构建双语平行语料库上的 seq2seq 架构时，解码阶段会利用 encoder 隐藏状态充当 keys/values 来指导 decoder 更好地生成目标语言句子[^4]。 #### 3. 时间序列分析 例如金融预测、天气预报等领域内的多元时间序列数据处理也可以借助 cross attention 方法挖掘变量间潜在依赖模式。 #### 4. 自然语言理解中的对比学习 通过引入外部知识源（如常识数据库），采用 cross attention 结合主句表示形式进行细粒度匹配评估，有助于提升下游 NLU 性能表现。 --- ###