cross attention变体

### Cross Attention 的变体及其改进 Cross attention 是一种广泛应用于多模态学习和序列到序列模型中的机制，用于捕捉两个不同输入之间的交互关系。以下是几种常见的 cross attention 变体或改进版本： #### 1. **Multi-head Cross Attention** 传统的单头 cross attention 被扩展为多头形式，允许模型从不同的表示子空间中提取特征[^2]。通过并行计算多个注意力头并将它们的结果拼接起来，multi-head cross attention 提高了模型的表达能力。 ```python import torch.nn as nn class MultiHeadCrossAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadCrossAttention, self).__init__() self.attention = nn.MultiheadAttention(d_model, num_heads) def forward(self, query, key, value): return self.attention(query=query, key=key, value=value)[0] ``` #### 2. **Scaled Dot-Product Cross Attention** 为了防止点积操作导致数值过大而影响 softmax 函数的稳定性，在标准 dot-product cross attention 中引入了一个缩放因子 \( \sqrt{d_k} \)，其中 \( d_k \) 表示键向量的维度[^2]。这种改进显著提升了训练过程中的收敛速度。 #### 3. **Additive (Bahdanau-style) Cross Attention** 不同于基于点积的方法，additive cross attention 使用双线性函数来衡量查询与键之间的相似度。这种方法通常被描述为能量函数的形式，并通过激活函数进一步处理[^1]。 #### 4. **Sparse Cross Attention** 在大规模数据集上应用 full cross attention 存在内存消耗过高的问题。sparse cross attention 则通过对齐策略减少不必要的计算开销，例如仅关注局部区域或者采用稀疏矩阵近似技术[^3]。 #### 5. **Learnable Positional Encoding in Cross Attention** 位置编码对于捕获序列间的关系至关重要。某些研究提出了可学习的位置编码方案代替固定正弦波形，从而增强模型适应特定任务的能力[^4]。 #### 6. **Gated Cross Attention Mechanism** 引入门控单元控制信息流动方向，使得网络能够动态调整哪些部分应该接收更多权重分配给另一侧的信息流。这有助于缓解噪声干扰以及提升泛化性能[^1]。 --- ### 实现示例：Gated Cross Attention 下面展示如何实现带门控功能的跨注意层： ```python import torch from torch import nn class GatedCrossAttentionLayer(nn.Module): def __init__(self, dim_qkv=128, dropout_rate=0.1): super(GatedCrossAttentionLayer, self).__init__() # 定义交叉注意力模块 self.cross_attn = nn.MultiheadAttention(embed_dim=dim_qkv, num_heads=8) # 添加门控机制组件 self.gate_linear = nn.Linear(dim_qkv * 2, dim_qkv) self.dropout = nn.Dropout(dropout_rate) self.sigmoid = nn.Sigmoid() def forward(self, q, k, v): attn_output, _ = self.cross_attn(q, k, v) gate_input = torch.cat([q, attn_output], dim=-1) gating_weight = self.sigmoid(self.gate_linear(gate_input)) gated_output = gating_weight * attn_output + (1 - gating_weight) * q return self.dropout(gated_output) ``` ---