cross attention embedding

### 关于交叉注意力机制在嵌入层的应用与实现 #### 交叉注意力机制概述 交叉注意力机制允许模型在一个序列的基础上聚焦另一个序列的不同部分，从而增强表示能力。这种机制广泛应用于多模态学习、机器翻译等领域，在这些场景下，不同模态的信息交互至关重要。 #### 实现细节 为了实现在嵌入层中的交叉注意力机制，通常采用如下方式： - **输入准备** 输入数据被分为源序列 \(X\) 和目标序列 \(Y\) 。对于每个序列，先经过线性变换得到查询向量 \(Q\) ，键向量 \(K\) 及值向量 \(V\) ：\[ Q_X=W_Q X,\ K_Y=W_K Y,\ V_Y=W_V Y \][^1] - **计算注意力分数** 使用缩放点积注意公式计算源序列对目标序列的关注度得分矩阵：\[ A=\text{softmax}\left(\frac{{Q_X}{K_Y}^\top }{\sqrt {d_k}}\right)V_Y \] 其中 \(d_k\) 是键维度大小用于稳定梯度传播[^4] - **特征融合** 将获得的上下文向量与原有嵌入相加并传递给后续处理模块如前馈神经网络或残差连接等结构完成最终输出。 ```python import torch.nn as nn import math class CrossAttention(nn.Module): def __init__(self, embed_size, num_heads): super(CrossAttention, self).__init__() self.embed_size = embed_size self.num_heads = num_heads # 定义可训练参数Wq,Wk,Wv self.W_q = nn.Linear(embed_size, embed_size) self.W_k = nn.Linear(embed_size, embed_size) self.W_v = nn.Linear(embed_size, embed_size) self.fc_out = nn.Linear(embed_size, embed_size) def forward(self, query, key, value): N = query.shape[0] # 计算Query/Key/Value q = self.W_q(query).view(N, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) k = self.W_k(key).view(N, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) v = self.W_v(value).view(N, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) scores = torch.einsum('nshd,nthd->nhst', [q, k]) / math.sqrt(self.embed_size // self.num_heads) attn_weights = F.softmax(scores, dim=-1) out = torch.einsum('nhst,nthd->nshd', [attn_weights, v]).reshape(N, -1, self.embed_size) return self.fc_out(out) ``` 上述代码展示了如何构建一个多头交叉注意力层，并将其应用于两个不同的输入张量之间。这里假设 `query`, `key` 和 `value` 已经作为预处理后的嵌入形式提供给了函数。