cross attention fusion

### 跨注意力融合机制在深度学习中的应用 跨注意力(Cross Attention)是一种有效的机制，在处理多模态数据时能够捕捉不同模态之间的交互关系。通过引入查询(Query)，键(Key)和值(Value)的概念，模型可以从一个序列中提取信息来增强另一个序列的理解。 #### 查询、键与值的作用 在一个典型的设置下，来自一种模ality的数据被转换成Query向量；而另一种modality的数据则分别映射到Key和Value空间内[^2]。这种设计允许网络专注于源模态中最能解释目标模态特征的部分，从而实现更深层次的信息交换。 #### 多模态间的相互作用 对于像语音情感识别这样的任务来说，Cross Attention可以用来建立音频信号和视觉线索之间更为紧密的关系。具体而言，文本或音调特性作为Queries去匹配面部表情图像里的Keys，并获取相应的Values来进行最终的情感分类决策[^1]。 #### 实现细节 下面是一个简单的PyTorch代码片段展示如何构建基本的Cross Attention层： ```python import torch.nn as nn import torch class CrossAttention(nn.Module): def __init__(self, embed_size, heads): super(CrossAttention, self).__init__() self.embed_size = embed_size self.heads = heads # 定义线性变换矩阵Wq, Wk 和 Wv self.W_q = nn.Linear(embed_size, embed_size) self.W_k = nn.Linear(embed_size, embed_size) self.W_v = nn.Linear(embed_size, embed_size) self.fc_out = nn.Linear(embed_size, embed_size) def forward(self, queries, keys, values): N = queries.shape[0] # 将输入张量拆分为多个头 q = self.W_q(queries).view(N, -1, self.heads, self.embed_size // self.heads).transpose(1, 2) k = self.W_k(keys).view(N, -1, self.heads, self.embed_size // self.heads).transpose(1, 2) v = self.W_v(values).view(N, -1, self.heads, self.embed_size // self.heads).transpose(1, 2) energy = torch.einsum("nqhd,nkhd->nhqk", [q, k]) / (self.embed_size ** (1/4)) attention = torch.softmax(energy, dim=3) out = torch.einsum("nhql,nlhd->nqhd", [attention, v]).reshape(N, -1, self.embed_size) return self.fc_out(out) ``` 此模块接收三个参数——`queries`, `keys` 及 `values`—它们通常代表两种不同类型的数据表示形式（例如，一段文字及其对应的图片）。经过一系列操作之后返回加权后的value组合，这些组合反映了两个输入间最显著的相关部分。