用自己网络添加注意力机制后画出热力图_注意力机制热力图

### 如何在自定义神经网络中实现注意力机制 为了在自定义神经网络中加入注意力机制，可以通过引入一种简单的加性注意力（Additive Attention）或缩放点积注意力（Scaled Dot-Product Attention）。以下是具体方法以及如何生成注意力热力图。 #### 加入注意力机制的方法 假设有一个输入张量 \( X \in \mathbb{R}^{n \times d} \)，其中 \( n \) 是序列长度，\( d \) 是特征维度。可以按照以下方式构建注意力层： 1. **计算查询向量 (Query)** 和键向量 (Key): 定义两个线性变换矩阵 \( W_Q \in \mathbb{R}^{d_q \times d} \) 和 \( W_K \in \mathbb{R}^{d_k \times d} \)，分别用于映射查询和键。 查询向量 \( Q = XW_Q^\top \)[^2]，键向量 \( K = XW_K^\top \)[^2]。 2. **计算注意力分数**: 使用点乘法或其他相似度函数计算每一对查询和键之间的匹配程度。对于缩放点积注意力，公式如下： \[ A_{ij} = \frac{\text{Q}_i \cdot \text{K}_j}{\sqrt{d_k}} \][^2] 3. **应用 Softmax 函数**: 将上述得分经过 softmax 转化为概率分布形式，表示每个位置的重要性权重： \[ \alpha_i = \text{softmax}(A_i) \][^2] 4. **加权求和得到上下文向量**: 上下文向量由值向量 \( V = XW_V^\top \) 经过权重加总获得： \[ C_i = \sum_j \alpha_{ij}V_j \][^2] #### 实现代码示例 下面是一个基于 PyTorch 的简单注意力模块及其可视化代码： ```python import torch import torch.nn as nn import matplotlib.pyplot as plt class SimpleAttention(nn.Module): def __init__(self, input_dim, hidden_dim): super(SimpleAttention, self).__init__() self.query_layer = nn.Linear(input_dim, hidden_dim) self.key_layer = nn.Linear(input_dim, hidden_dim) self.value_layer = nn.Linear(input_dim, hidden_dim) def forward(self, inputs): queries = self.query_layer(inputs) # Shape: [batch_size, seq_len, hidden_dim] keys = self.key_layer(inputs).transpose(1, 2) # Transpose to align dimensions values = self.value_layer(inputs) attention_scores = torch.bmm(queries, keys) / (keys.size(-1) ** 0.5) # Scaled dot-product attention_weights = torch.softmax(attention_scores, dim=-1) # Normalize scores context_vector = torch.bmm(attention_weights, values) # Weighted sum of value vectors return context_vector, attention_weights # Example usage and visualization if __name__ == "__main__": batch_size, seq_len, input_dim = 1, 8, 16 model = SimpleAttention(input_dim=input_dim, hidden_dim=32) inputs = torch.randn(batch_size, seq_len, input_dim) context, weights = model(inputs) # Plotting the heatmap fig, ax = plt.subplots() cax = ax.matshow(weights.squeeze().detach().numpy(), cmap='viridis') fig.colorbar(cax) ax.set_title('Attention Heatmap', fontsize=14) ax.set_xlabel('Keys', fontsize=12) ax.set_ylabel('Queries', fontsize=12) plt.show() ``` 此代码实现了基本的注意力机制，并展示了如何利用 `matplotlib` 来绘制注意力权重的热力图。 --- ### 注意事项 - 如果希望进一步提升性能，可尝试多头注意力（Multi-head Attention），其核心思想是通过多个独立的注意力子空间捕捉不同的模式[^2]。 - 对于大规模数据集或者复杂任务，建议采用预训练好的 Transformer 架构作为基础模型[^3]。 问题