PyTorch深度学习中的注意力机制与Transformer架构详解-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00447/article/details/148465581

PyTorch深度学习中的注意力机制与Transformer架构详解

NYU-DLSP20 NYU Deep Learning Spring 2020 项目地址: https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning

引言

在深度学习领域，注意力机制和Transformer架构已经成为处理序列数据的革命性技术。本文将深入探讨注意力机制的工作原理，以及如何构建Transformer模型。我们将从基础概念出发，逐步深入到实现细节，帮助读者全面理解这一强大架构。

注意力机制基础

什么是注意力机制

注意力机制是一种模拟人类认知过程中选择性关注重要信息的能力的技术。在深度学习中，它允许模型在处理输入时动态地关注最相关的部分。

注意力类型

1. 自我注意力(Self-Attention)

自我注意力是指输入序列中的元素相互关注。给定一组输入向量{x₁, x₂, ..., xₙ}，每个元素的表示是所有输入的加权组合：

h = α₁x₁ + α₂x₂ + ... + αₙxₙ

其中权重α通过输入之间的相似度计算得到。

2. 交叉注意力(Cross-Attention)

交叉注意力是指一个序列关注另一个序列。在Transformer的解码器中，解码器状态会关注编码器的输出。

3. 硬注意力vs软注意力

硬注意力：使用one-hot向量，只关注一个位置
软注意力：使用概率分布，关注所有位置但权重不同

键值存储视角

注意力机制可以看作是一种高性能的键值存储系统：

查询(Query)：表示当前需要关注的内容
键(Key)：用于与查询比较的项目
值(Value)：实际要检索的内容

计算过程：

计算查询与所有键的相似度
使用softmax转换为注意力权重
对值进行加权求和

Transformer架构详解

整体结构

Transformer采用经典的编码器-解码器结构：

编码器：处理输入序列，提取高层次表示
解码器：基于编码器输出生成目标序列

编码器模块

编码器由多个相同的层堆叠而成，每层包含：

多头自注意力机制：捕捉序列内部关系
前馈神经网络：对每个位置独立处理
残差连接和层归一化：稳定训练过程

自注意力实现细节

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads, p, d_input=None):
        super().__init__()
        self.num_heads = num_heads
        self.d_model = d_model
        # 初始化查询、键、值的线性变换
        self.W_q = nn.Linear(d_xq, d_model, bias=False)
        self.W_k = nn.Linear(d_xk, d_model, bias=False)
        self.W_v = nn.Linear(d_xv, d_model, bias=False)
        # 输出线性层
        self.W_h = nn.Linear(d_model, d_model)

解码器模块

解码器也由多个相同的层组成，每层包含：

掩码多头自注意力：防止当前位置关注未来信息
交叉注意力：关注编码器输出
前馈神经网络
残差连接和层归一化

解码器关键实现

class DecoderLayer(nn.Module):
    def __init__(self, d_model, num_heads, conv_hidden_dim, p=0.1):
        self.mha1 = MultiHeadAttention(d_model, num_heads, p)  # 自注意力
        self.mha2 = MultiHeadAttention(d_model, num_heads, p)  # 交叉注意力
        # 前馈网络和归一化层
        ...

位置编码

由于Transformer没有循环结构，需要显式地加入位置信息：

class PositionalEncoding(nn.Module):
    def __init__(self, d_model, max_len=5000):
        super().__init__()
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len).unsqueeze(1)
        # 使用正弦和余弦函数生成位置编码
        div_term = torch.exp(torch.arange(0, d_model, 2) * 
                           -(math.log(10000.0) / d_model))
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        self.register_buffer('pe', pe)

实际应用示例

情感分析模型

Transformer编码器可以用于文本分类任务：

class TransformerClassifier(nn.Module):
    def __init__(self, num_layers, d_model, num_heads, 
                 conv_hidden_dim, input_vocab_size, num_answers):
        super().__init__()
        self.encoder = Encoder(num_layers, d_model, num_heads,
                              conv_hidden_dim, input_vocab_size)
        self.fc = nn.Linear(d_model, num_answers)
    
    def forward(self, x):
        x = self.encoder(x)
        x = self.fc(x[:, 0, :])  # 取[CLS]标记对应的输出
        return x