人工智能-基础篇-11-自注意力机制深度学习模型~~Transformer

原创于 2025-07-01 10:04:43 发布 · 1.8k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #transformer

人工智能专栏收录该内容

29 篇文章

订阅专栏

Transformer是一种革命性的神经网络架构。它彻底改变了自然语言处理（NLP）领域，并且也被广泛应用于其他领域如计算机视觉、语音识别等。Transformer的核心创新在于其完全基于注意力机制（self-attention mechanism），而没有使用传统的循环神经网络（RNN）或卷积神经网络（CNN）。

1、什么是Transformer？

Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Google团队于2017年在论文《Attention is All You Need》中提出。其核心思想是完全摒弃传统的循环神经网络（RNN）和卷积神经网络（CNN），通过自注意力机制捕捉序列中元素之间的全局依赖关系，从而实现高效并行化计算。

1、核心突破

解决长序列依赖问题：传统RNN/LSTM在处理长序列时容易出现梯度消失/爆炸，而Transformer通过自注意力机制直接建模全局依赖。
并行化计算：无需按时间步逐个处理，支持大规模并行训练，显著提升效率。
灵活性：适用于多种序列任务，如自然语言处理（NLP）、计算机视觉（CV）、语音识别等。

2、自注意力机制（Self-Attention）

定义：注意力机制允许模型在处理序列数据时动态地关注输入序列的不同部分，而不是像RNN那样顺序处理整个序列。
类型：
- Self-Attention：每个位置的词都可以与其他所有位置的词建立联系，从而捕捉长距离依赖关系。
- Multi-head Attention：多个独立的注意力头并行工作，每个头学习不同的表示子空间。
原理：通过计算每个词与其他词的关联权重，动态分配关注重点。例如，在句子“The cat sat on the mat”中，“cat”会关注“sat”以理解动作关系。
数学公式：

其中Q（Query）、K（Key）、V（Value）是输入向量的线性变换结果，d_k是缩放因子，防止内积过大导致梯度不稳定。

2、Transformer的核心组件

1、输入表示

嵌入层（Embedding Layer）：将输入词汇转化为固定维度的向量表示。
位置编码（Positional Encoding）：由于Transformer没有递归结构，需要显式地添加位置信息以便模型理解单词的顺序。通常采用正弦和余弦函数的形式来表示不同位置。
必要性：Transformer不依赖序列顺序（无RNN结构），需通过位置编码注入位置信息。
实现方式：使用正弦和余弦函数生成固定模式的位置编码，与词嵌入相加后输入模型。

2、编码器层

多头自注意力（Multi-Head Self-Attention）：通过多个独立的注意力头从不同子空间捕捉信息，增强模型对不同语义特征的感知能力和表达能力。
实现方式：将输入映射到多个低维空间，分别计算注意力后拼接输出。
前馈神经网络（Feed Forward Neural Network, FFNN）：每个编码器层包含一个全连接的前馈网络，用于进一步处理注意力机制产生的输出。
功能：对每个位置的表示进行非线性变换，增强模型表达能力。
结构：两层全连接网络，中间层使用 ReLU 激活函数。
残差连接与层归一化（Residual Connections and Layer Normalization）：为了防止梯度消失问题并加速训练，每层都加入了残差连接，并在残差连接之后应用了层归一化。
残差连接：缓解深度网络中的梯度消失问题，保留原始输入信息。
层归一化：标准化每一层的输出，加速训练并提升稳定性。

3、解码器层

多头自注意力：类似于编码器中的实现，但这里只关注解码器自身的历史输出。
编码器-解码器注意力：允许解码器查看编码器的输出，帮助生成目标序列。
掩码（Masking）：在训练过程中，为了避免未来的信息泄露给当前预测步骤，在自注意力机制中对未预测的部分进行掩码处理。

4、输出层

线性变换+Softmax：将解码器的最后一层输出映射到词汇表大小的空间上，并通过Softmax函数计算每个词的概率分布，选择概率最大的词作为输出。

3、Transformer的整体架构

1、编码器（Encoder）

编码器：将输入序列转换为中间表示形式，该表示形式包含了输入序列的所有信息。
组成：6个堆叠的编码层，每层包含：
- 自注意力层：捕获输入序列内部的依赖关系。
- 前馈网络：独立处理每个位置的特征。
输入：词嵌入 + 位置编码。
输出：上下文感知的高维表示。

2、解码器（Decoder）

解码器：根据编码器的输出和当前时刻之前的输出来生成下一个词。
组成：6个堆叠的解码层，每层包含：
- 自注意力层：关注目标序列的历史输出。
- 编码器-解码器注意力层：关联输入序列与输出序列（如源语言与目标语言）。
- 前馈网络。
掩码机制：防止解码器在生成当前词时看到未来词（如训练时使用因果掩码）。

3、编码器-解码器协作

典型任务：机器翻译中，编码器处理源语言（如英语），解码器生成目标语言（如中文）。
交叉注意力：解码器通过编码器-解码器注意力机制，从编码器输出中提取关键信息。

4、Transformer的工作流程

1、输入阶段：输入文本首先被分割成token，然后通过嵌入层转换成向量表示，并加上位置编码。
2、编码阶段：输入经过一系列编码器层，每一层包括一个多头自注意力模块和一个前馈神经网络模块。这些层堆叠起来形成深层结构，能够捕捉复杂的模式。
3、解码阶段：解码器接收编码器的输出以及之前生成的目标序列作为输入，逐词生成目标序列。
4、输出阶段：最后一层解码器的输出经过线性变换和Softmax函数后得到最终的预测结果。

5、Transformer的技术优势

在这里插入图片描述
主要优势：

并行化处理：由于摆脱了RNN的序列依赖性，可以实现输入序列的并行化处理，大大提高了训练速度。
长距离依赖捕捉：通过自注意力机制，Transformer能有效捕捉输入序列中的长距离依赖关系。
灵活性强：不仅限于NLP任务，还可以应用于图像、音频等多种类型的数据处理。

6、Transformer的应用领域

1、自然语言处理（NLP）

预训练模型：BERT（双向上下文理解）、GPT（自回归生成）、T5（文本到文本迁移）。
任务：文本分类、问答系统、机器翻译、文本摘要。

2、计算机视觉（CV）

Vision Transformer（ViT）：将图像分割为小块（如16×16 像素），按序列处理，性能超越传统CNN（如ResNet）。
视频分析：通过自注意力建模时空关系。

3、语音处理

语音识别：端到端模型（如Conformer）结合Transformer与卷积模块，提升长语音处理能力。
语音合成：Tacotron 2使用Transformer改进韵律和自然度。

4、推荐系统

用户行为序列建模：捕捉用户点击/购买行为的长期依赖（如YouTube推荐）。

5、其他领域

生物医学：蛋白质结构预测（AlphaFold使用注意力机制）。
代码生成：GitHub Copilot基于GPT模型。
游戏：NVIDIA DLSS 4使用Transformer提升图像超分辨率质量。

7、Transformer的挑战与改进方向

1、长序列计算复杂度

问题：自注意力的计算复杂度为O(n^2)，处理万级词元时显存需求爆炸（如GPT-4支持32K上下文需1TB显存）。
解决方案：
- 稀疏注意力：仅关注局部或关键位置（如Longformer）。
- 线性注意力：将复杂度降至O(n)（如Performer）。
- 分块计算：将长序列切分为固定长度块（如Hugging Face的BigBird）。