一次性讲清楚Transformer 模型

于 2025-05-21 16:58:40 发布
阅读量928 收藏 14
点赞数 20
分类专栏： 计算机视觉 人工智能 深度学习 文章标签： 人工智能 自然语言处理 python 深度学习 知识图谱 transformer 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SharePython/article/details/148119698
版权

Transformer 模型

Transformer 模型是一种基于注意力机制的深度学习模型，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。

Transformer 彻底改变了自然语言处理（NLP）领域，并逐渐扩展到计算机视觉（CV）等领域。

Transformer 的核心思想是完全摒弃传统的循环神经网络（RNN）结构，仅依赖注意力机制来处理序列数据，从而实现更高的并行性和更快的训练速度。

以下是 Transformer 架构图，左边为编码器，右边为解码器。

Transformer 模型由 编码器（Encoder） 和 解码器（Decoder） 两部分组成，每部分都由多层堆叠的相同模块构成。

编码器（Encoder）

编码器由 NN 层相同的模块堆叠而成，每层包含两个子层：

  • 多头自注意力机制（Multi-Head Self-Attention）：计算输入序列中每个词与其他词的相关性。
  • 前馈神经网络（Feed-Forward Neural Network）：对每个词进行独立的非线性变换。

每个子层后面都接有 残差连接（Residual Connection） 和 层归一化（Layer Normalization）。

解码器（Decoder）

解码器也由 NN 层相同的模块堆叠而成，每层包含三个子层：

  • 掩码多头自注意力机制（Masked Multi-Head Self-Attention）：计算输出序列中每个词与前面词的相关性（使用掩码防止未来信息泄露）。
  • 编码器-解码器注意力机制（Encoder-Decoder Attention）：计算输出序列与输入序列的相关性。
  • 前馈神经网络（Feed-Forward Neural Network）：对每个词进行独立的非线性变换。

同样，每个子层后面都接有残差连接和层归一化。

在 Transformer 模型出现之前，NLP 领域的主流模型是基于 RNN 的架构，如长短期记忆网络（LSTM）和门控循环单元（GRU）。这些模型通过顺序处理输入数据来捕捉序列中的依赖关系，但存在以下问题：

  1. 梯度消失问题：长距离依赖关系难以捕捉。

  2. 顺序计算的局限性：无法充分利用现代硬件的并行计算能力，训练效率低下。

Transformer 通过引入自注意力机制解决了这些问题，允许模型同时处理整个输入序列，并动态地为序列中的每个位置分配不同的权重。

Transformer 的核心思想

1. 自注意力机制（Self-Attention）

自注意力机制是 Transformer 的核心组件。

自注意力机制允许模型在处理序列时，动态地为每个位置分配不同的权重，从而捕捉序列中任意两个位置之间的依赖关系。

  • 输入表示：输入序列中的每个词（或标记）通过词嵌入（Embedding）转换为向量表示。

  • 注意力权重计算：通过计算查询（Query）、键（Key）和值（Value）之间的点积，得到每个词与其他词的相关性权重。

  • 加权求和：使用注意力权重对值（Value）进行加权求和，得到每个词的上下文表示。

公式如下：

其中：

  • QQ 是查询矩阵，KK 是键矩阵，VV 是值矩阵。
  • dkdk​ 是向量的维度，用于缩放点积，防止梯度爆炸。

多头注意力（Multi-Head Attention）

为了捕捉更丰富的特征，Transformer 使用多头注意力机制。它将输入分成多个子空间，每个子空间独立计算注意力，最后将结果拼接起来。

  • 多头注意力的优势：允许模型关注序列中不同的部分，例如语法结构、语义关系等。

  • 并行计算：多个注意力头可以并行计算，提高效率。

位置编码（Positional Encoding）

由于 Transformer 没有显式的序列信息（如 RNN 中的时间步），位置编码被用来为输入序列中的每个词添加位置信息。通常使用正弦和余弦函数生成位置编码：

其中：

pospos 是词的位置，ii 是维度索引。

编码器-解码器架构

Transformer 模型由编码器和解码器两部分组成：

  • 编码器：将输入序列转换为一系列隐藏表示。每个编码器层包含一个自注意力机制和一个前馈神经网络。
  • 解码器：

根据编码器的输出生成目标序列。每个解码器层包含两个注意力机制（自注意力和编码器-解码器注意力）和一个前馈神经网络。

前馈神经网络（Feed-Forward Neural Network）

每个编码器和解码器层都包含一个前馈神经网络，通常由两个全连接层组成，中间使用 ReLU 激活函数。

残差连接和层归一化

为了稳定训练过程，每个子层（如自注意力层和前馈神经网络）后面都会接一个残差连接和层归一化（Layer Normalization）。

Transformer 的优势

  1. 并行计算：Transformer 可以同时处理整个输入序列，充分利用现代硬件的并行计算能力。

  2. 长距离依赖：自注意力机制能够捕捉序列中任意两个位置之间的依赖关系，解决了 RNN 的梯度消失问题。

  3. 可扩展性：Transformer 模型可以通过堆叠更多的层来提升性能，例如 BERT 和 GPT 等模型。

Transformer 的应用

  1. 自然语言处理（NLP）：

    • 机器翻译（如 Google Translate）

    • 文本生成（如 GPT 系列模型）

    • 文本分类、问答系统等。

  2. 计算机视觉（CV）：

    • 图像分类（如 Vision Transformer）

    • 目标检测、图像生成等。

  3. 多模态任务：

    • 结合文本和图像的任务（如 CLIP、DALL-E）。

 实例：

import torch
import torch.nn as nn
import torch.optim as optim

class TransformerModel(nn.Module):
    def __init__(self, input_dim, model_dim, num_heads, num_layers, output_dim):
        super(TransformerModel, self).__init__()
        self.embedding = nn.Embedding(input_dim, model_dim)
        self.positional_encoding = nn.Parameter(torch.zeros(1, 1000, model_dim))  # 假设序列长度最大为1000
        self.transformer = nn.Transformer(d_model=model_dim, nhead=num_heads, num_encoder_layers=num_layers)
        self.fc = nn.Linear(model_dim, output_dim)

    def forward(self, src, tgt):
        src_seq_length, tgt_seq_length = src.size(1), tgt.size(1)
        src = self.embedding(src) + self.positional_encoding[:, :src_seq_length, :]
        tgt = self.embedding(tgt) + self.positional_encoding[:, :tgt_seq_length, :]
        transformer_output = self.transformer(src, tgt)
        output = self.fc(transformer_output)
        return output

# 超参数
input_dim = 10000  # 词汇表大小
model_dim = 512    # 模型维度
num_heads = 8      # 多头注意力头数
num_layers = 6     # 编码器和解码器层数
output_dim = 10000 # 输出维度（通常与词汇表大小相同）

# 初始化模型、损失函数和优化器
model = TransformerModel(input_dim, model_dim, num_heads, num_layers, output_dim)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 假设输入数据
src = torch.randint(0, input_dim, (10, 32))  # (序列长度, 批量大小)
tgt = torch.randint(0, input_dim, (20, 32))  # (序列长度, 批量大小)

# 前向传播
output = model(src, tgt)

# 计算损失
loss = criterion(output.view(-1, output_dim), tgt.view(-1))

# 反向传播和优化
optimizer.zero_grad()
loss.backward()
optimizer.step()

print("Loss:", loss.item()
 

CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

👉1.2025最新版人工智能CV＋NLP入门学习思维导图👈
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
稍微导图链接：https://www.processon.com/view/link/650d85c2ec3841522691f8da

对于从来没有接触过人工智能CV＋NLP的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。
（全套教程文末领取哈）
————————————————

👉2.人工智能CV＋NLP配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
800G视频配套资料：

 👉3.人工智能CV＋NLP全套学习资料👈

1.python从入门到实战
2.机器学习从入门到项目实战
3.深度学习经典论文
4.数学方向知识汇总
5.人工智能项目实战
。。。。。。（全套教程文末领取哈）

👉4.人工智能CV＋NLP＋大模型经典学习电子书👈
随着人工智能技术的飞速发展，人工智能已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

 

 

👉5.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）


CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】
————————————————

【Graph vs Transformer】Transformer是GNN的一种特例
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-15 358
最近研读Transformer后，发现和GNN极其相似，于是开始调研他们之间的关系(对Transformer熟悉的可以直接跳过这一部分阅读)(对GNN熟悉的可以直接跳过这一部分阅读)
【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 1451
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
Transformer 模型详解
AngelCryToo的专栏
08-20 716
Transformer 是一种基于注意力机制的神经网络架构，它最初是为了解决机器翻译问题而提出的，但它的应用范围现在已经扩展到许多自然语言处理（NLP）任务，如文本生成、情感分析、语音识别等。不同于传统的递归神经网络（RNN）或卷积神经网络（CNN），Transformer 利用全局的自注意力机制（Self-Attention）在不依赖顺序处理的情况下高效地处理序列数据。
Transformer 大模型详解——transformer模型
zhishi0000的博客
06-30 7448
解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢？通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络，其将解码器栈的输出向量映射到一个更长的向量，这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词（模型的输出词汇表）。因此 logits 向量有 10000 个数字，每个数表示一个单词的分数。然后，Softmax 层会把这些分数转换为概率（把所有的分数转换为正数，并且加起来等于 1）。
Transformer 模型
最新发布
qq_25502783的博客
04-14 662
Transformer 模型是一种基于注意力机制的深度学习模型，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。Transformer 彻底改变了自然语言处理（NLP）领域，并逐渐扩展到计算机视觉（CV）等领域。Transformer 的核心思想是完全摒弃传统的循环神经网络（RNN）结构，仅依赖注意力机制来处理序列数据，从而实现更高的并行性和更快的训练速度。以下是 Transformer 架构图，左边为编码器，右边为解码器。
聊聊Transform模型
2301_81940605的博客
05-18 1197
循环神经网络和长短期记忆网络已经广泛应用于时序任务，比如文本预测、机器翻译、文章生成等。然而，它们面临的一大问题就是如何记录长期依赖。 为了解决这个问题，一个名为Transformer的新架构应运而生。
transformer 模型介绍
weixin_43881088的博客
11-21 2200
主导序列转换模型基于复杂的循环或卷积神经网络，包括编码器和解码器。表现最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构，Transformer，完全基于注意力机制，无需循环和卷积。在两项机器翻译任务上的实验表明，这些模型在质量上优于现有的最佳结果，包括集成模型，并且提高了超过2个BLEU。在WMT 2014英语到法语翻译任务上，我们的模型在八块GPU上进行训练3.5天后，建立了新的单一模型最先进的BLEU分数41.8，这是文献中最佳模型的训练成本的一小部分。
Transformer模型详解
weixin_49376454的博客
05-28 2189
Transformer模型详解（人工智能）
Transformer模型技术长文
吴建明wujianming_110117
04-21 2101
Transformer模型技术长文 可高效处理长文本的模型Longformer、和堪称“升级版”Transformer的BigBird模型，到底有什么区别？ Transformer的其他各种变体（X-former）到底都长什么样、又有哪些新应用？ 由于Transformer模型的发展速度日新月异，一天一个样，哪怕是隔段时间回来研究，模型可能也已经多了不少。 Transformer模型，是谷歌在2017年推出的NLP经典模型（Bert就是用的Transformer）。 本文参考链接 https://mp.w
Transformer模型学习笔记
valleria的博客
01-14 2885
Transformer模型学习笔记前言回顾参考资料解读1. High-level的看一下,transformer大致是个什么样子2.详细看下, 具体结构,以及输入都长什么样3.self-attention层4.多头机制 Multi-head5.输入语句中词的顺序(Positional Encoding)6.剩余东西7.解码器(Decoder)8.最后输出层 前言 Google研究菌曰: 在tran...
讲透一个强大的算法模型，Transformer
Python_cocola的博客
08-28 1461
今天给大家介绍一个超强的算法模型，TransformerTransformer 模型是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本生成和语义理解。它最初由 Vaswani 等人在2017年的论文《Attention is All You Need》中提出。它突破了传统序列模型（如RNN和LSTM）的局限，能够并行处理序列数据，从而大大提高了训练效率和模型性能。Transformer 模型的基本结构。
Transformer模型
kuxingseng123的博客
10-21 2790
不断的研究与看视频，最终目的是将transformer给其搞透彻，尤其是前向传播与反向传播，以及模型细节都给其研究透彻。
:调整学习率、批量大小、优化器等参数,提升模型性能。
03-29
<think>好的，我现在需要帮用户解答如何通过调整学习率、批量大小和优化器等超参数来提升模型性能的问题。首先，我得理清楚每个超参数的作用和调整方法，确保信息准确。 用户提到了学习率、批量大小和优化器，这三个确实是超参数调优中的关键。我应该从这三个方面分别展开，每个部分先解释参数的意义，再讲调整策略，最后给出最佳实践。比如学习率部分，可能需要介绍学习率的作用，常见调整方法如学习率衰减、预热，以及自适应学习率优化器如Adam。同时，还要引用提供的参考资料，特别是引用[1]和[2]，确保答案有依据。 接下来是批量大小，需要说明其对训练速度、内存使用和模型性能的影响，比如大批量可能导致泛化能力差，小批量可能训练不稳定。还要提到如何根据硬件条件调整，以及一些经验法则，比如2的幂次方。 优化器部分，需要比较不同优化器的特点，比如SGD、Adam，以及它们的适用场景。还要提到优化器的参数设置，比如动量、beta参数，以及如何根据任务选择优化器。 此外，用户要求生成相关问题，我需要根据内容提出三个相关问题，这些问题应该覆盖调参工具、组合调优、不同任务中的差异等方面。 还要注意格式要求，比如数学公式用$...$，独立公式用$$...$$，确保LaTeX正确。例如，学习率的公式可能用$\eta_{t} = \frac{\eta_0}{1 + \alpha t}$，自适应学习率的部分用Adam的更新公式。 需要检查引用是否正确添加，比如在提到超参数调优时引用[^1]，参数调整引用[^2]。同时，回答结构要清晰，分点说明，帮助用户逐步理解。 可能还需要考虑用户的背景，是否具备一定机器学习知识，所以解释要简明，避免过于技术化。比如，解释学习率过大过小的问题时，用直观的例子或结果说明。 最后，确保回答符合中文语法，术语准确，没有格式错误。生成的相关问题要自然，与内容紧密相关，帮助用户进一步探索。</think>### 如何通过调整学习率、批量大小和优化器提升模型性能？ #### 一、学习率调整 **学习率（Learning Rate）** 是控制模型参数更新步长的核心超参数，直接影响模型收敛速度和稳定性。 1. **初始值选择** - 常见范围：$10^{-1}$ 到 $10^{-6}$，可通过网格搜索或对数均匀采样探索最佳值。 - 自适应优化器（如Adam）通常设置默认值 $\eta=0.001$，但需根据任务调整。 2. **动态调整策略** - **学习率衰减**： $$ \eta_{t} = \frac{\eta_0}{1 + \alpha t} \quad \text{或} \quad \eta_{t} = \eta_0 \cdot \gamma^{\lfloor t/k \rfloor} $$ 其中 $\alpha$ 为衰减率，$\gamma$ 为衰减因子。 - **预热（Warm-up）**：适用于Transformer等模型，前几百步逐步提高学习率。 - **自适应方法**：Adam、RMSProp等优化器自动调整参数方向的学习率。 #### 二、批量大小优化 **批量大小（Batch Size）** 影响训练速度、内存占用和模型泛化能力： 1. **经验法则** - 小批量（如32-256）更有利于泛化，大批量加速训练但可能降低精度。 - GPU显存允许时选择2的幂次（如64、128）以优化计算效率。 2. **与其他参数的联动** - 批量增大时，可同步提高学习率（线性缩放规则）： $$ \eta_{\text{new}} = \eta \cdot \frac{B_{\text{new}}}{B_{\text{base}}} $$ 但需配合学习率衰减避免震荡。 #### 三、优化器选择与调参 不同优化器对超参数敏感度差异显著： 1. **经典优化器对比** | 优化器 | 适用场景 | 关键参数 | |--------|----------|----------| | SGD | 需要精细调优的任务 | 动量（0.9）、学习率 | | Adam | 默认选择，快速收敛 | $\beta_1=0.9$, $\beta_2=0.999$ | | RAdam | 避免Adam早期震荡 | 预热阶段自动调整 | 2. **参数调整建议** - **Adam的$\beta_1$**：接近1的值（如0.99）适合高噪声数据。 - **动量参数**：0.9是常见起点，图像任务可尝试0.95-0.99。 #### 四、最佳实践流程 1. **分阶段调优** - 第一阶段：粗调（学习率、批量大小数量级搜索） - 第二阶段：精调（优化器参数、衰减策略） - 第三阶段：联动优化（如批量大小与学习率协同调整） 2. **自动化工具** 使用贝叶斯优化（如Hyperopt）、网格搜索（GridSearchCV）或基于梯度的优化（如Gradient-Based Hyperparameter Tuning）加速过程[^1]。 #### 示例代码（PyTorch学习率调度） ```python optimizer = torch.optim.Adam(model.parameters(), lr=0.001) scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) for epoch in range(100): train(...) scheduler.step() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值