LLM 系列之 Transformer 组件总结

已于 2023-10-10 22:51:59 修改
阅读量925 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： transformer 深度学习 人工智能
于 2023-10-10 22:28:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37531129/article/details/133757313
本博客是LLM学习记录，介绍大语言模型主流架构，包括编码器 - 解码器、因果解码器、前缀解码器架构，还阐述Transformer的标准化、激活函数、位置编码、注意力和偏差等组件，以及语言模型和去噪编码两种预训练任务，最后列出待研究的各算法实现与对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本系列为LLM 学习博客，会一一记录各个模块解读。
以下内容参考:大语言模型综述 https://github.com/RUCAIBox/LLMSurvey

主流架构

大语言模型，主要的核心组件是Transformer。不同的模型选择的架构不一样，目前主流架构有：

  1. 编码器-解码器架构: 传统Transformer模型是建立在编码器-解码器架构上的，由两个Transformer块分别作为编码器-解码器。目前只有少数LLM 是基于 该架构的 如：Flan-T5
  2. 因果解码器架构： 因果解码器架构采用单项注意力掩码，以确保每个输入标记只能关注过去的标记和它本身。输入和输出标记通过解码器以相同的方式进行处理。典型的model有 GPT1/23, OPT, BLOOM, Gopher.
  3. 前缀解码器架构：前缀解码器修正了因果解码器的掩码机制，以使其能够对前缀标记执行双向注意力，并仅对生成的标记执行单向注意力。这样与编码器-解码器架构类似，前缀解码器可以双向编码前缀序列并自回归地逐个预测输出标记，其中在编码和解码过程中共享相同的参数。实用的建议是不从头开始进行预训练，而是基于训练因果解码器，然后将其转换为前缀解码器以加上收敛。典型的model: U-PaLM (从PaLM 演化来的), GLM-130B.

总结：对于这三种类型的架构，也可以考虑通过专家混合MoE扩展他们，其中每个输入的一小部分神经网络权重被稀疏激活，如Switch Transformer 和 GLaM,已经证明 通过增加专家的数量或总参数大小，可以观察到显著的性能改进。

模型组件

Transformer的四个组件：标准化，位置编码，激活函数，注意力和偏置。

标准化

  • 目的是使得训练稳定。
  • 目前主要采用的有：
    1）LayerNorm:后置LN, 前置LN（损失一定的性能 带来更稳定的训练），Sandwich-LN (基于前置LN，在残差连接之前添加额外的LN 避免数值
最低0.47元/天 解锁文章

200万优质内容无限畅学
JL_Jessie
关注
【人工智能】LLM 大型语言模型和 Transformer 架构简介
AI天才研究院
05-24 2万+
然而，传统的机器学习模型，例如神经网络，并不能天生理解输入的顺序。通过将位置编码纳入 Transformer 架构，GPT 可以更有效地理解句子中单词的顺序，并生成语法正确且语义有意义的输出。但是，模型只能理解数字，不能理解文本，因此需要将这些输入转换为称为“输入嵌入”的数字格式。作为初创公司的首席技术官，我每天都在讨论这项革命性的技术，因为围绕它的持续不断的嗡嗡声和炒作。这篇博文将探讨 LLM（大型语言模型）和转换器架构的基本概念，转换器架构是所有带有转换器的语言模型的构建块，包括 GPT。
在预训练语言模型主流架构
weixin_43961909的博客
06-28 468
在预训练语言模型时代，自然语言处理领域广泛采用了预训练 + 微调的范式，并诞生了以 BERT 为代表的编码器（Encoder-only）架构、以 GPT 为代表的解码器（Decoder-only）架构和以 T5 为代表的编码器-解码器（Encoder-decoder）架构的大规模预训练语言模型。基于编码器-解码器设计的预训练语言模型（诸如 T5 等）在众多自然语言理解与生成任务中展现出了优异的性能，但是目前只有如 FLAN-T5 等少数大语言模型是基于编码器-解码器架构构建而成的。
[LLM] 自然语言处理---Transformer原理(一)
摩登都市天空---专栏
12-03 5275
《Attention Is All You Need》是Google在2017年提出的一篇将Attention思想发挥到极致的论文。该论文提出的Transformer模型，基于encoder-decoder架构，抛弃了传统的RNN、CNN模型，仅由Attention机制实现，并且由于encoder端是并行计算的，训练时间大大缩短。 Transformer模型广泛应用于NLP领域，机器翻译、文本摘要、问答系统等等，目前火热的Bert模型就是基于Transformer模型构建的。 Transformer优点：
[LLM] 自然语言处理---Transformer实现(二)
摩登都市天空---专栏
08-02 7567
目录 Encoder-Decoder框架 一 整体架构 动态流程图 二 Encoder 2.1 Encoder Layer和残差网络 Residual Connection 2.2 Attention Self Attention Multi-head Attention 2.3 Add & Norm LayerNormalization 层归一化 2.4 前馈网络...
AI LLM 模型之 Transformer 架构解析
最新发布
achenbusi的博客
07-02 800
Transformer架构解析与实现 Transformer是一种革命性的神经网络架构，完全基于注意力机制，解决了传统RNN在处理序列数据时的并行化难题和长距离依赖问题。其核心由编码器和解码器组成，采用多头自注意力机制和位置编码技术。编码器通过多层自注意力子层和前馈网络提取特征，解码器则结合掩码自注意力和编码器输出逐步生成目标序列。位置编码通过正弦函数为序列元素注入位置信息。该架构实现了高效并行计算，显著提升了模型性能，成为现代NLP任务的基础框架。
LLM进阶——Transformer
ning_xiao_xuan的博客
03-25 1835
LLM进阶——Transformer
浅尝Transformer和LLM
Milkha的博客
06-22 4020
大语言模型势不可挡啊。哲学上来说，语言就是我们的一切，语言所不能到达的地方我们也不能达到。就人类来说，语言或许已经不仅仅是一种工具那么简单，其不仅是人类在物理世界进行活动时不可或缺的媒介，也是我们自身构建精神世界时的一砖一瓦。语言的重要性已经无需多言了。教会计算机人类的语言（用人类的语言进行思考）是一项艰巨的任务，或许从计算机发明之初这一征程就已经开始了，然而直到现在我们还有很长的路要走。最近，大语言模型大放异彩让我们看到了更大的希望。
语言大模型知识点简介
csuzhaoqinghui的博客
01-18 2817
大模型
改变AI历史的Transformer是如何帮助LLM大模型工作的？看图解密Transformer原理，看不懂算我输！
python122_的博客
06-28 833
在过去的几年里，大型语言模型(LLM)的出现，为长达数十年的智能机器构建的探索中带来了巨大的飞跃。这项基于试图模拟人类大脑的研究技术，也在近几年催生了一个新领域——Generative AI 生成式人工智能，简单理解就是可以通过模仿人类能力和水平，生成合理且复杂的文本、好看图像甚至是计算机的代码。
从零开始构建大模型（将整个模型构建管道精心分解为关键组件，如Qwen， Evaluation， LLM， RAG和Transformer Models。通过详细的技术解释和完整的代码实现）
03-04
从零开始构建大模型（将整个模型构建管道精心分解为关键组件，如Qwen， Agent, Diffusion, Evaluation， LLM， RAG和Transformer Models。通过详细的技术解释和完整的代码实现）.zip 从零开始构建大模型（将整个模型...
【LLM第7篇】transformer跟bert、gpt、大模型的联系
凝眸伏笔的博客
05-29 3161
上一篇讲了transformer的原理，接下来，看看它的衍生物们。Transformer基本架构Transformer模型主要由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器负责处理输入序列，将其转换为一系列内部表示；解码器则根据这些内部表示生成输出序列。编码器和解码器都由多个相同的层堆叠而成，每层包括自注意力机制和全连接前馈两个子层，子层之间采用残差连接和层归一化技术。
什么是LLM，什么是transformer
厚积薄发
11-29 979
LLM（大规模语言模型）是人工智能领域的重要突破，它使得机器能够理解和生成自然语言，极大地推动了 NLP 技术的发展。无论是在自然语言生成、对话系统、机器翻译，还是信息检索等领域，LLM 都展现了巨大的潜力。随着技术的不断进步，我们有理由相信 LLM 在未来将会更加智能、更加广泛应用于各类智能应用中。是一种深度学习模型架构，首次由Vaswani 等人于 2017 年提出，名为《Attention is All You Need》的论文中。
人工智能 LLM 革命前夜：一文读懂横扫自然语言处理的 Transformer 模型
麦克船长的技术笔记
02-04 4677
阿里ATA内部技术社区头条文章，作者麦克船长为现任阿里集团总监，近期自然语言领域的生成式AI（Gen-AI或叫AIGC）爆火，其背后的技术缘起要从几大主流LM如何一路演变到Transformer说起，本文将以初学者视角一文读懂。
刘知远LLM——Transformer与预训练模型
lalala12ll的博客
02-26 1363
介绍transformer及预训练语言模型的知识
【Datawhale 大模型基础】第六章 大模型的模型架构（中文版）
qq_52370024的博客
12-16 1830
大语言模型基础-学习笔记
从零实现Transformer的简易版与强大版：从300多行到3000多行
热门推荐
结构之法 算法之道
04-12 4万+
transformer强大到什么程度呢，基本是17年之后绝大部分有影响力模型的基础架构都基于的transformer(比如，有200来个，包括且不限于基于decode的GPT、基于encode的BERT、基于encode-decode的T5等等)通过博客内的这篇文章《》，我们已经详细了解了transformer的原理(如果忘了，建议先务必复习下再看本文)
笔记-《A Survey of Large Language Models》- 4 预训练
Working harder, getting stronger!
03-25 1750
4 预训练 预训练为 LLM 的能力奠定了基础。 通过在大规模语料库上进行预训练, LLM 可以获得基本的语言理解和生成能力 [55, 56]。在这个过程中, 预训练语料库的规模和质量对于 LLM 获得强大的能力至关重要。 此外,为了有效地预训练 LLM,也需要设计好模型架构、 加速方法和优化技术。 第 4.1节讨论数据收集和处理 第 4.2节介绍常用的模型架构 第 4.3节介绍用于稳定高效地优化 LLM 的训练技巧。 4.1 数据收集 相比小规模语言模型, LLM 更需要高质量数据来预训练模型
10-编码器-解码器架构
garbage回收中心
09-16 1721
束搜索是介于贪心搜索和穷举法之间的方法，贪心搜索是在每时刻都选择当前概率最大的预测值，穷举是将所有可能的序列都进行查看，最后选择一个概率最大的预测值。束搜索只在第一个时间步，选择K个最大的预测值，之后的时间步里同贪心搜索一样选择概率最大的预测序列，最后将得到的预测序列进行比较，选择其中概率最大的。为了连续生成输出序列的词元， 独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。编码器将输入的可变序列转化为定长的序列，再有解码器转变为可变的序列。
大模型技术发展概述 -（二）
weixin_42010722的博客
07-12 1064
4. LLM预训练4.1 数据收集4.1.1 数据源4.1.2 数据预处理4.1.3 预训练数据对LLMs的影响4.2 常用的LLM架构4.2.1 主流架构4.2.2 详细配置4.2.3 预训练任务4.3 模型训练4.3.1 优化设置4.3.2 可扩展训练技术。
LLM Graph Transformer
01-02
### 关于 LLM 中图转换器架构及其实现 #### 图转换器简介 图转换器是一种特殊的神经网络结构，旨在处理具有复杂关系的数据集。这种架构扩展了传统变换器的能力，不仅能够理解线性序列中的模式，还能够在节点之间建立连接并捕捉它们之间的依赖关系。 #### Graph Transformer 的工作原理 Graph Transformer 结合了图形表示学习和自注意力机制的优点，在处理自然语言处理任务时表现出色。通过引入基于邻接矩阵或拉普拉斯矩阵的编码方式来表征输入文本中词语间的关联程度，使得模型可以更好地模拟真实世界里的语义联系[^1]。 #### 实现细节 为了在大型语言模型中应用 Graph Transformer 架构，通常会采用如下方法： - **初始化阶段**：利用预定义的方法构建初始版本的词向量以及对应的边权重； - **消息传递层**：此部分负责更新每个节点的状态信息，它接收来自相邻节点的消息并通过聚合函数计算新的状态； - **读出操作**：最终将所有节点的信息汇总起来形成整个图表征，并用于下游任务预测。 以下是使用 Hugging Face Transformers 库创建一个简单的 Graph Transformer 模型实例代码片段： ```python from transformers import BertModel, BertTokenizerFast import torch.nn as nn class CustomGraphTransformer(nn.Module): def __init__(self, pretrained_model_name='bert-base-uncased'): super(CustomGraphTransformer, self).__init__() # 加载预训练BERT作为基础组件 self.bert = BertModel.from_pretrained(pretrained_model_name) # 定制化图卷积层或其他形式的消息传播模块 def forward(self, input_ids=None, attention_mask=None, adjacency_matrix=None): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask) sequence_output = outputs.last_hidden_state # 使用adjacency_matrix进行进一步加工sequence_output以完成GCN等功能... return output tokenizer = BertTokenizerFast.from_pretrained('bert-base-uncased') model = CustomGraphTransformer() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值