论文笔记：预训练大模型综述（NLP相关部分）

论文标题：《A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT》

PS：该笔记仅总结该论文中与NLP相关部分，以下序号标注没有问题，对应论文中相应部分。若想了解其他部分（如CV、GL），请阅读原文

一、摘要部分

预训练基础模型(PFMS)是具有不同数据模式的各种下游任务的基础。PFM(例如BERT、ChatGPT和GPT-4)在大规模数据上进行训练，为广泛的下游应用提供合理的参数初始化。
BERT与GPT与传统方法相比具有各自的特点，具体而言：BERT从Transformer中学习双向编码器表示，GPT使用Transformer作为特征提取器，并在大型数据集上训练
最近，ChatGPT表现出来卓越的性能，PFM也为人工智能领域带来重大突破许多研究提出了不同的方法、数据集和评估指标，提高了对更新调查的需求。
本文对文本、图像、图形以及其他数据模式的pfm的最新研究进展、挑战和机遇进行了全面回顾，包含以下几点
1）自然语言处理、计算机视觉和图学习中使用的基本组成部分和现有的预训练方法
2）探讨了用于不同数据模式的高级PFM和考虑数据质量和数量的统一PFM
3）与PFM基本原理相关的研究，如模型效率和压缩、安全性和隐私性
4）PFMs领域的关键启示、未来研究方向、挑战和有待解决的问题
目的：揭示pfm在人工通用智能的可扩展性、安全性、逻辑推理能力、跨领域学习能力和用户友好交互能力方面的研究。

二、正文部分

1、介绍部分

预训练基础模型(PFMs)是人工智能的重要组成部分。PFMs在自然语言处理(NLP)、计算机视觉和图学习(GL)三个主要的领域获得了广泛的研究。PFM是强大的通用模型，在各个领域或跨领域都有效。PFM在大规模语料库的多任务训练中表现出优异的性能，并对其进行微调以适应类似的小规模任务，使快速数据处理成为可能。

1.1 PFMs and Pretraining（基础预训练模型和预训练）

PFMs建立在预训练技术的基础上，该技术旨在使用大量数据和任务来训练通用模型，这些数据和任务可以在不同的下游应用程序中轻松进行微调。当预训练技术应用于NLP领域时，训练良好的语言模型(LMs)可以捕获对下游任务有益的丰富知识，例如长期依赖关系、层次关系等。
此外，预训练在NLP领域的显著优势在于，训练数据可以来自任何未标记的文本语料库，即在预训练过程中可以有无限数量的训练数据。早期的预训练是一种静态技术，如NNLM和Word2vec，但静态方法难以适应不同的语义环境。因此，提出了动态预训练技术，如BERT、XLNet等。基于预训练技术的PFMs使用大型语料库学习通用语义表示。随着这些开创性工作的引入，各种PFMs已经出现并应用于下游任务和应用。
一个很好的PFM应用程序的例子是ChatGPT。ChatGPT是在生成式预训练转换器GPT-3.5（在混合文本和代码的基础上进行训练的）的基础上进行微调的。ChatGPT应用了来自人类反馈的强化学习(RLHF)，这已经成为将大型语言模型(LLM)与人类意图相通的一种十分有效的方法。ChatGP的巨大成功可能会导致每种PFMs类型的训练方式的改进，例如强化学习(RL)，提示优化（Prompt tuning）以及思维链(COT)。
对于文本，PFMs是一个多用途的大语言模型，用于预测序列中的下一个单词或字符。例如，PFMs可用于机器翻译、问答系统、主题建模、情感分析等。
目前，处理多模态数据（不同类型数据(如文本、图像和音频)）的PFMs的增长趋势，称为统一pfm。这个术语指的是统一PFMs。
PFMs具有以下两大优势：
1）仅需要进行较小的微调来增强下游任务上的模型性能
2）可以将pfm应用于与任务相关的数据集，而不是从头开始构建模型来解决类似的问题
未来的工作将重点在于模型效率、安全性与压缩上。

1.2 Contribution and Organization（贡献与组织）

现有的工作并没有对不同领域(如CV、NLP、GL、Speech、Video)和不同方面(如预训练任务、效率、功效和隐私)的PFMs进行全面的综述。所以，该篇文章总结了现有的模型，从传统模型到PFMs，以及这三个领域的最新工作。传统模型强调静态特征学习。动态PFMs对结构进行了介绍，是目前研究的主流。在此基础上，该篇文章进一步介绍了PFMs的一些研究成果，包括其他先进的、统一的PFMs、模型效率和压缩、安全性和隐私性。最后，总结了未来在不同领域的研究挑战和有待解决的问题。还在附录中全面介绍了相关的评估指标和数据集。总结起来，主要贡献如下:
1）对NLP、CV和GL中PFM的发展进行了坚实的最新回顾
2）总结了PFMs在其他多媒体领域(如语音和视频)的发展。此外，还讨论了pfm的前沿问题，包括统一pfm、模型效率和压缩、安全性和隐私性
3）通过对不同任务下各种模式的PFMs的回顾，讨论了超大型模型未来研究的主要挑战和机遇，从而指导基于PFMs的新一代协作和交互智能

2、基础组件部分

PFMs是巨大的神经网络模型，它们都是关于神经信息处理的，具体设计根据不同领域的数据模式和任务需求而有所不同。
Transformer是在许多领域(如NLP和CV)中PFMs的主流模型体系结构设计。
训练大型模型需要有各种数据集进行模型预训练。在训练PFMs之后，应该对模型进行微调，以满足诸如功效、效率和隐私等下游需求。

2.1 Transformer for PFMs（基础预训练模型的Transformer）

Transformer是一种创新的架构，它促进了加权表示知识在不同神经单元之间的传递。它完全依赖于注意力（Attention）机制，不使用循环或卷积架构。Attention机制是Transformer的关键组件，因为它为所有编码的输入表示分配权重，并学习输入数据中最重要的部分。通过对值进行加权和得到输出，并使用查询与对应键的相关性函数计算权重。Transformer利用掩码矩阵来提供一种基于自注意的注意机制，其中掩码矩阵指定哪些单词可以相互“看到”。
对于NLP, Transformer可以帮助解决处理顺序输入数据时的远程依赖问题。由于Transformer结构具有更高的并行、可扩展性，可以驱动PFMs的突破性功能。

2.2 Learning Mechanisms for PFMs （基础预训练模型的学习机制）

学习方法如下：
1）监督式学习
2）半监督学习：它结合了有标签数据和无标签数据来训练模型。其目标是通过利用少量的标注数据和大量的未标注数据，提高模型的性能和泛化能力。
3）弱监督学习：目标是最大限度地利用不完美的数据来构建有效的机器学习模型。
4）自监督学习：自监督学习的基本思想是从数据中提取一些信息作为“标签”，并设计一个任务让模型去预测这些标签。在NLP中，语言模型可以通过预测遮罩字符（类似英语做完形填空）、单词或句子来训练。此外，对比学习（Contrastive Learning）是一种自监督学习方法，旨在通过学习相似样本之间的距离更近、不同样本之间的距离更远来获取有用的特征表示。
5）强化学习：强调通过与环境的交互来学习如何在不同情境下做出决策，以最大化累积奖励。强化学习的核心思想是通过试错的方式，使智能体学会在环境中采取最优的行动策略

2.3 Pretraining Tasks for PFMs（基础预训练模型的预训练任务）

预训练是一个初始化框架，通常需要与微调下游任务一起使用。预训练的特征可以辅助下游任务，提供足够的信息，加快模型的收敛速度。

2.3.1 Pretraining Tasks for NLP（自然语言处理的预训练任务）

根据学习方法的不同，预训练任务可以分为五类:掩模语言建模(MLM)、去噪自动编码器(DAE)、替换Token检测(RTD)、下句预测(NSP)、句子顺序预测(SOP)。RTD、NSP和SOP是对比学习方法，它们假设观察到的样本在语义上比随机样本更相似。
1）Mask Language Modeling (MLM)。MLM在预训练中随机擦除输入序列中的部分单词，并对这些被擦除的单词进行预测。典型的例子有BERT和SpanBERT。
2）去噪自动编码器(DAE)。DAE用于在原始语料库中添加噪声，并使用包含噪声的语料库重构原始输入。BART就是一个代表性的例子。
3）替换Token检测(RTD)。RTD是一个判别任务，用于确定LM是否替换了当前令牌。该任务在ELECTRA中被引入。通过训练模型识别标记是否被替换，模型可以获得语言知识。
4）下句预测(NSP)。为了使模型理解两个句子之间的相关性并捕获句子级表示，引入了NSP任务。PFM从不同的文档中输入两个句子，并检查句子的顺序是否正确。一个典型的例子是BERT。
5）句子顺序预测(SOP)。与NSP不同的是，SOP使用文档中两个连续的片段作为正样本，两个片段的交换顺序作为负样本。pfm可以更好地模拟句子之间的相关性，如ALBERT。

3、自然语言处理中的预训练基础模型（PFMs）

PFM的思想首先在NLP中得到普及，其在大型基准数据集上进行训练，并在主任务数据集上进行微调，以获得能够解决新的类似任务的模型。它同时对词的句法和语义表示进行建模，并根据不同的输入上下文动态地改变多义词的表示。

3.1 Word Representations Methods（单词表示方法）

现有的预训练LM根据词语表示方法主要分为三个分支:
(1)自回归LM：在给定前面元素的情况下预测下一个元素，从而生成完整的序列。GPT采用自监督预训练和监督微调两阶段方法，并使用堆叠Transformer作为解码器。随后，GPT-2并将堆叠的Transformer层数增加到48层。参数总数达到15亿个。GPT-2还引入了多任务学习。GPT-2具有相当大的模型容量，可以根据不同的任务模型进行调整，而不是对它们进行微调。GPT-2也使用自回归LM。因此，它在不显著增加成本的情况下提高了模型的性能。由于单向Transformer缺乏上下文建模能力，GPT-2的主要性能提升来自多任务预训练、超大数据集和超大模型的综合作用。对于特定的下游任务，仍然需要基于任务的数据集进行微调。增加LM的训练规模可以显著提高任务无关性能。因此，开发了GPT-3，其模型大小为1750亿个参数，训练数据量为45Tb。这使它能够表现出良好的性能，而不需要对特定的下游任务进行微调。

(2)语境LM：通过捕捉上下文信息来理解和生成自然语言的模型。BERT使用堆叠的多层双向Transformer作为基本结构，WordPiece作为分词方法。模型输入包括三个部分:词嵌入、段嵌入和位置嵌入。该方法采用双向Transformer作为特征提取器，弥补了ELMO和GPT的缺陷。然而，BERT的缺点也不容忽视。双向Transformer结构并没有消除自编码模型的约束。其大量的模型参数对计算资源较低的设备非常不友好，并且具有部署和应用的挑战性。此外，预训练中的隐藏语言建模会导致模型在微调阶段与输入不一致。大多数PFM需要