LLM+Agent

论文名

目标

方法

发表前

发表后

不足

Attention is All You Need

解决序列模型（如RNN、LSTM）在处理长序列时的效率低下和长期依赖问题，提升并行计算能力，并简化模型结构。

通过引入Transformer架构，采用自注意力机制，替代RNN的顺序计算，使模型能够捕捉全局依赖并实现并行处理，极大提高计算效率。

RNN、LSTM等序列模型在处理长序列时存在梯度消失、计算效率低的问题，训练时间长，难以并行化。

Transformer模型彻底改变了自然语言处理的模型设计，成为后续大规模预训练模型（如BERT、GPT）的基础，推动了语言模型的性能飞跃。

Transformer需要更多计算资源，特别是在大规模模型训练时，训练成本高。此外，它依赖大规模数据，训练时间和硬件要求较高。

GPT-3: Language Models are Few-Shot Learners

探索通过大规模语言模型实现少样本学习（Few-shot learning），让模型在无需大量任务特定训练数据的情况下完成多种语言任务

使用超大规模参数模型（1750亿个参数），并在海量无监督文本数据上进行预训练，使模型能够通过极少的示例或提示完成新任务。

传统的自然语言处理模型需要大量标注数据进行任务特定训练，缺乏泛化能力，难以实现跨任务的学习。

GPT-3展示了少样本学习的潜力，大幅减少了为每个特定任务收集大量数据的需求，为通用人工智能（AGI）提供了初步的模型框架。

模型规模过大，训练和推理成本非常高；此外，虽然GPT-3在少样本学习中表现优异，但其仍然难以应对复杂的推理任务，并且容易产生不可靠的输出。

ReAct: Synergizing Reasoning and Acting in Language Models

通过将推理与行动结合，使语言模型不仅能进行语言生成，还能在交互环境中进行任务执行，解决传统模型仅限于静态语言生成的问题。

结合语言模型的推理能力和行动能力，设计一个能够进行多步骤推理的智能代理ÿ