【ChatGPT】ChatGPT 原理全解析——读完这10篇论文，你就懂了。

2022年11月，OpenAI推出人工智能聊天原型ChatGPT，再次赚足眼球，为AI界引发了类似AIGC让艺术家失业的大讨论。

ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中 GPT 是 Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。

目录

1 Transformer

2 GPT-3

3 InstructGPT

4 Sparrow

5 RLHF

6 TAMER

7 PPO

8 In-Context Learning

8.1 Why Can GPT Learn In-Context

8.2 What learning algorithm is in-context learning

9 Prompt

参考

下面列出了学习 ChatGPT 必看的 10 篇论文。

1 Transformer

ChatGPT 使用的预训练模型 GPT，是在 Transformer 中的 decoder 基础上进行