超级会员免费看
本文介绍了GPT、GPT-2和GPT-3的发展历程，从2018年的GPT开始，阐述了它们在自然语言处理中的应用，如预训练、多任务学习和少样本学习。GPT-3拥有1750亿个参数，展示了强大的文本生成和理解能力，但存在模型解释性和样本有效性的局限性。
欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://blog.csdn.net/caroline_wendy/article/details/128909400
GPT、GPT-2、GPT-3：Generative Pre-trained Transformer，生成式预训练Transformer
-
Wiki: https://en.wikipedia.org/wiki/GPT-3
-
GPT-3 Demo: https://gpt3demo.com/
时间线：
- Transformer, 2017.6, Attention is all you need
- GPT, 2018.6, Improving Language Understanding by Generative Pre-Training: 使用Transformer的解码器，在没有标签的文本上，预训练模型
- BERT, 2018.10, BERT: Pre-training of Deep Bidirectional
订阅专栏 解锁全文
扫一扫
8695
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
