T5模型是谷歌在2019年提出的一种预训练语言模型，专注于探究转移学习的极限。该模型基于encoder-decoder结构，采用BERT-style的mask方法和Replace Span的mask策略进行预训练。通过15%的mask比例和3个token的小段长度，T5在文本到文本的转换任务中展现出强大的性能。后续的UniLM和ChatGLM_v1等模型受到了T5的启发，融合了encoder和decoder的特点。
🔥 T5由谷歌发表于2019，《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》，最终版本发布在：JMLR。
一句话总结T5: 大一统模型，seq2seq形式完成各类nlp任务，大数据集预训练，大量实验，财大气粗，诚意满满，给nlp预训练模型领域提供了一个通用框架，提供了一套建议参数。
作者测过包括encoder-decoder，decoder，prefix lm。 几种不同的结构主要是因为attention mask机制不一样，其中prefix lm可看作是encoder 和 decoder 的融合体，一部分如 encoder 一样能看到全体信息，一部分如 decoder 一样只能看到过去信息。最近开源的 UniLM, ChatGLM_v1便是此结构。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
