百度ERNIE系列预训练语言模型浅析(2)-ERNIE2.0

Ernie 2.0: A Continual Pre-Training Framework for Language Understanding
Sun Y, Wang S, Li Y, et al. Ernie 2.0: A continual pre-training framework for language understanding[C]//Proceedings of the AAAI * Conference on Artificial Intelligence. 2020, 34(05): 8968-8975.

关键词：Continual Multi-task Learning
概括：加入更多的预训练任务，为了有效的训练采用了连续训练的方法。

以前的模型只能学到简单的共现信息,其他有价值的信息，比如lexical\syntactic\semantic information都没有被提取出来。
因此本文Continual Multi-task Learning、不同层次的预训练任务能够提取lexical\syntactic\semantic information。

1、Continual Multi-task Learning

连续的多任务学习能记住之前学习到的信息。
上游的预训练任务和下游特定任务的Fine-tuning的闭环。