万字长文详解深度学习中元学习与小样本问题：如何理解模型自己学会学习？传统的监督学习与 Meta Learning 之间的区别？预训练的三个小改进？如何通过孪生网络完成元学习~

深度学习模型训练模型特别吃计算硬件，尤其是人为调超参数时候，更需要大量的计算。另一个头疼的问题是在某个任务下大量数据训练的模型，切换到另一个任务后，模型就需要重新训练，这样非常耗时耗力。

工业界财大气粗有大量的 GPU 可以承担起这样的计算成本，但是学术界因为经费有限经不起这样的消耗。元学习（meta-learning）可以有效的缓解大量调参和任务切换模型重新训练带来的计算成本问题。

1 元学习介绍

元学习希望使得模型获取一种学会学习调参的能力，使其可以在获取已有知识的基础上快速学习新的任务。

机器学习是先人为调参，之后直接训练特定任务下深度模型。

元学习则是先通过其它的任务训练出一个较好的超参数，然后再对特定任务进行训练。

这些超参数可以是初始化参数、选择优化器、定义损失函数、梯度下降更新参数等。

2 元学习流程

在机器学习中，训练单位是样本数据，通过数据