补充一下模型迁移的相关知识:
使用微调技术,也叫做参数迁移
不同的情况:
(1)数据集小,并且与原数据集差别不大
因为目标数据集与原数据集的数据分布差异不大,使用微调技术,只需要将输出层改为特定任务下的输出层即可
(2)数据集小,相似程度不高
这种情况下,“冻结”与训练模型的前“k”个层的权重,然后重新训练后面的“n-k”个层,最后一层根据输出具体确定
因为相似度不高所以需要重新训练,而因为是小数据集,所以“冻结”前k个层来防止过拟合
(3)数据集大,相似程度不高
采用预训练模型不是很高效率,需要将权值进行初始化从头开始训练,将输出层改为特定任务下的输出层
(4)数据量大,相似程度高
理想情况,进行保持原有的 结构与权值2参数,从头开始训练