迁移学习--深度迁移学习

最新推荐文章于 2025-07-08 07:48:22 发布

vvnzhang2095

最新推荐文章于 2025-07-08 07:48:22 发布

阅读量3.5w

点赞数 26

CC 4.0 BY-SA版权

分类专栏：迁移学习

本文链接：https://blog.csdn.net/vvnzhang2095/article/details/79910502

该文研究深度网络中不同层的通用性与特异性，通过实验分析迁移学习的效果，发现早期层具有更强的通用性，适合迁移，而深层特征更特定于源任务。在相似和不同数据集间进行迁移，迁移初始化权重优于随机初始化，且微调能改善迁移性能。迁移效果受特征特异性和层间协同适应性影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章：How transferable are features in deep neural networks

代码部分：http://yosinski.com/transfer

这篇文章里的迁移我认为是transductive TL层面上的迁移（transductive TL具体可以看我这篇文章：迁移学习--综述）也就是domain不同，但是task相同。但是transductive TL里面还提到source和target的labeled data可不可得的问题，我感觉在这里都可得，又不那么严格满足transductive TL介绍里提到的情况，anyway分类可能也没有那么死板吧。

1. 背景与简介

这篇文章挺有意思的，我们知道在做深度网络的时候，一开始网络学的是general的特征，之后才越来越细化，越来越specific。那么到底怎么衡量一层是general和specific的呢？这种转变到底是突然在某一层发生的，还是慢慢渐变式地发生的呢？这种转变是在哪个部分发生的，开始、中间、还是最后一层？研究这些问题，是因为这些问题对研究迁移效果很有帮助，因为我们进行迁移，本质就是要找出source和domain里的共同点，所以要在general层面上进行迁移。因此，找出哪一层是general的，哪一层是specific的，也就显得至关重要了。

一般的迁移学习是这样的：训练好一个网络（我们称它为base network）→把它的前n层复制到target network的前n层→target network剩下的其他层随机初始化→开始训练target task。其中，在做backpropogate（反向传播）的时候，有两种方法可以选择：（1）把迁移过来的这前n层froze