计算机视觉深度神经网络总结(目标检测,分类、特征提取)

本文探讨了模型迁移在不同数据集条件下的应用策略。对于数据集小且相似度高的情况,只需调整输出层即可进行微调。若数据集小但差异大,可以冻结前几层并重新训练后面层以防止过拟合。当数据集大但相似度不高时,通常需要从头训练,而数据量大且高度相似的理想情况,可以直接沿用原有结构和权重进行训练。这些方法在深度学习中常用于预训练模型的优化。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

补充一下模型迁移的相关知识:

使用微调技术,也叫做参数迁移

不同的情况:

(1)数据集小,并且与原数据集差别不大

因为目标数据集与原数据集的数据分布差异不大,使用微调技术,只需要将输出层改为特定任务下的输出层即可

(2)数据集小,相似程度不高

这种情况下,“冻结”与训练模型的前“k”个层的权重,然后重新训练后面的“n-k”个层,最后一层根据输出具体确定

因为相似度不高所以需要重新训练,而因为是小数据集,所以“冻结”前k个层来防止过拟合

(3)数据集大,相似程度不高

采用预训练模型不是很高效率,需要将权值进行初始化从头开始训练,将输出层改为特定任务下的输出层

(4)数据量大,相似程度高

理想情况,进行保持原有的 结构与权值2参数,从头开始训练

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值