PyTorch学习—17.正则化之weight_decay与dropout

最新推荐文章于 2024-11-23 14:48:25 发布

哎呦-_-不错

最新推荐文章于 2024-11-23 14:48:25 发布

阅读量2.9k

点赞数 11

CC 4.0 BY-SA版权

分类专栏： PyTorch框架学习文章标签： PyTorch weight_decay dropout 正则化

本BLOG上原创文章未经本人许可，不得用于商业用途，转载请注明出处。

本文链接：https://blog.csdn.net/weixin_46649052/article/details/119745807

本文探讨了正则化在深度学习中的重要性，通过PyTorch实例讲解L2正则项（weight decay）和Dropout的概念、工作原理及其在抑制过拟合中的作用。实操演示了如何在模型中使用Dropout，以及如何通过TensorBoard观察其对权重和泛化性能的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、正则化与偏差-方差分解

正则化方法是机器学习（深度学习）中重要的方法，它目的在于减小方差。下面借助周志华老师西瓜书中的对于方差、偏差的定义来进行理解。
泛化误差可分解为：偏差、方差与噪声之和。

偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界

正则化方法就是减小方差的策略。常见的过拟合就会导致高方差，因此，人们常用正则化降低方差来解决过拟合。
正则化有L1正则化与L2正则化，通常就是损失函数加上正则项。
$O b j = C o s t + R e g u l a r i z a t i o n T e r m$
L1 Regularization Term： $\sum_i^N|w_i|$
L2 Regularization Term： $\sum_i^Nw_i^2$

关于L1正则化与L2正则化面试中常涉及到如下问题：百面机器学习—13.L1正则化与稀疏性

二、pytorch中的L2正则项—weight decay（权值衰减）

加入L2正则项后，目标函数:
$\frac{\lambda}{2}*\sum_i^Nw_i^2\\w_{i+1}=w_i-\frac{\partial{Obj}}{\partial{w_i}}=w_i(1-\lambda)-\frac{\partial{Loss}}{\partial{w_i}}$
$0<\lambda<1$ ，L2正则项又称为权值衰减。
下面通过一个小例子来试验weight decay。

import torch
import torch.nn as nn
import matplotlib.pyplot as plt
from torch.utils.tensorboard import SummaryWriter


n_hidden = 200
max_iter = 2000
disp_interval =