[二十一]深度学习Pytorch-正则化Regularization之weight decay

### 深度学习中的正则化 #### 正则化的定义 正则化是一种用于减少模型过拟合的技术，在深度学习中通过引入额外的信息或约束条件，使得模型更加简单并具有更好的泛化性能。它主要通过对损失函数增加惩罚项的方式实现，从而抑制模型参数的过度增长。 #### 常见的正则化方法及其作用 1. **L1 正则化** L1 正则化通过对权重向量的绝对值之和施加惩罚来简化模型结构。其核心在于促使部分权重变为零，从而使模型更稀疏[^2]。这种特性对于特征选择非常有用，因为它可以自动忽略那些不重要的输入特征。 数学表达式如下： \[ J(w) = Loss + \lambda \|w\|_1 \] 2. **L2 正则化 (Ridge Regression)** L2 正则化则是通过对权重平方和进行惩罚，使所有权重都趋向于较小数值而非完全为零。这种方法能够有效平滑权重分布，避免某些权值过大而导致模型不稳定的情况发生。 表达形式为： \[ J(w) = Loss + \frac{\lambda}{2} \|w\|_2^2 \] 3. **Dropout 技术** Dropout 是一种专门针对神经网络设计的独特正则化手段。在训练过程中随机丢弃一部分节点（即让这些节点暂时失效），以此模拟多个子网络的同时工作状态。最终预测时采用整个网络作为平均效果输出。这种方式不仅降低了各层之间可能存在的依赖关系，还显著增强了系统的鲁棒性和抗干扰能力。 4. **Early Stopping 提前终止法** Early stopping 并不属于严格意义上的正则化策略，但它确实可以通过监控验证集误差变化趋势及时停止迭代过程达到类似目的——既防止因长时间优化而陷入局部最优解又保持了一定程度上的简洁性[^1]。 以下是基于 PyTorch 的一个简单的 L2 正则化代码实例： ```python import torch from torch import nn, optim class SimpleModel(nn.Module): def __init__(self): super(SimpleModel, self).__init__() self.fc = nn.Linear(10, 1) model = SimpleModel() criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.001) # 设置weight decay即实现了L2 regularization for epoch in range(num_epochs): outputs = model(inputs) loss = criterion(outputs, targets) optimizer.zero_grad() loss.backward() optimizer.step() ``` 上述代码片段展示了如何利用 `torch.optim` 中的 `SGD` 类内置选项轻松完成带有 L2 正则化的梯度下降操作。 ---