pytorch实现L2和L1正则化regularization的方法

### L1正则化与L2正则化的区别及应用场景 #### 一、数学定义与作用机制 L1正则化和L2正则化都是通过在损失函数中添加惩罚项来防止模型过拟合的技术。L1正则化使用权值参数的绝对值作为惩罚项[^1]，而L2正则化使用权值参数的平方作为惩罚项[^1]。这种差异导致了两种正则化方法在优化过程中对权值更新的不同影响。 - **下降速度**：L1正则化在接近零时具有更快的下降速度，这使得它更容易将某些权值直接缩减为零。相比之下，L2正则化的下降速度较慢，即使权值接近零，也不会将其完全置零。 #### 二、稀疏性与权重分布 L1正则化倾向于生成稀疏的权重向量，即许多权值会被精确地缩减为零[^2]。这种特性使其非常适合于特征选择任务，因为可以自动剔除无关或冗余的特征[^4]。而L2正则化则倾向于生成分散的权重向量，其中所有权值都不为零但数值较小[^2]。因此，L2正则化更适合处理共线性问题，因为它能够平等地分配权值给相关特征[^4]。 #### 三、几何解释 从几何空间的角度来看，L1正则化约束区域是一个菱形，其顶点位于坐标轴上，这意味着最优解更可能出现在这些顶点处，从而导致稀疏性。相反，L2正则化约束区域是一个圆形，没有明显的“角”或“顶点”，因此最优解不太可能落在坐标轴上，导致权重分布更加均匀。 #### 四、应用场景 - **L1正则化**：适用于需要进行特征选择的场景，尤其是当数据集中存在大量无关特征时。例如，在文本分类任务中，词汇表可能非常庞大，L1正则化可以帮助识别出最重要的关键词。 - **L2正则化**：适用于处理共线性问题或当特征之间存在较强相关性时[^4]。例如，在图像识别任务中，像素值之间可能存在高度相关性，L2正则化有助于稳定模型训练并减少过拟合。 ```python # PyTorch实现L2正则化（Weight Decay） import torch import torch.nn as nn import torch.optim as optim model = nn.Linear(10, 1) criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.01) # L1正则化可以通过手动添加L1惩罚项实现 def l1_regularization(model, lambda_l1): l1_norm = sum(p.abs().sum() for p in model.parameters()) return lambda_l1 * l1_norm # 在训练过程中加入L1正则化 lambda_l1 = 0.01 loss = criterion(output, target) + l1_regularization(model, lambda_l1) ``` #### 五、总结 L1正则化通过产生稀疏的权重向量来实现特征选择，而L2正则化通过平滑权重分布来处理共线性问题。两者各有优劣，具体选择取决于任务需求和数据特性。