【PyTorch实战：优化方法】12、深度学习优化器指南：从梯度下降到Adam实战，教你让模型“高效下山”

开篇：用“盲人下山”理解优化器的核心价值

如果把深度学习模型训练比作“盲人寻找山谷最低点”（最低点=最小损失）：

• 梯度是盲人脚下的“坡度”——告诉TA“哪个方向是下坡”；
• 损失函数是TA手中的“高度计”——告诉TA“当前离最低点还有多远”；
• 优化器（Optimizer） 则是TA的“下山策略”——决定TA“每一步迈多大、要不要借惯性冲过小坡、不同路况怎么调整步伐”。

没有好的优化器，即使知道“下坡方向”（梯度），也可能因“步太大摔下山”（学习率过高）、“步太小走不动”（学习率过低），或“卡在小土坡误以为到终点”（局部最优）。

本文将从“基础梯度下降”到“智能Adam”，用5000字+图解+PyTorch代码，带你掌握所有主流优化器的原理与实战，让你的模型“高效下山”。

第一部分：优化器基础——梯度下降的“三大批量模式”

梯度下降是所有优化器的“基石”，其核心思想是“沿梯度反方向更新参数”。根据“每次计算梯度使用的数据量”，梯度下降可分为批量、随机、小批量三种模式，这是理解后续高级优化器的前提。

1.1 梯度下降的核心原理（数学基础）

优化器的目标是“最小化损失函数 $J(\theta )$”（$\theta$ 代表所有参数，如权重 $w$、偏置 $b$），核心公式基于“梯度反方向更新”：
$${\theta }_{\text{new}}={\theta }_{\text{old}}-\alpha \cdot \nabla J({\theta }_{\text{old}})$$

• $\alpha$（学习率）：控制“步长”，决定每一步迈多大；
• $\nabla J(\theta )$：损失函数对 $\theta$ 的梯度，方向是“损失增长最快的方向”，反方向即“损失下降最快的方向”。

通俗理解：盲人知道“往坡度最陡的反方向走（梯度反方向）”，但“每步迈10厘米还是1米（学习率）”“一次看多大范围的路况（数据量）”，就是三种批量模式的区别。

1.2 批量梯度下降（BGD）：“总复习后再改错”

（1）核心逻辑

每次更新参数时，使用全部训练数据计算梯度——相当于盲人“走遍整座山测量坡度后，再决定下一步怎么走”。

（2）数学公式

对线性回归任务（$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$），BGD的参数更新公式为：
$${\theta }_j={\theta }_j-\alpha \cdot \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)x_j^i$$

• $m$：训练集总样本数；
• $x^i,y^i$：第 $i$ 个样本的输入和真实值。

（3）优缺点与适用场景

（4）比喻：“期末总复习”

就像学生期末复习时，“先刷完所有章节的题（全量数据），再总结所有错题（计算梯度），最后集中修改学习方法（更新参数）”——方向准但效率低，适合题量少（小数据集）的情况。

1.3 随机梯度下降（SGD）：“做一题改一题”

（1）核心逻辑

每次更新参数时，仅使用单个样本计算梯度——相当于盲人“走一步测一次坡度，立刻调整方向”。

（2）数学公式

$${\theta }_j={\theta }_j-\alpha \cdot (h_{\theta }(x^i)-y^i)x_j^i$$
（去掉了BGD中的“$\frac{1}{m}$”，因仅用第 $i$ 个样本计算梯度）

（3）优缺点与适用场景

（4）比喻：“题海战术”

就像学生“做一道数学题就立刻对答案、改错题”——速度快但容易被偏题（噪声样本）带歪思路，导致“知识点掌握不系统”（参数更新震荡）。

1.4 小批量梯度下降（MBGD）：“小测验后及时复盘”

（1）核心逻辑

每次更新参数时，使用固定数量的样本（Batch Size）计算梯度——相当于盲人“走30步测一次坡度，调整方向后再走”，是BGD和SGD的“完美平衡”。

（2）数学公式

θj=θj−α⋅1b∑i=1b(hθ(xi)−yi)xji\theta_j = \theta_j - \alpha \cdot \frac{1}{b} \sum_{i=1}^b (h_\theta(x^i) - y^i)x_j^iθj​=θj​−α⋅b</