class Animator: #@save """在动画中绘制数据""" def __init__(self, xlabel=None, ylabel=None, legend=None, xlim=None, ylim=None, xscale='linear', yscale='linear', fmts=('-', 'm--', 'g-.', 'r:'), nrows=1, ncols=1, figsize=(3.5, 2.5)): # 增量地绘制多条线 if legend is None: legend = [] d2l.use_svg_display() self.fig, self.axes = d2l.plt.subplots(nrows, ncols, figsize=figsize) if nrows * ncols == 1: self.axes = [self.axes, ] # 使⽤lambda函数捕获参数 self.config_axes = lambda: d2l.set_axes( self.axes[0], xlabel, ylabel, xlim, ylim, xscale, yscale, legend) self.X, self.Y, self.fmts = None, None, fmts def add(self, x, y): # 向图表中添加多个数据点 if not hasattr(y, "__len__"): y = [y] n = len(y) if not hasattr(x, "__len__"): x = [x] * n if not self.X: self.X = [[] for _ in range(n)] if not self.Y:

<think>好的，我需要帮用户实现一个自定义的SGD函数来替换PyTorch中的torch.optim.SGD。首先，我得回忆一下SGD的基本原理。SGD的核心是沿着梯度的反方向更新参数，以最小化损失函数。公式应该是这样的：$$w_{t+1} = w_t - \eta \cdot \nabla w_t$$，其中$\eta$是学习率，$\nabla w_t$是参数在时间t的梯度[^1]。 接下来，用户提到要替换PyTorch的SGD，所以需要了解PyTorch优化器的工作流程。通常，优化器需要管理模型的参数，并在每个训练步骤中更新它们。根据引用[2]，优化器初始化时需要接收模型的parameters()，这样它才能访问所有可训练参数[^2]。所以自定义的SGD函数也需要能够接收这些参数，并在每一步执行更新。 然后，考虑如何手动实现参数更新。在PyTorch中，每个参数的梯度存储在.grad属性中。所以自定义的SGD函数应该遍历所有参数，对于每个参数，用当前的学习率乘以梯度，然后从参数值中减去这个乘积。同时，可能需要处理动量（momentum）和权重衰减（weight decay），但用户的问题里没有提到这些，可能基础版本不需要，但最好确认是否需要扩展功能。 另外，PyTorch的优化器通常有zero_grad()来清除梯度，所以在每次更新前需要确保梯度已经计算并清空。不过，用户的实现可能不需要处理这部分，因为通常由用户手动调用zero_grad()，但自定义优化器应该与这一流程兼容。 代码结构方面，应该创建一个类，比如叫CustomSGD，初始化时接收参数和学习率。然后实现step()方法来执行参数更新，zero_grad()方法可能需要由用户自行处理，或者也可以包含在类中。但根据PyTorch的设计，优化器的step()只负责更新参数，而梯度清零由用户控制，所以自定义类可能不需要实现zero_grad()。 测试方面，需要确保自定义的SGD和官方的SGD在相同条件下表现一致。比如使用相同的模型、学习率、初始参数，检查更新后的参数是否相同。 可能遇到的问题包括：是否正确处理了参数组（parameter groups），是否支持不同的学习率分组，但用户可能只需要基础版本。所以初步实现可以忽略参数组，假设所有参数使用同一学习率。 总结步骤： 1. 创建一个类，接收参数和学习率。 2. 在step()方法中遍历所有参数，执行更新。 3. 确保梯度已经被计算（由用户通过backward()计算）。 4. 在更新时使用w.data -= lr * w.grad，注意使用.data来避免自动梯度追踪。 现在，编写代码示例，并验证是否正确。同时，需要提醒用户注意梯度清零和参数更新顺序，与官方SGD保持一致。</think>以下是如何手动实现SGD优化器并替代`torch.optim.SGD`的分步解决方案： ### 1. SGD数学原理 随机梯度下降的核心公式为： $$w_{t+1} = w_t - \eta \cdot \nabla w_t$$ 其中$\eta$为学习率，$\nabla w_t$是参数梯度 ### 2. 实现步骤 #### (1) 基础实现框架 ```python class CustomSGD: def __init__(self, params, lr=0.01): self.params = list(params) # 获取可训练参数列表 self.lr = lr def step(self): for w in self.params: if w.grad is None: continue # 执行参数更新 w.data -= self.lr * w.grad.data # 通过.data避免创建计算图 def zero_grad(self): for w in self.params: if w.grad is not None: w.grad.detach_() # 清除梯度计算历史 w.grad.zero_() # 梯度归零 ``` #### (2) 使用示例 ```python import torch.nn as nn # 创建测试模型 model = nn.Linear(10, 2) custom_optim = CustomSGD(model.parameters(), lr=0.1) # 训练循环示例 for inputs, targets in dataloader: # 梯度清零 custom_optim.zero_grad() # 前向传播 outputs = model(inputs) loss = nn.MSELoss()(outputs, targets) # 反向传播 loss.backward() # 参数更新 custom_optim.step() ``` ### 3. 与官方实现对比 ```python # 验证参数更新一致性 model1 = nn.Linear(3, 1, bias=False) model2 = nn.Linear(3, 1, bias=False) model2.load_state_dict(model1.state_dict()) # 确保参数相同 # 创建优化器 custom_optim = CustomSGD(model1.parameters(), lr=0.1) official_optim = torch.optim.SGD(model2.parameters(), lr=0.1) # 模拟梯度 x = torch.randn(2, 3) y = torch.randn(2, 1) loss1 = model1(x).sum() loss2 = model2(x).sum() # 反向传播 loss1.backward() loss2.backward() # 参数更新 custom_optim.step() official_optim.step() # 验证参数差异 print(torch.allclose(model1.weight, model2.weight)) # 应输出True ``` ### 4. 功能扩展建议 1. **动量支持**：添加速度变量$v_{t} = \gamma v_{t-1} + \eta \nabla w_t$，更新公式变为$w_{t+1} = w_t - v_t$ 2. **权重衰减**：在更新前对参数施加L2惩罚项 3. **参数分组**：允许不同层使用不同学习率