PyTorch优化器实战指南：打造自定义SGD和Adam优化器

 # 1. PyTorch优化器概述 在深度学习框架PyTorch中，优化器是提升模型训练效果的关键组件，它们负责调整网络权重以最小化损失函数。本章将概览PyTorch提供的各种优化器，并着重介绍它们的工作原理及其在深度学习中的重要性。通过对比不同类型的优化器，我们能够更好地理解它们的优缺点以及如何根据不同的应用场景进行选择。 优化器不仅仅是一个算法或数学公式，更是一个决策者，它决定了每一步如何调整模型的参数，以达到最优的学习效果。常见的优化器包括SGD、Adam、RMSprop等，它们各有特点和适用场景。通过本章的学习，读者将对这些优化器有一个基本的认识，并为后续章节的深入分析打下坚实的基础。 # 2. PyTorch中的SGD优化器深度剖析 随机梯度下降（SGD）是深度学习中最古老和最基本的一种优化方法。由于其简单性和强大的训练能力，SGD在许多应用中都得到了广泛使用。本章节将深入探讨SGD优化器的内部工作原理，包括其核心概念、优势和限制，并且深入到PyTorch框架下的具体实现细节，从源码层面解析内置优化器，并展示如何自定义SGD优化器，最后通过神经网络训练实例来实际应用所学知识，并对其性能进行测试与分析。 ## 2.1 SGD优化器基本原理 ### 2.1.1 随机梯度下降的概念和应用 随机梯度下降（SGD）是一种迭代算法，用来找到函数的局部最小值。在机器学习领域，这个“函数”通常指的是损失函数，目的是最小化模型预测值与真实值之间的差异。SGD是梯度下降法的一个变种，区别在于它不是在每次迭代中使用整个数据集来计算梯度，而是选择一个或一小批样本进行梯度计算。这使得SGD在大数据集上更为高效，并且具有更好的随机性，有助于模型跳出局部最小值。 SGD在深度学习中的应用非常广泛，几乎所有的深度学习框架都提供了SGD的实现。SGD的灵活性使得它适用于各种神经网络结构，并且可以通过调整学习率和其他超参数来适应不同的学习任务。 ### 2.1.2 动量项的作用及其重要性 动量（Momentum）是SGD的一个变种，它通过引入动量项来加速学习过程并减少震荡。动量项可以看作是之前梯度的指数加权平均，使得优化过程不仅考虑当前梯度，还考虑过去梯度的方向。这样有助于减少SGD在参数空间中震荡，尤其是当损失函数的等高线特别狭窄和拉长时。 动量项通常通过一个动量超参数`momentum`来控制，它决定了过去梯度对于当前方向的影响程度。动量项的引入在很多情况下都能够显著提升模型的训练速度和稳定性。 ## 2.2 自定义SGD优化器的实现 ### 2.2.1 PyTorch内置SGD优化器源码解析 PyTorch中的SGD优化器是通过`torch.optim.SGD`类实现的。我们可以查看它的源代码来了解其工作原理： ```python class SGD(_SingleOptimizer): def __init__(self, params, lr, momentum=0, dampening=0, weight_decay=0, nesterov=False): if lr < 0.0: raise ValueError("Invalid learning rate: {}".format(lr)) if momentum < 0.0: raise ValueError("Invalid momentum value: {}".format(momentum)) if weight_decay < 0.0: raise ValueError("Invalid weight_decay value: {}".format(weight_decay)) defaults = dict(lr=lr, momentum=momentum, dampening=dampening, weight_decay=weight_decay, nesterov=nesterov) if nesterov and (momentum <= 0 or dampening != 0): raise ValueError("Nesterov momentum requires a momentum and zero dampening") super(SGD, self).__init__(params, defaults) def __setstate__(self, state): super(SGD, self).__setstate__(state) for group in self.param_groups: group.setdefault('nesterov', False) ``` 从上面的代码可以看出，SGD类接受多个参数，例如学习率`lr`、动量`momentum`、阻尼因子`dampening`、权重衰减`weight_decay`和Nesterov加速。其中，阻尼因子用于在计算动量项时减轻梯度的影响，以防止过度加速。 ### 2.2.2 基于PyTorch的SGD优化器定制化过程 接下来，我们可以实现一个简单的自定义SGD优化器，仅对学习率和动量进行设置： ```python class CustomSGD(torch.optim.Optimizer): def __init__(self, params, lr=0.01, momentum=0.9): defaults = dict(lr=lr, momentum=momentum) super(CustomSGD, self).__init__(params, defaults) def __setstate__(self, state): super(CustomSGD, self).__setstate__(state) def step(self, closure=None): loss = None if closure is not None: loss = closure() for group in self.param_groups: weight_decay = group['weight_decay'] momentum = group['momentum'] lr = group['lr'] for p in group['params']: if p.grad is None: continue d_p = p.grad.data if weight_decay != 0: d_p.add_(p.data, alpha=weight_decay) param_state = self.state[p] if 'momentum_buffer' not in param_state: buf = param_state['momentum_buffer'] = torch.clone(d_p).detach() else: buf = param_state['momentum_buffer'] buf.mul_(momentum).add_(d_p, alpha=1 - momentum) p.data.add_(buf, alpha=-lr) return loss ``` 以上代码中，我们定义了一个`CustomSGD`类，它继承自`torch.optim.Optimizer`。在`step`方法中，我们实现了SGD的动量更新规则。注意，当学习率设置为0.01，动量设置为0.9时，我们基本上复现了PyTorch内置SGD优化器的行为。 ## 2.3 自定义SGD优化器的实践应用 ### 2.3.1 神经网络训练实例 接下来，我们将使用自定义的SGD优化器来训练一个简单的神经网络模型。这里我们使用PyTorch提供的例子，比如对MNIST数据集进行训练。 ```python from torchvision import datasets, transforms from torch.utils.data import DataLoader transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))]) train_dataset = datasets.MNIST('data', train=True, download=True, transform=transform) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True) class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(28 * 28, 500) self.fc2 = nn.Linear(500, 10) def forward(self, x): x = x.view(-1, 28 * 28) x = torch.relu(self.fc1(x)) x = self.fc2(x) return x net = Net() # CustomSGD optimizer with learning rate of 0.01 and momentum of 0.9 optimizer = CustomSGD(net.parameters(), lr=0.01, momentum=0.9) # Training process def train(epoch): net.train() for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output = net(data) loss = F.nll_loss(output, target) loss.backward() optimizer.step() if batch_idx % 10 == 0: print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format( epoch, batch_idx * len(data), len(train_loader.dataset), 100. * batch_idx / len(train_loader), loss.item())) for epoch in range(1, 10): train(epoch) ``` 在这个神经网络训练实例中，我们首先定义了一个简单的全连接网络，并使用我们自定义的SGD优化器。然后在训练循环中，我们通过调用`zero_grad`来清除之前的梯度，然后计算当前批次的梯度，并使用`backward`方法将梯度累积到对应参数。最后，调用优化器的`step`方法来更新参数。 ### 2.3.2 性能测试与分析 为了测试我们的自定义SGD优化器的效果，我们可以使用测试数据集来评估模型的性能。我们还需要实现一个测试函数，并在每个训练周期后运行它。 ```python from torch import Tensor import torch.nn.functional as F def test(): net.eval() test_loss = 0 correct = 0 with torch.no_grad(): for data, target in test_loader: output = net(data) test_loss += F.nll_loss(output, target, reduction='sum').item() pred = output.argmax(dim=1, keepdim=True) correct += pred.eq(target.view_as(pred)).sum().item() test_loss /= len(test_loader.dataset) print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ( ```