PyTorch中的自动化机器学习与模型可解释性

### PyTorch中的自动化机器学习与模型可解释性 #### 1. 使用Optuna进行超参数搜索 在这部分内容中，我们将使用Optuna进行超参数搜索，为手写数字分类模型找到最优的超参数组合。具体步骤如下： 1. **启动超参数搜索**： ```python study = optuna.create_study(study_name="mastering_pytorch", direction="maximize") study.optimize(objective, n_trials=10, timeout=2000) ``` 这里，`direction` 参数设置为 `maximize`，因为我们的评估指标是准确率，需要最大化该指标。搜索最多进行2000秒或10次试验，以先完成者为准。以下是部分搜索输出示例： ```plaintext A new study created in memory with name: mastering pytorch epochs 1 [0/60000 (0V)] training loss: 2.314928 epoch: 1 [16000/60000 (27%)) training loss: 2.339143 ... Trial 0 finished with value: 9.82 and parameters: ('num conv_layers': 4, ...) Trial 1 finished with value: 95.68 and parameters: ('num conv_layers': 1, ...) ... Trial 7 pruned. Trial 8 pruned. Trial 9 pruned. ``` 从输出可以看出，第三次试验的结果最优，测试集准确率达到了98.77%，最后三次试验被剪枝。 2. **区分试验状态**： ```python pruned_trials = [t for t in study.trials if t.state == optuna.trial.TrialState.PRUNED] complete_trials = [t for t in study.trials if t.state == optuna.trial.TrialState.COMPLETE] ``` 这段代码用于区分完成和被剪枝的试验。 3. **查看最优试验的超参数**： ```python print("results: ") trial = study.best_trial for key, value in trial.params.items(): print("{}: {}".format(key, value)) ``` 输出结果如下： ```plaintext results: num_trials_conducted: 10 num_trials_pruned: 3 num_trials_completed: 7 results from best trial: accuracy: 98.77 hyperparameters: num_conv_layers: 3 num_fc_layers: 2 conv_depth_0: 27 conv_depth_1: 28 conv_depth_2: 46 conv_dropout_2: 0.3274565117338556 fc_output_feat_0: 57 fc_dropout_0: 0.12348496153785013 fc_output_feat_1: 54 fc_dropout_1: 0.36784682560478876 optimizer: Adadelta lr: 0.4290610978292583 ``` 以下是超参数搜索的流程示意图： ```mermaid graph LR A[准备组件] --> B[创建研究对象] B --> C[执行优化] C --> D{试验结束?} D -- 是 --> E[区分试验状态] E --> F[查看最优试验超参数] D -- 否 --> C ``` Optuna不仅可以用于PyTorch模型，还支持TensorFlow、scikit - learn、MXNet等其他流行的机器学习库。并且，如果模型非常大或需要调整的超参数过多，Optuna还支持分布式搜索。 #### 2. PyTorch中的模型可解释性 在机器学习中，特别是深度学习领域，模型可解释性是一个重要的研究方向。我们将以手写数字分类模型为例，探讨如何解释模型的预测结果。 ##### 2.1 训练手写数字分类器 以下是训练手写数字分类器的步骤： 1. **导入库并设置随机种子**： ```python import torch import n ```