matlab交织代码-pytorch-curveball:深度网络的二阶优化器

matlab应用代码PyTorch CurveBall - 深度网络的二阶优化器 这是 CurveBall 算法的 PyTorch 重新实现，如下所示： João F. Henriques、Sebastien Ehrhardt、Samuel Albanie、Andrea Vedaldi，“Small Steps and Giant Leaps: Minimal Newton Solvers for Deep Learning”，ICCV 2019 () 它紧跟 Matlab 代码，尽管它没有实现该论文中的所有实验。 警告： 不幸的是，用于前向模式自动微分 (FMAD) 的 PyTorch 操作有点慢（请参阅 参考资料）。 因此，它不如原始 Matlab 实现或此端口快。 您可以在interleave分支中找到一个实验版本，尽管存在这个问题（通过将 CurveBall 步骤与 SGD 交织），该版本实现了更高的速度。 非常欢迎其他建议的修复。 要求 虽然它可能适用于旧版本，但这主要已经过测试： 火炬 1.3 Python 3.7 使用（可选）生成绘图。 用法 curveball.py文件