【第62篇】DepGraph：适用任何结构的剪枝

AI智韵

已于 2023-06-27 05:23:42 修改

阅读量821

点赞数

CC 4.0 BY-SA版权

分类专栏：高质量AI论文翻译文章标签：剪枝深度学习计算机视觉

于 2023-06-26 05:25:42 首次发布

不能复制，转发

本文链接：https://blog.csdn.net/m0_47867638/article/details/131389327

高质量AI论文翻译专栏收录该内容

184 篇文章 ¥99.90 ¥299.90

订阅专栏

本文提出了一种名为DepGraph的通用神经网络剪枝方法，旨在解决任意架构的剪枝问题。DepGraph通过建模层间的依赖关系，解决了结构剪枝中的依赖性难题，允许在不修改网络结构的情况下删除冗余参数。方法包括估计依赖图以模拟层间的相互依赖，以及使用依赖图进行剪枝，通过分组学习一致的稀疏性。实验结果显示，DepGraph在CIFAR、ImageNet等多个数据集和多种网络架构上取得了与最新方法相当的性能，证实了其有效性和通用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

源码：https://github.com/VainF/Torch-Pruning
结构剪枝通过从神经网络中去除结构分组参数来实现模型加速。然而，参数分组模式在不同的模型之间差异很大，这使得依赖于手动设计的分组方案的特定于体系结构的剪枝器对新的体系结构无法通用。在这项工作中，我们研究了一个极具挑战性但很少探索的任务，任何结构剪枝，以解决任意架构的一般结构剪枝，如cnn, rnn, gnn和变形金刚。实现这一雄心勃勃的目标最突出的障碍在于结构耦合，它不仅迫使不同的层同时被剪枝，而且还期望被删除的组中的所有参数始终不重要，从而避免剪枝后的显著性能下降。为了解决这一问题，我们提出了一种通用的全自动方法——依赖图(DepGraph)，以显式地建模层之间的相互依赖关系和全面的组耦合参数。在这项工作中，我们在几个架构和任务上广泛评估了我们的方法，包括用于图像的ResNe(X)t, DenseNet, MobileNet和Vision transformer，用于图形的GAT，用于3D点云的DGCNN，以及用于语言的LSTM，并证明，即使使用简单的L1 norm准则，所提出的方法也始终产生令人满意的性能。

在这里插入图片描述