Rethinking the Value of Network Pruning(论文阅读)

已于 2023-04-06 16:49:15 修改
阅读量477 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： CNN模型压缩与加速 文章标签： 剪枝 论文阅读 深度学习
于 2020-08-03 16:09:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihuanyu520/article/details/107756384
本文质疑了传统的深度学习网络剪枝流程，指出预定义结构化剪枝时，直接从头训练小型网络能获得与剪枝、微调相当的性能。对于自动结构化剪枝，从头训练甚至可能优于微调。研究表明，剪枝更多地关乎学习网络结构而非重要权重，且在某些情况下可视为一种隐式的架构搜索。作者的实验涵盖了多种剪枝方法和数据集，揭示了剪枝和初始化策略对模型性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. 摘要

  • 训练一个大型的、过度参数化的模型通常不是获得有效的最终模型所必需的（比如说是每层剪枝比例固定的传统结构化剪枝，没啥必要，不如直接从头训练小网络）。
  • 学习到的大型模型的“重要”权重对于小的修剪模型通常是无用的，所以说我们要学习的不是他们的权重，而是网络的结构（每一层网络的宽度），这表明在某些情况下，修剪可以用作体系结构搜索范例。
  • 还与“彩票假说”(Frankle&Carbin，2019年)进行了比较，发现在最优学习率下，Frankle&Carbin(2019年)使用的“中票”初始化并没有带来比随机初始化更好的效果。
    在这里插入图片描述

2. 介绍

一个典型的网络剪枝过程包括三个阶段：

  1. 训练一个过参数化的大模型。
  2. 按照一定的标准剪枝训练的大模型。
  3. 微调剪枝后的模型以恢复损失的性能。

通常来说，模型修剪过程的背后有两个准则。第一就是是我们训练一个大的、过参数的化模型。它是重要的，第二个就是我们得到的剪枝结构和他的相关权重，是我们获得有效模型所必须的。
作者做了一系列实验证明这两个准则不一定是正确的。做这个发现

  • 对于具有预
了解本专栏 订阅专栏 解锁全文
模型剪枝——RETHINKING THE VALUE OF NETWORK PRUNING
qq_52053775的博客
04-29 547
L1-范数基于滤波器剪枝：作者评估了使用L1-范数进行滤波器剪枝的方法，并比较了剪枝模型与从头训练模型的性能。在CIFAR-10和ImageNet数据集上，直接从头开始训练的模型（Scratch-B）通常比经过剪枝和微调的模型表现得更好。ThiNet与基于回归的方法的实验结果也类似，从头开始训练小型模型不仅可行，而且往往能得到更好的性能。这进一步质疑了传统剪枝策略的必要性。
DMCP: Differentiable Markov Channel Pruning for Neural Networks（论文阅读）
安静到无声
07-21 1248
作者将上述的有向无环图的转移建模为随机过程，并用一组可学习的参数来参数化转移概率。我们将可学习的参数命名为体系结构参数，以区分它们与网络权重。设p(w1,w2,…,wk−1)p(w_1,w_2,…,w_{k−1})p(w1​,w2​,…,wk−1​)是保留前k−1k−1k−1个信道的概率。保留前kkk个通道的概率可以表示为： p(w1,…,wk)=p(wk∣w1,…,wk−1)p(w1,…,wk−1)p\left(w_{1}, \ldots, w_{k}\right)=p\left(w_{k} \mid w
Rethinking the value of network pruning
lighting
11-20 4888
最近将High-way的思想用到了步态识别上，我觉得应该算是一个创新点，但是小伙伴建议我读一读Rethinking the value of resnet ,或许会对我有所启发。所以今天就来拜读一下。主要是翻译的形式，一段英文一段中文。 Abstract Network pruning is widely used for reducing the heavy computational cost...
模型裁剪--Rethinking the Value of Network Pruning
AI小作坊 的博客
10-29 6496
Rethinking the Value of Network Pruning https://github.com/Eric-mingjie/rethinking-network-pruning 网络模型裁剪价值的重新思考 当前的深度学习网络模型一般都是 heavy computational cost，如何降低其计算量而尽可能保持网络性能是一个重要的研究课题。 标准的模型裁剪三部曲是：1）训...
「Deep Learning」Note on Rethinking the Value of Network Pruning
小锋子Shawn
10-23 598
Sina Weibo：小锋子Shawn Tencent E-mail：[email protected] http://blog.csdn.net/dgyuanshaofeng/article/details/83316702 [1] Rethinking the Value of Network Pruning [paper] [Pytorch code]
【论文阅读笔记】Rethinking the value of Network Pruning
时光机 °的博客
07-08 3238
论文地址：https://arxiv.org/abs/1810.05270 论文总结   论文的中心思想其实就一句话：在通过Prune算法得到了压缩模型后，使用来自大网络的权重进行fine-tune，还不如直接随机初始化训练压缩模型。但需要注意的是，随机初始化训练压缩模型，需要比训练大模型使用更多的epochs，才能获得更好的效果。 论文摘要   作者通过数个网络和数据集的prune 测试，得到了三个观察和结论： 如果有一个确定的“压缩”模型，训练一个大网络不是必要的； 在prune算法中，我们所认为“重
RETHINKING THE VALUE OF NETWORK PRUNING.pdf
05-09
网络剪枝（Network Pruning）作为深度学习模型优化领域的一个重要技术，主要用于降低模型在低资源环境下的推理成本。通过对模型的冗余部分进行剪枝，可以有效减少计算量和内存占用，从而达到优化模型的目的。网络...
《RETHINKING THE VALUE OF NETWORK PRUNING》论文笔记
m_buddy的博客
08-24 651
参考代码：rethinking-network-pruning 1. 概述 导读：在模型进行部署的时候一般会希望模型的尽可能小，减少infer时候资源的消耗，其中比较常用的方式就是模型剪枝，其中一般常用的方式是结构化剪枝，这样会硬件也比较友好，非结构化剪枝也是可以的。其采取的步骤是首先训练一个较大的模型，之后使用剪枝算法检出那些不重要的参数，之后再在重要参数的基础上进行finetune，以期望恢复网络性能。这篇文章对剪枝的后半段进行思考， 是否真的需要在重要权重的基础上进行finetune？剪枝之后的网络
RETHINKING THE VALUE OF NETWORK PRUNING 笔记：
weixin_44543648的博客
05-09 393
RETHINKING THE VALUE OF NETWORK PRUNING 笔记： ABSTRACT： training a large, over-parameterized model is often not necessary to obtain an efficient final model learned “important” weights of the large model are typically not useful for the small pruned model t
Rethinking the Value of Network Pruning_ICLR2019
Charles5101的博客
05-26 1036
近期本小白在公司实习，组内有写paper reading的优良传统，一来自己总结，二来便于大家交流。感觉这个习惯非常好，于是乎想了想干脆同步发到自己博客上来，便于以后自己整理。 URL:https://arxiv.org/abs/1810.05270 code：https://github.com/Eric-mingjie/rethinking-network-pruning TL;...
Python-RethinkingtheValueofNetworkPruningPytorch
08-11
Rethinking the Value of Network Pruning (Pytorch)
【论文阅读】Rethinking the Value of Network Pruning
luolinll1212的专栏
01-20 1067
1 https://arxiv.org/abs/1810.05270 https://github.com/Eric-mingjie/rethinking-network-pruning
开源项目教程：Rethinking the Value of Network Pruning
gitblog_00687的博客
08-10 373
开源项目教程：Rethinking the Value of Network Pruning 项目介绍 Rethinking the Value of Network Pruning 是一个开源项目，旨在探索和重新评估网络剪枝的价值。该项目由Zhuang Liu、Mingjie Sun、Tinghui Zhou、Gao Huang和Trevor Darrell共同开发，并在ICLR 2019会议上...
模型剪枝-ICLR2019-RETHINKING THE VALUE OF NETWORK PRUNING
weixin_44214375的博客
12-04 799
背景 1.人们认为先训练大型、过度参数化的网络是很重要的，因为它提供了一个高性能模型（由于更强的表征和优化能力），这个高性能模型可以删除一系列冗余参数并且对于模型的精度没有明显损害。据报道，这通常优于直接从头开始训练较小的网络。 2.被修剪的体系结构及其相关权重被认为是获得最终有效模型所必需的。因此，大多数现有的修剪技术选择微调修剪的模型而不是从头开始训练。修剪后保留的权重通常被认为是关键的。 ...
模型加速--CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization
AI小作坊 的博客
11-05 1861
CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization CVPR2018 http://www.sfu.ca/~ftung/ 裁剪和量化一体化框架 本文的思路比较简单，裁剪+量化一体训练模型分三个步骤： 1） Clipping 裁剪，将网络中的权重系数值接近0 的权重全部置零，当然这种置零是临时...
模型剪枝综述与心得
zc199329的博客
12-03 3561
接触剪枝是最近一段时间的事情，为了全面的系统的学习一下剪枝，笔者做了个论文综述。从2016年的韩松的deep compression 到最新的彩票假设，我主要是将剪枝可以分为三个大类。分别是不需要数据参与的硬剪枝，带数据参与训练的软剪枝，以及直接搜索结构的NAS。 一：硬剪枝 这类的剪枝算法通常从模型本身的参数出发，寻找或者设计出合适的统计量来表明连接的重要性。通过对重要性的排序等算法，...
生命周期模型的定义与裁剪
weixin_34217711的博客
04-30 758
关于生命周期模型和过程定义。我的理解是生命周期模型定了项目生命周期的一些阶段，通过描述阶段包含的活动和输出来描述一个生命周期模型。过程定义是对生命周期模型中各活动采取的方法进行裁减（选择）。 我的疑问如下：a、生命周期模型只定义包含几个阶段还是也包含阶段内的活动？例如：瀑布模型，包含需求、设计、开发、测试，这就是一个生命周期模型吗？还是说，要描述实现阶段是否包含详...
语义分割--Fully Convolutional DenseNets for Semantic Segmentation
AI小作坊 的博客
08-17 7737
The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation CVPRW 2017 Code: https://github.com/SimJeg/FC-DenseNet本文将 DenseNets 按照 FCN 方式用于 语义分割首先看看 DenseNets 该网络主要由 d
Iterative Pruning
u011961856的专栏
08-10 2402
模型剪枝原理 文献通过修剪网络中不重要的权值,减小网络参数,主要分三个步骤: (1)正常训练整个网络. (2)修剪不重要的连接,一般认为权值比较大的比较重要,因此设定一个阈值,剪去小于阈值的权值. (3)重新训练网络,采用稀疏矩阵保存网络参数. 源码分析: 以MNIST CNN 模型为例,下载github源码: git clone https://github.com/
Rethinking the Inception Architecture for Computer Vision的结构分析
最新发布
03-14
嗯，用户想让我详细分析《Rethinking the Inception Architecture for Computer Vision》这篇论文中的网络结构，也就是Inception-v3。首先，我需要回忆一下这篇论文的主要内容。记得Inception-v3是在Inception-v2的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CV视界

如果感觉有用，可以打赏哦~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值