Knowledge Distillation with Conditional Adversarial Networks论文初读

最新推荐文章于 2024-10-14 15:19:20 发布
最新推荐文章于 2024-10-14 15:19:20 发布
阅读量848 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37665984/article/details/103301498
本文探讨了使用条件对抗网络（CAN）进行知识蒸馏，特别是对于小型学生网络。实验表明，这种方法在保留类别关系和多样性方面优于传统的教师-学生网络，并在各种网络规模下提供性能与效率的平衡建议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

摘要

引言

相关工作

  网络加速

  知识蒸馏

  GAN

知识蒸馏的损失函数

  残差结构

  知识蒸馏

  用对抗网络学习知识

实验

  实验设置

  GAN学习的优势

  GAN方法的分析

  分布可视化

结论

摘要

提出了使用CAN（conditional adversarial networks）来搭建teacher-student架构

提出的方法对相对较小的student网络特别有效

实验展示了当前流行的网络作为student时，网络大小对结果的影响

实验研究了分类准确率和效率的权衡，给出了如何挑选student网络的建议

引言

  • 工作

采用CAN将dark knowledge从teacher网络中迁移到student网络中

实验表明通过对抗训练学到的损失要比teacher-student网络中的预定损失更有优势，这种优势在student网络非常小的时候格外明显

  • 动机

由于student网络结构一般小于teacher网络，所以强制让student网络蒸馏众多soft targets中的一种（多个teacher网络的平均或者集成）不仅时没有必要的，而且时非常苦难的

通过引入判别器，student网络可以从teacher网络中自动地学到好的损失来保留类之间的关系，并且保持多态性，如下图所示

相关工作

  网络加速

低精度保存：有的甚至用1-bit来保存权重，但这知识概念上的，因为很多GPU不支持这些bit的操作

裁剪和分解权重：假设权重时稀疏的，并且都有两个阶段，一个后处理一个fine-tune，并且裁剪只是减少了基础操作数量，而没有减少推理时间

  知识蒸馏

KD

有一些研究将中间层的信息作为监督信息的

作者的方法时对这些方法的补充，用CAN代替了手动设计损失的过程

  GAN

图像到图像的任务

知识蒸馏的损失函数

  残差结构

最低0.47元/天 解锁文章

200万优质内容无限畅学
待墨痕干
关注
Image-to-Image Translation with Conditional Adversarial Networks
12-01
Image-to-Image Translation with Conditional Adversarial Networks论文加代码，python(tensorflow)实现和lua实现
KDGAN: Knowledge distillation with generative adversarial networks论文笔记
qq_43812519的博客
04-12 1352
论文地址：http://papers.nips.cc/paper/7358-kdgan-knowledge-distillation-with-generative-adversarial-networks.pdf github地址：https://github.com/xiaojiew1/KDGAN/ Motivation 在训练轻量级分类器时，知识蒸馏虽只需少量样本和训练次数就能收敛，但难以从...
Conditional adversarial networks
KGzhang的博客
08-17 3811
GAN网络在训练生成模型受到了广泛的青睐，文章介绍一个具有条件限制的GAN网络，通过简单的输入数据，来构建我们所需要的条件化的生成器和判别器。文章表明，该模型可以用于学习多模态模型，通过提供了图像标记应用程序的初步示例，演示了该方法如何生成不属于训练标签的描述性标签。 生成式对抗网络近期作为训练生成模型的替代框架，以回避近似许多棘手概率计算问题的困难。 对抗网络的优点是不需要马可夫链，只需要反向
论文阅读 Image-to-Image Translation with Conditional Adversarial Networks ：pix2pix
highoooo的博客
12-06 1977
1 引言 1.1 背景 Traditionally, each of these tasks has been tackled with separate, special-purpose machinery (e.g., [14, 23, 18, 8, 10, 50, 30, 36, 16, 55, 58]), despite the fact that the setting is always the same: predict pixels from pixels. Our goal in this
Feature-map-level Online Adversarial Knowledge Distillation论文笔记
qq_43812519的博客
03-01 1419
Feature-map-level Online Adversarial Knowledge Distillation论文笔记 论文地址：https://arxiv.org/abs/2002.01775v1 github地址：未公布 Motivation Feature maps中包含丰富的空间相关性等图像信息，但是在分类任务上，过去的online Knowledge Distillation只利...
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications_简单总结
m0_37569924的博客
03-10 1838
SR_简单总结 ① GANrecursive networkResidual networkCNNAUTO ENCODERELSE SR_简单总结 ① ) GAN GANISRGAN: Improved Super-Resolution Using Generative Adversarial Networks （CVC) G-GANISR: Gradual generative adversa...
Knowledge Distillation
zhangjf26的博客
08-07 5186
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
《Structured Knowledge Distillation for Semantic Segmentation》
qq_41943219的博客
07-08 559
摘要 本文研究了利用大网络训练小语义分割网络的知识蒸馏策略，从简单的像素点蒸馏方案开始，将蒸馏方案应用于图像分类，并分别对每个像素进行知识蒸馏。此外，本文提出将结构化知识从大网络提取到小网络。本文主要研究了两种结构化的蒸馏方案： （1）提取成对相似性的成对蒸馏； （2）使用GAN提取整体知识的整体蒸馏。 通过对三个数据集（Cityscapes、Camvid和ADE20K）的大量实验，证明了...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5266
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
论文 Image-to-Image Translation with Conditional Adversarial Networks ( pix2pix ) 学习笔记
qq_39546227的博客
08-02 329
作者提出的条件生成对抗网络是一种解决图像风格转换（image-to-image translation）问题的通用方法。网络不仅学到了从输入图片到输出图片的映射，同时还学到了促成这种映射关系的损失函数。相比传统方法，作者方法对于不同风格图像的转换无需采用不同的损失函数，因此其通用性是这篇文章的亮点所在。作者还指出在发行了相关的 pix2pix软件 后，大量的网络使用者，包括一些艺术家都在上面进行了...
Data-Free Adversarial Distillation
weixin_37958272的博客
04-25 1159
Data-Free Adversarial Distillation 最近，Dosovitskiy和Brox[11]通过将自动编码方式与GAN的对抗性训练相结合，训练了能够从高度压缩的特征表示生成图像的网络。我们利用这些图像发生器网络作为先验产生合成的首选图像。这些生成器网络接近但不是真实的生成模型，因为它们在训练时没有像变分自动编码器[14]或GANs[17]那样对隐藏分布施加任何先验，也没有像去噪自动编码器[18]那样添加噪声。因此，在数据空间上既没有自然采样过程，也没有隐式密度函数。 我们引入模型差异
【论文笔记】Adversarial Diffusion Distillation
最新发布
xhyu61的博客
10-14 1180
「我是土生土长的罗浮持明，曾以『丹朱』之名拜师求艺。但师父陷入政争，被流放他乡，我也随她远走。如今改换姓名『衣锦还乡』，真是感慨万千。」——《崩坏：星穹铁道》灵砂
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
热门推荐
Roaddd的博客
02-24 4万+
知识蒸馏综述
GAN-Knowledge-Distillation-SSD: 利用GAN和知识蒸馏强化SSD目标检测
gitblog_00014的博客
04-06 549
GAN-Knowledge-Distillation-SSD: 利用GAN和知识蒸馏强化SSD目标检测 项目地址:https://gitcode.com/gh_mirrors/ga/GAN-Knowledge-Distillation-SSD 在计算机视觉领域，目标检测是一项至关重要的任务，它涉及到识别图像中特定物体的位置和类别。 是一个创新性的项目，它结合了生成对抗网络（GAN）与知识蒸馏的技术...
【深度学习】Adversarial Diffusion Distillation，SDXL-Turbo 一步出图
q742971636的博客
12-03 1409
对于基线，我们使用了最好的公开可用模型：潜在扩散模型[50, 54]（SD1.5 1，SDXL 2），级联像素扩散模型[55]（IF-XL 3），蒸馏扩散模型[39, 41]（LCM-1.5，LCM-1.5-XL 4），以及OpenMUSE[48]，MUSE[6]的重新实现，这是专门为快速推理开发的变压器模型。学生预训练（表1c）。最近，[13]的作者展示了基于分数的模型与GANs之间的强关系，并提出了Score GANs，这些GANs是使用来自扩散模型的基于分数的扩散流进行训练的，而不是使用鉴别器。
Data-Free Network Quantization With Adversarial Knowledge Distillation
weixin_37958272的博客
04-27 803
Data-Free Network Quantization With Adversarial Knowledge Distillation 1. Introduction 在本文中，我们提出了一个对抗性知识提炼框架，在无法获得原始训练数据的损失时，通过对抗性学习使最坏情况下的可能损失（最大损失）最小化。与[36]的关键区别在于，给定任何元数据，我们利用它们来约束对抗性学习框架中的发生器。为了避免额外的努力来制作新的元数据来分享，我们使用存储在批量规范化层中的统计数据来约束生成器，使其产生模仿原始训练数据的
神经网络水印\IP保护（论文解读Data-Free Adversarial Distillation）
weixin_44928295的博客
05-30 606
Data-Free Adversarial Distillation
【论文笔记_在线蒸馏、GAN】Online Multi-Granularity Distillation for GAN Compression
qq_45128278的博客
03-11 4986
2021年。 摘要 生成性对抗网络（GAN）在生成优秀图像方面取得了巨大的成功，但是，由于计算成本高，内存使用量大，在资源有限的设备上部署GAN非常困难。尽管最近压缩GAN的努力取得了显著的成果，但它们仍然存在潜在的模型冗余，可以进一步压缩。为了解决这个问题，我们提出了一种新的在线多粒度蒸馏（OMGD）方案来获得轻量级的GAN，这有助于以较低的计算需求生成高保真图像。我们首次尝试将单级在线蒸馏推广到面向GAN的压缩，逐步升级的教师生成器有助于改进基于无鉴别器的学生生成器。互补的教师生成器和网络层提供了全面.
data-free knowledge distillation with soft targeted transfer set synthesis
09-26
数据免费知识蒸馏与软目标传输集合合成是一种通过利用现有数据集来提高深度神经网络的性能的方法。这种方法主要包括两个步骤：知识蒸馏和软目标传输集合合成。 首先，知识蒸馏是指将一个已经训练好的大型模型的知识...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值