【论文阅读】Structured Knowledge Distillation for Semantic Segmentation

最新推荐文章于 2022-05-05 21:11:23 发布
最新推荐文章于 2022-05-05 21:11:23 发布
阅读量564 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Qy1997/article/details/106651112
本文介绍了一种利用知识蒸馏改进紧凑型语义分割网络的方法，通过设计Pixel-wise、Pair-wise和Holistic三种蒸馏损失，有效提高了轻量级网络的预测精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

概述

这篇论文来自CVPR2019 Oral。

  • 论文的出发点：语义分割的模型往往很难兼顾速度与精度，也因此语义分割的网络分为两类，论文中描述为 cumbersome segmentation network与 compact segmentation network，简单地说一个注重精度，一个注重速度。这篇论文利用知识蒸馏来提高compact segmentation network的精度。
  • 论文的创新点（核心）：知识蒸馏不是什么新鲜的东西，论文的核心主要是几个loss的设计，最后一个Discriminator的loss也是亮点，然后就是用复杂网络去teach轻量级网络来提高Prediction的精度，这一点让人（至少我是这样的）眼前一亮。
  • 论文中不明白的地方：在loss函数中有两个点不是很清楚概念， Wasserstein distance和 Kullback-Leibler divergence，两个名词听说过，有时间再看一下。

论文内容

整体的网路如下图所示
在这里插入图片描述

  • 结构很明朗，下面看一些几个loss的设计：
    Pixel-wise distillation：两个网络输出feature-map之间的像素之间的差距，用Kullback-Leibler divergence来度量在这里插入图片描述
    Pair-wise distillation：这个loss好像是来自其他论文的启发，直接拿来用了，看公式定义不难理解在这里插入图片描述
    Holistic distillation：这个loss采用了典型的GAN的处理方式，将两个网络的输出分别与原图concatenate，以一种 conditional generative adversarial learning方式进行训练。其中把复杂网络的输出视为real sample，把简单网络的输出视为fake sample。loss公式如下
    在这里插入图片描述

  • 训练过程
    Train the discriminator：训练鉴别器，就是对lhol_{ho}lho​做一个minimize，简单明了。
    Train the compact segmentation network：训练分割网络时就是对如下的目标函数做一个minimize.
    在这里插入图片描述

【蒸馏】PointDistiller: Structured Knowledge DistillationTowards Efficient and Compact 3D Detection
AI知识搬运工
06-24 437
方法的细节。fT和f S:教师检测器和学生检测器中的特征编码层。AT和AS:抽取的待蒸馏体素或重要性得分最高的点的特征。CT和CS:教师和学生检测特征的通道数。GT和GS:教师和学生检测器的图形特征。该方法基于预先定义的重要度评分，从整个点云中抽取比较关键的N个体素或点，通过动态图卷积提取它们的局部几何结构，然后对其进行加权提取。 最近的大量研究表明，获取和利用点云局部几何结构中的语义信息对点云表示学习有着至关重要的影响。因此，我们提出局部蒸馏的方法，并不是直接将教师检测器的主干特征提取为学生检测器，而是先
CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割
中科院AI算法工程师的博客
03-13 644
点上方蓝字计算机视觉联盟获取更多干货在右上方···设为星标★，与你不见不散今天介绍一篇来自阿德莱德大学、亚洲微软研究院、北航的CVPR2019关于语义分割的论文。本...
《Structured Knowledge Distillation for Semantic Segmentation》
qq_41943219的博客
07-08 559
摘要 本文研究了利用大网络训练小语义分割网络的知识蒸馏策略，从简单的像素点蒸馏方案开始，将蒸馏方案应用于图像分类，并分别对每个像素进行知识蒸馏。此外，本文提出将结构化知识从大网络提取到小网络。本文主要研究了两种结构化的蒸馏方案： （1）提取成对相似性的成对蒸馏； （2）使用GAN提取整体知识的整体蒸馏。 通过对三个数据集（Cityscapes、Camvid和ADE20K）的大量实验，证明了...
Knowledge Distillation论文阅读之（1）：Structured Knowledge Distillation for Semantic Segmentation
qq_42902997的博客
09-24 1716
文章目录abstractIntroductionRelated Worksemantic segmentation（语义分割方面）Knowledge distillation（知识蒸馏方面）Adversarial learning（对抗学习方面）Approach3.1 Structured Knowledge Distillation（结构化的知识蒸馏）3.2 Optimization（优化） abstract 这篇文章了使用 “知识蒸馏（KD）” 的方法利用大规模的语义分割网络来实现小规模的语义分割网络
【深度学习】【CVPR2019 oral】Structured Knowledge Distillation for Semantic Segmentation
Hana
03-27 614
【cvpr2019 oral】Structured Knowledge Distillation for Semantic SegmentationKDIntroApproachStructured Knowledge DistillationOptimization实验 KD 知识蒸馏是什么？可以参考https://zhuanlan.zhihu.com/p/90049906，知识蒸馏是一种将知识...
模型压缩之Structured Knowledge Distillation for Semantic Segmentation
画心
07-25 2614
Structured Knowledge Distillation for Semantic Segmentation 文章目录Structured Knowledge Distillation for Semantic Segmentation主要工作网络结构Pixel-wise distillationPair-wise distillationHolistic distillation优化过...
《Structured Knowledge Distillation for Dense Prediction》论文笔记
m_buddy的博客
06-13 1788
代码地址：structure_knowledge_distillation 1. 概述 导读：这篇文章针对的是密集预测的网络场景（如语义分割），在之前的一些工作中对于这一类网络的蒸馏时照搬分类任务中那种逐像素点的蒸馏方式（相当于是对每个像素的信息分别进行蒸馏），文章指出这样的产生的结果并不是最优的（这样策略会忽视特征图里面的结构信息，像素信息之间是存在关联的），因而这篇文章提出了适应密集预测网络的蒸馏策略：1）pair-weise蒸馏：通过构建静态图（受pair-wise的马尔可夫随机场启发，增强特征图中
Structured Knowledge Distillation for Semantic Segmentation
Yanpeng-Sun的博客
07-15 3134
本文通过知识蒸馏的思想利用复杂网络（Teacher）来训练简单网络（Student），目的是为了让简单的网络能够达到和复杂网络相同的分割结果。为了得到两个网络相同的结果就要保证两个网络在训练过程中的一致性。因此通过设计训练过程中的损失函数来是两者达到一致效果。 由于整个模型的过程是希望简单网络（Student）能够将复杂网络（Teacher）中的只是学习过来，因此Teacher...
Channel-wise Knowledge Distillation for Dense Prediction阅读笔记
风行
12-28 3812
Channel-wise KD阅读笔记(一) Title(二) Summary(三) Research Object(四) Problem Statement(五) Method5.1 spatial distillation5.2 Channel-wise Distillation(六) Experiments6.1 实验设置6.2 和最近knowledge Distillation方法相比6.3 消融实验6.4 目标检测任务(七) Conclusion(八) Notes8.1 Dense Predict
语义分割-Unsupervised Domain Adaptation in Semantic Segmentation：a Review语义分割中的无监督领域自适应：综述
ssshyeong的博客
11-28 5595
对语义分割的深层网络的无监督域自适应（UDA）的最新进展进行综述。
知识蒸馏学习笔记--Structured Knowledge Distillation for Semantic Segmentation
梦坠凡尘
01-07 3097
Structured Knowledge Distillation for Semantic Segmentation 论文地址：https://arxiv.org/pdf/1903.04197.pdf 我发现的第一篇语义分割使用知识蒸馏方法的论文，太强了~~本文内容是参考网上论文解读和原论文而成，如有侵权，请联系删除。 语义分割问题可以理解为像素级的分类，而知识蒸馏方法对分类任务有较好的表现，可...
[论文笔记] (CVPR2019) Structured Knowledge Distillation for Semantic Segmentation
Holeung blog
08-04 1314
[论文笔记] (CVPR2019) Structured Knowledge Distillation for Semantic Segmentation
最新《知识蒸馏》2020综述论文（来自悉尼大学）
06-14
近年来，深度神经网络在工业和学术界取得了巨大的成功，特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功，主要归功于其巨大的可扩展性，既有大规模的数据样本，也有数十亿的模型参数。
蒸馏论文十（Structured Knowledge Distillation for Dense Prediction）
蓝鲸鱼的博客
11-09 1383
在本文中，我们将介绍知识蒸馏论文Structured Knowledge Distillation for Dense Prediction。 在论文中，考虑到稠密预测是一个结构化预测问题，本文提出将结构化知识从教师网络提取到学生网络。具体来说，我们研究了两种结构化蒸馏方案： 成对蒸馏，通过建立静态图来提取成对相似点 运用对抗性训练来提炼整体知识的整体提炼法。 ...
微软亚研院提出用于语义分割的结构化知识蒸馏 | CVPR 2019
AI科技大本营
03-16 2739
作者 | CV君来源 | 我爱计算机视觉今天跟大家分享一篇关于语义分割的论文，刚刚上传到arXiv的CVPR 2019接收论文《Structured Knowledge ...
知识蒸馏Knownledge Distillation
Pr4da的博客
05-05 1885
知识蒸馏源自Hinton et al.于2014年发表在NIPS的一篇文章：Distilling the Knowledge in a Neural Network。 1. 背景 一般情况下，我们在训练模型的时候使用了大量训练数据和计算资源来提取知识，但这不方便在工业中部署，原因有二： （1）大模型推理速度慢 （2）对设备的资源要求高（大内存） 因此我们希望对训练好的模型进行压缩，在保证推理效果的前提下减小模型的体量，知识蒸馏(Knownledge Distillation)属于模型压缩的一种方法 [1.
CVPR2019|用于语义分割的结构化知识蒸馏
一路狂奔的猪的博客
03-30 5907
论文标题：Structured Knowledge Distillation for Semantic Segmentation 论文地址：https://arxiv.org/abs/1903.04197 这是一篇CVPR2019做语义分割任务的文章，在训练好的大的分割模型上运用知识蒸馏的算法，使得比较小的模型也能提高语义分割的性能。 从上图可以看到，本论文提出的方法能够在不增加参数量...
蒸馏论文九（Knowledge Adaptation for Efficient Semantic Segmentation）
蓝鲸鱼的博客
11-08 528
本文介绍语义分割蒸馏论文：Knowledge Adaptation for Efficient Semantic Segmentation。 在论文中，作者提出了一种新的面向语义分割的知识提取方法，如下图所示： 整个框架中，教师网络输出分辨率较大的特征（如8s），学生网络输出较小的特征（如16s总步幅）。知识的定义分为两部分： 第一部分将知识从教师网络转化为信息丰富的压缩空间。通过训练自编码器将知识压缩成一个紧凑的格式，使学生网络更容易学习，否则由于固有结构的差异就会困难得多。 第二部分旨在从教师网络中
《Structured Knowledge Distillation for Semantic Segmentation》论文阅读笔记
weixin_43118001的博客
12-14 2511
《Structured Knowledge Distillation for Semantic Segmentation》论文阅读笔记 作者：Yifan Liu， Ke Chen，Chris Liu，Zengchang Qin，Zhenbo Luo，Jingdong Wang 论文链接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Liu_Structured_Knowledge_Distillation_for_Semantic_Segmen
CVPR语义分割
最新发布
03-14
### CVPR Conference Publications on Semantic Segmentation #### HyperSeg: Patch-Wise Hypernetwork for Real-Time Semantic Segmentation HyperSeg 是一种基于超网络的方法，旨在通过分片处理实现高效的实时语义分割。该方法利用轻量级的超网络来动态生成卷积核，从而减少计算开销并提高推理速度[^1]。 #### Laplacian Reconstruction and Refinement for Semantic Segmentation 此研究提出了拉普拉斯重建和细化技术，用于提升语义分割模型的边界精度。通过对预测掩码应用多尺度拉普拉斯算子，可以有效增强边缘区域的表现力，并改善最终分割结果的质量[^2]。 #### Show, Match and Segment: Joint Learning of Semantic Matching and Object Co-segmentation 这篇论文探讨了联合学习框架下的语义匹配与对象共分割问题。作者设计了一种新颖的对比损失函数，能够同时促进特征表示的一致性和区分度，进而显著提高了跨图像实例分割的效果[^3]。 #### Structured Knowledge Distillation for Semantic Segmentation 这项工作中引入了结构化知识蒸馏策略，专注于从复杂教师模型向简单学生模型传递丰富的上下文信息。具体而言，它包含了像素级别、成对关系以及整体分布三个层面的知识迁移机制，共同作用于性能优化过程中[^4]。 ```python import torch.nn as nn class SimpleSegmentationModel(nn.Module): def __init__(self, num_classes=21): super(SimpleSegmentationModel, self).__init__() self.conv = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3, bias=False) self.fc = nn.Linear(64 * 8 * 8, num_classes) def forward(self, x): x = self.conv(x) x = x.view(-1, 64 * 8 * 8) x = self.fc(x) return x ``` 上述代码展示了一个简单的语义分割模型架构示例，尽管其功能远不及现代先进算法强大，但它可以帮助理解基本原理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值