实例分割论文调研

最新推荐文章于 2024-08-12 22:47:47 发布

菜鸟中的菜中菜

最新推荐文章于 2024-08-12 22:47:47 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：实例分割文章标签：深度学习计算机视觉

本文链接：https://blog.csdn.net/weixin_44176643/article/details/121436236

本文对实例分割进行了全面的调研，涵盖了从2018年至2020年的CVPR、ICCV和ECCV会议上的一系列先进方法。这些方法包括Non-local Neural Networks、Path Aggregation Network、Mask Scoring R-CNN、Hybrid Task Cascade等，涉及深度学习和计算机视觉领域的实例分割技术，如目标检测、分割网络和级联框架。文章还讨论了如Pose2Seg、PolarMask和SOLO等单阶段和基于位置的分割方法，以及使用Transformer的端到端视频实例分割技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

综述

A Survey on Instance Segmentation: State of the art
链接
 解读https://zhuanlan.zhihu.com/p/165135767
在这里插入图片描述

CVPR18

Non-local Neural Networks

卷积操作和循环操作都是一次处理一个局部邻居的构建块。在本文中，我们提出了非局部操作作为一个用来捕获远程依赖关系的通用构建块族。受计算机视觉中经典的非局部均值方法的启发，我们的非局部操作计算一个位置的响应作为所有位置特征的加权和。这个构建块可以插入到许多计算机视觉架构中。在视频分类的任务中，即使没有任何花哨子，我们的非本地模型也可以在动力学和字符串数据集上竞争或优于当前的竞争获胜者。在静态图像识别中，我们的非局部模型改进了COCO任务套件上的目标检测/分割和姿态估计。代码可在

Path Aggregation Network for Instance Segmentation

信息在神经网络中传播的方式非常重要。在本文中，我们提出了路径聚合网络（PANet），旨在促进基于提议的实例分割框架中的信息流。具体来说，我们通过自下而上的路径增强在较低层使用准确的定位信号增强整个特征层次结构，从而缩短了较低层和最顶层特征之间的信息路径。我们提出了自适应特征池，它将特征网格和所有特征级别联系起来，使每个特征级别中的有用信息直接传播到以下提议子网络。为每个提议创建一个捕获不同视图的补充分支，以进一步改进掩码预测。这些改进很容易实现，只是有一些额外的计算开销。我们的 PANet 在没有大批量训练的情况下在 COCO 2017 Challenge Instance Segmentation 任务中获得第一名，在对象检测任务中获得第二名。它在 MVD 和 Cityscapes 上也是最先进的
代码

CVPR19

Mask Scoring R-CNN

解读https://www.cnblogs.com/wemo/p/10505970.html
https://zhuanlan.zhihu.com/p/64322544
让深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割的任务中，在大多数实例分割框架中，实例分类的置信度被用作掩码质量分数。然而，掩码质量，量化为实例掩码与其基本事实之间的 IoU，通常与分类分数没有很好的相关性。在本文中，我们研究了这个问题并提出了 Mask Scoring R-CNN，它包含一个网络块来学习预测实例掩码的质量。提议的网络块将实例特征和相应的预测掩码一起用于回归掩码 IoU。掩码评分策略校准掩码质量和掩码分数之间的错位，并通过在 COCO AP 评估期间优先考虑更准确的掩码预测来提高实例分割性能。通过对 COCO 数据集的广泛评估，Mask Scoring R-CNN 为不同模型带来了一致且显着的增益，并且优于最先进的 Mask R-CNN。我们希望我们简单有效的方法将为改进实例分割提供一个新的方向。我们方法的源代码

Hybrid Task Cascade for Instance Segmentation

解读https://mp.weixin.qq.com/s/xug0xKfc9RgJEUci1a_xog
https://arxiv.org/abs/1901.07518
Cascade 是一种经典而强大的架构，它提高了各种任务的性能。然而，如何将级联引入实例分割仍然是一个悬而未决的问题。Cascade R-CNN 和 Mask R-CNN 的简单组合只能带来有限的增益。在探索更有效的方法时，我们发现成功实例分割级联的关键是充分利用检测和分割之间的相互关系。在这项工作中，我们提出了一个新的框架，混合任务级联（HTC），它在两个重要方面有所不同：（1）不是分别对这两个任务进行级联细化，而是将它们交织在一起进行联合多阶段处理；(2)采用全卷积分支提供空间上下文，有助于区分硬前景和杂乱背景。总体，该框架可以逐步学习更多判别特征，同时在每个阶段将互补特征整合在一起。在没有花里胡哨的情况下，单个 HTC 在 MSCOCO 数据集上比强大的 Cascade Mask R-CNN 基线提高了 38.4 和 1.5。此外，我们的整个系统在测试挑战拆分上实现了 48.6 个掩码 AP，在 COCO 2018 挑战目标检测任务中排名第一。代码可在以下位置获得：这个 https 网址。

Pose2Seg: Detection Free Human Instance Segmentation

https://arxiv.org/abs/1803.10683
图像实例分割的标准方法是先进行目标检测，然后将目标从检测边界框中分割出来。最近，像Mask R-CNN这样的深度学习方法联合执行它们。然而，很少有研究考虑到“人”类别的独特性，这可以很好地定义的姿势骨骼。此外，与使用边界框相比，人体姿态骨架可以更好地区分严重遮挡的实例。在本文中，我们提出了一个全新的基于姿势的人体实例分割框架