Panoptic Segmentation论文阅读

最新推荐文章于 2023-08-30 20:07:35 发布

FLY

最新推荐文章于 2023-08-30 20:07:35 发布

阅读量408

点赞数

CC 4.0 BY-SA版权

分类专栏：全景分割文章标签：全景分割

本文链接：https://blog.csdn.net/qq_38356387/article/details/103063180

本文提出了一种新的计算机视觉任务——全景分割，它将语义分割和实例分割统一起来，旨在对图像中的每个像素进行语义类别和实例ID的分配。论文制定了Panoptic Quality (PQ) 作为评估标准，并通过实验证明了其对东西（things）和材料（stuff）分割的公平性。此外，文章展示了如何通过启发式方法将现有语义分割和实例分割模型的输出融合为全景分割结果，并探讨了未来可能的研究方向，包括深度集成的端到端模型和改进的重叠处理方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文链接：https://arxiv.org/abs/1801.00868

简介

文章提出了一个新的概念-全景分割。传统任务中语义分割是对图像中的所有像素分类，实例分割是对图像中的实例级目标进行检测和分割，而全景分割是对这两个任务的统一。这种统一是自然而然的，但是也带来了算法挑战。文章还为全景分割的评估定制了标准Panoptic Quality（PQ），这个标准具备简单可解释性。使用PQ标准，文章还在目前存在全景分割标注的数据集上测试了人类的分割质量，有助于更好的理解该任务。文章同样使用了一个简单的方法将实例和语义分割输出结合为最后的全景分割输出，并与人类的表现作对比。在未来图像分割和视觉识别领域，全景分割都可以作为一个基本的任务存在，该文章呼吁大家能关注并探索该任务。

1.引文

在计算机视觉的早些时期，可数物体（things 如人、动物等）获得了很多关注，除了这个关注点，后续不可数物体（stuff，如天空、海水等）也获得了必要关注，这种将可数和不可数分别关注的现象持续至今。一些相关任务如下图1所示.

(b)所示的语义分割是将图像中的所有当做stuff不可数，对各个像素进行语义分类，而关注things的任务一般为目标检测或实例分割，对可数物体进行检测和掩模分割，两个任务虽然看起来相似，但是使用的数据集、操作细节以及机制都有很大不同。这种不同，使得things和stuff的分割任务向平行线一样分裂，语义分割通常使用全卷积网络，然而物体检测通常使用物体提议并且是基于区域的。即便这两个任务在过去几年内发展迅速，但仍然忽略了一些重要的事情即全景分割。

文章探索将实例分割和语义分割融合到一起的方法，称为全景分割。全景分割即全局统一的分割，具体是图像中的每个像素都被分配语义类别和实例id，具有相同的语义类别和实例id的像素属于同于物体，对于stuff的实例id被忽略，如图1（d）所示。全景分割与语义分割和实例分割的一些不同点：全