[华为诺亚实验室+中科大提出TinySAM | 比SAM小10倍，精度的超车！]

落叶霜霜

已于 2024-06-17 20:19:57 修改

阅读量1.1k

点赞数 20

CC 4.0 BY-SA版权

分类专栏：人工智能 # 学习笔记 python深度学习文章标签：数据库 linux 3d opencv

于 2023-12-28 20:37:25 首次发布

本文链接：https://blog.csdn.net/weixin_47869094/article/details/135277798

学习笔记同时被 3 个专栏收录

94 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

人工智能

73 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

python深度学习

65 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

文章介绍了TinySAM，一种比SAM小10倍但保持高精度的分割模型。TinySAM通过全阶段知识蒸馏、在线硬提示采样、后训练量化和分层分割 everything 策略，实现了计算资源的大幅减少，推动了高效分割任务的极限。在零样本迁移任务中，TinySAM表现出显著优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

概要

在这里插入图片描述
最近，Segment Anything Model (SAM) 已经展示出了强大的分割能力，在计算机视觉领域引起了广泛关注。基于预训练的 SAM 的大量研究工作已经开发了各种应用，并在下游视觉任务上取得了令人印象深刻的性能。然而，SAM 包含重的架构，需要大量的计算能力，这阻碍了 SAM 在计算受限的边缘设备上的进一步应用。

为此，在本文中提出了一种框架，在保持强大的零样本性能的同时，获得一个微小的分割 anything 模型（TinySAM）。作者首先提出了一种全阶段知识蒸馏方法，采用在线硬提示采样策略来蒸馏一个轻量级的的学生模型。作者还适应了后训练量化到可提示的分割任务，并进一步降低了计算成本。

此外，作者提出了一种分层的分割 everything 策略，以将 everything 推理加速 2 倍，几乎不降低性能。通过所提出的所有方法，作者的 TinySAM 导致计算减少了数个数量级，并推动了高效分割 anything 任务的极限。在各种零样本迁移任务上的广泛实验表明，作者的 TinySAM 与对应方法相比具有显著的优势。

预训练模型和代码:

Pytorch：https://github.com/xinghaochen/TinySAM

MindSpore：