TPAMI 2025 | 细粒度视觉文本提示

论文信息

题目：Fine-Grained Visual Text Prompting

细粒度视觉文本提示

作者：Lingfeng Yang; Xiang Li; Yueze Wang; Xinlong Wang; Jian Yang

论文创新点

1. 细粒度视觉提示（FGVP）：提出了使用细粒度语义掩码（如模糊反向掩码）作为视觉提示，显著优于传统的粗略标记（如彩色框或圆圈）。这种方法能够精确定位目标，减少背景干扰，同时保留目标与其背景的空间信息。

2. 一致性增强文本提示（CETP）：设计了一种文本提示策略，通过将视觉提示的属性（如模糊背景）显式地合并到文本输入中，增强了图像与文本之间的一致性。例如，对于模糊背景的图像，文本提示会添加“with blur background”的后缀。

3. 零样本分类架构：构建了两种零样本分类架构：一种使用预训练检测器的框作为先验提议，另一种仅使用图像输入，通过Segment Anything Model (SAM)生成细粒度掩码，适用于没有先验框提议的场景。

4. 多模态提示的系统性探