[paper阅读笔记][AAAI2024]CoPL: Contextual Prompt Learning for Vision-Language Understanding

Paper的任务

提出一种新的方法，名为Contextual Prompt Learning (CoPL)，用于改进视觉-语言理解模型的泛化能力。

任务的科学问题

1. 现有方法依赖全局图像特征，可能无法捕捉到图像中的局部细节
2. 现有方法中，提示向量通常被赋予相同的权重，这忽略了不同提示对于不同图像可能具有不同的相关性。

（提示向量是用于增强模型对特定任务理解的向量表示，等权重问题指的是这些向量在模型中被不区分地同等对待。）

challenges

1. 局部特征的利用
2. 动态提示向量的生成：如何根据图像的局部上下文动态生成和加权提示向量，以提高模型对视觉-语言任务的适应性。
3. 上下文信息的融合：如何有效地将图像的上下文信息融合到提示学习过程中，以提升模型对图像内容的理解。

motivation

1. 提高泛化能力：现有视觉-语言模型在处理未见过的类别或跨数据集时泛化能力有限，研究者希望提升模型在这些情况下的性能。
2. 解决局部特征利用不足：现有模型可能过于依赖全局图像特征，而忽略了对局部特征的利用，特别是在细粒度识别任务中。
3. 动态提示向量的生成：为了使模型能够根据图像内容动态调整提示向量，以更好地捕捉图像的语义信息。

方法和框架

方法 

图像和