Monkey : Image Resolution and Text Label Are Important Things for Large Multi-modal Models

总结

引入Monkey模型：

• Monkey模型通过处理高达1344×896像素的高分辨率图像，增强了LMM在复杂视觉场景中的表现。
• 该模型通过窗口方法将高分辨率图像分割为小块，使每个补丁与训练良好的视觉编码器的原始训练分辨率（例如448×448）相匹配，从而提高视觉细节捕获能力。

多级描述生成方法：

• 为了生成高质量、详细的图像描述，Monkey结合了多个先进系统的输出，如BLIP2、PPOCR、GRIT、SAM、和ChatGPT，通过这些系统的整合，模型能够更好地捕获场景中的细节和上下文关联。
• 这种方法弥补了传统数据集在图像-文本对齐上的不足，生成了更丰富的字幕数据，增强了模型对复杂图像的理解。

实验验证与结果：

• 在18个不同的数据集上进行了广泛实验，证明了Monkey在图像字幕、视觉问答等任务中的表现优于现有LMM模型。
• 特别是在文本密集型的视觉问答测试中，Monkey相比GPT4V展现出了更好的表现。

消融研究：

• 通过消融研究验证了Monkey在提高输入分辨率和利用可训练适配器上的有效性，证明了这种方法相比传统插值技术的优势。

局限性：

• 由于语言模型输入长度的限制，Monkey最多只能处理六个图像补丁，限制了更大分辨率图像的处理能力。
• 该方法依赖于BLIP2和CC3M的预训练知识，无法识别和指定图像中超出这些知识范围的场景。

总结与结论：

• 通过Monkey模型提出的高效训练方法和多级描述生成策略，该模型在多个基准上表现出色，尤其在处理高分辨率图像和生成详细场景描述方面，展示了卓越的性能。

文章内容

Abstract

大型多模态模型 (LMM) 在视觉语言任务中显示出了希望，但在高分辨率输入和详细的场景理解方面遇到了困难。为了应对这些挑战，我们引入了Monkey来增强LMM能力。首先，Monkey 通过将输入图像划分为统一的补丁来处理输入图像，每个补丁都匹配训练良好的视觉编码器的原始训练中使用的大小（例如 448×448）。Monkey配备了每个补丁的单个适配器，可以处理高达1344×896像素的更高分辨率，从而详细捕获复杂的视觉信息。其次，它采用多级描述生成方法，丰富了场景-对象关联的上下文。这种两部分策略确保了从生成的数据中更有效的学习：更高的分辨率允许对视觉进行更详细的捕获，这反过来又增强了综合描述的有效性。广泛的消融结果验证了我们设计的有效性。此外，在 18 个数据集上的实验进一步表明，Monkey 在图像字幕和各种视觉问答格式等许多任务中超越了现有的 LMM。特别是，在专注于密集文本问答的定性测试中，Monkey 与 GPT4V 相比表现出令人鼓舞的结果。代码可在 https://github.com/Yuliang-Liu/Monkey 获得。

1. Introduction

大型多模态模型 (LMMs) 领域因其在处理不同类型的数据（如图像和文本）方面的技能而迅速推进。他们在各种任务中的成功，包括图像字幕和视觉问答，引起了学术界的关注。

训练LMMs从高分辨率图像[3]中受益匪浅，因为更高的分辨率允许这些模型检测更细微的视觉细节，从而准确识别对象、它们的相互关系以及图像中更广泛的上下文。此外，高分辨率图像的改进视觉清晰度有助于有效地捕获和表示对详细字幕至关重要的复杂细节。尽管取得了进展，但处理广泛的图像分辨率和训练数据质量仍然具有挑战性，尤其是在复杂的情况下。解决方案包括使用输入分辨率较大的预先训练的视觉模块(如LLAVA1.5[28])，并通过课程学习逐步提高训练过程的分辨率(如Qwen-VL[3]、PaLI-3[10]和PaLI-X[9])，但它们需要大量的训练资源，在处理更大的图像大小时仍然面临挑战。为了充分利用大输入分辨率的好处，拥有更详细的图像描述是至关重要的，可以增强对图像文本关系的理解。然而，广泛使用的数据集（如 COYO [6] 和 LAION [43]）中的短字幕通常直观上是不够的