24亿参数！全球首个多模态重排模型Jina-Reranker-M0开源：支持29种语言+4K图像处理-CSDN博客

2025年4月，Jina AI正式开源jina-reranker-m0，这是全球首个支持文本+图像联合重排的多语言模型。基于24亿参数的Qwen2-VL-2B架构，它不仅突破了传统纯文本检索的局限，还支持29种语言跨模态交互和4K分辨率图像处理，标志着重排技术正式迈入多模态时代。

https://aifasthub.com/jinaai/jina-reranker-m0

检索增强生成（RAG）极大地提升了 LLM 的能力，但其效果高度依赖于检索阶段（Retriever）和重排阶段（Reranker）的质量。传统的 Reranker 模型，即使性能再好，大多也只能处理纯文本信息。

想象一下，当你的知识库里充满了包含图表、截图、照片、复杂布局的文档时（例如产品手册、研究报告、网页存档），仅靠文本匹配进行重排显然是不够的。用户的一个查询可能与文档中的一张图片或图表高度相关，但传统 Reranker 却可能因为文本相似度不高而将其排在后面。这就是多模态信息处理的挑战。

Jina Reranker M0 正是为了解决这一挑战而生。它不仅仅是对 Jina AI 之前备受好评的 Reranker V1/V2 的升级，更是一次架构和能力的跃迁。

M0 最核心的突破在于其原生多模态处理能力。这意味着它可以接受多种输入组合，并根据语义相关性进行精准排序：

M0 的强大能力源于其巨大的模型规模和先进的架构设计：

24 亿参数：相比 V2 的 2.78 亿参数，M0 的参数量增加了近 9 倍，带来了更强的模型容量和学习能力。
基于 Qwen2-VL-2B-Instruct：它构建在强大的开源视觉语言模型（VLM）Qwen2-VL 之上，继承了其出色的图文理解能力。
Decoder-only 架构 + 优化：不同于 V1/V2 的 Cross-Encoder，M0 采用了 Decoder-only 架构。Jina AI 复用了 Qwen2-VL 的视觉编码器和投影层，并使用 LoRA 技术对 LLM 部分进行微调，专门训练了一个 MLP 头用于输出相关性分数。这使其成为一个为排序任务深度优化的判别式模型。

处理复杂文档需要更长的上下文。M0 将输入序列长度扩展到了惊人的 10,240 个 token，远超 V1/V2 的 8K 和许多其他模型。这意味着：

M0 支持超过 29 种语言，包括英语、中文、德语、西班牙语、法语、日语等等。这使得它能够轻松应对跨语言检索和排序任务，非常适合需要服务全球用户的应用。

M0 不仅能“看”图，还能看“高清大图”。它支持处理高达 4K 分辨率的图像，并能处理从 56x56 像素的小图。这意味着无论是文档中的细节图表、高分辨率照片还是屏幕截图，M0 都能有效提取视觉信息进行相关性判断。模型内部使用 ViT 将图像块压缩成视觉 token 输入给 LLM。

对比前代jina-reranker-v2的交叉编码架构，M0版本实现三大革新：

模型通过LoRA微调保留预训练知识，新增的视觉投影器将图像特征映射到文本空间，实现图文联合编码

Jina Reranker M0 不仅功能强大，性能也十分出色。根据 Jina AI 公布的数据和相关基准测试：

视觉/多模态检索：在 ViDoRe（视觉文档重排）、MBEIR（多基准图文检索）、Winoground（视觉常识推理）等基准上表现出 SOTA 或极具竞争力的性能。例如，ViDoRe NDCG@5 达到 91.02，能精准处理包含图表、表格、截图等的视觉文档。
文本检索：即使在纯文本任务上，M0 也展现了优于前代 V2 的性能，尤其在多语言长文档 (MLDR NDCG@10: 59.83) 和代码搜索 (CoIR NDCG@10: 63.55) 方面提升显著。在经典的 BEIR 基准测试中，其 NDCG@10 达到 58.95，优于 bge-reranker-v2-m3 (56.51)。