【论文阅读】Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting

Paper：https://arxiv.org/abs/2505.14059
Source code: https://github.com/bytedance/Dolphin
作者机构：字节跳动

背景

业务场景

企业数据大多数都以文本、图片、扫描件、电子表格、在线文档、邮件等文档的形式存在，例如：PDF文档（论文、财报等）、发票、收据等等，难以流通和处理，大量有价值的信息都被锁定在非结构化的文档中，无法充分发挥出数据价值，此外不同类型的文档包含的内容，以及内容展示形式也千差万别，这为非结构数据结构化进程增加了更多的不确定性和挑战。

相关工作

当前主流的文档解析主要是两个大的方向，

1. Integration-based Document Parsing，这种解决方案整合了多个特有的模型于整个处理的pipeline中，例如：通过版面分析去识别表格，公式等，然后再使用对应的模型做相关的处理，主要的缺陷是：在系统复杂性、跨模型协调和对复杂文档布局的理解有限。
2. Autoregressive Document Parsing，这种方案利用视觉语言模型通过自回归解码直接生成结构化的结果。其分为两种类型：
3. General VLMs，这些模型受益于对不同视觉数据的大规模预训练，表现出强大的零样本能力。然而，它们在处理效率、专门的元素识别和布局结构保存方面经常面临挑战，特别是在处理具有复杂布局的长文档时。
4. Expert VLMs，这些模型是专门为文档解析或理解任务设计和训练的。Dolphin就是这种类型。

方法论

该模型的处理范围是两阶段文档图像解析，如下图：

推理样例：