RAG系统中，知识库PDF文档中有很多表格内容，应该如何处理？提升召回的准确性

最新推荐文章于 2025-05-08 23:57:19 发布

AI程序猿人

最新推荐文章于 2025-05-08 23:57:19 发布

阅读量1k

点赞数 15

文章标签： AI大模型人工智能 RAG AI 知识库大模型入门大模型微调

版权

问题背景

PDF文档格式在目前大部分格式文档中，属于比较**“脏”的文件，因为它的设计本身是以人的视觉为主导的，而对计算机而言，要去做PDF的内容的理解和解析，是一件非常复杂**的事情。

现在企业里，很多PDF文件都是由WORD生成而来，其中很多章节里，内容中包含表格是再正常不过的事情。如果我们不对这些表格进行特殊处理，当做普通的文件进行读取、向量化，那么极大可能会丢失这些数据的语义。

很好理解，因为表格的行、列里面的数据都是有它特殊的含义的。如果将其粗暴的转成普通段落，你让大模型如何理解这些数据指标究竟是什么意义呢？

解决思路

对于这个问题，目前主流的思路是：将表格页转换为图片，再利用多模态能力对图片进行描述，再对描述内容的文本做向量化存储。

首先，使用用专门的PDF阅读组件，将PDF中的带有表格页转换为图片格式。

再使用具有多模态能力的模型，如GPT-4V等，对转换后的图片进行描述。这些模型能够理解图像内容，并生成相应的文本描述。

这样，在多模态模型的帮助下，图像中的表格内容可以被识别并转换为结构化的文本描述，这些描述包含了表格中的关键信息，如列标题、行数据和表格结构等。

使用文本向量化技术，如BGE-M3等，将生成的文本描述转换为数值向量。这些向量表示了文本内容的语义特征，便于后续的相似性计算和检索。

将转换后的向量存储到向量数据库中，如 Milvus 或 Weaviate 等。这些数据库支持高效的相似性搜索和检索操作，可以快速找到与查询内容相关的向量表示。

当然，目前市面上有一家公司做了类似的产品：

在这里插入图片描述

亲测了一份PDF文件，最开始要排队，虽然等了10几分钟，但是最终出来的效果确实不错，有开源版本，也可以调他们的API，或者在线测试下。https://mineru.net/

课代表小结

这个方案的核心是：通过 多模态模型 对图片进行描述，多模态通常能准确地提取表格中的关键信息，避免了 直接解析PDF表格 时可能出现的错误和遗漏。

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

read-normal-img

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求：大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能，学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。