大模型生成过程可视化开源工具、Zerosearch误读及开源项目中的RAG文档解析问题

本文链接：https://blog.csdn.net/bagell/article/details/147895923

我们今天来看大模型生成过程可视化开源工具、Zerosearch误读及开源项目中的RAG文档解析问题。

具体的：

一个是大模型可解释可视化的几个揭示工具，通过获取大模型推理的中间步骤，结合可视化渲染工具，可以得到一些直观化的认识，从而达到一种可解释性的效果。

另一个是技术上的一些有趣发现和挖掘思路，包括关于zerosearch的误读、如何发现文档解析相关的问题和优化思路，都有哪些问题？做个记录，深入理解。

抓住根本问题，做根因，专题化，体系化，会有更多深度思考。大家一起加油。

一、大模型生成过程可视化的几个工具

我们来看大模型生成可视化工具进展，陆陆续续的，已经有几个了，下面看三个，这个可以用于模型内部机制探索，可解释性研究等。

1、OpenMAV

通过交互式终端界面，可实时可视化 LLM 在生成文本时的内部状态，包括注意力分布、MLP 激活值和 Token 预测概率等，https://github.com/attentionmech/mav，除此之外，还可通过插件轻松扩展可视化功能，并支持多种模型，如GPT-2、Llama等。

就是把里面的状态，每一步预测的token时，底层每一层的相应数值取出来，做一个动态可视化。但这类只能观察到内部的数值变化，怎么可解释，只能诸葛亮解读了，像极了话语分析。

这个我们在《知识图谱+知识库RAG项目Yuxi-Know及大模型推理内部可视化工具OpenMAV实现拆解》 (https://mp.weixin.qq.com/s/6mT-zDxv3n4vD7s9TijblQ)中有过介绍。

2、logitloom

logitloom探索指令和基础模型中的token轨迹树，提供可视化树状结构，直观展示token生成路径，https://github.com/vgel/logitloom

其中每一步的结果如下，可以看到概率以及token值；

3、ReasonGraph

大模型推理过程可视化，这个是针对推理类大模型来说的，ReasonGraph，https://github.com/ZongqianLi/ReasonGraph，

直观展示和分析多种推理方法的执行过程，集成了链式思考、自我改进等各类推理方法。

例如：Chain-of-Thoughts（思维链）：线性推理过程的可视化。呈现为线性的有向图结构，每个节点代表一个推理步骤，节点之间通过箭头连接，节点内容包含具体的推理文本，最后一个节点（绿色）显示最终结论，适合数学问题求解、逻辑推理题；

Self-refine（自我改进）：迭代优化过程的展示。采用迭代式的环形结构，初始推理结果用蓝色节点表示，改进步骤用黄色节点标注，箭头指示推理优化的方向，适合文本生成优化、答案改进

Least-to-Most（由简到繁）：问题分解和逐步解决的可视化。层级树状结构，顶层节点（浅蓝色）是原始问题，中间层节点是分解后的子问题，底层节点（绿色）是各个子问题的解答，最终汇总节点显示完整解决方案，适合复杂问题分解、步骤化解答

Self-consistency（自洽性）：多路径推理的对比分析。并行的多路径结构，多个起始节点代表不同的推理路径，每条路径独立发展，最终通过投票机制（中心节点）汇总结果，适合需要多角度验证的问题

Tree-of-Thoughts（思维树）：分支推理过程的树状展示。完整的树状结构，每个分支代表一个可能的推理方向，节点可以动态展开和收缩，支持深度优先和广度优先的探索，适合开放性问题、多方案对比

Beam Search（束搜索）可视化：评分驱动的树状结构，每个节点都有关联的评分，保持固定宽度的搜索束，最优路径用深色突出显示，适合需要定量评估的决策问题；

一、技术上的一些有趣发现和挖掘思路

1、zerosearch的误读

第一个事情，昨日有个工作很有趣，在社区引起了一个讨论，《ZeroSearch》，https://alibaba-nlp.github.io/ZeroSearch/，https://github.com/Alibaba-nlp/ZeroSearch，https://huggingface.co/collections/sunhaonlp/zerosearch，https://arxiv.org/pdf/2505.04588。核心是模拟搜索引擎的方式，基于大模型自身的知识，将大模型微调为模拟搜索引擎，根据查询自己生成相关或噪声文档，从而激励大模型的搜索能力，达成训练目标，目的是为了降低训练数据成本。在这个训练过程中，避免与真实搜索引擎（如谷歌）的交互，从而降低成本和不可控性。

这个在文章的介绍中已经有过说明，如下：

但是，目前有不少文章，引导出了一些误区。我们可以看看，主要集中在于：1、Zerosearch不是一个搜索引擎【它是一个强化学习框架，是用来做大模型搜索行为推理能力增强的框架，不是搜索引擎】；2、Zerosearch只是在训练过程中省了真实搜索引擎交互，这个跟超越什么谷歌搜索没啥关系（并且也是蒸馏了谷歌api的数正负样本去做了微调）；3、Zerosearch跟搜索引擎没任何关系，并且其在应用落地端并没有太多可行性，这是面向强化学习训练阶段而做的工作，不是为了解决AI搜索、RAG等应用问题而做的。

2、开源项目中的RAG文档解析问题

我们可以看github项目的update log 以及issue找到一些思路。

例如：在https://github.com/netease-youdao/QAnything/blob/qanything-v2/README_zh.md，里面可以看到RAG框架qanything-v2处理文档时碰到的文档解析问题以及修改方式。

例如：通过更合理的分块长度，减少了因段落过小或段落不完整而导致的语义和逻辑上的丢失；改进了对分栏文本的识别能力，能够智能判断阅读顺序，即使是跨页的段落也能做出正确处理；新版本能够识别并保存文本段落中的图片和表格，确保不会遗漏任何重要的文本信息；

优化表格解析，包括超出chunk块限制的长表格和复杂结构的xlsx文件的解析和存储；根据识别文档中的小标题，定位和组织对应的文本块，使得解析的结构更加清晰，信息层次更加分明；优化对于网页url的解析结果，转为.md格式；支持更多编码格式的txt文件和docx文件。

又如，miner-u中的解析问题，https://github.com/opendatalab/MinerU/blob/master/README_zh-CN.md，阅读顺序基于模型对可阅读内容在空间中的分布进行排序，在极端复杂的排版下可能会部分区域乱序；不支持竖排文字；目录和列表通过规则进行识别，少部分不常见的列表形式可能无法识别；

代码块在layout模型里还没有支持；漫画书、艺术图册、小学教材、习题尚不能很好解析；表格识别在复杂表格上可能会出现行/列识别错误；在小语种PDF上，OCR识别可能会出现字符不准确的情况（如拉丁文的重音符号、阿拉伯文易混淆字符等）；部分公式可能会无法在markdown中渲染。

这些问题，对于我们进行算法设计、系统设计上，都有很大的帮助。