Jamence的博客

MinerU是一款由上海人工智能实验室 OpenDataLab 团队开源的一款高质量数据提取工具，评测其在多栏表格、代码、公式、多栏PDF、印刷体方面的识别能力。

该模型的幻觉还是比较严重的，整体不是很可用，还需要进一步迭代更新在多栏表格方面，结构、文字识别得都一般在代码方面，整体效果能接受，但会收到python的注释符号的影响在公式方面，会生成不存在的latex符号在多栏识别方面，能按顺序输出不同栏目在印刷体识别方面，效果整体还是不错的以上评测是在笔者挑选的数据上进行的，以上数据仅供参考。若希望将Dolphin用于自身场景，建议用自身场景数据进行实测对比。

PDF解析有两种方法，基于pipeline的方法和基于端到端的方法。基于pipeline的方法将PDF解析任务拆解为多个小任务，针对性得优化每个小任务，但容易受到错误累积的影响。比如常拆解的任务流程：布局识别、区域分割、文本识别、表格识别、公式识别、结构重组，每个任务使用独立模型，这种设计哲学累积早期阶段的错误，后面任务的的模型再强也无法弥补。基于端到端的方法直接从PDF文档推断出markdown解析结果，缺乏中间过程，不具备可解释性；一般采用多模态大模型实现，需要的计算资源较大。

PP-StructureV3

上述的解析整体还是比较简单，难以直观、全面地把lagent呈现给大家，后续可能有专题，一步步讲解。给大家讲解的过程，也是我自己学习的过程。建议采用硅基流动+[internlm/internlm2_5-7b-chat](对输入做前处理，具体前处理方法依任务而定。对输出做后处理，例如上述python代码执行的例子中，对执行过程做检查。，将会话记录、当前会话、系统prompt等信息合并起来。第二步更新agent的memory（会话记录），添加。是所有动作的基类，用于执行各种各样的任务。有两个类较为重要，一个是。

子问题分解是AI搜索的一个较核心功能，在大多数AI搜索应用中都有体现。Mindsearch借助lagent智能体框架，完成了子问题分解的初步实现，具备较强的借鉴意义。但mindsearch和lagent的代码耦合程度太高，较难自定义，也是在实现层面需要注意的问题。最令人震惊的是，360 AI搜索居然有广告，可谓是AI搜索商业化排头兵！！！

国产又来个推理模型——通义千问的QwQ-32B-Preview到目前为止，共有4个国产推理模型。

2024年11月20日，DeepSeek全新研发的推理模型 DeepSeek-R1-Lite 预览版正式上线。可登录官方网页 （chat.deepseek.com），开启与 R1-Lite 的对话体验。该模型采用强化学习训练，推理过程包含大量反思和验证，思维链长度可达数万字。该系列模型在数学、代码以及各种复杂逻辑推理任务上，取得了媲美 o1-preview 的推理效果，

做一个简单小实验，让一些商用的LLM输出自己的system prompt

当前（20240925）的时间节点下，效果比较好的文档拆分策略为CharacterTextSplitter+ParentDocumentRetriever，能够较好得协调检索的精度和LLM的效果。