2024 年 RAG 的崛起与演变：年度回顾

——转自InfiniFlow，个人认为非常精彩在已经过去的 2024 年，RAG 的发展可以称得上是风起云涌，我们回顾全年，从多个角度对全年的发展进行总结。 首先用下图镇楼：对于 2024 年的 RAG 来说，有一系列标志性事件：2024 年在年初被称为“RAG 发展元年”，虽然这并非共识性的说法，但事实证明，全年的进展无愧于这一称号。在LLM 使用的场景中，RAG 自始至终都在扮演着不可或缺的重要角色。然而，自诞生以来关于 RAG 的争论就没有停止过。由上图可以看到，2023 年 RAG 的称呼并不流行，

2025年，RAG将彻底告别“独立明星”地位，成为智能体生态中的关键组件。智能化：通过Agentic RAG和任务分解，解锁复杂场景的推理能力。多模态化：多模态RAG支持文本、图像、视频的统一检索，覆盖更多行业。精细化：GraphRAG通过动态更新和因果推理提升召回精准性。低成本化：轻量化RAG和低代码平台降低中小企业部署门槛。行业化：定制化RAG深入垂直领域，解决特有痛点。“RAG已死，RAG万岁！

原创 InfiniFlow2024年12月23日 10:40上海在已经过去的 2024 年，RAG 的发展可以称得上是风起云涌，我们回顾全年，从多个角度对全年的发展进行总结。首先用下图镇楼：对于 2024 年的 RAG 来说，有一系列标志性事件：关于 RAG 的争论—RAG 已死，RAG 永存！2024 年在年初被称为“RAG 发展元年”，虽然这并非共识性的说法，但事实证明，全年的进展无愧于这一称号。在LLM 使用的场景中，RAG 自始至终都在扮演着不可或缺的重要角色。

大数据产业创新服务媒体——聚焦数据· 改变商业2024年逐渐远去，新的一年悄然而至，回顾这一年，科技界和风险投资圈的目光无疑聚焦在了人工智能。层出不穷的新产品，巨额的融资，独角兽创始人不断刷新人们的观念，如同走马灯般，你方唱罢我登场，而看客每天都在期待下一个大新闻。诚然，2024年可以说是生成式人工智能大模型领域承前启后之年，虽然未再现GPT-3和ChatGPT横空出世的震撼，但在延续前几年技术...

本书深入阐述了大语言模型的基本概念和算法、研究前沿以及应用，涵盖大语言模型的广泛主题，从基础到前沿，从方法到应用，涉及从方法论到应用场景方方面面的内容。最后，讨论了语言模型对环境的影响。本书从技术角度深度解析大模型的原理，从大模型的基础概念及领域发展现状入手，概述大模型的理论基础，介绍OpenAI GPT、清华大学GLM、Meta Llama等主流大模型的技术原理，并从大模型参数高效微调、大模型指令微调、大模型训练优化和大模型推理优化等多角度解析大模型背后的技术，带领读者全方位掌握大模型的原理和实践方法。

只有在行业高度和广度上有超过通用大模型的表现，垂直大模型才能赢得生存空间，有机会形成业务和数据的飞轮效应，实现场景闭环。

中国程序员36岁后的30年人生规划 36岁的中国程序员正处于职业与人生的关键转折点。面对技术迭代、AI崛起和行业变革，未来30年规划应分三阶段推进： 36-40岁（转型期）：选择技术深耕或管理转型，聚焦AI、云计算等新兴领域，突破职业瓶颈，提升软技能。 41-50岁（黄金期）：发展多元化职业路径，打造个人品牌，建立副业与投资组合，应对职业风险。 51-65岁（价值期）：转向咨询、教育等柔性工作，参与公益活动，实现经验传承与人生价值。规划需兼顾技术敏感度、财务稳健和生活平衡，在快速变化的行业中保持持续竞争力与

传统文本RAG系统在企业落地中面临准确率不足的痛点，主要源于复杂文档中的图片、表格等非文本信息导致的信息丢失。多模态RAG通过融合视觉语言模型(VLM)和文本处理能力，展现出显著优势：1）直接生成图像向量，避免OCR信息损失；2）实现图文语义的深度理解；3）实测在表格提取、文档总结等场景实现精准回复。虽然存在计算资源消耗大的挑战，但问答质量的飞跃式提升使其成为RAG发展的关键方向。KnowFlow团队正在基于ColPali等先进方案研发多模态产品，推动企业知识管理的升级。

被动学习者：阅读《自行车骑行指南》，观看专业骑手视频，参加骑行理论课程，但从不上车实践。他可能记住了所有骑行要领，却永远学不会骑车。主动学习者：先了解基本平衡原理和骑行姿势，然后立即上车尝试。在摔打中调整姿势，感受平衡，观察路面情况，不断尝试不同的发力方式，最终掌握骑行技巧。主动学习与被动学习的核心区别在于知识建构的方式。被动学习假设知识是客观固定的，可以从教师/资源传递给学习者；而主动学习则认为知识是学习者通过与环境互动，基于已有经验主动建构的。认知科学研究表明，我们通过做、反思、讨论、应用。

循环神经网络(Recurrent Neural Networks)，可以实现不同类型的输入/输出如：1 to 1：固定输入得到固定输出1 to many: 比如输入固定size的图片，输出的是可变长度的序列，比如一段描述文本，长度随着单词数而变many to 1: 比如输入一段可变长度的文本，输出其情感分类向量many to many: 比如翻译任务。

模型网络文件是深度学习模型的存储形式，保存了模型的架构、参数等信息。读写模型网络文件是深度学习流程中的关键环节，方便模型的训练、测试、部署与共享。

训练完成后，最佳权重保存路径为：runs/detect/train/weights/best.pt，如果多次运行命令runs/detect/train2,runs/detect/train3文件夹生成只需要到数字最大文件夹查看就可以找到模型。经过上面训练可以使用模型做一步部署，比如使用onnx模型在嵌入式部署，使用engine模型在jetson上deepstream部署，使用torchscript模型可以在C++上部署等等。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。

学习了Pix2Pix算法，Pix2Pix是图像翻译必读的文章之一，核心技术有以下三点：①基于CGAN的损失函数,②基于U-Net的生成器，③基于PatchGAN的判别器。Pix2Pix虽然能在很多图像翻译任务上取得令人经验的效果，但因为它的输入是图像对，因此它得到的模型还是有偏（模型能够在与数据集近似的x的情况下得到满意的生成内容，但如果输入x与训练集偏差过大，得到结果不那么理想）的。学习每个模型的结构还是很有挑战性的，需要很长时间理解。

损失函数2：如果没有对σi 的限制 生成的图片会希望噪音对自身生成图片的干扰越小，于是分配给噪音的权重越小，这样只需要将(σ1,σ2,σ3)赋为接近负无穷大的值就好了，直观上也能看出来在σi=0处取最小。把输入数据压缩成隐藏变量的分布参数（均值和方差)，直接输出固定值会导致生成能力变差 输出分布可以随机采样增加多样性。(σ1,σ2,σ3)是控制噪音干扰程度的编码，就是为随机噪音码(e1,e2,e3)分配权重。(m1,m2,m3)是数据经过encoder 得到的编码。还原成数据（如生成新图片）。

深度学习训练中常遇到梯度消失和梯度爆炸问题。梯度消失导致深层网络参数难以更新，表现为训练停滞；梯度爆炸则使参数剧烈波动，导致训练失控。解决方案包括使用ReLU激活函数、梯度裁剪等技术。此外，模型推理时需调用model.eval()切换Dropout和BatchNorm层至推理模式，常与torch.no_grad()配合使用以保证稳定性和效率。这些方法对CV、NLP等任务至关重要。

深度学习损失函数相关内容