- 博客(90)
- 收藏
- 关注
RSS订阅原创 《Learning Langchain》阅读笔记13-Agent（1）：Agent Architecture
摘要： Agent 的核心是“能行动”，涉及决策能力、可选方案和环境信息。基于 LLM 的 Agent 应用通过 Tool Calling（提供可选工具）和 Chain-of-Thought（分步推理）实现决策。LangGraph 是 LangChain 团队开发的框架，通过有向图（节点=执行单元，边=数据流/条件）结构化 Agent 流程，支持循环、分支等复杂逻辑。示例展示了搜索和计算工具的调用流程，强调模型自主决定工具使用时机。若需强制优先调用特定工具（如搜索），可跳过初始 LLM 决策以降低延迟，但会
2025-09-11 21:38:09
896
原创 《Learning Langchain》阅读笔记12-RAG（8）：RAG的优化策略
本文介绍了AI应用程序中RAG系统的三个核心阶段和优化策略。RAG流程包括索引、检索和生成三个阶段，通过预处理数据、检索相关文档并生成最终输出。为了构建更强大的RAG系统，文章提出了五种优化策略：查询转换（优化用户提问）、路由选择（匹配最佳数据源）、查询构建（转化为数据库指令）、多模态索引（处理复杂数据）和后处理（整合与过滤结果）。这些策略形成了一个完整的优化闭环，从输入处理到输出优化，全面提升RAG系统的性能和准确性。
2025-09-11 16:24:08
817
原创 《Chain of Thought Monitorability》论文解读
《Chain of Thought Monitorability》论文解读
2025-08-04 00:16:15
684
原创 cs336之注意pytorch的tensor在哪里？（assert的使用）
记住：无论何时你在pytorch中有一个张量tensor，你应该始终问一个问题：它当前位于哪里？注意它在CPU还是在GPU中。要判断它在哪里，可以使用python的assert断言语句。
2025-08-02 11:18:17
909
原创 ReAct论文解读(2)—方法介绍
ReAct introduces a novel approach where large language models (LLMs) interleave reasoning traces and task-specific actions synergistically. This enables dynamic reasoning to guide actions while leveraging external information
2025-07-14 10:51:31
1175
原创 ReAct论文解读(1)—什么是ReAct？
摘要：ReAct是一种结合推理（Reasoning）与行动（Acting）的大语言模型提示方法，由Google于2022年提出。它让模型不仅能分步思考，还能主动调用工具（如API）获取外部信息，形成"思考-行动-观察-回答"的闭环流程。与传统Chain-of-Thought（CoT）单纯推理不同，ReAct强调动态交互能力，适用于需要实时数据查询、多步骤任务等场景，显著提升了模型解决复杂问题的能力。典型应用包括工具增强型问答、实时信息检索和任务规划等场景。
2025-07-13 15:25:56
979
原创 Transformer论文详细解读（3）之Attention简单理解
Transformer中的注意力机制通过查询（Query）、键（Key）和值（Value）三个向量实现信息筛选。查询向量表示当前需求，键向量衡量输入相关性，值向量包含实际信息。计算流程包括：1）用点积计算查询与键的相似度；2）通过Softmax转化为权重；3）对值向量加权求和得到输出。这种机制能动态聚焦重要信息，如在翻译任务中，模型会自动关注与当前输出词最相关的输入词。整个过程实现了对输入的选择性关注，是Transformer的核心设计。
2025-07-09 16:42:14
777
原创 Transformer论文详细解读（2）之Encoder与Decoder
本文深入解析Transformer模型中的编码器(Encoder)与解码器(Decoder)结构。编码器由6层相同模块堆叠而成，每层包含多头自注意力机制和位置式前馈网络，使用残差连接和层归一化优化训练。解码器同样采用6层结构，在编码器基础上增加第三层用于处理编码器输出，并采用掩码自注意力确保自回归生成。文章详细介绍了各组件的工作原理，包括注意力机制如何捕捉词间关系、残差连接防止梯度消失、层归一化稳定训练等关键设计，为理解Transformer的核心架构提供了清晰的技术脉络。
2025-07-04 11:26:28
1268
原创 Transformer论文详细解读（1）
本文介绍了Transformer论文的Abstract、Introduction、Background以及模型整体架构Model Architecture
2025-07-04 10:39:01
1033
原创 RAG流程总结
RAG流程分为检索和生成两个阶段：首先将知识库数据切块并编码为向量存储在向量数据库中；用户查询同样被编码后，通过向量相似度检索相关文档片段。然后将检索结果与原始问题拼接，输入大语言模型生成最终回答。整个流程中，大语言模型被调用两次：第一次用于生成查询和文档的向量表示，第二次用于整合检索信息生成自然语言回答。这种架构既保证了信息检索的准确性，又确保了回答的流畅性和上下文相关性。
2025-07-02 11:03:04
680
原创 反向传播 & 梯度消失
反向传播与梯度消失问题。反向传播是神经网络训练的核心算法，通过链式法则计算梯度并反向传播误差，以更新网络参数（权重和偏置）。其过程包括：前向传播计算输出→计算损失函数误差→反向传播梯度→参数优化→迭代训练。 梯度消失是深层网络的常见问题，由于反向传播时梯度逐层缩小（尤其在使用sigmoid/tanh激活函数时），导致网络前层参数更新缓慢甚至停滞。这严重影响深层网络的训练效果，使早期层难以学习有效特征。解决该问题需要改进激活函数或采用残差连接等技术。
2025-07-01 21:28:38
928
原创 深度学习常见的激活函数
本文介绍了五种常用激活函数及其特性： Sigmoid：输出范围(0,1)，适用于二分类但存在梯度消失问题； ReLU：简单高效（输出≥0），但可能导致神经元死亡； Tanh：输出(-1,1)中心对称，有助于收敛但仍会梯度消失； Linear：恒等映射，适用于回归但缺乏非线性； Softmax：将输入转化为概率分布（总和为1），多分类任务首选。文末对比表总结了各函数的输出范围、优缺点，并附函数图像直观展示其形态差异。
2025-07-01 21:21:25
861
原创 大模型提示词技巧
本文介绍了大语言模型的关键参数设置和提示词设计技巧。参数设置包括Temperature（控制输出随机性）、Top_p（核采样技术）、Max Length（控制生成长度）等，建议针对不同任务调整参数。提示词设计应包含指令、上下文等要素，遵循迭代优化原则，强调具体性和避免模糊表述。文章推荐使用正向指令并提供了结构化提示词示例。参数调整和提示词设计都需要大量实验来确定最优方案。
2025-06-30 17:03:59
991
原创 维纳滤波器
维纳滤波是一种基于最小均方误差准则的信号降噪方法。本文介绍了离散时域维纳滤波的推导过程，通过正交原理建立维纳-霍普夫方程，求解最优滤波器系数。当观测信号x[n]包含真实信号y[n]和噪声v[n]时，滤波器设计需要真实信号和噪声的自相关函数Ryy和Rvv。最终滤波器系数可通过矩阵运算h=Rxx^(-1)Rxy求解，其中Rxx=Ryy+Rvv，Rxy=Ryy。该方法适用于信号与噪声统计特性已知的场景，为语音、图像等信号处理提供了理论基础。
2025-06-25 16:29:05
998
原创 《Learning Langchain》阅读笔记11-RAG（7）索引优化：RAPTOR方法和ColBERT方法
介绍两种方法：RAPTOR：用于树状检索的递归抽象处理，ColBERT：优化嵌入，这两种方法都更适用于多个文档检索的情况，尤其是第二个ColBERT方法。
2025-04-28 12:53:18
1075
原创 《Learning Langchain》阅读笔记10-RAG（6）索引优化：MultiVectorRetriever方法
介绍langchain中RAG索引优化的MultiVectorRetriever方法
2025-04-27 17:30:37
1128
原创 《Learning Langchain》阅读笔记9-RAG（5）跟踪文档的更改
首先，你需要创建一个记录管理器（record manager），用于追踪哪些文档之前已经被索引过。然后，使用 index 函数 将你的向量存储（vector store）与新的文档列表进行同步。在这个示例中，我们使用的是增量模式（incremental mode），因此任何与之前已有文档 ID 相同的新文档，都会用新版本进行替换。
2025-04-26 13:18:38
622
原创 《Learning Langchain》阅读笔记8-RAG（4）在vector store中存储embbdings
本小节我们学习了如何在vector store中存储embeddings，并且使用了PostgreSQL数据库。通过docker连接数据库，还通过插件PGVector这个为 PostgreSQL 数据库设计的向量（embedding）存储与相似度搜索插件，使得你可以在 PostgreSQL 中直接存储向量，并进行高效的相似度检索（vector similarity search）。最后还使用了免费的可视化PostgreSQL数据库的软件pgAdmin对数据库的tables中的数据进行查看。
2025-04-25 18:17:37
1394
原创 《Learning Langchain》阅读笔记7-RAG（3）生成embeddings
在前面的部分中，我们已经学习了如何将文档读取为文本以及如何将文本切分为chunks，这一节我们来讲讲如何生成文本嵌入embeddings。
2025-04-24 11:51:05
513
原创 《Learning Langchain》阅读笔记6-RAG（2）将文本分成块
上一章中，我们已经将文档转换为文本，在langchain_community.document_loaders中调用合适的loader，以加载不同类型的文件比如.txt、.pdf等。下一步，我们将要将文本分为chunks，也就是将文本分为块。
2025-04-23 11:35:15
1136
原创 《Learning Langchain》阅读笔记5-RAG（1）将文档转换为文本
在上一章中，我们学习了使用 LangChain 创建 LLM 应用程序的重要构建块。我们还构建了一个简单的 AI 聊天机器人，它由发送给模型的提示和模型生成的输出组成。但是，这个简单的聊天机器人存在一些主要限制。如果你的使用场景需要模型未曾训练过的知识怎么办？例如，假设你想使用 AI 询问有关公司的问题，但信息包含在私人 PDF 或其他类型的文档中。
2025-04-21 17:33:33
669
原创 《Learning Langchain》阅读笔记4-基于 Gemini 的 Langchain：组装 LLM 应用的多个部分
到目前为止，我们所了解的关键组件是LangChain框架的基本构建块。这就引出了一个关键问题：我们如何有效地结合它们来构建LLM应用程序？
2025-04-20 16:40:46
1126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人