- 博客(59)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 AI 辅助代码生成是否将成为未来编程的主流？
此外，AI生成的代码通常比手动编写的代码更少错误，更易于维护和扩展。同时，低代码和无代码平台的兴起也推动了非专业技术人员的参与，这进一步降低了编程门槛。随着技术的不断进步，AI辅助编程工具的功能也在逐步扩展，从简单的代码补全到完整的项目管理。综合来看，AI辅助代码生成技术凭借其显著的优势和广泛的应用前景，正在逐步成为编程领域的主流趋势。虽然仍存在一些挑战，但随着技术的不断进步和行业接受度的提高，AI辅助编程将在未来发挥越来越重要的作用。因此，可以预见，AI辅助代码生成将成为未来编程的主流方式之一。
2025-05-21 22:08:32
571
原创 Qwen 3技术报告详细解读
Qwen 3的主要改进在于预训练数据的增加和后训练流程的优化，特别是think和no think模式的融合是其亮点。
2025-05-21 21:37:10
946
原创 分享一些多模态文档解析思路
作者：Arlene原文：https://zhuanlan.zhihu.com/p/1905635679293122466多模态文档解析内容涉及：文本、表格和图片。
2025-05-21 21:32:21
411
原创 一文读懂 RAGFlow 知识库接入 Dify 的全流程
前面，我发了一篇部署ragflow的文章，以及如何让ragflow与dify共存在一台电脑上：阿坡RPA：安装ragflow后，之前部署的Dify咋不能用了？（附ragflow一键安装包dify共存版）今天来给大家分享一下，如何将ragflow知识库接入dify，作为dify的外挂知识库。如果知识库配置RAPTOR策略的话，需要配置大模型，此处跟Dify上配置模型类似，rerank模型，embedding模型已经默认配置好，无需再配置，只需配置chat模型即可，配置上后，方便其他地方使用。此处先以最简单配置
2025-05-15 08:37:37
835
原创 继续预训练 LLM ——数据筛选的思路
作者：柠檬养乐多原文地址：https://zhuanlan.zhihu.com/p/30645776656qwen2.5-vl是阿里通义实验室推出的qwen系列最新多模态大模型，在许多指标上已经超过或接近了gpt-4o。更为方便的是，qwen团队提供了2.5B、7B等多个尺寸的较小模型，即使是较小的2.5B也在OCR、VQA任务上有一定效果。在实操中，我们常常需要部署类似的开源小模型，但是其效果很难达到闭源模型效果。
2025-05-14 22:53:11
920
原创 现在国内开源的运用RAG原理的AI应用开发框架有哪些？各自有什么优势和弊端呢？
国内开源的RAG框架各有特色，开发者可以根据具体需求选择合适的框架。例如，LangChain适合需要高度定制化的场景，而Haystack和Dify则更适合高效检索和部署需求。GraphRAG和LlamaIndex则在复杂信息推理和大规模数据处理方面表现突出。
2025-05-14 08:48:47
268
原创 RAG 远远不够，外部数据增强的多维策略探索
随着大模型技术的发展，RAG(检索增强生成)已成为提升AI应用能力的标配方案。在过去两年中，我从最初的 langchain Demo 实践，到 langchain chatchat、QAnything 和 RagFlow 等项目的探索，见证了检索技术从简单的向量检索发展到知识图谱和 Agentic RAG 的过程。然而随着实践深入，RAG 方案的局限性逐渐显现。在处理复杂的现实场景时，简单的检索增强往往力不从心。如何更好地利用外部数据成为了一个极具挑战性的课题。
2025-05-13 23:24:17
852
原创 AI 为什么会伪造根本不存在的参考文献？
AI伪造参考文献的现象是由其生成式模型的工作机制、过拟合、幻觉现象以及信息存储能力的限制共同导致的。这一现象不仅对学术研究构成了威胁，也引发了对AI伦理和技术可靠性的深刻反思。未来需要通过技术创新和规范管理来解决这一问题，以确保AI在科研领域的健康发展。AI伪造不存在的参考文献的现象，主要源于其生成式人工智能模型（如ChatGPT、文心一言等）的工作原理和技术特性。这些模型通过统计概率生成内容，而非基于真实世界知识库或逻辑推理，从而导致了“幻觉”现象的发生。
2025-05-13 22:34:51
197
原创 智能体：四大核心能力详解与技术演进
更为引人注目的是，OpenAI果断出手，发布了人人皆可自建小型Manus的Agent API，这一举措犹如投入平静湖面的巨石，激起层层涟漪，为智能体的普及与应用开辟了全新的可能。今年2月，OpenAI又推出Deep Research，其背后依托端到端训练后的O3模型，能够自主决定何时进行信息搜索、何时整理现有信息、何时展开深度搜索以及何时进行分析总结，整个过程摆脱了对预先设计工作流或人为指定步骤的依赖，实现了高度自主。Agent一词，直译过来为“代理”，在AI的专业语境中，常被译为“智能体”。
2025-05-13 22:22:04
635
原创 大模型算法工程师经典面试题—：为什么在softmax之前要对attention进行scaled（为什么除以 d_k的平方根）？”
我们知道attention其实有很多种形式，而transformer论文中的attention是Scaled Dot-Porduct Attention 来计算keys和queries之间的关系。在公式一中，作者对 Q 和 K 进行点积以获得注意力权重，然后这些权重用于加权平均 V。但在实际实现中，这个点积会被缩放，即除以keys的维度的平方根，常常表示为。这里 是key向量的维度。细心的同学都会发现，Attention 计算公式 中会 除以 根号d，那问题来了！！！
2025-05-13 22:14:59
1068
原创 面试官问：深度网络中loss除以10和学习率除以10等价吗
对于带有自适应学习率的优化器(如Adam、RMSprop)，loss缩放与学习率调整并不等价。对于经典的SGD和Momentum SGD，将loss乘以常数等价于将学习率乘以相同的常数。因此，在不同的优化器中，如何调整loss和学习率需要具体分析，不能一概而论。#spss统计分析 #数据分析。
2025-05-13 22:13:06
849
原创 如何使用 Qwen3 实现 Agentic RAG？
今天，我们将学习如何部署由阿里巴巴最新Qwen 3驱动的Agentic RAG。这里是我们的工具栈：CrewAI用于代理编排。Firecrawl用于网络搜索。LightningAI的LitServe用于部署。顶部的视频展示了这一过程。图表显示了我们的Agentic RAG流程：检索代理接受用户查询。它调用相关工具（Firecrawl网络搜索或向量DB工具）以获取上下文并生成见解。写作代理生成响应。接下来，让我们实现并部署它！代码稍后在问题中链接。
2025-05-13 21:29:17
1151
原创 实战 | Qwen3大模型微调入门实战（完整代码）
需要提到这些药物的作用机制是抑制幽门螺杆菌的生长，比如抗生素杀灭细菌，而PPI可能同时抑制胃酸分泌，但如果是抗幽门螺杆菌药物的话，可能是指专门针对该病的药物，比如可能还有铋剂或者其他药物？比如，抑酸药减少胃酸，从而减少对黏膜的侵蚀，同时保护剂形成保护层，促进黏液分泌，增强黏膜屏障。胃黏膜保护剂的话，比如硫糖铝、铋剂，它们的作用是形成保护层，或者促进黏液分泌，比如硫糖铝可能通过黏附在黏膜表面形成保护膜，而铋剂可能促进黏液分泌，同时可能有中和胃酸的作用？需要确保每个部分都清晰，逻辑连贯，并且覆盖用户的问题点。
2025-05-12 13:47:04
962
原创 RAG 2.0 深入解读
一、Introduction过去一年可谓是RAG元年，检索增强生成技术迅速发展与深刻变革，其创新与应用已深刻重塑了大模型落地的。站在2025年，RAG不仅突破了早期文本处理的局限，更通过多模态融合、混合检索优化和语义鸿沟跨越等突破，开始在各个行业落地。如果把2024之前的RAG称为RAG 1.0，那目前已进入RAG 2.0时代。一个显着的进步是，这一功能引发了争议，但到年中逐渐平息。很多人觉得长上下窗口就够了，传统的检索和RAG会被取代。此外，
2025-05-10 22:35:24
1115
原创 分享一下大厂常考的RAG面试题
RAG（检索增强生成）通过整合生成模型和检索技术，利用检索组件从大量数据中筛选出相关信息，进而由生成模型创造回答。首先，RAG 的检索组件被优化，以便在筛选信息时优先考虑那些经过验证的、可靠的来源，从而减少错误信息的传播。其次，生成模型在生成回答前，会对检索到的信息进行深度分析，以确保信息的准确性和减少潜在偏见。这种双阶段流程既利用了检索的精确性，又发挥了生成模型的创造性，特别适用于依赖外部知识生成自然语言的任务。动态检索：RAG 的检索组件会根据对话的进展动态调整检索策略，确保信息的相关性和时效性。
2025-05-10 21:48:38
508
原创 Google的A2A和MCP什么关系
Agent2Agent和MCP在功能上各有侧重，A2A专注于Agent之间的协作，MCP关注于Agent与外部数据源的集成。当然如果两个Agent系统用MCP进行通信也不是不可以，这个时候不一定非得用A2A解决Agent之间的协作问题，看具体场景的需要，毕竟当前版本两个协议设计上确实有些场景定位的差异。专为Agent之间的直接通信和协作而设计，提供了一个开放的协议，使不同供应商和框架的Agent能够互操作。关注于Agent之间的协同工作，包括任务分配、协作执行等，具有更广泛的代理交互能力。
2025-05-09 22:11:28
342
原创 五年码龄的困局
你已经不再是那个连Git命令都记不全的新人了。✓ 也在为NullPointerException发愁。✓ 也分不清Redis和Memcached。“Revert ‘这个功能先这样吧’”✓ 也被MyBatis的XML配置折磨。✓ IDE里全是"//TODO"注释。✓ 工牌上的"高级工程师"像个笑话。✓ 最拿手的是Ctrl+C/V大法。□ 把周报里的"协助"改成"主导"✓ 手指在键盘上无意义地敲打。✓ 心里默念"别叫我别叫我"可能正在为你的代码写单元测试。□ 抢下那个拖延两周的需求。✓ 下次直接@那个"大佬"
2025-04-30 09:51:20
396
原创 一文了解 模型上下文协议（MCP）
MCP（Model Context Protocol，模型上下文协议）是由Anthropic公司于2024年11月推出的一项开放标准协议，旨在解决大型语言模型（LLM）与外部数据源和工具之间的通信问题。MCP的优势在于其标准化和安全性，降低了开发者集成外部工具的复杂性，同时提升了AI模型的功能性和灵活性。MCP协议作为AI领域的一项重要创新，通过标准化接口实现了大型语言模型与外部资源的无缝集成，推动了AI应用的标准化和去中心化发展。
2025-04-28 23:48:24
441
原创 DeepSeek创始人梁文峰是个什么样的人？
此外，梁文峰也积极参与公益活动，曾以“一只平凡的小猪”的名义捐款1.38亿元人民币，展现了他对社会责任的重视。他于2015年创立了幻方量化，这是一家专注于量化对冲基金的公司，通过高频量化策略迅速崛起，管理规模突破千亿，成为中国量化私募领域的巨头之一。然而，凭借敏锐的市场洞察力和坚韧不拔的精神，他带领团队克服了这些困难，并最终实现了技术突破。梁文峰是一位在人工智能领域具有深远影响力的企业家和技术创新者，他的个人经历和成就展现了他作为一位技术天才、创新领袖以及社会责任感强的企业家的多重身份。
2025-04-28 23:35:50
757
原创 如何评价 DeepSeek 的 DeepSeek-V3 模型？
在多项基准测试中，DeepSeek-V3 的表现超越了其他开源模型如 Qwen2-72B 和 Llama-3.1-405B，同时与顶尖的闭源模型 GPT-4o 和 Claude-3.5-Sonnet 相媲美。例如，在 MMLU-Pro、GPQA-Diamond 和数学推理任务（如 AIME 2024 和 MATH-500）中，DeepSeek-V3 的准确率均达到行业领先水平。据报道，其训练成本仅为 GPT-4o 的二十分之一，同时生成速度提升了 200%，达到每秒 60 token 的吞吐量。
2025-04-28 23:30:18
1762
原创 不懂就问：推理大模型与普通大模型的区别
推理大模型在架构上进行了优化，引入了链式推理结构、强化学习模块以及少样本学习技术，以提升逻辑推理能力。推理大模型更擅长复杂逻辑推理和多步骤推导任务，而普通大模型则更适合快速执行明确任务。两者各有优势，未来可能通过融合进一步提升整体能力。推理大模型具有较强的泛化能力，能够适应新问题和未知场景，但也存在“过度思考”导致错误答案的风险。普通大模型的泛化能力相对较弱，更依赖于训练数据，但在执行明确任务时表现稳定。推理大模型由于涉及复杂的逻辑推理和多步骤计算，其运算效率较低，推理时间较长，资源消耗也更大。
2025-04-28 23:28:26
434
原创 蓝桥杯算法实战分享
dp[i][j] = Σdp[i-1][k]（k与j差的绝对值≠1）[61]。有序枚举避免重复，预处理减少计算量[31][61]2021砝码称重、2020斐波那契[96][97]BFS层序扩展，DFS记忆化剪枝[36][63]：dp[i][j]表示i位数且末位为j的方案数。2022接龙数列、2019K好数[61][96]2018迷宫、2023岛屿个数[77][93]状态压缩、滚动数组优化空间[61][77]2023飞机降落、2022最大数字[96]欧拉定理、快速幂模运算[66][96]
2025-04-28 23:14:52
914
原创 面试官问：深度网络中loss除以10和学习率除以10等价吗
对于带有自适应学习率的优化器(如Adam、RMSprop)，loss缩放与学习率调整并不等价。对于经典的SGD和Momentum SGD，将loss乘以常数等价于将学习率乘以相同的常数。因此，在不同的优化器中，如何调整loss和学习率需要具体分析，不能一概而论。#spss统计分析 #数据分析。
2025-04-28 21:17:57
905
原创 强化学习小白理解GRPO（二）：GRPO核心代码实践
作者：wuxiaojun原文地址：强化学习小白理解GRPO（二）：GRPO核心代码实践Open-R1代码链接：https://github.com/huggingface/open-r1在上一篇中，我们从理论角度深入探讨了GRPO（Group Relative Policy Optimization）的核心思想，尤其是其通过重要性采样、优势函数和KL散度来优化策略模型的方法。
2025-04-28 21:15:55
794
原创 DeepSearch复现篇：QwQ-32B ToolCall功能初探，以Agentic RAG为例
当检测到模型在自回归生成过程中触发了<tool_call>(.?# 同时监测: <tool_call> 或 <|im_end|>tokenizer,])model.generate(..., topping_criteria=stopping_criteria) # 加上停止符。
2025-04-28 21:14:24
923
原创 GRPO vs SFT：强化学习提升大模型多模态推理泛化能力的原因研究
作者：吴宇斌原文地址：https://zhuanlan.zhihu.com/p/1892362859628963761。
2025-04-28 21:11:51
768
原创 图解模型并行框架
作者：StormBlafe原文：https://zhuanlan.zhihu.com/p/11140235368在集群化 AI 算⼒设施的基础上，⼤模型的训练可以通过以下⼏种并⾏模式开展。
2025-04-27 22:15:25
340
原创 Transformer原作、斯坦福、清华交大三篇论文共识：基座模型边界锁死RL能力上限
1、能力来源（source）语言模型的推理能力 = f(模型架构, token量, 训练数据多样性, 泛化能力)2、RL的作用（作用机制）RL ≈ 一个奖励驱动的路径偏移器• 将已存在于模型分布中的推理路径偏移为更高 reward 的选项• 提高成功率，但不生成新“知识”或“能力”3、提升路径（有效方向）想要获得新的 reasoning 能力 ≠ 强化训练需要更强的知识/经验（知识注入+架构优化+认知行为引导）RL不是创造能力，而是优化选择。
2025-04-27 22:13:14
782
原创 DeepSeek-R1： LLMs 通过强化学习激励推理能力
介绍了我们的第一代推理模型 DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是一种通过大规模强化学习 （RL） 训练的模型，没有作为初步步骤进行监督微调 （SFT），展示了卓越的推理能力。通过 RL，DeepSeek-R1-Zero 自然而然地出现了许多强大而有趣的推理行为。然而，它遇到了可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了 DeepSeek-R1，它在 RL 之前结合了多阶段训练和冷启动数据。
2025-04-24 20:22:25
821
原创 深入微服务核心：从架构设计到规模化
微服务的原则围绕业务概念建模通常围绕业务的限界上下文定义的接口要比围绕技术概念定义的接口更加稳定。接受自动化文化大量的微服务涌现，我们必须要借助自动化工具，开发维护我们的服务。隐藏内部实现细节为了实现服务自治，隐藏细节至关重要，服务还应该隐藏他的数据库，避免产生数据库集成。让一切都去中心化确保团队对服务的所有权，同时要做到内部开源，人们可以修改其他团队的代码。可独立部署服务可以独立部署，当你修改发布的时候，不需要通知其他团队进行改动。隔离失败。
2025-04-23 23:02:30
850
原创 读书笔记：淘宝十年产品与技术演进史
作者：大淘宝技术本文是对《淘宝十年产品事》与《淘宝技术这十年》两本书的阅读笔记总结。通过回顾淘宝过去十年在产品、技术、架构、中间件及开放平台等方面的发展历程，展现了其从初期到成熟阶段所经历的关键决策、问题解决策略以及创新设计。文章不仅梳理了淘宝在电商生态中的角色演变，还深入探讨了业务与技术之间的相互驱动关系。通过对历史的探究，我们得以了解前人的智慧与经验，为未来的发展提供启示与借鉴。前言。
2025-04-23 22:56:36
1010
原创 大模型如何作为reranker？
生成式模型不像之前的BERT，其多出了一个decoder结构，如何借助decoder本身的能力得到一个更加有意义的相似度分数成为关键，在现有的方法中主要通过更改prompt或者直接增大特殊token实现。除此之外，还可以直接利用大模型本身的能力，使其对候选文档直接排序。而在训练方式和，和之前的小模型相差不大，都是选用Pointwise Ranking Loss、Pairwise Ranking Loss或者Listwise Ranking Loss。
2025-04-23 10:40:17
1142
原创 使用Langchain调用集成模型上下文协议(MCP)服务
AI代理面临的挑战是向AI代理传递数据，或者换句话说，将AI代理/基于LLM的应用程序集成到外部数据源。人们一直在尝试通过利用GUI、网络浏览器和网络搜索来实现某种程度的无缝集成。所有这些途径都有优点和缺点。MCP有潜力作为一个通用接口，可以将其视为AI的虚拟/软件版USB-C。它实现了LLMs/AI代理与外部资源之间无缝、安全和可扩展的数据交换。MCP使用客户端-服务器架构，其中MCP主机(AI应用程序)与MCP服务器(数据/工具提供者)进行通信。开发人员可以使用MCP。
2025-04-11 09:57:35
1025
原创 蒙特卡洛树MCTS和LLM相遇了会发生什么？
语言模型是通过逐步解码token，生成完整的回复。其每一步的解空间相当于整个词表。因此，最直观的节点定义方法便是一个token，但为了兼容搜索速度和质量，各种启发式节点构造方法应运而生。基于token的方法。将token作为一个节点。导致树太大，搜索空间太大，速度较慢。基于句子的方法。将句子作为节点，搜索空间变得更大，但是树相对小一些。基于解题步骤的方法。目前很多方法将COT中的每一个完整步骤作为一个节点，极大的减小了搜索空间。基于完整步骤的方法。
2025-04-08 19:05:07
1168
原创 基于ElasticSearch的向量检索技术实践
在人脸识别的过程中，输入的人脸图片会转化为人脸特征值向量保存在计算机中作为人脸库，假设右图方块表示小王的多个人脸图片的特征值向量，三角表示小李的多个人脸特征值向量绿色向量表示输入的一张未知人脸图片的特征值向量。使用两向量的距离评估两向量表示的人脸的相似度在右图中与绿色新向量距离最近的为一方块向量，因此认为新输入的图片最有可能是小王的人脸图片。与人脸识别问题类似的其他的机器学习分类问题中，向量检索也是应用流程中的重要环节。
2025-04-07 21:41:17
1271
原创 AI会取代哪些职业？普通人如何提前转型？
最触目惊心的是盖茨的十年预测：那些曾经稀缺且高薪的专业技能，如医疗诊断、法律咨询、财务分析、教育辅导，都将因AI而变得"免费、普遍"。研究显示，虽然AI可以模仿已有风格，但无法产生真正具有突破性的创新和情感共鸣的作品。微软首席技术官Kevin Scott最近表示："我们需要的不是更少的程序员，而是更多懂得如何与AI协作的程序员。最值得警惕的是：AI的能力正以指数级提升，而我们的技能提升仍是线性的。的《技术对工作场所的影响》报告显示，截至2025年，已有14%的企业主承认AI显著降低了对特定岗位的需求。
2025-04-03 22:50:51
1037
原创 DeepSeek真的超越了OpenAI吗？
性价比高：DeepSeek 的训练成本低，比如 DeepSeek-V3 的训练成本只有 558 万美元，而 OpenAI 的 GPT-4 训练成本得数亿美元。多模态能力更强：OpenAI o1 的多模态能力很强，可以处理复杂的图像识别任务，还能在图文生成任务中表现突出，而 DeepSeek R1 目前还不支持多模态任务。生态更完善：OpenAI 的插件生态丰富，比如 ChatGPT 插件支持浏览、代码解释、购物等多种功能，而 DeepSeek 还没有形成完整的插件生态。DeepSeek 的优势。
2025-04-03 22:49:13
275
The Hundred-Page Machine Learning Book 百页机器学习书
2019-05-04
NAACL 2019 关系抽取论文 基于bag-level 的关系抽取方法学习
2019-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人