- 博客(162)
- 收藏
- 关注
原创 论文阅读(最新):RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoning
检索增强生成(RAG)通过整合外部知识,已成为提升大型语言模型(LLMs)在知识密集型任务中性能的基础框架。然而,现有 RAG 范式往往忽视知识应用这一认知环节,导致检索到的事实与特定任务推理之间存在差距。在本研究中,我们提出 RAG+,这是一种原则性的、模块化的扩展框架,它将应用感知推理明确融入 RAG 流程。RAG + 构建了一个由知识和对齐的应用示例组成的双语料库(可通过人工或自动方式创建),并在推理过程中对两者进行联合检索。
2025-07-13 20:44:32
811
原创 论文阅读:A Survey on RAG Meeting LLMs: Towards Retrieval-AugmentedLarge Language Models
作为人工智能领域最先进的技术之一,检索增强生成(RAG)能够提供可靠且最新的外部知识,为众多任务带来极大便利。尤其在人工智能生成内容(AIGC)时代,检索技术在提供额外知识方面的强大能力,使 RAG 能够辅助现有的生成式 AI 产出高质量结果。近年来,大型语言模型(LLMs)在语言理解与生成方面展现出革命性能力,但仍存在固有局限性,如幻觉现象和内部知识过时等问题。
2025-07-13 14:36:41
917
原创 论文阅读:A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications
提示工程已成为扩展大语言模型(LLMs)和视觉语言模型(VLMs)能力的不可或缺的技术。该方法利用称为提示的任务特定指令来提升模型效能,而无需修改核心模型参数。提示无需更新模型参数,仅通过给定提示引导模型产生所需行为,从而实现预训练模型与下游任务的无缝集成。提示可以是提供上下文以引导模型的自然语言指令,也可以是激活相关知识的学习向量表示。这一新兴领域已在从问答到常识推理的各种应用中取得成功。然而,目前缺乏对多样化提示工程方法和技术的系统性组织与理解。
2025-06-28 23:46:05
662
1
原创 论文阅读:A Survey on Large Language Models for Code Generation
大型语言模型(LLMs)在各种代码相关任务中取得了显著进【展,被称为代码 LLMs,尤其在从自然语言描述生成源代码的代码生成任务中表现突出。这一新兴领域因其在软件开发中的实际意义,如 GitHub Copilot,引起了学术研究人员和行业专业人士的极大兴趣。尽管从自然语言处理(NLP)或软件工程(SE)或两者的角度对 LLMs 进行了各种代码任务的积极探索,但缺乏专门针对代码生成 LLMs 的全面且最新的文献综述。
2025-06-25 21:46:44
917
3
原创 论文阅读(最新):LiveCodeBench Pro: How Do Olympiad MedalistsJudge LLMs in Competitive Programming?
近期有报告称,大型语言模型(LLMs)在竞争性编程领域的表现已超越顶尖人类选手。本文借助一组国际算法竞赛奖牌得主的专业知识,重新审视这一论断,深入探究 LLMs 与人类专家的差异以及尚存的局限性。我们引入了 LiveCodeBench Pro 基准测试,该基准包含来自 Codeforces、ICPC 和 IOI 的问题,并持续更新以降低数据污染的可能性。一支由奥林匹克奖牌得主组成的团队为每个问题标注算法类别,并对模型生成的失败提交进行逐行分析。
2025-06-25 14:50:42
851
1
原创 论文阅读:A Survey on Path Planning for Autonomous Ground Vehicles inUnstructured Environment
非结构化环境中的自动驾驶在农业、军事和采矿等各种应用中至关重要。然而,非结构化环境中的研究明显滞后于结构化环境,这主要是由于恶劣的环境条件以及车辆与地形之间复杂的相互作用所带来的挑战。本文首先将非结构化路径规划分为分层式和端到端式方法,然后重点综述了与结构化路径规划相比的特殊部分,如地形可通行性分析、成本估计和地形相关约束。本文全面综述了相关因素、车辆与地形的相互作用以及地形可通行性分析方法。重点总结了安全成本、能源成本和舒适成本的估计方法。此外,还讨论了由地形和车辆限制引起的约束。
2025-06-11 14:52:44
918
1
原创 论文阅读:Path planning algorithms in the autonomous driving system: Acomprehensive review
本全面综述聚焦于自动驾驶系统(ADS),该系统旨在减少约占 95% 汽车事故原因的人为错误。ADS 由六个阶段组成:传感器、感知、定位、评估、路径规划和控制。我们阐述了每个阶段使用的主要先进技术,分析了 275 篇论文,其中 162 篇专门研究路径规划,因其复杂性、NP 难优化性质以及在 ADS 中的关键作用。本文将路径规划技术分为三大类:传统方法(基于图、基于采样、基于梯度、基于优化、插值曲线算法)、机器学习和深度学习方法,以及元启发式优化方法,详细介绍了它们的优缺点。
2025-06-09 16:07:24
892
1
原创 论文阅读:KoMA: Knowledge-driven Multi-agent Frameworkfor Autonomous Driving with Large LanguageModel
大型语言模型(LLMs)作为自主智能体,为通过知识驱动的方式应对现实世界挑战提供了一条新途径。这些增强型 LLM 方法在泛化能力和可解释性方面表现卓越。然而,驾驶任务的复杂性往往需要多个异构智能体的协作,这凸显了此类由 LLM 驱动的智能体进行协作知识共享和认知协同的必要性。尽管 LLM 具有广阔前景,但当前应用主要集中在单智能体场景,这使其在面对复杂、相互关联的任务时应用范围受限。
2025-06-07 12:14:26
757
1
原创 论文阅读:LLM4Drive: A Survey of Large Language Models for Autonomous Driving
自动驾驶技术作为推动交通和城市出行变革的催化剂,正从基于规则的系统向数据驱动策略转变。传统的模块化系统受限于级联模块间的累积误差和缺乏灵活性的预设规则。相比之下,端到端自动驾驶系统因其完全数据驱动的训练过程有望避免误差累积,但其 “黑箱” 特性往往导致透明度不足,使得决策的验证和追溯复杂化。最近,大型语言模型(LLMs)已展现出上下文理解、逻辑推理和生成答案等能力。一个自然的想法是利用这些能力为自动驾驶赋能。
2025-06-05 23:03:11
1196
1
原创 论文阅读:LLMs and IoT: A Comprehensive Survey onLarge Language Models and the Internet of Things
物联网(IoT)的迅速普及催生了高度互联的系统,这些系统集成了各种各样的设备。随着联网物联网设备数量的持续增长,这些设备产生的海量数据在收集、管理、分析和利用方面带来了巨大挑战,尤其是在大规模部署中。传统的数据处理方法往往难以应对这些环境的复杂性和实时性需求,因此需要先进的方法来实现高效的数据处理和智能交互。最近,大语言模型(LLMs)已成为增强物联网系统中自然且上下文感知交互的强大工具。它们在处理和分析大型数据集方面的能力使其能够进行有意义的对话、改进数据解释并更好地理解上下文。
2025-05-29 21:33:12
752
1
原创 论文阅读:Self-Planning Code Generation with Large Language Models
尽管大型语言模型(LLMs)在代码生成方面展现出了令人瞩目的能力,但它们在处理人类提供的复杂意图时仍然困难重重。众所周知,人类通常会在实施之前通过规划来分解复杂问题并安排解决步骤。为此,我们将规划引入代码生成,以帮助模型理解复杂意图并降低解决问题的难度。本文提出了一种基于大型语言模型的自规划代码生成方法,该方法包括两个阶段,即规划阶段和实现阶段。具体来说,在规划阶段,LLM 通过少样本提示从意图中规划出简洁的解决步骤。随后,在实现阶段,模型在前述解决步骤的指导下逐步生成代码。
2025-05-26 15:37:49
1311
1
原创 论文阅读:PURPLE: Making a Large Language Model a Better SQL Writer
大语言模型(LLM)技术在自然语言到 SQL(NL2SQL)翻译中扮演着越来越重要的角色。通过大量语料训练的 LLM 具有强大的自然语言理解能力和基本的 SQL 生成能力,无需针对 NL2SQL 任务进行额外调优。现有的基于 LLM 的 NL2SQL 方法试图通过增强 LLM 对用户意图的理解来改进翻译。然而,LLM 有时会因缺乏组织复杂逻辑运算符组合的知识而无法生成合适的 SQL。
2025-05-25 20:48:15
1046
1
原创 科研经验贴:AI领域的研究方向总结
由神经网络层(如卷积层、全连接层、Transformer 层)组成的架构,用于学习输入到输出的映射关系。: 用于训练、验证和测试模型的样本集合,通常包含输入特征(如图像、文本)和对应标签(如类别、回归值)。: 用于评估模型性能的量化指标,反映模型在特定任务上的效果(不同于损失函数,不一定可微)。: 衡量模型预测值与真实值之间的差距,作为训练过程中优化的目标函数。: 在特定数据集上的。
2025-05-23 16:48:20
636
原创 论文阅读:Next-Generation Database Interfaces:A Survey of LLM-based Text-to-SQL
由于用户问题理解、数据库模式解析和 SQL 生成的复杂性,从用户自然语言问题生成准确 SQL(Text-to-SQL)仍是一项长期挑战。传统的 Text-to-SQL 系统结合人工设计和深度神经网络已取得显著进展,随后预训练语言模型(PLM)在该任务上也实现了有前景的结果。然而,随着现代数据库和用户问题日益复杂,参数规模有限的 PLM 常生成错误 SQL,这需要更精细的定制化优化方法,从而限制了基于 PLM 系统的应用。
2025-05-21 22:25:03
1486
1
原创 论文阅读:Self-Collaboration Code Generation via ChatGPT
尽管大型语言模型(LLMs)在代码生成能力方面表现出色,但在处理复杂任务时仍存在挑战。在现实软件开发中,人类通常通过团队协作来应对复杂任务,这种策略能有效控制开发复杂度并提升软件质量。受此启发,本文提出一种基于 LLMs(以 ChatGPT 为例)的自协作代码生成框架。具体而言,通过角色指令:(1)多个 LLM 代理扮演不同的 “专家” 角色,每个角色负责复杂任务中的特定子任务;(2)指定协作和交互方式,使不同角色形成虚拟团队以协同完成工作,最终实现无需人工干预的代码生成任务。
2025-05-16 22:27:38
1237
1
原创 分治算法之快速排序
从待排序子数组 A[p..r] 中选取一个“枢轴”(pivot)元素 x ,并通过一次。最后将枢轴 A[r] 与 A[i+1] 交换,返回枢轴最终位置 q=i+1。若 A[j] ≤ x ,则将 A[j] 与 A[i+1] 交换,i 增 1;:原地排序,额外递归栈深度最坏 O(n),平均 O(logn)。如果子区间长度小于 2(即 p ≥ r ),直接返回,无需排序。枢轴位置 q:恰好是 x 在 A[p..r] 中的正确位置;右侧子数组 A[q+1..r] :所有元素都 ≥ x。
2025-05-12 10:12:48
429
原创 线性时间中位数查找算法
将 A 划成至多 ⌈n/5⌉ 组,每组 5 元素(最后一组可少于 5)。最坏分支递归:子问题规模最多 ≤7n/10 ,时间 T(7n/10)。:可原地分区、组内排序,额外空间为 O(1) 或 O(n) (视实现)。否,在 G 中递归 SELECT 第 (m−∣L∣−∣E∣) 小。:三向划分 A → L={<M}, E={=M}, G={>M}。递归求“中位的中位”:规模 ⌈n/5⌉ ,时间 T(n/5)。根据主定理或代入法可证 T(n)=O(n)。否若 ∣L∣+∣E∣≥ m ,返回 M;
2025-05-12 10:07:50
392
原创 树搜索的分支界限策略之人员分配问题
若某分支的下界 ≥ 当前已找到的最优可行解成本,则该分支“剪枝”(不再展开)。通过限界剪掉大量不可能优于当前最优解的分支,从而在指数级搜索中取得较好性能。每在第 k 级分支,就固定工人 k 的任务分配,形成一个部分分配方案。目标:找到一个一一对应(一个工人一个任务)的分配,使总成本最小。对于尚未分配的工人,取它们在剩余任务上的“最小可能成本”之和。递归深度 n ,每层记录常数级信息 → O(n)。先用贪心:逐工人选择当前剩余任务中成本最低的,得到。给定 n 个工人和 n 项任务,以及一个成本矩阵。
2025-05-12 09:40:32
751
原创 牛顿法和拟牛顿法异同
牛顿法利用精确二阶信息,在问题维度和 Hessian 计算都可接受时是最快的局部收敛方法;拟牛顿法则以较小的额外开销(只用一阶梯度)逼近牛顿方向,兼具高效性与稳定性,尤其在高维或 Hessian 难以获得时更具实用价值。B_kH_kH_k。
2025-05-12 09:37:28
461
原创 共轭方向法和共轭梯度法异同
则在线利用梯度信息自动生成共轭方向,既保留了理论收敛性质,又将存储和计算开销降到最小,是求解大规模稀疏对称正定系统/二次优化的利器。要求预先或动态维护一组 Q -正交(共轭)方向,按方向逐一最优搜索,理论上 n 步收敛,但内存和构造成本高。:可用“轮廓法”或从单位向量通过 Q -正交化得到,但在高维中不实用。专为大型稀疏二次型或线性方程 Qx=b 设计,不存储整组方向。:仅存储当前 x,r,d 三个向量,及矩阵–向量积 Qd。:最多 n 步(维度为 n 时)即可精确到达极小点。
2025-05-12 09:33:17
266
原创 最速下降法和梯度下降法的异同
最速下降法是梯度下降的一种“最优方向+最优步长”实现,更接近理想的每步最大下降,但线搜索开销不容忽视;梯度下降法则牺牲每步最优,换取更简单、更高效的迭代,尤其在大规模或在线场景中更为实用。
2025-05-10 19:46:24
850
原创 随机快速排序算法
地从当前区间 [p..r][p..r][p..r] 中等概率选取一个枢轴,将它与末尾元素交换,再做标准分区。随机化保证任意输入上每个元素都有同样概率被选为枢轴,从而平均下能避免极端不平衡的划分,取得期望。选取固定的“枢轴”(通常取第一个或最后一个元素),在最坏情况下(如已经有序)会退化为。为枢轴做一次线性扫描,将 ≤ 枢轴的都移动到左边,返回枢轴最终位置 q。若枢轴落在第 k 小位置,则子问题规模为 k−1 和 n−k。随机选枢轴后,其秩 k 在 {1,2,…对长度为 n 的数组 A 进行排序。
2025-05-06 20:57:49
394
原创 荣耀内推码2025&简历直投&实习&校招
https://i-blog.csdnimg.cn/direct/b49d25cd288c4846ad4ef84348aa2b07.jpeg
2025-04-29 16:47:08
233
原创 最优树搜索策略
分支限界法是一种启发式搜索算法,它通过将搜索空间分割成若干子空间(分支),并在搜索过程中根据某些约束条件剪枝(限界)来避免无意义的搜索,从而提高搜索效率。与爬山算法不同,最佳优先搜索不仅仅考虑当前状态的邻居,还考虑到目标状态的接近度,因此能够避免陷入局部最优。爬山算法的性能优势在于计算简单且快速,但由于它不考虑全局最优解的影响,容易被困在局部最优中,特别是在目标函数有多个局部极小值时。方法适用于需要全局最优解的优化问题,虽然保证找到最优解,但在面对大规模问题时,计算开销可能非常大,导致效率较低。
2025-04-18 17:11:29
983
原创 解析:深度优先搜索、广度优先搜索和回溯搜索
系统地构造解空间树,试探每一个可能的解分支,一旦发现某一路径不可能通向可行解(违反约束或已达死胡同),便“回溯”撤销最近那一步,尝试其他可能。:从起始节点出发,顺着一条路径不断深入,直到到达目标或无路可走,然后回溯到最近的分支点,继续探索其他分支。递归栈/显式栈最坏深度为 O(h),h 为搜索深度(在图上为 O(|V|)),加上标记数组 O(|V|)。:组合优化(八皇后、子集和、图着色)、约束满足问题(CSP)、数独、排列生成等。队列在最宽层级可能存放 O(w) 个节点,w 最坏可至 O(|V|)。
2025-04-18 15:55:10
1151
原创 常用的优化算法及横向对比
无需存储或分解 Hessian,仅需矩阵—向量乘法;在低维连续光滑下常有效,但对高维/非凸存在早熟收敛风险。:收敛慢(特别是条件数大时);精确或非精确线搜索,满足 Armijo 或 Wolfe 条件。,在这些方向上精确搜索,可在至多 n 步内(无舍入误差)收敛。在 f 强凸+L−光滑假设下,拟牛顿方法(如 BFGS)可获得。,且典型的**O(1/k)** 边际收敛率(Ergodic)。在标准 Armijo/Wolfe 条件下,对凸 f 保证。足够小或迭代次数达到上限),则终止;易于大规模和随机化扩展。
2025-04-18 15:39:54
882
原创 共轭梯度法理论推导
设定初始猜测,通常令(或其它合适的初值)。计算初始残差:。令初始搜索方向:。迭代过程(对于):计算步长更新解:若(设定的容忍精度)则停止迭代。更新共轭系数:更新搜索方向:当残差足够小时,输出作为方程组的近似解。
2025-04-11 21:51:52
837
原创 贪心算法之最小生成树问题
逻辑推理与正确性证明:贪心算法基于割定理及交换论证法保证了局部最优选择可推导出全局最优解。算法步骤:Kruskal 和 Prim 分别通过排序边或维护最小堆实现贪心选择。时间复杂度:Kruskal 算法主要为 O(ElogE);Prim 算法为 O(ElogV)。实例与代码:通过一个实例和 Python 代码演示了 MST 的求解过程。
2025-04-05 21:41:10
1143
原创 最小生成树理论
生成树:在一个连通无向图中,一个生成树是包含所有顶点且边数为 n−1(n为顶点数)的无环连通子图。最小生成树:在所有生成树中,边权和最小的那一棵树。也就是说,若每条边有一个非负权值,最小生成树就是使得所有选中边的权值之和最小的生成树。
2025-04-05 20:15:09
524
原创 贪心算法之Huffman编码
算法推理:通过贪心地每次合并频率最小的两个节点,构造一棵最优的 Huffman 树。算法步骤:初始化节点 → 构造最小堆 → 重复合并节点 → 遍历树生成编码。时间复杂度:主要在堆操作上,时间复杂度为 O(nlogn)。
2025-04-05 16:32:50
1237
原创 贪心算法之任务选择问题
的活动,这样可以为后续活动留下更多时间。:交换论证(Exchange Argument)。,其第一个活动的结束时间晚于贪心解的第一个活动。要求选择最多的互不重叠的活动。
2025-04-05 10:51:37
932
原创 贪心算法的使用条件
贪心算法的效率通常较高(时间复杂度低),但需严格验证其正确性,避免局部最优陷阱。:0-1 背包问题无法用贪心算法(因物品不可分割,局部最优可能导致全局次优)。:活动选择问题中,每次选择最早结束的活动,最终得到最多的活动安排。:哈夫曼编码中,每次合并权重最小的两个节点,生成最优前缀编码树。,从而希望最终得到全局最优解的算法。
2025-04-05 10:32:05
499
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人