- 博客(392)
- 收藏
- 关注
RSS订阅原创 规划是自动驾驶的“头脑”
这就是视觉定位（Visual Localization）或相机重定位（Camera Relocalization）的核心任务：给一张查询图片，找出它在已知场景（一个带坐标信息的图片数据库）中的精确位置和朝向（6自由度姿态：3D位置 + 3D旋转）。如果后续要做严谨的“科学实验”或重要的“工程建造”，就不能完全相信这个“魔术”的结果，要么弄清楚魔术是怎么变的（控制它），要么只用它来活跃下气氛（辅助探索），关键部分还得靠可靠的“工具”和“图纸”（传统可控方法）。融合后的结果能不能用来做后续的严肃分析？
2025-08-09 16:11:50
834
原创 NuGrounding论文精读
多视角3D视觉基准（visual grounding）对于自动驾驶车辆在复杂环境中解释自然语言和定位目标物体至关重要。然而，现有的数据集和方法存在语言指令粒度粗、三维几何推理与语言理解集成不足的问题。为此，我们推出了NuGrounding，这是首个针对自动驾驶领域中多视角3D视觉基准的大规模基准测试。我们提出了一种层次化基准（Hierarchy of Grounding, HoG）方法来构建NuGrounding，以生成分层的多级指令，确保全面覆盖人类指令模式。
2025-08-08 00:13:46
268
原创 Talk2PC-TPCNet论文精读
具身化室外场景理解是自主智能体感知、分析和应对动态驾驶环境的基础。然而，现有的三维理解主要基于二维视觉语言模型（VLM），其收集和处理的场景感知上下文有限。相比之下，与二维平面视觉信息不同，像激光雷达（LiDAR）这样的点云传感器能提供丰富的深度信息和物体的细粒度三维表示。与此同时，新兴的4D毫米波（mmWave）雷达能够检测每个物体的运动趋势、速度和反射强度。因此，这两种模态的整合为自然语言提供了更灵活的查询条件，从而实现更准确的三维视觉定位。为此，本文探索性地提出了一种名为TPCNet的新方法，这是首个
2025-08-06 22:37:19
924
原创 MonoFusion 与 Genie 3
MonoFusion 是一个聪明的“曲线救国”方案，它结合了单目深度预测的最新成果和一个关键洞察（利用静态背景对齐），成功解决了用稀疏相机进行高质量动态3D重建（4D）这一难题。它的出现显著降低了这项技术的成本和门槛，为未来的许多应用打开了大门。VGGT 之所以能从一张 2D 图中提取 3D 信息，是它通过海量带 3D 真值的 2D 数据预训练出来的“超能力”。（专门理解3D世界的AI）来“教导”MLLMs学习更好的空间表征，从而显著提升了MLLMs在各种需要理解场景空间关系的任务上的表现。
2025-08-06 17:41:27
879
原创 NuPrompt论文精读
计算机视觉界的一个新趋势是，根据人类提供的自然语言指令来捕捉感兴趣的物体。然而，由于成对的提示-实例（prompt-instance）数据稀缺，在驾驶场景中使用语言提示的进展陷入了瓶颈。为了应对这一挑战，我们提出了首个用于驾驶场景的、以物体为中心的语言提示集，该数据集在3D、多视角和多帧空间中进行构建，我们将其命名为 NuPrompt。它通过构建总计 40,147 个语言描述来扩展 nuScenes 数据集，每个描述平均指代 7.4 个物体的轨迹片段（tracklets）。基于该基准测试中的物体-文本对，我
2025-08-06 00:26:50
875
原创 LidaRefer论文精读
3D视觉定位（3D visual grounding, VG）旨在根据自然语言描述，在3D场景中定位特定的物体或区域。尽管室内3D视觉定位技术已取得显著进展，但室外3D视觉定位的研究仍不充分，主要面临两大挑战：（1）大规模室外激光雷达（LiDAR）场景充斥着大量背景点，前景信息有限，这增加了跨模态对齐和上下文理解的难度；（2）大多数室外数据集缺乏对参考性非目标物体的空间标注，这阻碍了模型对指代性上下文进行显式学习。针对这些问题，我们提出了一种面向室外场景、具备上下文感知能力的3D视觉定位框架。
2025-08-05 16:37:43
1010
原创 大模型 与 自驾 具身 3D世界模型等相关知识
自己在本机运行 AI 模型不再是遥不可及的技术大神专利。——这些都是自己跑模型的好处。得益于技术进步，。根据你的技术喜好，可以选择或轻松上手。手机也能玩，但效果差些。文章作者觉得对大多数人来说这可能不是必须的，但对于感兴趣的人来说，这真的很有趣也很有价值。硬件成本低（主要用摄像头），易于集成。当前纯视觉方案在（如比亚迪天神之眼 C）中应用较多且有效，但在要求绝对安全冗余的 L4 场景中面临巨大挑战。
2025-08-04 14:48:43
1208
原创 InteriorGS 数据集
InteriorGS是由群核科技（Kujiale）在2025年世界人工智能大会上发布的全球首个3D高斯语义数据集。您可以将它理解为一个专为训练机器人和AI系统打造的、极其逼真且充满“注释”的虚拟3D世界。它的核心使命是赋予机器人一颗“空间大脑”，让机器不再仅仅是“看到”物理世界，而是能真正“看懂”和“理解”它所处的环境。
2025-08-01 21:06:36
1063
原创 RoPE (旋转位置编码)
我们希望大模型能像人类一样，读完一本几百页的书（比如《三体》），然后和我们深入讨论其中跨越几十万字的伏笔和细节。其中，第一个问题由O(n²)导致，通常由 FlashAttention、稀疏注意力等工程和算法优化来解决。而第二个“失忆”问题，则源于传统的根本缺陷。
2025-08-01 11:27:33
1047
原创 激光雷达的“线数”
一个旋转的灯塔，它在水平方向上360度扫描。现在，我们不只放一个灯泡，而是在灯塔上垂直地叠放一排灯泡，比如16个，每个灯泡都以固定的、略微不同的俯仰角度向外照射。当这个装置旋转时，我们就同时得到了16个不同高度层面的扫描信息。在这个比喻中，
2025-08-01 11:03:01
484
原创 ZSVG论文精读
3D视觉定位（3DVG）旨在根据文本描述来定位三维（3D）对象。传统的监督式3DVG方法通常需要大量的标注数据和预定义的词汇表，这可能带来一定的局限性。为解决此问题，我们利用大语言模型（LLM）的强大能力，提出了一种用于实现零样本、开放词汇3DVG的新颖视觉编程方法。我们的方法始于一个独特的基于对话的模式，通过与LLM互动，建立对零样本3DVG的基础理解。在此之上，我们设计了一个包含三种类型模块的视觉程序：视角无关模块、视角依赖模块和功能模块。
2025-07-31 18:17:37
976
原创 AutoDrive 数据标注
数据标注是将原始数据进行标记，使其能够被机器学习模型理解的关键过程。在自动驾驶领域，这个过程是构建车辆感知和决策能力的基石。一个自动驾驶系统在真实世界中安全导航的能力，与其所训练数据的质量、准确性和全面性成正比。
2025-07-30 11:15:06
1050
原创 MSSG论文精读
本文探讨了自动驾驶场景下的三维指代表达理解（REC）问题，旨在将自然语言描述定位到激光雷达点云中的目标区域。以往的REC方法通常关注于二维或三维室内领域，这不适用于在自动驾驶场景中准确预测查询的三维区域位置。此外，上限限制和巨大的计算成本促使我们探索更好的解决方案。在这项工作中，我们提出了一种新的多模态视觉定位任务，称为激光雷达定位然后，我们设计了一种采用有效令牌融合策略的多模态单阶段定位（MSSG）方法。该方法将基于激光雷达的目标检测器与语言特征进行联合学习，并直接从检测器中预测目标区域，无需任何后处理。
2025-07-30 00:38:29
233
原创 Python入门构建网页
属性，与你的 Python 后端进行着高效的通信。你只写了 Python，却实现了一个现代化的、动态的前端体验！这份代码已经为你添加了非常详细的中文注释，旨在解释“是什么”以及“为什么”，让你真正理解每一行代码的作用。你的第一个 FastHTML 应用已经运行起来了。这一切的背后，都是 HTMX 在根据你写的。打开你的终端（在 Windows 上是。它会自动帮你安装所有需要的依赖包，如。的 Python 文件，并将下面。确保你已经将上面的代码保存为。安装完成后，环境就准备好了。回到你的终端，并确保你位于。
2025-07-27 18:17:05
735
原创 ReVQ (Quantize-then-Rectify，量化后修正)
Quantize-then-Rectify: Efficient VQ-VAE Training这篇论文提出了一种名为ReVQ (Quantize-then-Rectify，量化后修正) 的新框架，旨在解决当前视觉基础模型中一个核心的痛点：向量量化变分自编码器 (VQ-VAE) 的训练成本极高。VQ-VAE作为连接连续视觉信号（如图像）和离散语言模型（LLM）的桥梁（即视觉分词器），其重要性不言而喻，但其高昂的训练开销（动辄需要数千GPU小时）限制了其在更广泛研究和应用中的普及 。论文的核心思想是：我们不必
2025-07-25 20:03:38
877
原创 多模态AI的可解释性
我们想知道，在模型生成这个答案的过程中，它内部的哪个部分或者哪个状态明确地表征了“黄色”这个概念。这种方法旨在将模型内部那些抽象的、高维的数学表示（嵌入）与人类能够理解的具体文本概念联系起来。其核心是找到一个代表特定概念的“方向向量”，然后通过计算模型内部状态与这个概念向量的相似度，来判断模型在当前计算中是否“想到了”这个概念。我们使用一个文生图模型（如Stable Diffusion）生成一张“A red car on a green lawn”（绿茵草地上的红色汽车）的图片。
2025-07-24 22:46:21
648
原创 3D Semantic Occupancy Prediction
首先，通过图(c)上半部分的动态邻域融合机制，将图像和 LiDAR 特征智能地融合成一个高质量的F_bev^fuse。然后，在训练阶段，利用图(c)下半部分的占用驱动主动蒸馏机制，将F_bev^fuse的知识单向地、有重点地蒸馏给纯图像特征F_bev^img。我们得到了一个双重优势在部署时，如果计算资源充足且需要最高精度，我们可以使用完整的融合模型（SDG-Fusion）。如果需要极致的实时性。
2025-07-24 22:05:25
826
原创 视觉BPE统一多模态理解-北大
解决图像和文本两种模态的，让模型能像处理文本一样“自然地”处理图像信息，从而实现真正的“统一”理解和生成。文本BPE（Byte Pair Encoding，字节对编码）是自然语言处理（NLP）中广泛使用的一种，核心目标是将文本拆分为有意义的子单元（token）。
2025-07-23 23:42:29
662
原创 GEMINUS 和 Move to Understand a 3D Scene
GEMINUS是一个基于MoE的端到端框架，名字全称是“dual-aware Global and scEne-adaptive MIxture of experts for end-to-end autoNomoUS driving”。用全局专家保证鲁棒性（在模糊场景稳定），用场景自适应专家提升适应性（在特定场景精准），并通过双感知路由器智能切换。整体架构GEMINUS建立在单专家基线模型上（类似TCP方法），但添加了MoE层。输入包括摄像头图像、车速、导航指令和目标点。
2025-07-23 23:31:40
1123
原创 多模态Embedding技术
首次实现模型权重、视觉特征、多任务的端到端联合优化，突破单一模态表示瓶颈。：首次实现无需修改模型参数的水印方案，解决多模态服务版权保护的关键难题。：开创结构化文本表示替代向量嵌入，实现人类可理解的视觉推理路径。：传统多模态模型在通用性和细粒度理解之间存在矛盾。：商业化多模态API面临模型盗用风险。：向量嵌入缺乏可解释性和因果推理能力。
2025-07-23 23:28:13
817
原创 PointLLM - ECCV 2024 Best Paper Candidate
点云不是一张图片，而是一大堆点的集合。每个点都拥有自己精确的三维空间坐标 (X, Y, Z)，有时还带有颜色信息 (RGB)。你可以把它想象成在数字世界里，用无数个悬浮的、带有颜色的小点精确地“雕塑”出了一个物体的完整3D形状。
2025-07-23 22:50:51
709
原创 智能体设计与Human In The Loop
安全与效率平衡AI处理常规操作（效率）人类控制关键决策（安全）技术实现三原则状态可追溯：Checkpointer保证执行连续性风险可量化：动态评分模型实时预警操作可逆转：审批机制提供紧急制动LangGraph创新价值图结构 → 可视化工作流动态断点 → 智能风险响应状态管理 → 无缝人机切换高风险操作失误率下降92%人机协同响应延迟 < 500ms系统审计合规率100%如需特定场景的架构实施方案或完整代码示例，请随时告知！
2025-07-23 16:56:06
1238
1
原创 LLMs如何重塑智能运维AIOps领域
这篇综述通过分析2020年1月至2024年12月间的183篇研究论文，系统地探讨了大型语言模型（LLMs）在智能运维（AIOps）领域的应用、影响和未来方向。作者们提出了四个核心研究问题（RQs），分别关注数据源的演变、AIOps任务的革新、基于LLM的方法论以及评估体系的适配。研究发现，LLMs不仅优化了传统AIOps任务，还催生了新的任务和方法，显著提升了运维的自动化和智能化水平。
2025-07-23 14:08:17
686
原创 SVM（Support Vector Machine）从入门到精通
SVM 的目标就是在这两类“社区”（数据点）之间，修建一条尽可能宽的“隔离街道”。左侧显示硬间隔模型（C=1e6）的决策边界剧烈弯曲以拟合噪声点，间隔窄，支持向量多（黄色圈点）。右侧显示软间隔模型（C=0.1）的决策边界平滑，间隔宽，支持向量少。当然，我们不希望有太多的点越界，所以需要为这些越界的点付出代价。的（即存在一条直线能完美地将两类数据分开，没有任何一个点在错误的区域），我们可以使用硬间隔SVM。：你会看到一条清晰的直线将两类点完美分开，并且有几个点（支持向量）刚好落在间隔边界上。
2025-07-21 11:05:48
922
原创 TOD3Cap论文精读
三维密集描述生成是通过自然语言实现对3D场景全面理解的基石。近年来，该领域取得了显著成就，尤其是在室内场景中。然而，在室外场景中探索三维密集描述生成面临两大挑战：1）室内与室外场景之间存在领域鸿沟，例如动态性和稀疏的视觉输入，这使得难以直接应用现有的室内方法；2）缺乏专门为室外三维密集描述生成量身定制的、带有全面边界框-字幕对标注的数据为此，我们引入了室外三维密集描述生成这项新任务。我们假设输入为激光雷达（LiDAR）点云和由全景相机设备捕获的一组RGB图像，期望的输出是一组带有字幕的物体框。
2025-07-20 23:21:09
706
原创 LiDAR-LLM论文精读
近来，大型语言模型 (LLM) 和多模态大型语言模型 (MLLM) 在指令遵循和图像理解方面显示出了巨大的潜力。然而，尽管这些模型功能强大，但它们尚未被开发用于理解更具挑战性的三维几何和物理场景，尤其是在处理稀疏的室外激光雷达 (LiDAR) 数据时。在本文中，我们介绍了LiDAR-LLM，它将原始的激光雷达数据作为输入，并利用大型语言模型卓越的推理能力来全面理解室外三维场景。我们LiDAR-LLM的核心思想是将三维室外场景认知重新表述为一个语言建模问题，涵盖了三维字幕生成、三维实体定位、三维问答等任务。
2025-07-19 23:10:18
669
原创 Gemini Function Calling 和 Qwen3 Embedding和ReRanker模型
函数调用将LLM从“纸上谈兵”的参谋，变成了可以“真枪实弹”执行任务的智能代理（Agent），极大地扩展了AI应用的可能性和实用性。
2025-07-18 16:59:14
1200
原创 电价预测中的LSTM：从过拟合到模型升维实战
在能源市场、电网调度和金融交易等领域，精准的电价预测至关重要。长短期记忆网络（LSTM）因其捕捉时间序列依赖性的能力，成为该领域的常用工具。然而，在实践中，尤其是进行长达24小时或更久的多步预测时，开发者常会陷入困境。假设我们的任务是：利用过去一段时间的电价、天气、负荷等4个相关特征，以及电价本身的历史序列，来预测未来24个小时的电价。这是多步预测中最经典的“失败”案例。现象：模型在训练集上表现优异，稳步下降。但在验证集上，不仅居高不下，还呈现剧烈波动，毫无下降趋势。即，模型在“学习”，但学到的知识无法泛化
2025-07-17 15:58:14
698
原创 VLMs and TagCLIP
这是因为LLM是在网上看人类语言训练出来的，习惯像人一样思考，会省略很多“显而易见”的低层次操作细节（比如“伸手”、“抓握”的具体角度和力度感知）。大语言模型（LLM，比如ChatGPT）在帮机器人做计划（比如“去厨房拿杯水”）时，有个大毛病：它们写出来的计划步骤，如图1所示，原始CLIP常漏检小物体（如键盘上的“键盘”标签），而局部特征（如鼠标的滚轮）才是多标签分类的关键线索。它解决了LLM生成机器人计划“眼高手低”的关键问题，为实现更实用的具身智能提供了高效、轻量的解决方案。，从而让机器人执行起来。
2025-07-16 11:41:43
1091
原创 大语言模型（LLM）训练的教师强制（Teacher Forcing）方法
准备数据：将一句话“大模型爱学习”转换成数字ID，并复制一份作为标签。inputslabels并行预测：模型接收inputs，并行为每个位置输出一个对下一个词的预测（logits移位对齐：将labels向左移一位，使得模型的预测logits[i]与正确答案对齐。计算损失：在每个位置上，使用交叉熵比较模型的预测和正确答案，计算出损失。累加损失：将所有位置的损失相加，得到总损失。更新模型：根据总损失，使用优化算法（如梯度下降）更新模型的内部参数，完成一次学习。
2025-07-16 11:23:07
723
原创 202507中央城市工作会议
当前我国65%人口生活在城市，但治理滞后、房地产风险、空间低效等问题突出，会议因此提出城市发展从 "增量扩张"转向"存量提质" ，首次明确 "建设现代化人民城市" 总目标，涵盖创新、宜居、美丽、韧性等七大方向，并要求落实 "五个转变" 路径（以人为本、集约高效等）。：以前城市光顾着“摊大饼”（盖新楼、扩地盘），现在得转向“精耕细作”（提升质量、让生活更舒服）。这场会是中国城市发展的“转折点”，从“狂飙突进”转向“精雕细琢”，目标是让老百姓住得更舒心、活得更安心。
2025-07-15 22:19:11
442
原创 3D数据：从数据采集到数据表示，再到数据应用
这两个数据集核心差异的关键。虽然它们都源自相同的3D扫描场景（ScanNet），但它们给AI模型提出的“考题”和提供的“参考答案”是完全不同的。我们想把一个真实的房间（比如你的书房）完整地“搬”进电脑里，让电脑知道这个房间的三维结构。3D扫描就是实现这个过程的技术。3D扫描完成后，我们得到了一大堆原始数据点。如何用这些点在电脑里把场景“画”出来呢？：左侧是稠密点云，能清晰看出物体轮廓。右侧是稀疏点云，点与点之间有明显间隙。：左侧是点云，右侧是通过连接这些点生成的3D网格，形成了连续的表面。
2025-07-15 18:37:08
701
原创 AutoDrive汇总
边缘设备推理速度：23 FPS（Jetson AGX Xavier）nuScenes数据集：mAP 72.1%（较基线高8.3%）：MoE成边缘部署关键（2025年主流方案）：时空风险建模成为新热点（纽约大学工作）：动态专家路由 + 边缘计算优化。：走向无监督训练（降低标注成本）：无监督世界模型训练。
2025-07-15 12:07:00
1277
原创 ScanNet数据集详解
ScanNet 是一个 RGB-D 视频数据集，在超过 1500 次扫描中包含了 250 万个视图，并标注了 3D 相机位姿、表面重建和实例级的语义分割。为了收集这些数据，设计了一个易于使用且具有扩展性的 RGB-D 捕获系统，包括自动化的表面重建和众包的语义标注。如果您想下载 ScanNet 数据，请使用您的机构邮箱地址填写一份 ScanNet 使用条款协议，并发送至 [email protected]。压缩包是将3D的标注信息“拍扁”成2D图片的结果，对应原始视频的每一帧。
2025-07-14 11:35:47
1962
原创 模型参数估计 以及 占用GPU显存大小评估
模型显存占用 = 参数量 × 精度系数 × (1 + 开销系数)注：此计算仅含参数内存，实际需叠加激活内存等临时数据。注：实际部署需预留20%显存余量防溢出。
2025-07-13 20:56:01
682
原创 Python中的参数使用与数据清洗
、、同时使用两者、默认参数与灵活参数混用、解包传参、实战应用。概念解析：允许函数接收任意数量的位置参数（positional arguments），并将其打包成一个元组（tuple）。这使得函数动态处理不确定数量的输入参数，提高代码的灵活性和可复用性。适用于需要累加、遍历或处理多个同类型值的场景（如求和、打印列表）。详细注释代码示例：关键点：概念解析：允许函数接收任意数量的关键字参数（keyword arguments），并将其打包成一个字典（dict）。字典的键是参数名，值是参数值。适用于需要处理命名参
2025-07-13 12:48:13
839
原创 视觉语言导航与目标导航
目标导航（Object Navigation）是VLN的进阶任务，要求机器人在陌生3D环境中，基于目标描述（如坐标、图片或自然语言）自主探索并规划路径，无需显式逐步指令。VLN（Visual-Language Navigation）是一种指令跟随任务，要求机器人根据自然语言指令（如“去客厅拿遥控器”）在未知环境中执行导航。：累积历史观测信息，辅助决策。：导航技术被视为具身智能（embodied AI）最先落地的子领域，需求驱动高薪岗位（如七位数年薪），需跨领域知识（NLP、CV、RL、GNN）。
2025-07-13 12:43:24
874
原创 KGAD-QA和DINO-X
模块协作嵌入模型：听懂人话 → 语义向量向量库：海量知识检索 → 候选片段重排模型：精准筛选 → 关键信息工具集：执行操作 → 获取实时数据大模型：逻辑决策 + 生成回答日志系统：全程可追溯 → 保障稳定本质AI智能体的强大不是单一模型的能力，而是多模块精密协同的结果——从理解、检索、决策、执行到追溯，环环相扣形成闭环。模型核心能力典型场景技术突破点ChatRex听懂简单指令“找红色自行车”视觉+语言分工协作RexSeek解析指代与多轮对话“她手上的杯子是哪个？跨模态实体追踪。
2025-07-12 14:37:24
653
原创 UrbanLLaVA
融合，就是把这些触觉信息（甚至加上大象叫声的听觉域）结合起来，让一个明眼人（模型）在脑中构建出“大象”这个完整、准确的认知。跨域数据融合的目标，正是要打破这些域的界限，让模型能够理解并利用这些异构数据之间内在的关联，从而获得对复杂实体或现象（如一座城市）更全面、更深层次的理解。你只看了单方面的信息，每个信息（域）都只讲了一部分故事，甚至可能是片面的或误导的。这种融合不是简单的数据拼接或后处理，而是让模型在内部学习到了这些异构数据之间丰富的、可泛化的关联关系，从而获得了前所未有的。在跨域数据融合的上下文中，
2025-07-11 11:00:40
457
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人