智能汽车人的博客

笔者的下一个实践系列就是带领读者朋友一起打造属于自己的自动驾驶系统，包括规控算法（Routing，Behavior Planning，Motion Planning，以及Control）的开发，应用，仿真，调试等流程。

自动驾驶领域中，端到端模型的兴起确实对传统（或者说叫做Rule-based优化）的规划控制方法产生了挑战，但这就意味着传统规控方法就完全没有应用了吗？这里笔者画下一个问号。同时模型的应用和发展也对传统的自动驾驶工程师的职业发展也产生了挑战。从各家发布的视频来看，经常会有车辆在开启智能驾驶功能下，有一些不友好的行为，比如闯红灯、压实线变道等。当模型无法输出轨迹或者输出的轨迹不合理，甚至有安全风险时，又该如何处理呢？带着这几个问题，进入本篇博客的内容。

有图无图对比有图无图环境依赖性依赖于精确的地图数据依赖于车辆的感知系统计算复杂度处理保存的地图数据处理更多的实时数据技术挑战适应性较差环境感知、决策规划融合趋势探索将有图和无图方法结合，以利用两者的优势（当前阶段）从上面两节的阐述可以看出，自动驾驶有图方案和无图方案各有优缺点。有图方案在安全性和舒适性方面有一定优势，但面临地图准确性、成本等挑战；无图方案更灵活通用，但在计算能力和可靠性等方面需要进一步突破。

本文介绍了车企大模型在自动驾驶领域的个性化应用。通过分析理想、小鹏、蔚来等车企的大模型方案，指出传统自动驾驶系统缺乏个性化适配的不足。重点阐述了PADriver框架，该框架通过驾驶风格编码器和条件策略网络实现个性化表征学习和策略生成，采用混合目标函数和迁移学习进行训练。实验表明，个性化模型在风格相似度、安全性等方面优于基线模型。文章还探讨了个性化自动驾驶的应用价值、当前局限及未来方向，如开发语言模型接口、联邦学习等，推动自动驾驶从标准化向个性化服务迈进。

大模型环境安装中的踩坑记录

这篇博客介绍了SALON框架——一种用于越野导航的自适应学习系统。该框架通过结合视觉基础模型、本体感受监督和智能数据策略，实现了无需先验经验的自主导航。SALON利用机器人自身行驶数据作为监督信号，通过在线学习预测代价地图和速度地图，有效解决了数据稀疏性和分布偏移问题。实验表明，该系统能在多样化地形和不同机器人平台上实现高效导航。主要创新在于降低了数据依赖，提高了系统在新环境中的泛化能力，为非结构化环境下的自主导航提供了新思路。

提出了一种将大语言模型(LLM)与模型预测控制(MPC)相结合的自动驾驶框架。通过本地部署LLM，系统能够理解自然语言指令并动态调整MPC参数，解决了传统数据驱动方法在极端场景下的局限性。

本文提出了一种结合视觉语言模型（VLM）与模型预测控制（MPC）的自动驾驶分层控制架构VLM-MPC。该系统通过异步双模块设计解决传统端到端控制的可解释性差和动态适应性不足问题：上层VLM（0.2Hz）利用CLIP模型解析环境语义生成驾驶参数，下层MPC（10Hz）基于参数进行实时控制。关键技术包括环境编码器、参考记忆模块和抗幻觉设计，在nuScenes数据集实验中显示出优于基线的安全性和舒适性。该研究强调闭环验证的重要性，为自动驾驶控制提供了新思路。

本文探讨了动态规划(DP)算法在自动驾驶规划中的应用与演进。早期Apollo的EM Planner采用双层DP+QP方案，后因算力需求逐渐被Decision+QP和Model方法取代。文章通过LeetCode示例（斐波那契数列和二维网格路径规划）阐释DP原理，并详细说明其在自动驾驶路径/速度规划中的应用，包括状态定义、转移方程、代价函数等核心要素。DP具有全局优化和灵活性的优势，但也面临计算复杂度高和模型依赖等局限。随着技术发展，DP在量产方案中的主导地位正被更高效的新方法替代。

在AITalk第二季的访谈中，理想汽车CEO李想与腾讯新闻科技主笔张小珺深入探讨了人工智能的最新发展，特别是理想汽车在自动驾驶技术上的进展。李想介绍了理想汽车从规则算法到端到端+VLM（视觉语言模型），再到VLA（视觉语言行动模型）的进化过程，将其比作从昆虫到哺乳动物再到人类的智能进化。

本篇博客介绍的是 ETH 苏黎世联邦理工的研究团队在机器人顶刊Science Robotics上发布的成果，探索如何让拥有腿部和手臂的机器人（即腿足机械臂）学习并执行像羽毛球这样高度动态、需要全身协调的复杂技能。这篇论文不仅仅是让机器人学会打羽毛球，更重要的是它提供了一个通用的框架和方法，用于训练高自由度、多模态机器人执行需要精细全身协调的复杂动态任务，这对于推动通用型机器人的发展具有里程碑式的意义。

端到端自动驾驶技术与机器人技术存在深度的双向影响关系。自动驾驶早期大量借鉴了机器人的传感器技术、SLAM算法、路径规划算法（如A*和Dijkstra）及中间件系统（如ROS）。近年来，随着自动驾驶技术的数据驱动范式成熟，这种端到端AI方法正反向赋能机器人领域，特别是解决传统机器人在通用性和智能化方面的不足。自动驾驶的感知算法、规划架构、硬件成本优化及仿真工具等创新，为通用机器人提供了重要参考。两者在技术共通性、数据驱动方法、硬件传感器等方面持续相互促进，共同推动物理世界AI的实现。

自动驾驶轨迹规划方法主要分为横纵分离与横纵联合两种。横纵分离规划将运动分解为横向和纵向独立优化，计算效率高但忽略耦合效应；横纵联合规划则通过非线性模型预测控制处理耦合问题，能获得更优轨迹但计算复杂度高。两种方法各有优劣，发展趋势呈现混合架构方向，结合分离方法的实时性和联合优化的全局最优性，并引入数据驱动技术提升复杂场景的适应性。

大规模、最新的、细粒度的地图构建对于许多任务（如交通控制和自动驾驶）至关重要。为了通用和成本缩减（高精地图的更新），无图的方案这两年也逐步量产。与道路测绘相比，从卫星图像构建地图是一种高效的大规模地图构建方式，因为其覆盖范围广泛。尽管如此，解析卫星图像中的细粒度道路结构是一个极具挑战性的任务，原因包括：(1) 卫星图像的分辨率通常不足以进行细粒度车道线检测；(2) 现代城市中的车道线具有高度复杂的拓扑结构和基于功能的语义。这不仅对设计具有足够容量的模型提出了挑战，也使得构建细粒度数据集变得困难。

基础模型通过在大规模数据上进行预训练，学习到了丰富的语义信息和世界知识。与传统的特定任务模型不同，基础模型具有较强的通用性和迁移能力，能够应用于多种不同的下游任务。一方面，基础模型能够作为机器人系统的先验知识，减少对任务特定数据的依赖；另一方面，基础模型可以作为机器人系统的通用组件，实现感知、推理和规划等核心功能。

nuScenes 数据集在大模型训练中应用广泛，在很多CVPR或者其它论文中经常能看到使用nuScenes 数据集达到SOTA水平。在之前的博客中，笔者主要介绍了nuScenes数据集的来源和下载方式，本篇博客主要介绍如何使用nuScenes数据集。

nuScenes 数据集在大模型训练中应用广泛，在很多CVPR或者其它论文中经常能看到使用nuScenes 数据集达到SOTA水平。SOTA 水平即 “State of the Art” 水平，指的是在某一技术领域或特定任务中，当前所能达到的最高水平或最先进的状态。

轻舟智行在2024年5月份完成了为头部新势力车企客户NOA方案量产交付上车近40万，成为兼具规模化量产经验、交付量行业领先的中高阶智驾解决方案的提供商。其中，头部新势力车企客户，即是理想汽车。理想智驾产品“理想AD”有两个产品，分别对应的是“AD PRO”和“AD MAX”，其中，AD MAX具备城区和高速NOA功能，由理想智驾团队自研，AD PRO具备高速NOA功能，搭载轻舟智航方案。

无人驾驶汽车最早出现在DARPA的比赛中，从那个时刻开始，逐渐引起全球学者的注意，于是从上个世纪开始各大高校院所开始了无人汽车的研发。直到这两年，无人驾驶汽车才开始走进寻常百姓家，虽然目前市面上的乘用车还不是严格意义的上无人驾驶（只能算作L2级别），做到L4才是真正的无人驾驶。反而无人驾驶自行车因为应用场景很少，出现的更晚一些，本篇博客主要带领读者朋友们熟悉无人自行车的相关知识。

对于更高级别的自动驾驶，很多人都有不同的思考。最近在圈内一位知名的自动驾驶专家苏箐发表了他自己对于自动驾驶未来的思考。苏箐是地平线的副总裁兼首席架构师，同时也是高阶智能驾驶解决方案SuperDrive（HSD）的负责人。他此前在华为担任智能驾驶产品部部长，负责华为自动驾驶系统方案ADS的研发工作。苏箐在2022年10月加入地平线，并在2025年1月13日的地平线智驾科技畅想日上首次公开亮相。

球形机器人的研究团队：王酉教授，长期从事生物传感器、机器人和机器学习方面的研究和教学，在尖端技术及其产业化方面做出了卓越的工作；在机器人领域开展研究和教学，研制智能球形机器人并进行产业化。

自媒体电车通从2024年初开始推出智能化评测相关栏目，尤其是针对智能驾驶这一功能做了大量的实测工作；根据综合表现，给测试车型给出了能够直观展示其能力的评分。当评测的对象达到一定数量后，对整个国内车市智驾能力分级也有了基本的判断，不同车型智驾系统之间的评分分级，也在一定程度上还原了当下国内市场智驾的竞争格局。整体排名如下图所示（图侵删）：在上面的车机系统版本中，理想汽车还不是最新的大模型版本。

DDS和ROS都是分布式系统中的关键技术，但它们服务于不同的目的。DDS更侧重于数据分发和实时通信，而ROS提供了一个完整的机器人软件开发框架。在实际应用中，可以根据系统的需求和特性选择合适的技术。例如，DDS可能更适合于需要严格实时性和可靠性的自动驾驶车辆，而ROS可能更适合于需要灵活性和模块化的机器人研究项目。

Frenet坐标系是一种在几何学和物理学中常用的坐标系，它是由法国数学家Jean Frédéric Frenet在19世纪提出的，因此在数学和工程领域被广泛使用，特别是在轨迹规划和机器人控制中。（1）定义Frenet坐标系基于一个参考线建立，该参考线可以是任意曲线，但在自动驾驶运动规划中通常定义为道路的中心线。使用参考线的切线向量和法线向量建立一个直角坐标系，即Frenet坐标系。（2）组成曲线（法线）：Frenet坐标系中的曲线通常被称为“法线”，它是坐标系的基础。正交平面。

自动驾驶的迭代超过人们的想象，在之前博客中，笔者认为完整的端到端自动驾驶系统距离量产还需要一些年份，但是就在2024年3月31日特斯拉推送了FSD V12（Supervised）版本（端到端自动驾驶）。这个发展速度就像当时估计新能源车的渗透率一样，在2024年4月份，有机构统计新能源车的渗透率已经达到50%，比之前预估的时间点2035年提前了11年。在这一个月时间内，笔者也浏览了不少网站上的最新版本的视频。

2023.11.23这一天，华为智界S7的代客泊车视频火遍了全网，目前仅从视频内容来看实现了两大功能：（1）自主停到停车场目标车位；（2）自主从目标车位驶出停车场。之前也体验过问界M5的代客泊车，但那个版本的ADS2.0也只有AVP泊入的功能，并没有泊出停车场的功能。从视频所表现出来的低速巡航能力也比问界M5更强，第一次见自驾领域的 "" 的神级操作，有一点老司机的味道。所以借着这个话题，我们聊一聊行泊一体。

从20世纪70年代开始，自动驾驶技术在美国、英国、德国等发达国家就被开始进行研究，并在可行性和实用化方面取得了突破性的进展。2004年，美国国防高级研究计划局(The Denfense Advanced Research Project Agency， DARPA)在Mojave沙漠组织的自动驾驶挑战赛推动了自动驾驶领域的技术的快速发展。在过去几年，国内的百度、小马智行，华为，小鹏，蔚来等公司相继快速步入了全球自动驾驶技术研发的前列，可以说自动驾驶技术再次引领了整个汽车技术的突破。 在车辆智能

是一种结合了k-d树（k-dimensional tree）数据结构和FLANN（Fast Library for Approximate Nearest Neighbors）算法库的技术，主要用于高效地进行最近邻搜索等操作。KdTreeFLANN是Point Cloud Library (PCL)中的一个模块，它提供了基于kD-tree结构的快速最近邻搜索功能。以下是KdTreeFLANN的一些详细介绍：（1）KdTreeFLANN的定义和用途（2）KdTreeFLANN的主要成员函数（3）基本原理。

投影Project，即投影，涉及向量在某个方向上的分量计算。简单来说，一个向量在某个方向上的投影，等于该向量在该方向上的长度乘以该方向的单位向量。投影是向量分析中的一个重要概念，它有助于我们理解向量在特定方向上的表现。如果和点积Product，特别是点积（Dot product），是两个向量之间的一种运算。点积的结果是一个标量，表示两个向量的相似程度或夹角。具体来说，两个向量的点积等于它们的模的乘积再乘以它们夹角的余弦值。

std::lower_bound()是 C++ 标准库中的一个函数，用于在有序容器（如数组、向量等）中查找第一个不小于给定目标值的元素的位置。其中，'first' 和 'last' 是容器的迭代器范围，'value' 是要查找的目标值。std::lower_bound()函数返回一个迭代器，指向容器中第一个不小于目标值的元素。如果目标值不存在于容器中，则返回一个迭代器，指向第一个大于目标值的元素。自定义比较函数都是实现"

std::lock_guard 是 C++ 标准库中的一个模板类，它用于简化互斥体（mutex）的管理，确保在 std::lock_guard 的生命周期内，互斥体被正确锁定和解锁。这有助于防止由于程序员忘记解锁互斥体而导致的死锁和其他并发问题。模板参数std::lock_guard 是一个模板类，它接受一个互斥体类型作为模板参数。通常，这个互斥体类型会是 std::mutex，但也可以是其他满足互斥体要求的类型。

在入门自动驾驶领域的时候，笔者主要使用的工具是QT+ROS+Gazebo，在该行业工作一段时间之后，发现各家都有自己的仿真平台，但是如果要做城区的仿真，前面所说的工具链显然是不够便捷的。目前主要调研了两个开源的平台，第一个是 Autoware.universe，第二个就是国内Apollo平台，这次先说说Autoware平台。首先介绍Autoware的安装及使用，后面会大概说一下自己使用的感受。

在上一篇博文中介绍了Autoware的仿真，其中各模块的算法大家可以做些了解，但是和主流自驾公司还是有些区别，而且Apollo的算法相对来说还是更贴近量产方案的，因此本篇主要介绍Apollo最新版本8.0的安装调试。

最近Apollo更新了9.0的版本，从DreamView来看是比原来的版本酷炫了不少，优化的点还是不少的，欢迎大家品鉴。