大浪淘沙，自动驾驶目前主流的那些技术方向

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『自动驾驶』技术交流群

大浪淘沙，自动驾驶目前主流的那些技术方向

现在自动驾驶技术迭代期越来越短，从原来的单目3D到BEV，再到OCC，再到大模型和端到端，高阶智驾现阶段的技术点已经比较清晰。下面分享一些相关技术点的前沿工作。本文内容均出自『自动驾驶之心知识星球』，欢迎加入交流！

一、端到端自动驾驶

1.前沿工作

• 【Senna: 一种将LVLM（Senna-VLM）与端到端模型（Senna-E2E）相结合的自动驾驶系统】对两个数据集的广泛实验表明，Senna在规划性能上达到了最先进的水平；

• 【Ramble：具有强化学习的高交互交通场景中的端到端驾驶】Ramble在CARLA Leaderboard 2.0上实现了路线完成率和驾驶评分的最新性能；

• 【CARLA中的端到端自动驾驶全面综述】讨论了基于CARLA的最先进实现如何通过各种模型输入、输出、架构和训练范式解决端到端自动驾驶中遇到的各种问题；

• 【端到端预测和规划最新SOTA！一种用于端到端自动驾驶的新交互机制：PPAD】。

2.报告和行业大佬直播分享

大模型

1.前沿工作

• 【全面回顾当前关于L(V)LM在自动驾驶应用方面的研究】重点关注四个关键领域：模块化整合、端到端整合、数据生成和评估平台。

• 【自动驾驶中的大语言模型（LLM4AD）：概念、基准、仿真和实车实验】LLMs在提升自动驾驶技术各个方面的显著潜力，包括感知、场景理解、语言交互和决策；

• 【基于 LLM 驱动的鲁棒 RL 自动驾驶数据合成与策略调整】RAPID能够有效将LLM的知识整合到缩减版的RL策略中，以高效、适应性强且鲁棒的方式运行；

• 【大型语言模型会成为自动驾驶的灵丹妙药吗？】本文对LLM在自动驾驶系统中的潜在应用进行了详尽的分析。

2.报告和行业大佬直播分享

BEV感知

1.前沿工作

• 【nuScenes和nuScenes最新SOTA!】Focus on BEV: 基于自标定周期视图变换的单目BEV图像分割；

• 【MambaBEV：一种基于mamba2的BEV目标检测】还采用了端到端的自动驾驶范式来测试该模型的性能。模型在nuScenes数据集上表现出了相当好的结果：基础版本达到了51.7%的NDS；

• 【QuadBEV: 高效的多任务感知框架】它利用四个关键任务——3D目标检测、车道检测、地图分割和占用预测——之间共享的空间和上下文信息。

• 【nuScenes-360和DeepAccident-360最新SOTA！】OneBEV：利用一幅全景图像进行鸟瞰语义建图！在nuScenes-360和DeepAccident-360上分别达到了51.1%和36.1%的mIoU，取得了最先进的性能。

2.报告和行业大佬直播分享

Occupancy感知

1.前沿工作

• 【OccLoff框架：旨在“学习优化特征融合”以进行3D占用预测】具体提出了一种稀疏融合编码器和熵掩模，该编码器可以直接融合3D和2D特征，从而提高模型的准确性，同时减少计算开销；

• 【nuScenes最新占用预测SOTA! TEOcc: 一种基于Radar-相机多模态的时间增强占用预测网络】所提出的时间增强分支是一个即插即用的模块，能够轻松集成到现有的占用预测方法中以提升占用预测的性能；

• 【SyntheOcc: 通过扩散模型生成的系统，它通过在驾驶场景中以占据标签为条件来合成真实感和几何控制的图像】

• 【RELIOCC：一种旨在增强基于相机的占用网络可靠性的方法】首次从可靠性角度对现有的语义占用预测模型进行全面评估。显著提高了模型的可靠性，同时保持几何和语义预测的准确性。

2.报告和行业大佬直播分享

世界模型

1.前沿工作

• 【探索自动驾驶中视频生成与世界模型之间的相互作用：一项调查】探讨了这两种技术之间的关系，重点分析它们在结构上的相似性，尤其是在基于扩散的模型中，如何促进更准确和一致的驾驶场景模拟；

• 【从有效多模态模型到世界模型：探讨了MLMs的最新发展和挑战，强调它们在实现人工通用智能和作为通向世界模型的路径中的潜力】；

• 【nuPlan闭环规划新SOTA！AdaptiveDriver：一种基于模型预测控制（MPC）的规划器，可以根据BehaviorNet的预测展开不同的世界模型】将测试误差从6.4%减少到4.6%，即使应用于从未见过的城市；

• 【Vista：一个具有高保真度和多功能可控性的可泛化驾驶世界模型！】通过高效的学习策略，结合了一套多功能的控制方法，从高层次的意图（命令、目标点）到低层次的操作（轨迹、角度和速度），在超过70%的比较中优于最先进的通用视频生成器，并且在FID上超过最佳驾驶世界模型55%，在FVD上超过27%。

2.报告和行业大佬直播分享

自动驾驶仿真

1.前沿工作

• 【IGDrivSim，一个基于Waymax仿真器的基准】证明人工专家与自动驾驶智能体之间的感知差距会妨碍安全和有效驾驶行为的学习；

• 【WorldSimBench：双重评估框架来评估世界仿真器】包括显式感知评估和隐式操作评估，涵盖了从视觉角度的人工偏好评估和具身任务中的动作级评估，涉及三个代表性的具身场景：开放式具身环境、自动驾驶和机器人操作；

• 【CARLA2Real，这是一个易于使用的公共工具（插件），适用于广泛使用的开源CARLA仿真器】；

• 【2024最新，自动驾驶框架和仿真器综述】本文回顾了开源和商业自动驾驶框架及仿真器，介绍并比较了它们的特点和功能等，还从硬件不足、自动驾驶算法、场景生成、V2X、安全与性能以及联合仿真等角度，提出了AD框架和仿真器在近期未来的有前景的研究方向。

2.报告和行业大佬直播分享

本文内容均出自『自动驾驶之心知识星球』，欢迎加入交流！