自动驾驶大模型---HE-Drive类人端到端驾驶

1 前言

       现有基于模仿学习的规划器（如UniAD、VAD等）和轨迹评分器存在两大问题：

• 时间不一致性（Temporal Inconsistency）：连续时间步生成的轨迹在位置、速度、曲率等状态上缺乏连贯性（这个现象在很多论文中经常可以看到），导致控制指令频繁波动或违反车辆动力学约束。

• 舒适性不足：轨迹评分器难以量化人类驾驶的舒适度，常选择急刹或过度转向的轨迹，引发乘客不适。

        通过探究其根本原因，可以发现：

• 模仿学习模型受限于专家数据质量，泛化能力弱；

• 传统评分器依赖手工规则，无法适应动态场景。

        本篇博客所介绍的论文由地平线，香港大学以及中国科学院大学等高校联合发表，为什么要介绍这篇论文呢，首先其引入的扩散规划器和模型打分器是当前端到端中常见的模块，而且代码开源（目前端到端开源的仓库并不多），对于想学习的朋友们来说是非常友好的。

2 HE-Drive介绍

        HE-Drive是首个以人类为中心的端到端自动驾驶系统，旨在生成既具有时间一致性又舒适的轨迹。该系统通过稀疏感知提取关键的3D空间表示，并将其作为条件输入，用于基于条件去噪扩散概率模型（DDPM）的运动规划器，以生成时间一致性多模态轨迹。随后，视觉语言模型（VLM）引导的轨迹评分器从这些候选轨迹中选择最舒适的轨迹来控制车辆，确保类似人类的端到端驾驶体验。实验表明，HE-Drive在nuScenes和OpenScene数据集上实现了最先进的性能，并在真实世界数据上提供了最舒适的驾驶体验。

2.1 架构

（1）稀疏感知（Sparse Perception）

• 输入：多视角相机图像，通过视觉编码器提取特征。

• 输出：紧凑的3D场景表示（动态/静态物体检测、跟踪与在线建图），减少冗余信息传播。

        首先采用视觉编码器从输入的多视图相机图像中提取多视图视觉特征。然后通过稀疏感知同时执行检测、跟踪和在线地图任务，为周围环境提供更高效、更紧凑的 3D 表示。这种稀疏感知能够提取关键的三维空间信息，为后续的运动规划提供条件。

（2）基于扩散模型的运动规划器（Diffusion-based Motion Planner）

• 条件输入：3D场景表示 + 自车状态（速度、加速度、偏航角） + 历史轨迹。

• 扩散过程：

  • 前向过程：向真实轨迹添加高斯噪声；

  • 反向去噪：通过条件U-Net（含FiLM层）迭代生成多模态未来轨迹（3秒时长）。

        基于扩散的规划器，以稀疏感知网络提取的 3D 表示为条件，并结合历史预测轨迹的速度、加速度和偏航角等信息，生成具有时间一致性和多模态的轨迹。该规划器受扩散策略在机器人操作中成功应用的启发，利用条件去噪扩散概率模型（DDPM，下面补充概念），能够更好地捕捉潜在的因果关系，生成符合实际驾驶情况的轨迹。

（3）VLM引导的轨迹评分器（VLM-Guided Trajectory Scorer）

• 两阶段设计：

  • 阶段1：使用 Llama 3.2-Vision 11B 分析标注的驾驶场景图像，结合环境描述、驾驶风格（激进/保守）生成权重调整值，减少幻觉。

  • 阶段2：基于规则的评分器动态调整安全与舒适权重。

（4）补充DDPM

        什么是DDPM？去噪扩散概率模型（Denoising Diffusion Probabilistic Models，DDPM）是一种生成模型，在图像生成等任务中取得了显著的成功。

• 基本原理：
  • 前向过程（扩散过程）：这是一个向原始数据逐步添加高斯噪声的过程。从原始数据开始，随着时间步的增加，不断增加噪声的强度，最终使数据变得接近纯高斯噪声。例如，对于一张清晰的图片，不断添加噪声后，图片会逐渐变得模糊、失真，直至无法辨认，这个过程可以用数学公式来表示，逐步将原始数据转化为噪声数据。
  • 反向过程（去噪过程）：与前向过程相反，是从充满噪声的数据逐步恢复到原始数据的过程。通过训练一个神经网络来估计噪声，然后根据估计的噪声逐步去除，从而还原出原始数据。在每一个时间步，模型预测当前噪声数据中的噪声部分，并将其去除，逐步逼近原始数据。
• 训练过程：
  • 目标函数：DDPM 的训练目标是优化负对数似然的变分下界。通过让模型预测的分布尽可能接近真实数据的分布，来训练模型中的参数。具体来说，就是让模型能够准确地估计出每个时间步的噪声，使得去噪后的结果与原始数据相似。
  • 损失函数：通常使用均方误差（MSE）作为损失函数，计算模型预测的噪声与真实噪声之间的差异。通过不断调整模型的参数，减小这个差异，从而提高模型的去噪能力。
• 模型优势：
  • 生成质量高：能够生成高质量的样本，在图像生成任务中，可以生成细节丰富、逼真的图像，相比其他一些生成模型，如生成对抗网络（GAN），DDPM 的生成结果更加稳定，不容易出现模式崩溃等问题。
  • 易于训练：训练过程相对简单，不像 GAN 那样需要复杂的对抗训练过程，并且在训练过程中更容易收敛，减少了训练的难度和不稳定性。
  • 可扩展性强：可以很容易地扩展到不同的数据类型和任务中，例如可以用于文本生成、音频生成等领域，只需要根据具体的数据类型和任务特点进行适当的调整和优化。
• 应用领域：
  • 图像生成：这是 DDPM 的主要应用领域之一，可以生成各种类型的图像，如自然风景、人物、动物等。在艺术创作、设计、影视特效等方面具有广泛的应用前景。
  • 数据增强：可以用于生成新的数据样本，对现有的数据集进行增强，提高模型的泛化能力和鲁棒性。例如，在医学图像分析中，可以生成更多的医学图像样本，帮助医生更好地进行疾病诊断。
  • 其他领域：除了图像生成和数据增强，DDPM 还可以应用于音频合成、文本生成、异常检测等领域。

        DDPM 的输入条件包括紧凑的3D表示、自车状态，历史预测轨迹及其对应的速度、加速度和偏航角。串联条件，其中包括观测值及以上相关条件，使用FiLM注入网络的每个卷积层。这种通道式条件反射引导轨迹生成从自我位置到锚点位置。

2.2 结果

• 性能优势：在公开数据集（如 NuScenes 和 OpenScene）上进行测试，HE-DRIVE 实现了先进的性能和效率。与其他方法相比，它在平均碰撞率方面有显著降低，例如相比 VAD 减少了 71% 的平均碰撞率；在运行效率上，比 SparseDrive 快 1.9 倍。
• 舒适度提升：在真实世界数据集中，该系统将舒适度提升了 32%，能够为乘客提供更舒适的驾乘体验，这对于自动驾驶技术的实际应用具有重要意义。

3 总结

        总体而言，本篇博客所介绍的 HE-DRIVE 系统为端到端自动驾驶技术的发展提供了有价值的参考，对于提高自动驾驶的安全性、舒适性和实际应用能力有些参考意义，笔者的目的还是希望有兴趣的读者朋友熟悉下里面的扩散模型。

参考论文：《HE-DRIVE: Human-like end-to-end driving with vision language models》