具身智能：千金难买数据贵，DemoGen一条抵万金

DemoGen：让机器人从一次演示学会“举一反三”——人工智能与机器人操作的效率革命

引言

想象一下，你只需向机器人展示一次如何将花插入花瓶，它就能自动学会在桌子上的任意位置完成类似任务。这听起来像科幻，但一项名为 DemoGen 的新技术正在让这一愿景成为现实。DemoGen 是一种全合成演示生成框架，能够从单一的人类动作演示生成大量虚拟数据，极大地减少了机器人学习所需的数据采集工作。这项技术不仅让机器人操作更智能，还大幅降低了成本。以下介绍 DemoGen 的工作原理、应用场景以及它如何为机器人管理和决策带来革新。

背景：为什么机器人学习需要大量数据？

机器人通过 视运动策略（visuomotor policy） 从视觉输入（比如摄像头捕捉的图像）预测动作，广泛应用于抓取、搬运等任务。然而，这些策略需要大量人类演示数据来覆盖不同的场景。例如，要让机器人在桌面上任意位置拿起一个杯子，需要在各种位置反复演示。这种数据采集耗时耗力，尤其是在现实世界中，机器人操作成本高昂。

此外，传统方法如 MimicGen 依赖 机器人回放（on-robot rollouts），即让机器人实际执行动作来验证新生成的演示数据。这相当于每次生成新数据都要“请教”机器人，成本几乎与采集新演示一样高。更关键的是，机器人策略往往缺乏 空间泛化能力，即在训练中未见过的物体位置上表现不佳。这意味着需要更多演示来“填满”空间，数据需求进一步增加。

DemoGen 的出现正是为了解决这些问题。它通过合成数据生成，极大地减少了人类和机器人的工作量，同时提升了机器人的泛化能力。

DemoGen 是什么？它如何工作？

核心理念

DemoGen 是一个全合成的数据生成系统，只需一个人类演示，就能生成大量适应不同物体位置的虚拟演示数据。这些数据可以用来训练机器人策略，让它学会在未见过的场景下完成任务。DemoGen 的核心在于 任务与运动规划（TAMP） 和 3D 点云编辑，通过模块化设计实现高效的数据生成。

比喻：如果把人类演示比作一幅画，DemoGen 就像一个智能画师，能根据这幅画“临摹”出无数变体，改变物体的位置、角度，却保持动作的正确性。

工作流程

1. 输入单一演示
   用户提供一次人类演示，例如用机械臂将花插入花瓶。这包含一系列 观察-动作对，其中观察是 3D 点云（捕捉场景的空间信息），动作是机械臂的位姿和夹爪命令。

2. 动作适配
   DemoGen 将演示的动作轨迹分解为：

   • 运动段：在自由空间的移动，比如手臂移向花。
   • 技能段：涉及物体接触的操作，比如抓取花或插入花瓶。
     技能段会整体变换以适应新的物体位置，而运动段通过运动规划算法（如 RRT-Connect）重新连接，确保动作流畅。
     数学公式：技能段变换为 ${\hat{\mathbf{A}}}^{\mathrm{EE}}[{\tau }_k^c]={\mathbf{A}}^{\mathrm{EE}}[{\tau }_k^c]\cdot ({\mathbf{T}}_0^{O_k}{)}^{-1}\cdot {\mathbf{T}}_0^{O_k^{\prime }}$，其中 $\mathbf{T}$ 表示物体位姿。

3. 观察生成
   DemoGen 使用 3D 点云作为视觉输入，通过分割（DBSCAN 聚类）识别物体和机械臂的点云簇。然后，根据新的物体配置对点云进行 3D 变换，生成合成观察。
   阶段划分：

   • 待操作：物体静止，按新位置变换。
   • 操作中：物体与机械臂合并，按动作状态变换。
   • 完成：物体保持最终状态。

4. 训练策略
   生成的观察-动作对用于训练视运动策略（如 3D Diffusion Policy, DP3）。训练固定 200 万步，优化器为 AdamW，学习率 $10^{-4}$，确保公平比较。

DemoGen 的“魔法”：实验结果揭秘

DemoGen 在仿真和现实世界中都展现了惊人的效果。以下是它的表现亮点：

仿真实验：从一次演示到广泛泛化

在 MetaWorld 基准的 8 个任务（如抓立方体、按按钮）中，DemoGen 从单一演示生成 100-200 条合成演示，平均成功率达 88%，最高 91%。相比之下：

• 单一演示：成功率仅 13%。
• 10 条人类演示：68%。
• 25 条人类演示：91%。

DemoGen 的性能接近 25 条人类演示，意味着它减少了 20 倍 的数据采集工作。

Source: Xue, Z., et al. [1], Section V, Table I

现实世界：从单臂到双臂，覆盖多种任务

在现实世界的 8 个任务中（如用铲子翻蛋、将水果放入篮子），DemoGen 在单臂（Franka Panda）和双臂（Galaxea R1）平台上测试，平均成功率 74.6%，最高 90.8%（Fruit-Basket 任务）。相比单一演示（11%），提升显著。

案例：

• Spatula-Egg：用铲子翻蛋，成功率 88%。
• Fruit-Basket：双臂操作，支持 45°-135° 的方向偏移，成功率 90.8%。
• Dex-Drill 和 Dex-Coffee：因高精度要求，成功率较低（55.6% 和 40%）。

DemoGen 还支持第一人称和第三人称视角，处理刚体、变形体和液体，展现了广泛的适用性。

扩展能力：应对扰动与障碍

DemoGen 不仅提升空间泛化，还通过扩展赋予机器人额外能力：

• 扰动抗性：在 Sauce-Spreading 任务中，DemoGen 的 ADR 策略（模拟扰动）使酱料覆盖率达 61.2%，接近人类专家（65.2%），远超常规策略（34.2%）。
• 障碍规避：在 Teddy-Box 任务中，DemoGen 生成的避障演示让机器人在 22/25 次试验中成功绕过障碍。

为什么 DemoGen 如此高效？

低成本生成

DemoGen 的生成速度极快，每条轨迹仅需 0.01 秒，整个数据集约 22 秒。相比之下，MimicGen 需要 2.1 分钟/轨迹，总计 83.7 小时，且依赖人类干预和机器人回放。DemoGen 的全合成流程无需物理操作，成本低至忽略不计。

优于基线

DemoGen 超越了多种基线：

• 单一/多演示：比 1-3 条演示提升巨大，接近 25 条的效果。
• MimicGen：无需回放，效率更高。
• 2D 策略：3D 点云（DP3）优于 2D 图像（DP），即使使用预训练编码器（CLIP、DINOv2）也无法匹敌。

闭环能力

DemoGen 保留了视运动策略的 闭环重规划 能力。例如，在 Dex-Rollup 任务中，机器人根据塑料ine的塑性动态调整包裹次数（2-5 次），展现了灵活性。

局限性与未来展望

局限性

尽管 DemoGen 表现优异，仍有改进空间：

• 视觉失配：单一视角的点云无法捕捉物体全貌，导致远距离配置的合成观察与真实观察差异增大，引发性能饱和。
• 点云分割依赖：在杂乱环境中，点云分割可能失败。
• 高精度任务：如 Dex-Drill，精度要求高时性能受限。
• 适用范围：不适合无需空间泛化的任务（如手内重定向）。

未来方向

• 缓解视觉失配：使用对比学习或 3D 生成模型提升点云真实性。
• 多源演示：探索最优的人类演示数量。
• 复杂环境：改进分割算法，适应杂乱场景。
• 动态任务：支持目标变化的任务。
• 移动机器人：扩展到移动操作场景。

结论

DemoGen 是一项突破性的技术，通过全合成的数据生成，从一次人类演示生成大量空间增强的演示，极大地提升了机器人视运动策略的空间泛化能力。它不仅降低了数据采集成本，还支持单臂、双臂、灵巧手等多种平台，覆盖刚体到液体等任务。实验证明，DemoGen 减少了 20 倍的人类工作量，同时赋予机器人扰动抗性和避障能力。尽管面临视觉失配等挑战，未来的改进将使其更广泛地应用于智能制造、家庭服务等领域。

DemoGen 让我们看到，人工智能与机器人技术的结合，正以前所未有的效率，推动着“从一次演示到举一反三”的未来。

参考文献

[1] Xue, Z., Deng, S., Chen, Z., Wang, Y., Yuan, Z., & Xu, H. (2024). DemoGen: Synthetic Demonstration Generation for Data-Efficient Visuomotor Policy Learning. Available at: demo-generation.github.io