NVIDIA OmniDreams 发布实时生成式世界模型用于闭环自动驾驶仿真
NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation
NVIDIA 团队提出 OmniDreams，一个从 Cosmos diffusion 模型中训练和后训练的生成式世界模型，可实时自回归生成动作条件视频，并利用 21k 小时驾驶场景数据合成极端天气和不可预测动态行为等传统模拟器难以捕捉的现象。
原文给出用生成式世界模型做闭环自动驾驶仿真和作为策略骨干的初步结果，读者可了解其训练规模与参数效率。
作者：Aarti Basant, Amlan Kar, Despoina Paschalidou, Fangyin Wei, Francesco Ferroni, Guillermo Garcia Cobo, Haithem Turki, Huan Ling, Jaewoo Seo, James Lucas, Jay Zhangjie Wu, Jialiang Wang, Jonathan Lorraine, Jun Gao, Kai He, Katarina Tothova, Kevin Xie, Michal Tyszkiewicz, Qi Wu, Riccardo de Lutio, Ruilong Li, Sanja Fidler, Seung Wook Kim, Tianchang Shen, Tianshi Cao, Tobias Pfaff, William Lew, Xindi Wu, Xuanchi Ren, Yifan Lu, Yuxuan Zhang, Zan Gojcic, Zian Wang
摘要：随着自动驾驶车辆能力的提升，在长尾场景中对驾驶策略进行安全评估仍然是一个关键瓶颈。在闭环仿真中，驾驶策略模型主动与环境交互，其动作会动态更新仿真器状态，并直接影响下一组生成的传感器观测结果。尽管近年来基于重建的神经仿真器能够提供照片级真实感，但它们从根本上受限于初始采集的数据，难以泛化到高度动态或全新的场景。为克服这些局限，我们提出了 OmniDreams，一个基础生成式世界模型，它从 Cosmos 扩散模型出发进行中期训练和后期训练，以实时自回归地生成动作条件化视频。通过利用 Cosmos 丰富的视觉先验，以及在 21k 小时驾驶场景上的中期训练和后期训练，OmniDreams 能够合成传统仿真器难以捕捉的复杂、未被观测到的现象，例如极端天气和不可预测的动态智能体行为。至关重要的是，它以过去的帧、当前仿真器状态和即时驾驶动作为条件，自回归地生成照片级真实感的传感器数据。OmniDreams 部署在与 Alpamayo 1 策略模型和 AlpaSim 编排器组成的闭环系统中，作为一个高度响应、可反应的环境，为训练和评估下一代自动驾驶策略提供了可扩展且全面的解决方案。我们还展示了初步结果，表明从 OmniDreams 后期训练得到的世界-动作模型（WAM）在 Physical AI Autonomous Vehicles NuRec 数据集上取得了强劲表现，在仅使用 1/5 总参数量的情况下超越了基于 VLA 的 Alpamayo 1.5 研究策略模型。这些结果凸显了像 OmniDreams 这样的实时世界模型作为策略架构骨干的潜力。
| 评论： | 研究博客：此 https URL，GitHub：此 https URL，模型权重：此 https URL |
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用方式： | arXiv:2606.03159 [cs.CV] |
| （本版本为 arXiv:2606.03159v4 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2606.03159 通过 DataCite 提供的 arXiv 签发 DOI |
提交历史
来自：Jialiang Wang [查看邮件]
[v1]
2026年6月2日 星期二 05:11:05 UTC（45,358 KB）
[v2]
2026年7月23日 星期四 22:35:14 UTC（22,680 KB）
[v3]
2026年9月23日 星期三 19:11:35 UTC（22,679 KB）
[v4]
2026年11月12日 星期四 05:36:26 UTC（22,680 KB）
来源：arXiv cs.AI · arxiv.org