NVIDIA 发布基于 Cosmos 的 Physical AI 实时交互式世界模拟框架论文
Interactive World Simulation with Cosmos for Physical AI
NVIDIA 团队在 arXiv 发布论文（arXiv:2611.06627），提出将 Cosmos 世界基础模型改造为实时交互式世界模拟的共享框架。该框架通过响应动作和场景控制流式生成视觉观测，既可预测动作的视觉后果，也可基于外部模拟器维护的物理状态生成观测，示例覆盖相机导航、机器人操作、可控视频迁移和多视角自动驾驶模拟，代码、模型权重与项目网站均已开放。
NVIDIA 给出了基于 Cosmos 的实时交互式世界模拟框架，并开放代码与模型，可用于 Physical AI 的训练与评测环境搭建。
作者：NVIDIA: Anis Ahmad, Jon Allen, Malik Aqeel Anwar, Jesse Archer, Maciej Bala, Piotr Barejko, Aarti Basant, Dan Blick, Taras Bolzhelarskyi, Henry Che, Jin Chen, Yukang Chen, Tae Eun Choe, Yuzhu Dong, Nat Duca, Liang Feng, Francesco Ferroni, Xiao Fu, Mohit Gambhir, Vivek Goel, Rony Goldenthal, Aryaman Gupta, Ali Hassani, Nathan Hayes-Roth, Yong He, Michael Honke, Shengyu Huang, Wei Huang, DeLesley Hutchins, Suneel Indupuru, Pooya Jannaty, Jingyi Jin, Janmesh Kalra, Ashna Khetan, Xin Kong, Aleksandr Korovko, Hui Kuang, Zhengfei Kuang, George Kurian, Jean-Francois Lafleche, Jayjun Lee, Justin Leung, William Lew, Xiang Li, Zhaoshuo Li, Chen-Hsuan Lin, Ming-Yu Liu, Xiangyu Lu, Yuhang Lu, Martin Ding Ma, Qianli Ma, Aditya Mahajan, Miguel Martin, Janarbek Matai, Jonathan McCaffrey, Qing Miao, Ashkan Mirzaei, Mustafa Munir, Sangmin Oh, David Pankratz, Trung Pham, Marilyn Reeb, Gavriel State, Jiaxiang Tang, Shitao Tang, Yue Tang, Tolou Tavakkoli, Alexander Temirov, Hweimi Tsou, Sergei Vasilev, Thomas Volk, Andrew Z. Wang, Hao Wang, Shijie Wang, Zhonghao Wang, David Wehr, Shumian Xin, Mengyao Xu, Yao Xu, Shuai Yang, Sophia Zalewski, Pengcuo Zeren, Cindy Zha, Jing Zhang, Yuliya Zhautouskaya, Kaiwen Zheng, Andrew Zhu, Rick Zhuang
摘要:我们提出了一个共享框架，将 Cosmos 世界基础模型适配于 Physical AI 中的实时交互式世界模拟。该框架通过流式传输响应动作与场景控制的视觉观察，使用户和具身智能体能够与不断演化的虚拟环境交互。它既支持预测动作的视觉后果，也支持从外部模拟器维护的物理状态生成观察。我们在相机导航与机器人操作、可控视频迁移以及多视角自动驾驶车辆 (AV) 模拟中展示了这一方法。这些示例为开发用于 Physical AI 训练与评估的交互式虚拟环境提供了共同基础。我们的代码和模型检查点可在 this https URL 和 this https URL 获取。项目网站见 this https URL。
| 评论: | 项目网站：this https URL |
| 学科分类： | 人工智能 (cs.AI); 计算机视觉与模式识别 (cs.CV); 机器学习 (cs.LG); 机器人学 (cs.RO) |
| 引用方式： | arXiv:2611.06627 [cs.AI] |
| （本版本见 arXiv:2611.06627v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.06627 arXiv 发行的 DOI，经由 DataCite（注册中） |
提交历史
来自：Chen-Hsuan Lin [查看电子邮件]
[v1]
2026年11月4日 星期三 15:11:04 UTC (47,492 KB)
来源：arXiv cs.AI · arxiv.org