英伟达放出 Cosmos 3 四款开放权重：16B 世界模型覆盖驾驶数据与机器人仿真

事件经过

这次发布分两步走。11 月 2 日，英伟达先在技术博客里介绍 Cosmos 平台的扩展：Cosmos Framework 从 Cosmos 3 向外覆盖 Alpamayo、GR00T、Qwen、pi0.5 等兼容模型，新增 DPO、GRPO、PPO 等强化学习管线与 Cosmos NIM 部署容器；11 月 5 日，四款检查点在 Hugging Face 上线，同日英伟达举办 Cosmos Labs 直播演示用法。Cosmos 是英伟达面向物理 AI 的世界基础模型与开发工具平台，Framework 提供训练、优化与推理配方，NIM 提供 GPU 加速的部署容器。

两款检查点面向自动驾驶。Transfer-Auto 是双向模型，做离线合成驾驶数据：同步生成最多 11 路摄像头画面（含鱼眼镜头）与激光雷达点云，开发者用逐路世界场景地图（WSM）设定道路布局与交通行为，再用文字提示调整画面外观；支持 30fps 输入与输出视频，单段最长 400 帧（480p 或 720p），更长序列用自回归分块拼接。Sim-Auto 是 Transfer-Auto 的因果蒸馏流式版本，数个去噪步骤生成一小段同步摄像头视频与激光雷达数据，配合仿真运行环境与 WSM 渲染器，把驾驶策略的动作接回场景，支持长时间交互式推演与闭环评估。

另外两款面向机器人。Sim-Transfer 把物理仿真器的控制信号与文字提示转为写实 RGB 视频：深度、分割、边缘与模糊四类空间控制保留仿真器的物理状态，画面外观由文字引导，策略直接消费生成的画面。Sim-Bimanual 根据双臂机器人或摄像头的动作预测下一帧画面，支持 YAM 与远征 AgiBot 两种双臂机器人形态，一段控制序列可切换视角变化与抓取操作，混合动作示例使用 59 个控制值（训练时补齐至 64 个）。博客还提到手术仿真方向：Cosmos3-H-Embodied-Nano 可从机器人动作生成手术视频、从视频预测动作或两者并行，Cosmos3-H-Dreams 是面向实时闭环的蒸馏版本。

训练与运行账一并公开。四款检查点共享四阶段训练配方：双向适配、教师强制、一致性蒸馏（每段四步去噪）与自生成历史训练，最后一步让模型在自身生成的历史上训练，以减缓误差累积；后训练配方与推理权重一并放出，开发者可用自有数据适配自家传感器布局与机器人形态。架构为 Mixture-of-Transformers，文本处理与视觉生成网络以注意力连接。运行需 Linux、英伟达 GPU、Docker 与英伟达容器工具包；英伟达技术博客给出的显存表显示，Cosmos 3 Nano 生成任务在 BF16 下需 58 GiB、FP8 下 44 GiB、FP8 加卸载为 31 GiB。技术报告给出的演示数据称，Sim-Bimanual 在 480p、单张 GB300 上达到 48.1fps、延迟 166 毫秒。

各方表态

Hugging Face 博客把这次发布定位为给研究者与开发者一个共享起点，称开放权重与后训练配方可供适配模型、比较方法并贡献改进；同时写明接下来的工作是测清模型在哪些方面能可靠支撑策略学习与评估、理解它们的限度，并在不足之处加以改进。

这些问题仍然很难：接下来的工作是测清模型在哪些方面能可靠支撑策略学习与评估，理解它们的限度，并在不足之处加以改进。

— Hugging Face 官方博客（英伟达 Cosmos 团队）

英伟达技术博客称，物理 AI 开发者面临两类挑战：把模型适配到自家传感器、任务与数据，以及把模型可靠地落到应用里；Cosmos 平台同时处理这两类问题，Framework 覆盖训练、强化学习、优化与推理的完整开发周期，NIM 负责加速部署。博客还称，Cosmos Framework 正在从 Cosmos 3 向外扩展到更多兼容模型，推理支持 PyTorch 与 vLLM-Omni，并在 Hopper 与 Blackwell GPU 上测试。

独立报道一侧提醒了这次发布的限度：博客为 Hugging Face 上的合作内容，英伟达之外无人独立测过这些检查点的画面质量；英伟达没有公布评估代码与误差范围，演示数据描述的是特定硬件配置下的表现。报道同时指出，四款检查点一次放出，给物理 AI 团队提供了不同的入口，而不是一个演示模型。

关键事实

1. 发布方与时间：英伟达，2026 年 11 月 5 日；检查点发布于 Hugging Face，技术博客 11 月 2 日刊出，同日举办 Cosmos Labs 直播
2. 四款检查点：Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer、Cosmos3-Nano-Sim-Bimanual，均为 Cosmos 3 Nano 的后训练版本
3. 参数量：每款均为 160 亿可训练参数；架构为 Mixture-of-Transformers，文本处理与视觉生成网络以注意力连接
4. 许可：OpenMDW1.1，允许商业与非商业使用（以许可条款为准）
5. Transfer-Auto：离线合成驾驶数据，同步生成最多 11 路摄像头画面（含鱼眼）与激光雷达点云；逐路世界场景地图控制道路布局与交通行为；30fps，单段最长 400 帧（480p 或 720p）
6. Sim-Auto：Transfer-Auto 的因果蒸馏流式版本，数个去噪步骤生成一小段同步摄像头视频与激光雷达数据，支持长时间交互式推演与闭环评估
7. Sim-Transfer：物理仿真器控制信号加文字提示，转为写实 RGB 视频；深度、分割、边缘、模糊四类空间控制，物理状态留在仿真器
8. Sim-Bimanual：根据双臂机器人或摄像头动作预测下一帧画面；支持 YAM 与远征 AgiBot 形态，策略或人工摇杆控制；混合动作示例使用 59 个控制值；技术报告演示数据为 480p、单张 GB300 上 48.1fps、延迟 166 毫秒
9. 训练配方：四阶段——双向适配、教师强制、一致性蒸馏、自生成历史训练；后训练配方与推理权重一并放出，可适配自家传感器与机器人形态
10. 运行要求与限度：运行需 Linux、英伟达 GPU、Docker 与英伟达容器工具包；Cosmos 3 Nano 生成任务显存为 BF16 58 GiB、FP8 44 GiB、FP8 加卸载 31 GiB；英伟达表示，模型能否可靠支撑策略学习与评估仍需实测