谷歌 DeepMind 发布世界模型 Genie 4:实时互动世界带上原生音频
谷歌 DeepMind 10 月 27 日宣布推出世界模型 Genie 4,以研究预览形式先向受信任测试者开放;该模型生成可实时互动的模拟世界,并同步生成音乐、环境音与交互对话。

发生了什么
DeepMind 在官方博客中把 Genie 4 定位为新一代世界模型:用户推动一个事件后,模型模拟接下来世界如何响应、如何发声、人如何移动与交谈。Gemini Omni 锚定模拟中的外观与行为,其他 Gemini 模型提供维持场景连贯性的推理;DeepMind 称,理解并模拟世界是构建通用人工智能的关键一环。
四项能力构成这次更新:运行中的世界可用自然语言实时改写,天气、镜头、新人物或新物体都可在模拟继续时加入,Gemini 按周围场景适配提示,并在两次输入之间持续引导场景保持连贯;物理与人物方面,模型模拟空气动力学、碰撞等真实物理,人物移动更自然且可实时引导;音频方面,Genie 4 是 DeepMind 首个原生生成音频的实时世界模型,风声、海浪与角色对话随输入与事件实时变化;Gemini 3.8 Flash 在回路内担任引导角色,观察场景、把目标拆解为步骤、逐帧检查进度,计划随场景变化调整,DeepMind 还演示了 Gemini 4 Argon 与 Genie 4 结合,模拟 Apptronik 的 Apollo 人形机器人下一盘跳棋。
开放节奏分三步:研究预览先给受信任测试者,随后 Google AI Ultra 订阅者经 Project Genie 接入,Gemini API 与 Google AI Studio 的早期合作伙伴也在后续之列,Project Genie 已开放候补名单。DeepMind 称,Genie 4 生成的全部视频与音频都带有 SynthID 水印;同时承认该模型仍是早期实验模型,长时间运行、多轮复杂编辑或穿越场景后,视觉细节与物体恒常性可能漂移,复杂物理交互、实时音频准确度、清晰文字渲染与空间准确度仍在研究中。据报道,场景连贯约两分钟,为 Genie 3 的两倍。
关键事实
- 发布:谷歌 DeepMind 10 月 27 日在官方博客宣布 Genie 4,作者为 Raia Hadsell、Diego Rivas 与 Hang Qi。
- 形态:实时互动模拟世界,音乐、环境音与交互对话与画面同步生成,不是先渲染再配音的视频片段。
- 实时改写:运行中的世界可用自然语言改写天气、镜头、物体与人物,Gemini 按场景适配提示并持续引导。
- 引导回路:Gemini 3.8 Flash 在回路内观察场景、拆解目标、逐帧检查进度;Gemini Omni 锚定外观与行为。
- 开放节奏:研究预览先给受信任测试者,随后为 Project Genie 的 Google AI Ultra 订阅者与 Gemini API、Google AI Studio 早期合作伙伴,候补名单已开放。
- 水印与限制:全部生成视频与音频带 SynthID 水印;场景连贯据报道约两分钟,长时间运行后细节与物体恒常性可能漂移。
- 用途:DeepMind 列出的测试方向包括影视预演、游戏原型、机器人训练环境的快速场景生成。
为什么重要
世界模型从生成视频片段推进到可实时改写、可对话的模拟环境,影视预演、游戏原型与机器人训练获得同一类可交互的测试场景,场景一致性仍以分钟计。
相关公司谷歌
™