快讯

快讯·模型与产品·2026-11-15 20:14

欧盟 EUROPA 万亿参数模型在 JUPITER 超算开训:吞吐 14 倍提升

EUROPA 联盟公布,欧盟开源模型 EUROPA 在超算 JUPITER 上开展万亿参数训练试验:总参数 9519 亿,吞吐提升到每 GPU 每秒约 1300 token。

明亮的超算机房,两排白色服务器机架延伸到远处,天窗透入日光
AI 生成示意图

事件经过

EUROPA 由意大利公司 Domyn 牵头,联合弗劳恩霍夫 IAIS 与 IIS 组成联盟承建,是欧盟委员会 2026 年 6 月在“前沿 AI 大挑战”中选中的开源前沿模型项目,要求参数不低于 4000 亿、覆盖欧盟 24 种官方语言并符合《欧盟 AI 法案》。联盟在 PyTorch 官方博客与 Domyn 技术文章中公布了训练试验的细节。

试验配置为 9519 亿总参数的混合专家模型,74 层、384 个路由专家,每 token 激活 8 个专家,约 328 亿参数参与计算,序列长度 65536 token,约 99.5% 的参数用 Muon 优化器训练。团队在 JUPITER 的 Booster 模块上用 384 块 GH200(96 个节点)组成一个数据并行副本,四个副本共 1536 块 GPU。

团队把吞吐从每 GPU 每秒约 90 token 提升到约 1300 token,提高约 14 倍,办法包括 FlexShard、CPU 卸载激活检查点与 FSDP 全收集改动,相关修复已回馈给 PyTorch 与 TorchTitan。联盟同时说明,这些数字来自试验,正式训练开始前配置可能调整;权重、许可证、基准成绩与发布日期尚未公布,Domyn 9 月称发布目标为 2027 年下半年。

关键事实

  1. 模型:EUROPA,9519 亿总参数、每 token 激活 328 亿的混合专家模型
  2. 配置:74 层、384 个路由专家,每 token 激活 8 个;序列长度 65536 token;Muon 优化器
  3. 机器:JUPITER,欧洲首台百亿亿次超算,位于德国于利希;试验用 384 块 GH200(96 节点)每副本,共 1536 块
  4. 吞吐:从每 GPU 每秒约 90 token 提升到约 1300 token,提高约 14 倍
  5. 回馈:FlexShard 等修复已提交给 PyTorch 与 TorchTitan
  6. 背景:欧盟委员会 2026 年 2 月发起“前沿 AI 大挑战”,6 月 19 日选中 EUROPA 联盟;要求不低于 4000 亿参数、覆盖 24 种官方语言
  7. 限度:数字来自训练试验,正式训练前配置可能调整;权重、许可证、基准成绩与发布日期尚未公布

为什么重要

欧盟前沿模型首次在共享公共超算上跑到万亿参数规模,14 倍吞吐提升来自对开源训练栈的改动并已回馈上游;模型仍处试验阶段,权重与许可证未公布。
有用 这篇对你有帮助,就点一下
转给朋友生成一张分享图,发 X、微信、Telegram 都行

信源PyTorch 官方博客(2026-11-12);MACCUS(2026-11-15)。本文为公开信息整理,不构成任何投资建议。

本文来自 HIMIAO视界 · himiao.ai

今天能薅OpenAI Codex 学生额度:100 美元免费额度HIMIAO选购 →

订阅 HIMIAO视界

不用注册 · 随时退订

邮件

推送通知

早报出来时,手机或电脑上弹一条提醒。不用留邮箱。

HIMIAO选购薅羊毛周报:每周五一封,一周还有效的羊毛 5 分钟看完
  1. 评论加载中…
问问小喵