欧盟 EUROPA 万亿参数模型在 JUPITER 超算开训:吞吐 14 倍提升
EUROPA 联盟公布,欧盟开源模型 EUROPA 在超算 JUPITER 上开展万亿参数训练试验:总参数 9519 亿,吞吐提升到每 GPU 每秒约 1300 token。

事件经过
EUROPA 由意大利公司 Domyn 牵头,联合弗劳恩霍夫 IAIS 与 IIS 组成联盟承建,是欧盟委员会 2026 年 6 月在“前沿 AI 大挑战”中选中的开源前沿模型项目,要求参数不低于 4000 亿、覆盖欧盟 24 种官方语言并符合《欧盟 AI 法案》。联盟在 PyTorch 官方博客与 Domyn 技术文章中公布了训练试验的细节。
试验配置为 9519 亿总参数的混合专家模型,74 层、384 个路由专家,每 token 激活 8 个专家,约 328 亿参数参与计算,序列长度 65536 token,约 99.5% 的参数用 Muon 优化器训练。团队在 JUPITER 的 Booster 模块上用 384 块 GH200(96 个节点)组成一个数据并行副本,四个副本共 1536 块 GPU。
团队把吞吐从每 GPU 每秒约 90 token 提升到约 1300 token,提高约 14 倍,办法包括 FlexShard、CPU 卸载激活检查点与 FSDP 全收集改动,相关修复已回馈给 PyTorch 与 TorchTitan。联盟同时说明,这些数字来自试验,正式训练开始前配置可能调整;权重、许可证、基准成绩与发布日期尚未公布,Domyn 9 月称发布目标为 2027 年下半年。
关键事实
- 模型:EUROPA,9519 亿总参数、每 token 激活 328 亿的混合专家模型
- 配置:74 层、384 个路由专家,每 token 激活 8 个;序列长度 65536 token;Muon 优化器
- 机器:JUPITER,欧洲首台百亿亿次超算,位于德国于利希;试验用 384 块 GH200(96 节点)每副本,共 1536 块
- 吞吐:从每 GPU 每秒约 90 token 提升到约 1300 token,提高约 14 倍
- 回馈:FlexShard 等修复已提交给 PyTorch 与 TorchTitan
- 背景:欧盟委员会 2026 年 2 月发起“前沿 AI 大挑战”,6 月 19 日选中 EUROPA 联盟;要求不低于 4000 亿参数、覆盖 24 种官方语言
- 限度:数字来自训练试验,正式训练前配置可能调整;权重、许可证、基准成绩与发布日期尚未公布
为什么重要
欧盟前沿模型首次在共享公共超算上跑到万亿参数规模,14 倍吞吐提升来自对开源训练栈的改动并已回馈上游;模型仍处试验阶段,权重与许可证未公布。
订阅 HIMIAO视界
不用注册 · 随时退订推送通知
早报出来时,手机或电脑上弹一条提醒。不用留邮箱。
™