百度放出文心 5.5 Flash 基础版权重:2800 亿参数,每 token 激活 140 亿
百度 11 月 5 日在 Hugging Face 发布 ERNIE 5.5 Flash Base 权重:2800 亿总参数、每 token 激活 140 亿的稀疏混合专家模型,以 FP8 与 BF16 两种精度提供下载。

发生了什么
权重上线 Hugging Face 仓库 baidu/ERNIE-5.5-Flash-Base,同时上架 ModelScope。模型卡写明,这是预训练终点的检查点,尚未经过中间训练与后训练,定位为开发者继续做领域适配、指令微调与强化学习的共同起点。百度此前已开放 ERNIE 4.5,此次为文心 5.5 系列首次公开权重。
架构围绕效率设计:43 层中 1 层稠密前馈、42 层多路由潜在混合专家,每层 512 个路由专家、每 token 选 10 个加 1 个共享专家;37 层用重度压缩注意力(HCA),每 128 个 token 只缓存一条记录,6 层用多头潜在注意力;预训练用 33.5 万亿 token 从零开始,优化器为 Muon,训练上下文 12.8 万 token,微调与推理可扩至 100 万 token。
部署与许可条件一同公开。权重分 FP8 与 BF16 两个版本,支持 SGLang 与 vLLM 部署,百度还发布了面向 vLLM 0.32.0 的 vLLM-ERNIE 插件。许可证为百度自拟的 ERNIE 5.5 Flash Base 模型许可协议 v1.0,适用地区不含欧盟、英国与韩国,商用与非商用按实际用途区分。百度称完整指令版 ERNIE 5.5 Flash 将在后续更新中发布。
关键事实
- 发布方与时间:百度,2026 年 11 月 5 日;Hugging Face 仓库 baidu/ERNIE-5.5-Flash-Base,同时上架 ModelScope
- 规模:280B 总参数,每 token 激活 14B(约 5%);43 层,512 个路由专家,每 token 选 10 个加 1 个共享专家
- 训练:33.5 万亿 token 从零预训练;Muon 优化器;训练上下文 12.8 万 token,微调与推理可扩至 100 万 token
- 注意力:37 层 HCA(每 128 token 缓存一条)+ 6 层 MLA-DSA;FlashMask-4 内核
- 定位:纯文本基座模型,未做指令微调;供继续预训练、微调与强化学习
- 基准(百度自报,统一评测流程):MMLU 93.3、MMLU-Pro 78.4、HumanEval+ 82.3、LiveCodeBench 40.1;对照 DeepSeek-V4-Flash-Base 为 89.4、69.2、69.5、31.9
- 部署:FP8 与 BF16 两种权重;支持 SGLang 与 vLLM;vLLM-ERNIE 插件面向 vLLM 0.32.0
- 许可:ERNIE 5.5 Flash Base 模型许可协议 v1.0;适用地区不含欧盟、英国与韩国
- 后续:完整指令版 ERNIE 5.5 Flash 将在后续更新中发布
为什么重要
2800 亿总参数只激活 140 亿,百度把预训练终点权重直接交给开发者;许可证把欧盟、英国与韩国排除在适用地区之外,开放附带边界。
相关公司百度
订阅 HIMIAO视界
不用注册 · 随时退订推送通知
早报出来时,手机或电脑上弹一条提醒。不用留邮箱。
™