快讯

快讯·模型与产品·2026-11-06 20:05

百度放出文心 5.5 Flash 基础版权重:2800 亿参数,每 token 激活 140 亿

百度 11 月 5 日在 Hugging Face 发布 ERNIE 5.5 Flash Base 权重:2800 亿总参数、每 token 激活 140 亿的稀疏混合专家模型,以 FP8 与 BF16 两种精度提供下载。

阳光明亮的 AI 实验室里,工程师面对显示神经网络的大屏幕
百度 ERNIE 5.5 Flash Base 权重发布(AI 生成示意图)

发生了什么

权重上线 Hugging Face 仓库 baidu/ERNIE-5.5-Flash-Base,同时上架 ModelScope。模型卡写明,这是预训练终点的检查点,尚未经过中间训练与后训练,定位为开发者继续做领域适配、指令微调与强化学习的共同起点。百度此前已开放 ERNIE 4.5,此次为文心 5.5 系列首次公开权重。

架构围绕效率设计:43 层中 1 层稠密前馈、42 层多路由潜在混合专家,每层 512 个路由专家、每 token 选 10 个加 1 个共享专家;37 层用重度压缩注意力(HCA),每 128 个 token 只缓存一条记录,6 层用多头潜在注意力;预训练用 33.5 万亿 token 从零开始,优化器为 Muon,训练上下文 12.8 万 token,微调与推理可扩至 100 万 token。

部署与许可条件一同公开。权重分 FP8 与 BF16 两个版本,支持 SGLang 与 vLLM 部署,百度还发布了面向 vLLM 0.32.0 的 vLLM-ERNIE 插件。许可证为百度自拟的 ERNIE 5.5 Flash Base 模型许可协议 v1.0,适用地区不含欧盟、英国与韩国,商用与非商用按实际用途区分。百度称完整指令版 ERNIE 5.5 Flash 将在后续更新中发布。

关键事实

  1. 发布方与时间:百度,2026 年 11 月 5 日;Hugging Face 仓库 baidu/ERNIE-5.5-Flash-Base,同时上架 ModelScope
  2. 规模:280B 总参数,每 token 激活 14B(约 5%);43 层,512 个路由专家,每 token 选 10 个加 1 个共享专家
  3. 训练:33.5 万亿 token 从零预训练;Muon 优化器;训练上下文 12.8 万 token,微调与推理可扩至 100 万 token
  4. 注意力:37 层 HCA(每 128 token 缓存一条)+ 6 层 MLA-DSA;FlashMask-4 内核
  5. 定位:纯文本基座模型,未做指令微调;供继续预训练、微调与强化学习
  6. 基准(百度自报,统一评测流程):MMLU 93.3、MMLU-Pro 78.4、HumanEval+ 82.3、LiveCodeBench 40.1;对照 DeepSeek-V4-Flash-Base 为 89.4、69.2、69.5、31.9
  7. 部署:FP8 与 BF16 两种权重;支持 SGLang 与 vLLM;vLLM-ERNIE 插件面向 vLLM 0.32.0
  8. 许可:ERNIE 5.5 Flash Base 模型许可协议 v1.0;适用地区不含欧盟、英国与韩国
  9. 后续:完整指令版 ERNIE 5.5 Flash 将在后续更新中发布

为什么重要

2800 亿总参数只激活 140 亿,百度把预训练终点权重直接交给开发者;许可证把欧盟、英国与韩国排除在适用地区之外,开放附带边界。
有用 这篇对你有帮助,就点一下

信源Hugging Face 模型卡(2026-11-05);Hugging Face 许可证原文(2026-11-05);ChinaTechNews(2026-11-06)。本文为公开信息整理,不构成任何投资建议。

本文来自 HIMIAO视界 · himiao.ai

订阅 HIMIAO视界

不用注册 · 随时退订

邮件

推送通知

早报出来时,手机或电脑上弹一条提醒。不用留邮箱。

  1. 评论加载中…
问问小喵