K2-Horizon 开源六款模型:旗舰 375B 参数,训练全程公开
IFM 的 K2 团队 11 月 16 日在 arXiv 发布 K2-Horizon:六款全开源语言模型,从 0.9B 稠密模型到 375B-A23B 混合专家模型,训练数据与全部代码一并公开。

发生了什么
模型覆盖从小到大六档:最小 0.9B 稠密模型,最大 375B-A23B 混合专家模型,每 token 激活 23B 参数;定位是通用推理与智能体工作,覆盖数学与科学、软件工程、深度研究与办公自动化。
技术上引入两项新设计:注意力值投影上做混合专家的 MoVA,以及 softplus 注意力门控;36B-A4B 模型同时用上两者,在同等数据训练的 32B 稠密模型面前接近持平,激活参数约为七分之一;Uno 无损扩散适配器在不用单独草稿模型的情况下把解码速度提高最多 2.2 倍。
开放程度按 LLM360 的开源定义:完整开发历史、每个训练阶段的中间检查点、预训练数据、训练日志,以及训练、评估与基础设施的全部代码,包括生产级 xLLM 训练框架与 RL360 强化学习框架;四款模型共享 22 万亿 token 预训练语料与同一配方,约 10 万亿 token 合成数据进入预训练。
关键事实
- 六款模型:0.9B 稠密到 375B-A23B 混合专家,每 token 激活 23B 参数
- MoVA:注意力值投影上做混合专家;softplus 注意力门控
- 36B-A4B:接近同数据 32B 稠密模型水平,激活参数约七分之一
- Uno:无损扩散适配器,解码提速最多 2.2 倍,无需单独草稿模型
- 语料:四款模型共享 22 万亿 token 预训练语料与同一配方;约 10 万亿 token 合成数据
- 开放范围:中间检查点、预训练数据、训练日志、xLLM 与 RL360 框架代码
- 发布:arXiv 2611.21003,2026 年 11 月 16 日提交;产物见 ifm.ai/k2 与 Hugging Face
为什么重要
六款模型从 0.9B 到 375B 全开源,四款共享 22 万亿 token 语料与同一配方,约 10 万亿 token 合成数据进入预训练。
订阅 HIMIAO视界
不用注册 · 随时退订推送通知
早报出来时,手机或电脑上弹一条提醒。不用留邮箱。
™