快讯

快讯·模型与产品·2026-11-18 20:08

K2-Horizon 开源六款模型:旗舰 375B 参数,训练全程公开

IFM 的 K2 团队 11 月 16 日在 arXiv 发布 K2-Horizon:六款全开源语言模型,从 0.9B 稠密模型到 375B-A23B 混合专家模型,训练数据与全部代码一并公开。

日出时分开阔沙漠地平线上的层叠山峦,前景一座现代玻璃研究建筑
AI 生成示意图

发生了什么

模型覆盖从小到大六档:最小 0.9B 稠密模型,最大 375B-A23B 混合专家模型,每 token 激活 23B 参数;定位是通用推理与智能体工作,覆盖数学与科学、软件工程、深度研究与办公自动化。

技术上引入两项新设计:注意力值投影上做混合专家的 MoVA,以及 softplus 注意力门控;36B-A4B 模型同时用上两者,在同等数据训练的 32B 稠密模型面前接近持平,激活参数约为七分之一;Uno 无损扩散适配器在不用单独草稿模型的情况下把解码速度提高最多 2.2 倍。

开放程度按 LLM360 的开源定义:完整开发历史、每个训练阶段的中间检查点、预训练数据、训练日志,以及训练、评估与基础设施的全部代码,包括生产级 xLLM 训练框架与 RL360 强化学习框架;四款模型共享 22 万亿 token 预训练语料与同一配方,约 10 万亿 token 合成数据进入预训练。

关键事实

  1. 六款模型:0.9B 稠密到 375B-A23B 混合专家,每 token 激活 23B 参数
  2. MoVA:注意力值投影上做混合专家;softplus 注意力门控
  3. 36B-A4B:接近同数据 32B 稠密模型水平,激活参数约七分之一
  4. Uno:无损扩散适配器,解码提速最多 2.2 倍,无需单独草稿模型
  5. 语料:四款模型共享 22 万亿 token 预训练语料与同一配方;约 10 万亿 token 合成数据
  6. 开放范围:中间检查点、预训练数据、训练日志、xLLM 与 RL360 框架代码
  7. 发布:arXiv 2611.21003,2026 年 11 月 16 日提交;产物见 ifm.ai/k2 与 Hugging Face

为什么重要

六款模型从 0.9B 到 375B 全开源,四款共享 22 万亿 token 语料与同一配方,约 10 万亿 token 合成数据进入预训练。
有用 这篇对你有帮助,就点一下
转给朋友生成一张分享图,发 X、微信、Telegram 都行

信源arXiv 2611.21003(2026-11-16);ExplainX(2026-11-18)。本文为公开信息整理,不构成任何投资建议。

本文来自 HIMIAO视界 · himiao.ai

今天能薅OpenAI Codex 学生额度:100 美元免费额度HIMIAO选购 →

订阅 HIMIAO视界

不用注册 · 随时退订

邮件

推送通知

早报出来时,手机或电脑上弹一条提醒。不用留邮箱。

HIMIAO选购薅羊毛周报:每周五一封,一周还有效的羊毛 5 分钟看完
  1. 评论加载中…
问问小喵