™DeepSeek 开源推理框架 DeepInfer：把生产级推理引擎公开
DeepSeek 10 月 20 日在 GitHub 开源推理框架 DeepInfer（Apache 2.0 许可），这是驱动其线上生产服务的推理引擎，首批支持 DeepSeek-V4.1-Flash 模型，可运行于英伟达 Blackwell GPU 与华为昇腾 950 NPU。
发生了什么
据 SiliconANGLE 10 月 20 日报道，DeepSeek 当日在 X 上宣布开源推理框架 DeepInfer，代码已发布到 GitHub，采用 Apache 2.0 许可。DeepSeek 在随附的部署问答中称，DeepInfer 是"运行其大规模生产服务的高性能推理框架"，要解决的核心问题是"以合理的成本把模型送到大规模用户手中"。
首版 DeepInfer 只支持 DeepSeek-V4.1-Flash 一个模型，默认加载 10 月 17 日发布的 1017 快照版本。硬件方面同时支持英伟达 SM100（Blackwell）GPU 与华为昇腾 950 NPU，两者均为首发支持；Hopper 等更早的英伟达架构暂不在支持列表中。项目 README 注明，框架"最初主要基于 vLLM 构建"，并借鉴了 SGLang 与 TensorRT-LLM 的思路。
DeepSeek 同步发布了 deepseek-recipe——MIT 许可的分词编解码层（MarkTechPost）。开源后数小时内，GitHub 仓库收获数千星（AIWeekly 记录为超 5500 星、415 个 fork）。发布时间点恰在美国土安全部对联邦机构下达 DeepSeek 移除令的次日。
关键事实
- 开源许可：DeepInfer 采用 Apache 2.0 许可发布；配套的 deepseek-recipe 分词层采用 MIT 许可。
- 双芯片支持：首发支持英伟达 SM100 Blackwell GPU 与华为昇腾 950 NPU；官方公布的性能基准全部跑在英伟达芯片上，两个保证"相同输入输出完全一致"的功能只在英伟达硬件上可用（SiliconANGLE）。
- 生产数字：据 DeepSeek 自述：单个集群每天服务 155 万亿 token；按非高峰定价折算，单卡每小时产生约 38 美元收入；输入缓存命中率 96%。以上均为公司自报数字，未经第三方验证。
- 核心技术：投机解码 DSpark：草稿模型一次提议 5 个 token，置信度头预测主模型会接受哪几个，只把验证算力花在最可能的候选上；DeepSeek 估计生产负载下吞吐提升 4%–7%（SiliconANGLE）。
- 首版局限：仅支持离线推理；KV 缓存系统、prefill/decode 分离与负载均衡尚未包含在内（MarkTechPost）。
为什么重要
这是前沿实验室第一次把自家线上生产用的推理栈完整开源，同时把华为昇腾 950 放到与英伟达 Blackwell 同等支持位——推理成本账从此有了一本公开账本。