搜索

1. colibri 登 GitHub 热榜：纯 C 引擎在普通电脑跑 744B 模型

   

   为什么重要：colibri 把 744B 参数 MoE 模型的常驻内存压到约 9.9GB，8GB 内存的电脑即可启动这类模型，此前这类模型通常需要服务器级显存或内存配置。

   快讯·10月12日

2. 开源 Strata 让 1250 亿参数模型跑在 12GB 显存的游戏电脑上

   

   …电脑上，上线 12 天收获超 1.2 万 star；原理是 MoE 稀疏激活 + 专家分级 offload，RTX 5070 上最快 94 tokens/s。为什么重要：1250 亿参数模型可在 12GB 显存、32GB…

   要闻·10月5日