搜索

开源 Strata 让 1250 亿参数模型跑在 12GB 显存的游戏电脑上

…几千个专家缓存在显存里，全部 24576 个专家钉在内存中，CPU 同时算那些没进显存的部分，SSD 上放一张约 29GB 的 n-gram 查找表做提示词预处理。再加上 MTP（多 token 预测）投机解码——小层先…

要闻·10月5日