Cerebras 算出 3 万亿参数模型部署账：59 片晶圆

发生了什么

算账的起点是单片容量：一片 Cerebras WSE-3T 晶圆有 44GB 片上内存，而万亿参数模型的权重本身就需要数 TB。Cerebras 的解法是把模型按层拆开、把整层直接放进晶圆的片上内存，权重在推理过程中不再移动。

按 4-bit 量化计算，3 万亿参数的原始权重载荷除以 93 层，每层约 16GB。层类型决定一片晶圆装几层：线性注意力层不存键值缓存，一片可装两层；密集层需要为每个在途请求留键值缓存，一片只装一层，剩余空间留给缓存。69 个线性层占 35 片、24 个密集层占 24 片，合计 59 片。

晶圆之间按流水线连接：每片晶圆是一级流水线，处理完本级交给下一级，权重不动，晶圆间经 RDMA 以太网传递的是激活，每跳约 2 微秒。不同请求同时处在流水线的不同级上，Cerebras 称这种布局可支撑多万亿参数模型每秒 1000 至 2000 个以上的 token 输出速度。

关键事实

1. 示例模型为月之暗面的开源模型 Kimi K3，约 3 万亿参数、93 层，其中线性注意力层 69 个、密集层 24 个；文章明确称其为示意性例子。
2. 计算前提：4-bit 权重精度、8-bit KV 缓存、平均请求长度按 256k token 假设；每层约 16GB，单片 WSE-3T 晶圆片上内存 44GB。
3. 分层装法：线性注意力层每片装 2 层（2×16GB=32GB），69 层占 35 片；密集层每片装 1 层并留出 KV 缓存空间，24 层占 24 片；合计 59 片。
4. 流水线机制：权重留在片上不动，晶圆间经 RDMA 以太网传递的是激活，每跳约 2 微秒；多请求同时处在不同流水线级上，微批次可进一步提高总吞吐。
5. 速度数字为公司宣称：文章称该布局面向多万亿参数模型每秒 1000 至 2000 个以上的 token；文章未附该 59 片布局的实测性能、功耗或并发请求数，上述数字应按公司口径理解。