Gemini 4 Carbon 登顶 MathArena 数学榜:85.4% 居首,单题成本为对手 15 倍
MathArena 11 月 13 日更新榜单:Gemini 4 Carbon 以 85.4% 登顶,Fable 5.2 以 82.8% 居第二,GPT-6.1 Sol 以 80.6% 退至第三。

发生了什么
11 月 13 日,独立数学基准 MathArena 把 Gemini 4 Carbon 与 Claude Fable 5.2 的成绩加入榜单,榜首随之易主:此前居首的 OpenAI GPT-6.1 Sol 退至第三。榜单按预期表现排名,综合各题实测与统计估计。
按 The Decoder 11 月 14 日引述的榜单,Gemini 4 Carbon(high 档)预期表现 85.4%(±3.0 个百分点),单题成本 15.70 美元(±1.33 美元);Claude Fable 5.2(max 档)82.8%(±5.3),单题 40.20 美元;GPT-6.1 Sol(max 档)80.6%(±2.7),单题 1.07 美元。Carbon 于 11 月 10 日发布,Fable 5.2 于 11 月 9 日发布,Sol 于 9 月 29 日发布。
The Decoder 指出,Carbon 最常见的失败是超出时间限制,且几乎从不放弃作答:一次运行中,模型启动一个脚本后连续运行 11 个多小时未检查进度。最佳开源模型为 Moonshot AI 的 Kimi K3.1 Pro,54.3%,单题 3.70 美元。
关键事实
- 榜首:Gemini 4 Carbon(high 档),预期表现 85.4%(±3.0),单题成本 15.70 美元(±1.33),11 月 10 日发布
- 第二名:Claude Fable 5.2(max 档),82.8%(±5.3),单题 40.20 美元,11 月 9 日发布
- 第三名:GPT-6.1 Sol(max 档),80.6%(±2.7),单题 1.07 美元,9 月 29 日发布
- 成本对比:按测试所用推理档位,Carbon 单题成本约为 Sol 的 15 倍,Fable 5.2 约为 40 倍
- 失败模式:Carbon 最常见的失败是超出时间限制,几乎从不放弃作答;一次运行中脚本连续运行 11 个多小时
- 误差范围:三名选手误差范围重叠:Carbon 为 82.4% 至 88.4%,Fable 5.2 为 77.5% 至 88.1%,Sol 为 77.9% 至 83.3%
- 最佳开源模型:Kimi K3.1 Pro,54.3%(±5.8),单题 3.70 美元
为什么重要
登顶者单题成本 15.70 美元,约为第三名的 15 倍;三名选手误差范围重叠,榜首不等于性价比最高。
订阅 HIMIAO视界
不用注册 · 随时退订推送通知
早报出来时,手机或电脑上弹一条提醒。不用留邮箱。
™