最后更新 2026-11-20
EN 简体 繁體

Claude Fable 5.2 基准全盘点:AA 65 分与三口径陷阱

ModelBrief · 2026-11-15 发布 · 事实核查 2026-11-15 · 参考来源:Artificial Analysis 模型页

Fable 5.2 的基准数据分三批:Anthropic 官方给的 12 项主表与系统卡附录、Artificial Analysis 的独立测量、Vals 等第三方榜单。三批数据都可信,但口径不同,混用会得出错误结论——最典型的就是 Terminal-Bench 4.0 的三个数字。本文把全部可核查的分数列出来,并把口径陷阱逐个标清。

AA 65 分的构成:赢 5 项,贵在调用量

Artificial Analysis 智能指数 v5.0.1(2026-11-10 上榜,模型页直读 2026-11-15):Max 65 分,74 个模型第一;High/Xhigh 62、Medium 56、Low 54。涨分主要来自科学推理、知识与 FrontierCode 2.0。9 项评测赢 5 项,包括 HLE-Diamond 80% 与 Terminal-Bench-Science 73%。分项第一还有 AA-3D(文字简报转 3D 场景,人类盲评)Elo 1271 与 VIALS-AA(实验室图像判读)67.1%(三次全对口径,21 个模型第一)。

但 65 分的代价写在同一页上:Max 每指数任务 $26.54,全榜最贵,约 Opus 5.5 的 2.6 倍、Carbon 的约 4.8 倍;每任务约 45.3 分钟(2026-11-15 读数,随 AA 重跑漂移,不同快照为 44.1–46.8 分钟),首答 token 约 268 秒;输出速度 5 日均值约 97–103 tok/s,同样漂移。VIALS-AA 里 Fable 每任务平均 37.4 次工具调用,为 Anthropic 模型最多、Astra 的 4.7 倍——贵,很大程度上贵在调用量。

AA 智能指数 v5.0.1:Fable 5.2 各档与主要对手 Fable 5.2 Max 65 Fable 5.2 High/Xhigh 62 Gemini 4 Carbon High 60 Opus 5.5 Max 59 GPT-6 Astra 57 Fable 5.2 Medium 56 Fable 5.2 Low 54
AA 智能指数 v5.0.1(分;Artificial Analysis,2026-11-15 读数;灰色为对手模型)

官方 12 项主表:赢 14 项,输的两项值得看

Anthropic 官方发布页的基准表(各模型最高档位,除非注明;Fable/Opus 均为 safeguards on;以下全部为厂商自报):FrontierCode 2.0 49.1%(Xhigh;Opus 45.5%、Astra 42.8%、Carbon 41.1% Medium 档)、FrontierSWE v2 69.9%(5.1 56.3%)、Terminal-Bench-Science 0.1 74.6%(Mythos 75.3%)、Remote Labor Index 41.3%(High,240 个项目完成 99 个;Opus 21.3%)、HLE(带工具)74.2%、OSWorld 2.1 89.3%、WANDR 82.1%、Chartography 73.4%、RoboDojo Sim 64.9%(内部运行)。系统卡另含 SWE-bench Pro 93.0%(Max,5 次试验均值;不在发布页表里)、SWE-bench Multilingual 96.6%、Multimodal 74.1%、CursorBench 4.0 60.0%(Max)/ 56.9%(High)、HLE 无工具版 73.2%。

系统卡称 Fable 5.2 在 16 项 headline 结果中赢 14 项,输的两项是 GDPval-AA 与 AA-Briefcase Elo——后者值得细读:Fable 的 rubric 分 66.1% 赢过 Opus 的 61.2%,Elo 1785 却低于 Opus 的 1800 与 Sonnet 5.5 的 1813。两数都要写,只写 Elo 显得 Fable 输、只写 rubric 显得全胜。另一处输分是 AutomationBench:Carbon 53.9%,Fable 51.4%。

独立榜单:Vals 双第一,ARC 再验档位倒挂

Vals AI(11 月 9 日,High 档运行):Vals Index v2.2 71.31% ±0.96,36 个模型中第 1;Vibe Code Bench v1.1 93.77%,127 个模型中第 1;Finance Agent v2.1 69.47%、EMB v1.1 77.38% 均第 1;Terminal-Bench 4.0 65.15% 与 Opus 5.5 并列第 1;每测试 $17.94,拒答率 0%。但领先幅度在误差范围内(Sonnet 5.5 70.85%、Carbon 70.45%),分项短板明显:Tax Agent Bench 27/84(32.09%)、Legal Research Bench 19/93(46.15%)。

ARC Prize / Epoch AI(11 月 9/10 日,经转述;ARC-AGI-3 数字 11 月 18 日按 ARC Prize 11 月 17 日榜单订正):ARC-AGI-2 93.8%(xhigh,ARC Prize 验证,最高已验证分;max 92.5%、high 90.4%);ARC-AGI-3 81.2%(xhigh,最高档;high 79.3%、max 65.7%),GPT-6.2 Astra 70.3%(max)——此前本站误将上代 GPT-6 Astra 的分数当作 GPT-6.2 Astra 的对照分;GPQA Diamond 93.9%(Epoch AI,max 档)。ARC-AGI-2 的 xhigh 再次高于 max,与 FrontierCode 的档位倒挂一致。SimpleQA Verified 94%(Epoch AI 口径,最强对手约 76%)经 AIPings 汇编引用。

口径陷阱:Terminal-Bench 4.0 的三个数字

三个数字来自三家运行方,不是笔误:AA 独立实测 59.6%(Max/High;Xhigh 61.6%)、Anthropic 系统卡自测 67.6%、Vals 实测 65.15%(与 Opus 5.5 并列第一)。AA 榜上 Fable 59.6% 排第 4(Kimi K3.1 Pro 67.2%、Carbon 65.2%、Sonnet 5.5 63.6% 在前),与 Opus 5.5 持平。早期报道里 Sulat 的「60%」是四舍五入,MultiAI 表格里的 67.6% 是系统卡口径——建站定稿时三者已分开标注运行方,引用时请照此办理。

另外两个易混口径:AA 的 HLE-Diamond 80% 与厂商 HLE 74.2%(带工具)/ 73.2%(无工具)是不同测试,勿混用;Carbon 的 FrontierCode 41.1% 是 Medium 档运行,条件不完全对等。AA 每任务耗时与输出速度随重跑漂移,本页以 2026-11-15 读数为准。

短板清单:榜首不是全能

把短板集中列出来:Terminal-Bench 4.0 AA 实测 59.6% 仅第 4;AA-Briefcase Elo 1785 落后 Opus 1800 与 Sonnet 1813;AutomationBench 51.4% 落后 Carbon 53.9%;Vals 税务与法律分项排名靠后(27/84、19/93);每任务成本与耗时全榜最高;FrontierCode 2.0 上 Max 档(45.7%)低于 Xhigh(49.1%),22 次超时仍计分。这些短板不否定 65 分,但决定了 Fable 5.2 的适用边界:最难的长程任务值得它的价格,日常任务未必。

ModelBrief 的看法:Fable 5.2 的基准画像非常一致:科学推理、知识与长程 Agent 是强项,终端任务与业务流程是短板,成本与延迟是硬伤。官方数据与独立测量的分歧不在方向上,而在幅度上——59.6% 对 67.6%、66.1% 对 1785,都是口径差异,不是造假。读 Fable 的分数,关键不是记 65,而是记住 65 是 Max 档的分数、以及 High 档 62 分只便宜了多少。

参考来源:Artificial Analysis — Claude Fable 5.2 模型页(指数 65)(本文为本站改写与整理,事实以官方来源与 Artificial Analysis 为准)