最後更新 2026-11-20
EN 简体 繁體

Claude Fable 5.2 基準全盤點:AA 65 分與三口徑陷阱

ModelBrief · 2026-11-15 發佈 · 事實覈查 2026-11-15 · 參考來源:Artificial Analysis 模型頁

Fable 5.2 的基準數據分三批:Anthropic 官方給的 12 項主表與系統卡附錄、Artificial Analysis 的獨立測量、Vals 等第三方榜單。三批數據都可信,但口徑不同,混用會得出錯誤結論——最典型的就是 Terminal-Bench 4.0 的三個數字。本文把全部可覈查的分數列出來,並把口徑陷阱逐個標清。

AA 65 分的構成:贏 5 項,貴在調用量

Artificial Analysis 智能指數 v5.0.1(2026-11-10 上榜,模型頁直讀 2026-11-15):Max 65 分,74 個模型第一;High/Xhigh 62、Medium 56、Low 54。漲分主要來自科學推理、知識與 FrontierCode 2.0。9 項評測贏 5 項,包括 HLE-Diamond 80% 與 Terminal-Bench-Science 73%。分項第一還有 AA-3D(文字簡報轉 3D 場景,人類盲評)Elo 1271 與 VIALS-AA(實驗室圖像判讀)67.1%(三次全對口徑,21 個模型第一)。

但 65 分的代價寫在同一頁上:Max 每指數任務 $26.54,全榜最貴,約 Opus 5.5 的 2.6 倍、Carbon 的約 4.8 倍;每任務約 45.3 分鐘(2026-11-15 讀數,隨 AA 重跑漂移,不同快照爲 44.1–46.8 分鐘),首答 token 約 268 秒;輸出速度 5 日均值約 97–103 tok/s,同樣漂移。VIALS-AA 裏 Fable 每任務平均 37.4 次工具調用,爲 Anthropic 模型最多、Astra 的 4.7 倍——貴,很大程度上貴在調用量。

AA 智能指數 v5.0.1:Fable 5.2 各檔與主要對手 Fable 5.2 Max 65 Fable 5.2 High/Xhigh 62 Gemini 4 Carbon High 60 Opus 5.5 Max 59 GPT-6 Astra 57 Fable 5.2 Medium 56 Fable 5.2 Low 54
AA 智能指數 v5.0.1(分;Artificial Analysis,2026-11-15 讀數;灰色爲對手模型)

官方 12 項主表:贏 14 項,輸的兩項值得看

Anthropic 官方發佈頁的基準表(各模型最高檔位,除非註明;Fable/Opus 均爲 safeguards on;以下全部爲廠商自報):FrontierCode 2.0 49.1%(Xhigh;Opus 45.5%、Astra 42.8%、Carbon 41.1% Medium 檔)、FrontierSWE v2 69.9%(5.1 56.3%)、Terminal-Bench-Science 0.1 74.6%(Mythos 75.3%)、Remote Labor Index 41.3%(High,240 個項目完成 99 個;Opus 21.3%)、HLE(帶工具)74.2%、OSWorld 2.1 89.3%、WANDR 82.1%、Chartography 73.4%、RoboDojo Sim 64.9%(內部運行)。系統卡另含 SWE-bench Pro 93.0%(Max,5 次試驗均值;不在發佈頁表裏)、SWE-bench Multilingual 96.6%、Multimodal 74.1%、CursorBench 4.0 60.0%(Max)/ 56.9%(High)、HLE 無工具版 73.2%。

系統卡稱 Fable 5.2 在 16 項 headline 結果中贏 14 項,輸的兩項是 GDPval-AA 與 AA-Briefcase Elo——後者值得細讀:Fable 的 rubric 分 66.1% 贏過 Opus 的 61.2%,Elo 1785 卻低於 Opus 的 1800 與 Sonnet 5.5 的 1813。兩數都要寫,只寫 Elo 顯得 Fable 輸、只寫 rubric 顯得全勝。另一處輸分是 AutomationBench:Carbon 53.9%,Fable 51.4%。

獨立榜單:Vals 雙第一,ARC 再驗檔位倒掛

Vals AI(11 月 9 日,High 檔運行):Vals Index v2.2 71.31% ±0.96,36 個模型中第 1;Vibe Code Bench v1.1 93.77%,127 個模型中第 1;Finance Agent v2.1 69.47%、EMB v1.1 77.38% 均第 1;Terminal-Bench 4.0 65.15% 與 Opus 5.5 並列第 1;每測試 $17.94,拒答率 0%。但領先幅度在誤差範圍內(Sonnet 5.5 70.85%、Carbon 70.45%),分項短板明顯:Tax Agent Bench 27/84(32.09%)、Legal Research Bench 19/93(46.15%)。

ARC Prize / Epoch AI(11 月 9/10 日,經轉述;ARC-AGI-3 數字 11 月 18 日按 ARC Prize 11 月 17 日榜單訂正):ARC-AGI-2 93.8%(xhigh,ARC Prize 驗證,最高已驗證分;max 92.5%、high 90.4%);ARC-AGI-3 81.2%(xhigh,最高檔;high 79.3%、max 65.7%),GPT-6.2 Astra 70.3%(max)——此前本站誤將上代 GPT-6 Astra 的分數當作 GPT-6.2 Astra 的對照分;GPQA Diamond 93.9%(Epoch AI,max 檔)。ARC-AGI-2 的 xhigh 再次高於 max,與 FrontierCode 的檔位倒掛一致。SimpleQA Verified 94%(Epoch AI 口徑,最強對手約 76%)經 AIPings 彙編引用。

口徑陷阱:Terminal-Bench 4.0 的三個數字

三個數字來自三家運行方,不是筆誤:AA 獨立實測 59.6%(Max/High;Xhigh 61.6%)、Anthropic 系統卡自測 67.6%、Vals 實測 65.15%(與 Opus 5.5 並列第一)。AA 榜上 Fable 59.6% 排第 4(Kimi K3.1 Pro 67.2%、Carbon 65.2%、Sonnet 5.5 63.6% 在前),與 Opus 5.5 持平。早期報道里 Sulat 的「60%」是四捨五入,MultiAI 表格裏的 67.6% 是系統卡口徑——建站定稿時三者已分開標註運行方,引用時請照此辦理。

另外兩個易混口徑:AA 的 HLE-Diamond 80% 與廠商 HLE 74.2%(帶工具)/ 73.2%(無工具)是不同測試,勿混用;Carbon 的 FrontierCode 41.1% 是 Medium 檔運行,條件不完全對等。AA 每任務耗時與輸出速度隨重跑漂移,本頁以 2026-11-15 讀數爲準。

短板清單:榜首不是全能

把短板集中列出來:Terminal-Bench 4.0 AA 實測 59.6% 僅第 4;AA-Briefcase Elo 1785 落後 Opus 1800 與 Sonnet 1813;AutomationBench 51.4% 落後 Carbon 53.9%;Vals 稅務與法律分項排名靠後(27/84、19/93);每任務成本與耗時全榜最高;FrontierCode 2.0 上 Max 檔(45.7%)低於 Xhigh(49.1%),22 次超時仍計分。這些短板不否定 65 分,但決定了 Fable 5.2 的適用邊界:最難的長程任務值得它的價格,日常任務未必。

ModelBrief 的看法:Fable 5.2 的基準畫像非常一致:科學推理、知識與長程 Agent 是強項,終端任務與業務流程是短板,成本與延遲是硬傷。官方數據與獨立測量的分歧不在方向上,而在幅度上——59.6% 對 67.6%、66.1% 對 1785,都是口徑差異,不是造假。讀 Fable 的分數,關鍵不是記 65,而是記住 65 是 Max 檔的分數、以及 High 檔 62 分只便宜了多少。

參考來源:Artificial Analysis — Claude Fable 5.2 模型頁(指數 65)(本文爲本站改寫與整理,事實以官方來源與 Artificial Analysis 爲準)