OrcaRouter 解讀 AA 60 分：九項測試、64.7 秒首 token 與 39.7% 報錯率

一個基準分只有放在測試構成、思考時長與指數版本里纔有意義。OrcaRouter 在 11 月 13 日的文章裏就按這個辦法拆了 Carbon 的 Artificial Analysis 指數 60 分：九項測試到底測了什麼、每項花多少時間與多少錢，以及分數沒告訴你的兩件事——版本陷阱與真實報錯率。

九項測試測了什麼

指數由九項評測構成：AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset、Terminal-Bench-Science 0.1。三項是終端與自動化工作，兩項是長文檔推理，兩項是硬科學與數學，一項是前沿代碼。先看這張清單再推廣結論：九項裏沒有網絡 Agent 評測、沒有多輪客服模擬，也沒有網絡安全或漏洞檢測 harness——分數高不代表這些場景也強；長程倉庫級編碼也只能由 FrontierCode-AA 近似，不能替代。

60 分與版本陷阱

Carbon 得 60 分，在 Intelligence Index v5.0.1 上排第 4/78；榜首是 Claude Fable 5.2 的 65 分。5 分差距大約相當於每 20 道難題多解出 1 道——作者提醒，這只是方向性的讀法，不是精確換算。比排名更重要的是版本：v4.3 或 v4.3.2 下測出的分數不在同一尺度，混進同一張表就是錯表；拿 Carbon 與上季度自己測過的模型對比時，要麼兩個都重跑，要麼把結論限定在 v5.0.1 這一批模型裏並寫明。

時間賬：首 token 64.7 秒

首 token 64.7 秒，在 77 個有延遲數據的模型裏排第 69；九項測試平均每任務 28.4 分鐘；一旦開始輸出，72 tok/s，屬於平常水平——牆上時間主要花在思考，不在寫字。這是設計取捨，不是缺陷：允許模型想多久都行的 harness 必然又慢又強。同一模型在網關真實流量上完全是另一副面孔：p50 首 token 6.89 秒、p95 10 秒，因爲真實請求大多不是 HLE-Diamond。兩個數字測的不是一回事，容量規劃裏兩個都要。

金錢賬：跑一輪指數 $5.48

按 $2/$10 計價，跑完整輪指數花 $5.48，混合單價 $2.70；AA 還報了 2.05 億輸出 tokens（囉嗦度 2.69% 這個百分比不重要，token 總量才重要：九個 Agent 任務燒掉了近四分之一個十億輸出 tokens）。同一輪指數，Fable 5.2 花 $26.54，是 4.8 倍（按 $8/$40 計價）；折成每指數分，Carbon $0.09、Fable $0.41。時間上 Fable 也更慢：每任務 46.8 分鐘，是 Carbon 的 1.6 倍。作者的建議是按難度分流：60 分模型能過的九成調用，不需要 65 分的模型。

分數沒說的：39.7% 報錯率

九項測試裏沒有負載下的表現。OrcaRouter 過去七天的真實流量裏，Carbon 的報錯率是 39.7%，Fable 5.2 是 10.8%。評測 harness 會重試、把失敗吸收掉；應用層得自己決定怎麼處理——作者的建議是記首 token、輸出 tokens 與非 2xx 數量，按路由分開統計；如果你的報錯率高於網關報的這個數，問題在你那一側。