OrcaRouter 解读 AA 60 分：九项测试、64.7 秒首 token 与 39.7% 报错率

一个基准分只有放在测试构成、思考时长与指数版本里才有意义。OrcaRouter 在 11 月 13 日的文章里就按这个办法拆了 Carbon 的 Artificial Analysis 指数 60 分：九项测试到底测了什么、每项花多少时间与多少钱，以及分数没告诉你的两件事——版本陷阱与真实报错率。

九项测试测了什么

指数由九项评测构成：AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset、Terminal-Bench-Science 0.1。三项是终端与自动化工作，两项是长文档推理，两项是硬科学与数学，一项是前沿代码。先看这张清单再推广结论：九项里没有网络 Agent 评测、没有多轮客服模拟，也没有网络安全或漏洞检测 harness——分数高不代表这些场景也强；长程仓库级编码也只能由 FrontierCode-AA 近似，不能替代。

60 分与版本陷阱

Carbon 得 60 分，在 Intelligence Index v5.0.1 上排第 4/78；榜首是 Claude Fable 5.2 的 65 分。5 分差距大约相当于每 20 道难题多解出 1 道——作者提醒，这只是方向性的读法，不是精确换算。比排名更重要的是版本：v4.3 或 v4.3.2 下测出的分数不在同一尺度，混进同一张表就是错表；拿 Carbon 与上季度自己测过的模型对比时，要么两个都重跑，要么把结论限定在 v5.0.1 这一批模型里并写明。

时间账：首 token 64.7 秒

首 token 64.7 秒，在 77 个有延迟数据的模型里排第 69；九项测试平均每任务 28.4 分钟；一旦开始输出，72 tok/s，属于平常水平——墙上时间主要花在思考，不在写字。这是设计取舍，不是缺陷：允许模型想多久都行的 harness 必然又慢又强。同一模型在网关真实流量上完全是另一副面孔：p50 首 token 6.89 秒、p95 10 秒，因为真实请求大多不是 HLE-Diamond。两个数字测的不是一回事，容量规划里两个都要。

金钱账：跑一轮指数 $5.48

按 $2/$10 计价，跑完整轮指数花 $5.48，混合单价 $2.70；AA 还报了 2.05 亿输出 tokens（啰嗦度 2.69% 这个百分比不重要，token 总量才重要：九个 Agent 任务烧掉了近四分之一个十亿输出 tokens）。同一轮指数，Fable 5.2 花 $26.54，是 4.8 倍（按 $8/$40 计价）；折成每指数分，Carbon $0.09、Fable $0.41。时间上 Fable 也更慢：每任务 46.8 分钟，是 Carbon 的 1.6 倍。作者的建议是按难度分流：60 分模型能过的九成调用，不需要 65 分的模型。

分数没说的：39.7% 报错率

九项测试里没有负载下的表现。OrcaRouter 过去七天的真实流量里，Carbon 的报错率是 39.7%，Fable 5.2 是 10.8%。评测 harness 会重试、把失败吸收掉；应用层得自己决定怎么处理——作者的建议是记首 token、输出 tokens 与非 2xx 数量，按路由分开统计；如果你的报错率高于网关报的这个数，问题在你那一侧。