ModelBrief · Muse Ember · 专题
最后更新 2026-11-20
EN 简体 繁體

Muse Ember 基准全盘点:AA 36 追平 Haiku,FrontierCode 却输了

ModelBrief · 2026-11-16 发布 · 事实核查 2026-11-16 · 参考来源:Artificial Analysis、Meta 研究博客

Muse Ember 的基准数据分两层:上层是 Artificial Analysis 在 11 月 9 日独立发布的智能指数 36(max 档),下层是 Meta 发布文图表里转述的六项分项成绩。两层数据的可信度不一样——本文先分清谁在说话,再逐项拆分数,最后把短板集中列出来。

独立发布的一层:AA 指数 36,$0.14/任务

AA 智能指数 v5.0(2026 年 11 月 9 日,max 档):Ember 36,与 Claude Haiku 5.5(max)持平,Muse Spark 1.3(max)37。单任务成本:Ember $0.14,Haiku $0.41,Spark $2.39。AA 的定性是「36 分以上最便宜的模型」;at-pulse 的补充口径是,在约 $0.14/任务的可比模型里,Ember 排 33 个里的第 2。这是 Ember 全部基准数据里唯一由独立榜单自己发布的数字——也是 headline「追平 Haiku、只要三分之一成本」的来源。

AA 智能指数 v5.0(max 档)对照 Muse Ember Claude Haiku 5.5 Muse Spark 1.3 AA 指数 v5.0 36 36 37 单任务成本 $0.14 Haiku $0.41 · Spark $2.39(未按比例绘出,见正文)
AA 智能指数 v5.0(分;Artificial Analysis,2026 年 11 月 9 日,max 档;橙色为 Muse Ember,灰色为 Claude Haiku 5.5,青色为 Muse Spark 1.3)。单任务成本一行只画 Ember 的 $0.14,Haiku $0.41 与 Spark $2.39 按同一比例会超出图幅,见正文数字。

Meta 自报的一层:六项分项基准,五胜一负

Meta 发布文的图表(以下全部为厂商自报,复述 AA 的评估;对手分数是 Meta 同场列出而非各家公布值):AutomationBench-AA 37.8%(Haiku 13.9%、Luna 20.2%),差距最大的一局,Ember 的分数接近 Haiku 的 2.7 倍;Terminal-Bench 4.0 40.9%(Haiku 39.2%),只赢 1.7 分;FrontierCode 2.0-AA 27.2%(Haiku 34.9%),Ember 输了 7.7 分;OSWorld 2.1 69.5%(Haiku 68.9%、Luna 50.5%),只赢 0.6 分;Agents' Last Exam 61.6(57.0 / 57.1);PerceptionBench 80.6(78.6 / 62.8)。六项里 Ember 赢了五项,但赢的幅度里有两项不到 2 分,输的一项是 7.7 分——headline 之外的真实分布是「业务流程大胜、代码明显落败、其余小胜」。

Muse Ember 六项分项基准对照(Meta 自报) Muse Ember Claude Haiku 5.5 GPT-6 Luna AutomationBench-AA 37.8% 13.9% 20.2% Terminal-Bench 4.0 40.9% 39.2% FrontierCode 2.0-AA 27.2% 34.9% OSWorld 2.1 69.5% 68.9% 50.5%
六项分项基准(%;Meta 研究博客,2026 年 11 月 9 日;全部厂商自报,复述 AA 评估;橙色为 Muse Ember,灰色为 Claude Haiku 5.5,青色为 GPT-6 Luna;Luna 在 Terminal-Bench 4.0 与 FrontierCode 两栏无成绩)

AA-Omniscience 21.1%:指数 36 之下的垫底项

AA-Omniscience 21.1%,在总分相近的模型里最低(alphasignal 转述)。指数 36 概括的是综合智能,Omniscience 测的是另一维度的能力——Ember 的 36 分之下藏着一项垫底成绩。把它和 FrontierCode 的落败放在一起读,Ember 的能力画像就完整了:综合指数与 Haiku 持平,但代码与 Omniscience 这两项是明确的短板。选型时不要只记 36,要把 21.1% 一起记。

AA 编码智能体指数 46:Meta 的数字,不是 AA 的榜单

Ridge 的提醒值得单独写一段:AA 编码智能体指数 46 是 Meta 发布文里的数字,Ridge 指出「Meta 的其他数字……都是它自己的说法」。也就是说,46 这个数字的出处与六项分项基准一样,都是 Meta——不要把它当成 AA 独立发布的第二项评分来引用。截至 11 月 16 日,AA 独立发布的 Ember 成绩只有指数 36(一项)与 Omniscience 21.1%(经转述)。

口径陷阱:Meta 的 headline 宣称未经第三方审计

Meta 的 headline 宣称是「在任何推理档位下,单位美元智能都高于 Claude Haiku 5.5 或 GPT-6 Luna」。注意三点:第一,这是 Meta 对 AA 结果的解读,不是 AA 的结论;第二,成本对比的单位经济性未经第三方审计(dineroit / codema 的提醒);第三,Meta 图表注脚称 Ember 的成本按提议价格估算。更关键的是,Meta 只公布了 max 档的基准成绩——「任何推理档位」的说法本身没有低档数据支撑。Simon Willison 的动手测试(11 月 10 日)恰恰显示质量并不随档位单调上升:一次 high 档请求甚至没能返回完整的绘图。这是单人单任务的观察,不是基准,但它直接质疑了 headline 的「任何档位」三个字。

独立证据:除 AA 之外,几乎没有

截至 11 月 16 日,LiveBench 没有 Ember 的运行记录,LMArena 没有收录;Simon Willison 的动手测试是唯一成体系的第三方动手记录,而且是单人单任务。模型才发布 7 天,榜单缺席是「尚未」不是「零分」——但在有分数之前,Ember 的全部能力宣称都只有 AA 的一项指数与 Meta 的转述撑着。这是 8 小时跟踪循环的首要盯梢项:LiveBench / LMArena 首次收录、AA v5.x 重测。

短板清单:六项基准之外的空白

把短板集中列出来:FrontierCode 2.0-AA 输给 Haiku 5.5(27.2% 对 34.9%);AA-Omniscience 21.1% 同档最低;Terminal-Bench 4.0 与 OSWorld 2.1 的领先不到 2 分;六项分项基准全部是 Meta 自报,不是 AA 独立发布的榜单;Meta 只公布 max 档成绩,低档质量未经官方验证;无 LiveBench / LMArena 评分;参数量未公布。这些短板不否定 36,但决定了 Ember 的适用边界:业务流程与智能体执行任务值得试,代码密集任务要先看 FrontierCode,低档推理不要默认等同于 max 档。

FAQ

AA 指数 36 是什么水平?

与 Claude Haiku 5.5(max)持平,低于 Muse Spark 1.3(max)的 37;单任务成本 $0.14 对 Haiku $0.41、Spark $2.39。AA 称其为「36 分以上最便宜的模型」。这是 AA 独立发布的唯一一项指数成绩。

Ember 输给 Haiku 的是哪一项?

FrontierCode 2.0-AA:27.2% 对 34.9%,输 7.7 分。另有一项 AA-Omniscience 21.1%,是总分相近模型里的最低值。两项都是代码与综合能力维度的短板。

六项分项基准是 AA 发布的吗?

不是。它们出自 Meta 发布文的图表,是 Meta 对 AA 评估的转述;AA 编码智能体指数 46 同样是 Meta 的数字。只有智能指数 36 是 AA 在 11 月 9 日独立发布的。

有 LiveBench 或 LMArena 的分数吗?

没有。截至 11 月 16 日,LiveBench 没有运行记录,LMArena 没有收录。模型发布才 7 天,缺席是「尚未」不是「零分」。

ModelBrief 的看法:Ember 的基准画像非常一致:综合指数与 Haiku 持平,业务流程大胜,代码落败,Omniscience 垫底。官方数据与独立证据的分歧不在方向上,而在有无上——36 是 AA 说的,六项分项是 Meta 转述 AA 说的,低档推理是没人测过的。读 Ember 的分数,关键不是记 36,而是记住 36 之外还有 21.1%,以及「任何档位」这四个字没有低档数据支撑。

参考来源:Artificial Analysis — 首发评估(智能指数 v5.0 36、$0.14/任务) · Meta 研究博客 — 六项分项基准与 headline 宣称 · alphasignal(AA-Omniscience 21.1%)· at-pulse(33 个可比模型中第 2)· Simon Willison 动手测试(11 月 10 日)(本文为本站改写与整理,事实以 AA 评估与 Meta 发布文为准)