Muse Ember 的基准数据分两层:上层是 Artificial Analysis 在 11 月 9 日独立发布的智能指数 36(max 档),下层是 Meta 发布文图表里转述的六项分项成绩。两层数据的可信度不一样——本文先分清谁在说话,再逐项拆分数,最后把短板集中列出来。
AA 智能指数 v5.0(2026 年 11 月 9 日,max 档):Ember 36,与 Claude Haiku 5.5(max)持平,Muse Spark 1.3(max)37。单任务成本:Ember $0.14,Haiku $0.41,Spark $2.39。AA 的定性是「36 分以上最便宜的模型」;at-pulse 的补充口径是,在约 $0.14/任务的可比模型里,Ember 排 33 个里的第 2。这是 Ember 全部基准数据里唯一由独立榜单自己发布的数字——也是 headline「追平 Haiku、只要三分之一成本」的来源。
Meta 发布文的图表(以下全部为厂商自报,复述 AA 的评估;对手分数是 Meta 同场列出而非各家公布值):AutomationBench-AA 37.8%(Haiku 13.9%、Luna 20.2%),差距最大的一局,Ember 的分数接近 Haiku 的 2.7 倍;Terminal-Bench 4.0 40.9%(Haiku 39.2%),只赢 1.7 分;FrontierCode 2.0-AA 27.2%(Haiku 34.9%),Ember 输了 7.7 分;OSWorld 2.1 69.5%(Haiku 68.9%、Luna 50.5%),只赢 0.6 分;Agents' Last Exam 61.6(57.0 / 57.1);PerceptionBench 80.6(78.6 / 62.8)。六项里 Ember 赢了五项,但赢的幅度里有两项不到 2 分,输的一项是 7.7 分——headline 之外的真实分布是「业务流程大胜、代码明显落败、其余小胜」。
AA-Omniscience 21.1%,在总分相近的模型里最低(alphasignal 转述)。指数 36 概括的是综合智能,Omniscience 测的是另一维度的能力——Ember 的 36 分之下藏着一项垫底成绩。把它和 FrontierCode 的落败放在一起读,Ember 的能力画像就完整了:综合指数与 Haiku 持平,但代码与 Omniscience 这两项是明确的短板。选型时不要只记 36,要把 21.1% 一起记。
Ridge 的提醒值得单独写一段:AA 编码智能体指数 46 是 Meta 发布文里的数字,Ridge 指出「Meta 的其他数字……都是它自己的说法」。也就是说,46 这个数字的出处与六项分项基准一样,都是 Meta——不要把它当成 AA 独立发布的第二项评分来引用。截至 11 月 16 日,AA 独立发布的 Ember 成绩只有指数 36(一项)与 Omniscience 21.1%(经转述)。
Meta 的 headline 宣称是「在任何推理档位下,单位美元智能都高于 Claude Haiku 5.5 或 GPT-6 Luna」。注意三点:第一,这是 Meta 对 AA 结果的解读,不是 AA 的结论;第二,成本对比的单位经济性未经第三方审计(dineroit / codema 的提醒);第三,Meta 图表注脚称 Ember 的成本按提议价格估算。更关键的是,Meta 只公布了 max 档的基准成绩——「任何推理档位」的说法本身没有低档数据支撑。Simon Willison 的动手测试(11 月 10 日)恰恰显示质量并不随档位单调上升:一次 high 档请求甚至没能返回完整的绘图。这是单人单任务的观察,不是基准,但它直接质疑了 headline 的「任何档位」三个字。
截至 11 月 16 日,LiveBench 没有 Ember 的运行记录,LMArena 没有收录;Simon Willison 的动手测试是唯一成体系的第三方动手记录,而且是单人单任务。模型才发布 7 天,榜单缺席是「尚未」不是「零分」——但在有分数之前,Ember 的全部能力宣称都只有 AA 的一项指数与 Meta 的转述撑着。这是 8 小时跟踪循环的首要盯梢项:LiveBench / LMArena 首次收录、AA v5.x 重测。
把短板集中列出来:FrontierCode 2.0-AA 输给 Haiku 5.5(27.2% 对 34.9%);AA-Omniscience 21.1% 同档最低;Terminal-Bench 4.0 与 OSWorld 2.1 的领先不到 2 分;六项分项基准全部是 Meta 自报,不是 AA 独立发布的榜单;Meta 只公布 max 档成绩,低档质量未经官方验证;无 LiveBench / LMArena 评分;参数量未公布。这些短板不否定 36,但决定了 Ember 的适用边界:业务流程与智能体执行任务值得试,代码密集任务要先看 FrontierCode,低档推理不要默认等同于 max 档。
与 Claude Haiku 5.5(max)持平,低于 Muse Spark 1.3(max)的 37;单任务成本 $0.14 对 Haiku $0.41、Spark $2.39。AA 称其为「36 分以上最便宜的模型」。这是 AA 独立发布的唯一一项指数成绩。
FrontierCode 2.0-AA:27.2% 对 34.9%,输 7.7 分。另有一项 AA-Omniscience 21.1%,是总分相近模型里的最低值。两项都是代码与综合能力维度的短板。
不是。它们出自 Meta 发布文的图表,是 Meta 对 AA 评估的转述;AA 编码智能体指数 46 同样是 Meta 的数字。只有智能指数 36 是 AA 在 11 月 9 日独立发布的。
没有。截至 11 月 16 日,LiveBench 没有运行记录,LMArena 没有收录。模型发布才 7 天,缺席是「尚未」不是「零分」。
参考来源:Artificial Analysis — 首发评估(智能指数 v5.0 36、$0.14/任务) · Meta 研究博客 — 六项分项基准与 headline 宣称 · alphasignal(AA-Omniscience 21.1%)· at-pulse(33 个可比模型中第 2)· Simon Willison 动手测试(11 月 10 日)(本文为本站改写与整理,事实以 AA 评估与 Meta 发布文为准)