ModelBrief · Muse Ember · 專題
最後更新 2026-11-20
EN 简体 繁體

Muse Ember 基準全盤點:AA 36 追平 Haiku,FrontierCode 卻輸了

ModelBrief · 2026-11-16 發佈 · 事實覈查 2026-11-16 · 參考來源:Artificial Analysis、Meta 研究博客

Muse Ember 的基準數據分兩層:上層是 Artificial Analysis 在 11 月 9 日獨立發佈的智能指數 36(max 檔),下層是 Meta 發佈文圖表裏轉述的六項分項成績。兩層數據的可信度不一樣——本文先分清誰在說話,再逐項拆分數,最後把短板集中列出來。

獨立發佈的一層:AA 指數 36,$0.14/任務

AA 智能指數 v5.0(2026 年 11 月 9 日,max 檔):Ember 36,與 Claude Haiku 5.5(max)持平,Muse Spark 1.3(max)37。單任務成本:Ember $0.14,Haiku $0.41,Spark $2.39。AA 的定性是「36 分以上最便宜的模型」;at-pulse 的補充口徑是,在約 $0.14/任務的可比模型裏,Ember 排 33 個裏的第 2。這是 Ember 全部基準數據裏唯一由獨立榜單自己發佈的數字——也是 headline「追平 Haiku、只要三分之一成本」的來源。

AA 智能指數 v5.0(max 檔)對照 Muse Ember Claude Haiku 5.5 Muse Spark 1.3 AA 指數 v5.0 36 36 37 單任務成本 $0.14 Haiku $0.41 · Spark $2.39(未按比例繪出,見正文)
AA 智能指數 v5.0(分;Artificial Analysis,2026 年 11 月 9 日,max 檔;橙色爲 Muse Ember,灰色爲 Claude Haiku 5.5,青色爲 Muse Spark 1.3)。單任務成本一行只畫 Ember 的 $0.14,Haiku $0.41 與 Spark $2.39 按同一比例會超出圖幅,見正文數字。

Meta 自報的一層:六項分項基準,五勝一負

Meta 發佈文的圖表(以下全部爲廠商自報,複述 AA 的評估;對手分數是 Meta 同場列出而非各家公佈值):AutomationBench-AA 37.8%(Haiku 13.9%、Luna 20.2%),差距最大的一局,Ember 的分數接近 Haiku 的 2.7 倍;Terminal-Bench 4.0 40.9%(Haiku 39.2%),只贏 1.7 分;FrontierCode 2.0-AA 27.2%(Haiku 34.9%),Ember 輸了 7.7 分;OSWorld 2.1 69.5%(Haiku 68.9%、Luna 50.5%),只贏 0.6 分;Agents' Last Exam 61.6(57.0 / 57.1);PerceptionBench 80.6(78.6 / 62.8)。六項裏 Ember 贏了五項,但贏的幅度裏有兩項不到 2 分,輸的一項是 7.7 分——headline 之外的真實分佈是「業務流程大勝、代碼明顯落敗、其餘小勝」。

Muse Ember 六項分項基準對照(Meta 自報) Muse Ember Claude Haiku 5.5 GPT-6 Luna AutomationBench-AA 37.8% 13.9% 20.2% Terminal-Bench 4.0 40.9% 39.2% FrontierCode 2.0-AA 27.2% 34.9% OSWorld 2.1 69.5% 68.9% 50.5%
六項分項基準(%;Meta 研究博客,2026 年 11 月 9 日;全部廠商自報,複述 AA 評估;橙色爲 Muse Ember,灰色爲 Claude Haiku 5.5,青色爲 GPT-6 Luna;Luna 在 Terminal-Bench 4.0 與 FrontierCode 兩欄無成績)

AA-Omniscience 21.1%:指數 36 之下的墊底項

AA-Omniscience 21.1%,在總分相近的模型裏最低(alphasignal 轉述)。指數 36 概括的是綜合智能,Omniscience 測的是另一維度的能力——Ember 的 36 分之下藏着一項墊底成績。把它和 FrontierCode 的落敗放在一起讀,Ember 的能力畫像就完整了:綜合指數與 Haiku 持平,但代碼與 Omniscience 這兩項是明確的短板。選型時不要只記 36,要把 21.1% 一起記。

AA 編碼智能體指數 46:Meta 的數字,不是 AA 的榜單

Ridge 的提醒值得單獨寫一段:AA 編碼智能體指數 46 是 Meta 發佈文裏的數字,Ridge 指出「Meta 的其他數字……都是它自己的說法」。也就是說,46 這個數字的出處與六項分項基準一樣,都是 Meta——不要把它當成 AA 獨立發佈的第二項評分來引用。截至 11 月 16 日,AA 獨立發佈的 Ember 成績只有指數 36(一項)與 Omniscience 21.1%(經轉述)。

口徑陷阱:Meta 的 headline 宣稱未經第三方審計

Meta 的 headline 宣稱是「在任何推理檔位下,單位美元智能都高於 Claude Haiku 5.5 或 GPT-6 Luna」。注意三點:第一,這是 Meta 對 AA 結果的解讀,不是 AA 的結論;第二,成本對比的單位經濟性未經第三方審計(dineroit / codema 的提醒);第三,Meta 圖表註腳稱 Ember 的成本按提議價格估算。更關鍵的是,Meta 只公佈了 max 檔的基準成績——「任何推理檔位」的說法本身沒有低檔數據支撐。Simon Willison 的動手測試(11 月 10 日)恰恰顯示質量並不隨檔位單調上升:一次 high 檔請求甚至沒能返回完整的繪圖。這是單人單任務的觀察,不是基準,但它直接質疑了 headline 的「任何檔位」三個字。

獨立證據:除 AA 之外,幾乎沒有

截至 11 月 16 日,LiveBench 沒有 Ember 的運行記錄,LMArena 沒有收錄;Simon Willison 的動手測試是唯一成體系的第三方動手記錄,而且是單人單任務。模型才發佈 7 天,榜單缺席是「尚未」不是「零分」——但在有分數之前,Ember 的全部能力宣稱都只有 AA 的一項指數與 Meta 的轉述撐着。這是 8 小時跟蹤循環的首要盯梢項:LiveBench / LMArena 首次收錄、AA v5.x 重測。

短板清單:六項基準之外的空白

把短板集中列出來:FrontierCode 2.0-AA 輸給 Haiku 5.5(27.2% 對 34.9%);AA-Omniscience 21.1% 同檔最低;Terminal-Bench 4.0 與 OSWorld 2.1 的領先不到 2 分;六項分項基準全部是 Meta 自報,不是 AA 獨立發佈的榜單;Meta 只公佈 max 檔成績,低檔質量未經官方驗證;無 LiveBench / LMArena 評分;參數量未公佈。這些短板不否定 36,但決定了 Ember 的適用邊界:業務流程與智能體執行任務值得試,代碼密集任務要先看 FrontierCode,低檔推理不要默認等同於 max 檔。

FAQ

AA 指數 36 是什麼水平?

與 Claude Haiku 5.5(max)持平,低於 Muse Spark 1.3(max)的 37;單任務成本 $0.14 對 Haiku $0.41、Spark $2.39。AA 稱其爲「36 分以上最便宜的模型」。這是 AA 獨立發佈的唯一一項指數成績。

Ember 輸給 Haiku 的是哪一項?

FrontierCode 2.0-AA:27.2% 對 34.9%,輸 7.7 分。另有一項 AA-Omniscience 21.1%,是總分相近模型裏的最低值。兩項都是代碼與綜合能力維度的短板。

六項分項基準是 AA 發佈的嗎?

不是。它們出自 Meta 發佈文的圖表,是 Meta 對 AA 評估的轉述;AA 編碼智能體指數 46 同樣是 Meta 的數字。只有智能指數 36 是 AA 在 11 月 9 日獨立發佈的。

有 LiveBench 或 LMArena 的分數嗎?

沒有。截至 11 月 16 日,LiveBench 沒有運行記錄,LMArena 沒有收錄。模型發佈才 7 天,缺席是「尚未」不是「零分」。

ModelBrief 的看法:Ember 的基準畫像非常一致:綜合指數與 Haiku 持平,業務流程大勝,代碼落敗,Omniscience 墊底。官方數據與獨立證據的分歧不在方向上,而在有無上——36 是 AA 說的,六項分項是 Meta 轉述 AA 說的,低檔推理是沒人測過的。讀 Ember 的分數,關鍵不是記 36,而是記住 36 之外還有 21.1%,以及「任何檔位」這四個字沒有低檔數據支撐。

參考來源:Artificial Analysis — 首發評估(智能指數 v5.0 36、$0.14/任務) · Meta 研究博客 — 六項分項基準與 headline 宣稱 · alphasignal(AA-Omniscience 21.1%)· at-pulse(33 個可比模型中第 2)· Simon Willison 動手測試(11 月 10 日)(本文爲本站改寫與整理,事實以 AA 評估與 Meta 發佈文爲準)