ModelBrief · MAI Code 2 · 專題
最後更新 2026-11-20
EN 简体 繁體

MAI Code 2 基準全盤點:四項均值與盲測 64% 澄清

ModelBrief · 2026-11-20 發佈 · 事實覈查 2026-11-20 · 參考來源:Microsoft AI 產品帖與 Ignite 主題帖、GitHub 更新日誌

MAI Code 2 的全部基準數字都出自一個來源:微軟自己。本篇盤點所有可覈查的數字——四項基準均值、平均通過率、每任務成本、盲測偏好、Flash 的三項基準——並逐條標註方法論與口徑。先說結論:目前沒有任何獨立評分,Artificial Analysis、LiveBench、LMArena 均未收錄 MAI Code 2。

核心數字一覽(全部微軟自報)

測試成績口徑
四項基準均值 vs GPT-6.1 Sol性能 98%,成本約 40%微軟自選基準、50% 推廣價口徑;無獨立驗證
四項基準均值 vs Claude Opus 5.5性能 96%,成本約 5%微軟自選基準、50% 推廣價口徑;無獨立驗證
平均通過率(微軟官方博客圖表)MAI Code 2 63.2% / GPT-6.1 Sol 64.1% / Opus 5.5 65.3%四項基準的平均通過率;MAI Code 2 實際最低
每任務平均成本(微軟官方博客圖表)MAI Code 2 $0.309 / GPT-6.1 Sol $0.761 / Opus 5.5 $6.306MAI Code 2 的成本按 50% 推廣價計算
前端盲測 vs GPT-6 Sol(258 人)偏好 MAI Code 2:64%(微軟已統一修正)微軟 11 月 18 日已統一修正爲 64%;67%/68% 爲修正前舊值
Flash 三項基準 vs GPT-6 Luna性能相當,成本 65%三項基準未具名;50% 推廣價口徑
Flash 三項基準 vs Claude Haiku 5.5性能相當,成本 20%三項基準未具名;50% 推廣價口徑
AT&T 定製版 Flash vs GPT-6.1 Sol標準 5G 網絡分析勝出,便宜 50 倍單一客戶軼事,非公開基準

四項基準是什麼、怎麼跑的

微軟稱四項基準——DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas、FrontierCode v1.1——對應「GitHub Copilot 裏常見的日常企業編碼任務」。方法論出自產品帖腳註,值得逐條讀:

第一,基準由微軟挑選。四項測試是微軟選的,不是第三方選的;它們恰好是 MAI Code 2 的主場(日常企業編碼),而不是它的短板(基礎科學研究、超長程 Agent 工作——微軟自己承認這兩類未針對調優)。

第二,全部模型以最大推理力度運行。這對所有模型一視同仁,但最大力度下的成本與日常使用時的成本不是一回事;成本比較用的是最大力度下的賬單。

第三,三項跑在微軟內部平臺上。DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas 三項跑在微軟內部評估平臺 MSBench 上,經 Copilot CLI、無子智能體;只有 FrontierCode v1.1 的分數與成本來自 Artificial Analysis。也就是說,四項裏有三項的跑分環境完全由微軟控制。

第四,分項分數在模型卡里,不在產品帖裏。產品帖只給均值 98% 與 96%,但模型卡主表公佈了分項通過率(MSBench 實測、最大推理力度、三次運行均值):MAI Code 2 爲 DeepSWE 1.1 73.2%、Terminal-Bench 2.1 84.6%、SWE Atlas 43.1%,FrontierCode v1.1 約 52%(按四項均值 63.2% 反推,微軟未單獨公佈該項分數);Flash 爲 59.9%、78.3%、44.8%。注意兩點:第一,分項分數仍是微軟自報;第二,模型卡安全章節另有一組不同的 DeepSWE/SWE Atlas 數字(60.2%/27.4%、80.9%/65.2%),未說明口徑差異,引用時以主表爲準。沒有 GPT-6.1 Sol 與 Opus 5.5 的同口徑分項分數,98%/96% 的均值仍無法逐項複覈——分項看,MAI Code 2 的短板在 SWE Atlas(43.1%)。

「98%」藏住了什麼:平均通過率反而最低

微軟官方博客圖表給出了平均通過率:MAI Code 2 爲 63.2%,GPT-6.1 Sol 爲 64.1%,Claude Opus 5.5 爲 65.3%。換句話說,在四項基準的絕對通過率上,MAI Code 2 是三者中最低的——「98%」是相對 GPT-6.1 Sol 的比值(63.2 ÷ 64.1 ≈ 98.6%),不是絕對領先。每任務平均成本同圖表:MAI Code 2 爲 $0.309,GPT-6.1 Sol 爲 $0.761,Claude Opus 5.5 爲 $6.306;其中 MAI Code 2 的成本按 50% 推廣價計算,推廣結束後這一項也會翻倍。這兩組數字是理解「98% 性能約 40% 成本」的關鍵:性能上它略低於對手,成本優勢纔是真正的賣點——而成本優勢有一半來自推廣價。

盲測口徑澄清:微軟已統一爲 64%

258 人前端盲測是微軟產品帖裏最有人味兒的一條:開發者在盲測中偏好 MAI Code 2 的前端應用產出,勝過 GPT-6 Sol。這個數字一度出了問題:微軟自家帖文裏曾出現三個版本——64%、67%、68%,其中產品帖正文寫的是 64%,另兩處數字分別出現在 Ignite 主題帖與產品帖的另一表述中。ai-oriens 2026 年 11 月 18 日覈實,兩處帖文現均已改爲 64%(258 人盲測,美學與功能雙優),67% 與 68% 爲修正前的頁面舊值。本站現按 64% 統一口徑,舊值只作歷史註腳。

Flash 的三項基準:連名字都沒公佈

MAI Code 2 Flash 的宣稱更薄:微軟稱它在三項「日常高頻例行編碼任務」基準上與 GPT-6 Luna、Claude Haiku 5.5 相當,成本分別爲 65% 與 20%(50% 推廣價口徑)。但這三項基準沒有具名——不知道是哪三項,就無法複覈「相當」是什麼意思。微軟官方博客圖表另給出 Flash 的平均通過率 61.0%,高於 GPT-6 Luna 的 55.1% 與 Claude Haiku 5.5 的 53.9%,每任務平均成本 $0.052 對 $0.08 與 $0.319(Flash 成本同樣按 50% 推廣價計算)。這組數字比「相當」更積極,但同樣全部出自微軟自報,且基準未具名。

AT&T 的「50 倍」:個案,不是基準

微軟稱,AT&T 定製版 MAI Code 2 Flash 在標準 5G 網絡分析任務上勝過 GPT-6.1 Sol,同時便宜 50 倍。這是單一客戶軼事:定製版、單一任務類型、單一客戶,沒有公開的測試方法,也沒有說明「勝過」指的是哪項指標。把它當作營銷案例讀可以,當作基準讀不行。

沒有獨立評分:AA、LiveBench、LMArena 均未收錄

截至 2026 年 11 月 20 日,MAI Code 2 沒有登上任何獨立榜單。Google 自動補全裏出現「mai code 2 artificial analysis」,那只是搜索興趣——有人想查它在 AA 上的分數,不代表 AA 已經收錄。FrontierCode v1.1 的分數與成本出自微軟腳註引用的 AA 數據,同樣不是 AA 獨立上榜。本專題的跟蹤清單裏,第一項就是等 AA、LiveBench 或 LMArena 的首次收錄;在此之前,所有分數都只能標註「微軟自報」。

ModelBrief 的看法:MAI Code 2 的基準故事有兩個層面:方法論層面,它挑了自己的主場、跑在自己的平臺上、產品帖只給均值(分項分數見模型卡主表);數字層面,平均通過率反而最低,成本優勢纔是真賣點,而成本優勢一半來自推廣價。盲測數字則是額外的提醒——連微軟自己的數字都需要覈對,微軟後來已統一修正爲 64%。在獨立評分出現之前,任何引用都必須帶上「微軟自報」四個字。