MAI Code 2 的全部基準數字都出自一個來源:微軟自己。本篇盤點所有可覈查的數字——四項基準均值、平均通過率、每任務成本、盲測偏好、Flash 的三項基準——並逐條標註方法論與口徑。先說結論:目前沒有任何獨立評分,Artificial Analysis、LiveBench、LMArena 均未收錄 MAI Code 2。
| 測試 | 成績 | 口徑 |
|---|---|---|
| 四項基準均值 vs GPT-6.1 Sol | 性能 98%,成本約 40% | 微軟自選基準、50% 推廣價口徑;無獨立驗證 |
| 四項基準均值 vs Claude Opus 5.5 | 性能 96%,成本約 5% | 微軟自選基準、50% 推廣價口徑;無獨立驗證 |
| 平均通過率(微軟官方博客圖表) | MAI Code 2 63.2% / GPT-6.1 Sol 64.1% / Opus 5.5 65.3% | 四項基準的平均通過率;MAI Code 2 實際最低 |
| 每任務平均成本(微軟官方博客圖表) | MAI Code 2 $0.309 / GPT-6.1 Sol $0.761 / Opus 5.5 $6.306 | MAI Code 2 的成本按 50% 推廣價計算 |
| 前端盲測 vs GPT-6 Sol(258 人) | 偏好 MAI Code 2:64%(微軟已統一修正) | 微軟 11 月 18 日已統一修正爲 64%;67%/68% 爲修正前舊值 |
| Flash 三項基準 vs GPT-6 Luna | 性能相當,成本 65% | 三項基準未具名;50% 推廣價口徑 |
| Flash 三項基準 vs Claude Haiku 5.5 | 性能相當,成本 20% | 三項基準未具名;50% 推廣價口徑 |
| AT&T 定製版 Flash vs GPT-6.1 Sol | 標準 5G 網絡分析勝出,便宜 50 倍 | 單一客戶軼事,非公開基準 |
微軟稱四項基準——DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas、FrontierCode v1.1——對應「GitHub Copilot 裏常見的日常企業編碼任務」。方法論出自產品帖腳註,值得逐條讀:
第一,基準由微軟挑選。四項測試是微軟選的,不是第三方選的;它們恰好是 MAI Code 2 的主場(日常企業編碼),而不是它的短板(基礎科學研究、超長程 Agent 工作——微軟自己承認這兩類未針對調優)。
第二,全部模型以最大推理力度運行。這對所有模型一視同仁,但最大力度下的成本與日常使用時的成本不是一回事;成本比較用的是最大力度下的賬單。
第三,三項跑在微軟內部平臺上。DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas 三項跑在微軟內部評估平臺 MSBench 上,經 Copilot CLI、無子智能體;只有 FrontierCode v1.1 的分數與成本來自 Artificial Analysis。也就是說,四項裏有三項的跑分環境完全由微軟控制。
第四,分項分數在模型卡里,不在產品帖裏。產品帖只給均值 98% 與 96%,但模型卡主表公佈了分項通過率(MSBench 實測、最大推理力度、三次運行均值):MAI Code 2 爲 DeepSWE 1.1 73.2%、Terminal-Bench 2.1 84.6%、SWE Atlas 43.1%,FrontierCode v1.1 約 52%(按四項均值 63.2% 反推,微軟未單獨公佈該項分數);Flash 爲 59.9%、78.3%、44.8%。注意兩點:第一,分項分數仍是微軟自報;第二,模型卡安全章節另有一組不同的 DeepSWE/SWE Atlas 數字(60.2%/27.4%、80.9%/65.2%),未說明口徑差異,引用時以主表爲準。沒有 GPT-6.1 Sol 與 Opus 5.5 的同口徑分項分數,98%/96% 的均值仍無法逐項複覈——分項看,MAI Code 2 的短板在 SWE Atlas(43.1%)。
微軟官方博客圖表給出了平均通過率:MAI Code 2 爲 63.2%,GPT-6.1 Sol 爲 64.1%,Claude Opus 5.5 爲 65.3%。換句話說,在四項基準的絕對通過率上,MAI Code 2 是三者中最低的——「98%」是相對 GPT-6.1 Sol 的比值(63.2 ÷ 64.1 ≈ 98.6%),不是絕對領先。每任務平均成本同圖表:MAI Code 2 爲 $0.309,GPT-6.1 Sol 爲 $0.761,Claude Opus 5.5 爲 $6.306;其中 MAI Code 2 的成本按 50% 推廣價計算,推廣結束後這一項也會翻倍。這兩組數字是理解「98% 性能約 40% 成本」的關鍵:性能上它略低於對手,成本優勢纔是真正的賣點——而成本優勢有一半來自推廣價。
258 人前端盲測是微軟產品帖裏最有人味兒的一條:開發者在盲測中偏好 MAI Code 2 的前端應用產出,勝過 GPT-6 Sol。這個數字一度出了問題:微軟自家帖文裏曾出現三個版本——64%、67%、68%,其中產品帖正文寫的是 64%,另兩處數字分別出現在 Ignite 主題帖與產品帖的另一表述中。ai-oriens 2026 年 11 月 18 日覈實,兩處帖文現均已改爲 64%(258 人盲測,美學與功能雙優),67% 與 68% 爲修正前的頁面舊值。本站現按 64% 統一口徑,舊值只作歷史註腳。
MAI Code 2 Flash 的宣稱更薄:微軟稱它在三項「日常高頻例行編碼任務」基準上與 GPT-6 Luna、Claude Haiku 5.5 相當,成本分別爲 65% 與 20%(50% 推廣價口徑)。但這三項基準沒有具名——不知道是哪三項,就無法複覈「相當」是什麼意思。微軟官方博客圖表另給出 Flash 的平均通過率 61.0%,高於 GPT-6 Luna 的 55.1% 與 Claude Haiku 5.5 的 53.9%,每任務平均成本 $0.052 對 $0.08 與 $0.319(Flash 成本同樣按 50% 推廣價計算)。這組數字比「相當」更積極,但同樣全部出自微軟自報,且基準未具名。
微軟稱,AT&T 定製版 MAI Code 2 Flash 在標準 5G 網絡分析任務上勝過 GPT-6.1 Sol,同時便宜 50 倍。這是單一客戶軼事:定製版、單一任務類型、單一客戶,沒有公開的測試方法,也沒有說明「勝過」指的是哪項指標。把它當作營銷案例讀可以,當作基準讀不行。
截至 2026 年 11 月 20 日,MAI Code 2 沒有登上任何獨立榜單。Google 自動補全裏出現「mai code 2 artificial analysis」,那只是搜索興趣——有人想查它在 AA 上的分數,不代表 AA 已經收錄。FrontierCode v1.1 的分數與成本出自微軟腳註引用的 AA 數據,同樣不是 AA 獨立上榜。本專題的跟蹤清單裏,第一項就是等 AA、LiveBench 或 LMArena 的首次收錄;在此之前,所有分數都只能標註「微軟自報」。