MAI Code 2 的全部基准数字都出自一个来源:微软自己。本篇盘点所有可核查的数字——四项基准均值、平均通过率、每任务成本、盲测偏好、Flash 的三项基准——并逐条标注方法论与口径。先说结论:目前没有任何独立评分,Artificial Analysis、LiveBench、LMArena 均未收录 MAI Code 2。
| 测试 | 成绩 | 口径 |
|---|---|---|
| 四项基准均值 vs GPT-6.1 Sol | 性能 98%,成本约 40% | 微软自选基准、50% 推广价口径;无独立验证 |
| 四项基准均值 vs Claude Opus 5.5 | 性能 96%,成本约 5% | 微软自选基准、50% 推广价口径;无独立验证 |
| 平均通过率(微软官方博客图表) | MAI Code 2 63.2% / GPT-6.1 Sol 64.1% / Opus 5.5 65.3% | 四项基准的平均通过率;MAI Code 2 实际最低 |
| 每任务平均成本(微软官方博客图表) | MAI Code 2 $0.309 / GPT-6.1 Sol $0.761 / Opus 5.5 $6.306 | MAI Code 2 的成本按 50% 推广价计算 |
| 前端盲测 vs GPT-6 Sol(258 人) | 偏好 MAI Code 2:64%(微软已统一修正) | 微软 11 月 18 日已统一修正为 64%;67%/68% 为修正前旧值 |
| Flash 三项基准 vs GPT-6 Luna | 性能相当,成本 65% | 三项基准未具名;50% 推广价口径 |
| Flash 三项基准 vs Claude Haiku 5.5 | 性能相当,成本 20% | 三项基准未具名;50% 推广价口径 |
| AT&T 定制版 Flash vs GPT-6.1 Sol | 标准 5G 网络分析胜出,便宜 50 倍 | 单一客户轶事,非公开基准 |
微软称四项基准——DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas、FrontierCode v1.1——对应「GitHub Copilot 里常见的日常企业编码任务」。方法论出自产品帖脚注,值得逐条读:
第一,基准由微软挑选。四项测试是微软选的,不是第三方选的;它们恰好是 MAI Code 2 的主场(日常企业编码),而不是它的短板(基础科学研究、超长程 Agent 工作——微软自己承认这两类未针对调优)。
第二,全部模型以最大推理力度运行。这对所有模型一视同仁,但最大力度下的成本与日常使用时的成本不是一回事;成本比较用的是最大力度下的账单。
第三,三项跑在微软内部平台上。DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas 三项跑在微软内部评估平台 MSBench 上,经 Copilot CLI、无子智能体;只有 FrontierCode v1.1 的分数与成本来自 Artificial Analysis。也就是说,四项里有三项的跑分环境完全由微软控制。
第四,分项分数在模型卡里,不在产品帖里。产品帖只给均值 98% 与 96%,但模型卡主表公布了分项通过率(MSBench 实测、最大推理力度、三次运行均值):MAI Code 2 为 DeepSWE 1.1 73.2%、Terminal-Bench 2.1 84.6%、SWE Atlas 43.1%,FrontierCode v1.1 约 52%(按四项均值 63.2% 反推,微软未单独公布该项分数);Flash 为 59.9%、78.3%、44.8%。注意两点:第一,分项分数仍是微软自报;第二,模型卡安全章节另有一组不同的 DeepSWE/SWE Atlas 数字(60.2%/27.4%、80.9%/65.2%),未说明口径差异,引用时以主表为准。没有 GPT-6.1 Sol 与 Opus 5.5 的同口径分项分数,98%/96% 的均值仍无法逐项复核——分项看,MAI Code 2 的短板在 SWE Atlas(43.1%)。
微软官方博客图表给出了平均通过率:MAI Code 2 为 63.2%,GPT-6.1 Sol 为 64.1%,Claude Opus 5.5 为 65.3%。换句话说,在四项基准的绝对通过率上,MAI Code 2 是三者中最低的——「98%」是相对 GPT-6.1 Sol 的比值(63.2 ÷ 64.1 ≈ 98.6%),不是绝对领先。每任务平均成本同图表:MAI Code 2 为 $0.309,GPT-6.1 Sol 为 $0.761,Claude Opus 5.5 为 $6.306;其中 MAI Code 2 的成本按 50% 推广价计算,推广结束后这一项也会翻倍。这两组数字是理解「98% 性能约 40% 成本」的关键:性能上它略低于对手,成本优势才是真正的卖点——而成本优势有一半来自推广价。
258 人前端盲测是微软产品帖里最有人味儿的一条:开发者在盲测中偏好 MAI Code 2 的前端应用产出,胜过 GPT-6 Sol。这个数字一度出了问题:微软自家帖文里曾出现三个版本——64%、67%、68%,其中产品帖正文写的是 64%,另两处数字分别出现在 Ignite 主题帖与产品帖的另一表述中。ai-oriens 2026 年 11 月 18 日核实,两处帖文现均已改为 64%(258 人盲测,美学与功能双优),67% 与 68% 为修正前的页面旧值。本站现按 64% 统一口径,旧值只作历史注脚。
MAI Code 2 Flash 的宣称更薄:微软称它在三项「日常高频例行编码任务」基准上与 GPT-6 Luna、Claude Haiku 5.5 相当,成本分别为 65% 与 20%(50% 推广价口径)。但这三项基准没有具名——不知道是哪三项,就无法复核「相当」是什么意思。微软官方博客图表另给出 Flash 的平均通过率 61.0%,高于 GPT-6 Luna 的 55.1% 与 Claude Haiku 5.5 的 53.9%,每任务平均成本 $0.052 对 $0.08 与 $0.319(Flash 成本同样按 50% 推广价计算)。这组数字比「相当」更积极,但同样全部出自微软自报,且基准未具名。
微软称,AT&T 定制版 MAI Code 2 Flash 在标准 5G 网络分析任务上胜过 GPT-6.1 Sol,同时便宜 50 倍。这是单一客户轶事:定制版、单一任务类型、单一客户,没有公开的测试方法,也没有说明「胜过」指的是哪项指标。把它当作营销案例读可以,当作基准读不行。
截至 2026 年 11 月 20 日,MAI Code 2 没有登上任何独立榜单。Google 自动补全里出现「mai code 2 artificial analysis」,那只是搜索兴趣——有人想查它在 AA 上的分数,不代表 AA 已经收录。FrontierCode v1.1 的分数与成本出自微软脚注引用的 AA 数据,同样不是 AA 独立上榜。本专题的跟踪清单里,第一项就是等 AA、LiveBench 或 LMArena 的首次收录;在此之前,所有分数都只能标注「微软自报」。