ModelBrief · MAI Code 2 · 专题
最后更新 2026-11-20
EN 简体 繁體

MAI Code 2 基准全盘点:四项均值与盲测 64% 澄清

ModelBrief · 2026-11-20 发布 · 事实核查 2026-11-20 · 参考来源:Microsoft AI 产品帖与 Ignite 主题帖、GitHub 更新日志

MAI Code 2 的全部基准数字都出自一个来源:微软自己。本篇盘点所有可核查的数字——四项基准均值、平均通过率、每任务成本、盲测偏好、Flash 的三项基准——并逐条标注方法论与口径。先说结论:目前没有任何独立评分,Artificial Analysis、LiveBench、LMArena 均未收录 MAI Code 2。

核心数字一览(全部微软自报)

测试成绩口径
四项基准均值 vs GPT-6.1 Sol性能 98%,成本约 40%微软自选基准、50% 推广价口径;无独立验证
四项基准均值 vs Claude Opus 5.5性能 96%,成本约 5%微软自选基准、50% 推广价口径;无独立验证
平均通过率(微软官方博客图表)MAI Code 2 63.2% / GPT-6.1 Sol 64.1% / Opus 5.5 65.3%四项基准的平均通过率;MAI Code 2 实际最低
每任务平均成本(微软官方博客图表)MAI Code 2 $0.309 / GPT-6.1 Sol $0.761 / Opus 5.5 $6.306MAI Code 2 的成本按 50% 推广价计算
前端盲测 vs GPT-6 Sol(258 人)偏好 MAI Code 2:64%(微软已统一修正)微软 11 月 18 日已统一修正为 64%;67%/68% 为修正前旧值
Flash 三项基准 vs GPT-6 Luna性能相当,成本 65%三项基准未具名;50% 推广价口径
Flash 三项基准 vs Claude Haiku 5.5性能相当,成本 20%三项基准未具名;50% 推广价口径
AT&T 定制版 Flash vs GPT-6.1 Sol标准 5G 网络分析胜出,便宜 50 倍单一客户轶事,非公开基准

四项基准是什么、怎么跑的

微软称四项基准——DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas、FrontierCode v1.1——对应「GitHub Copilot 里常见的日常企业编码任务」。方法论出自产品帖脚注,值得逐条读:

第一,基准由微软挑选。四项测试是微软选的,不是第三方选的;它们恰好是 MAI Code 2 的主场(日常企业编码),而不是它的短板(基础科学研究、超长程 Agent 工作——微软自己承认这两类未针对调优)。

第二,全部模型以最大推理力度运行。这对所有模型一视同仁,但最大力度下的成本与日常使用时的成本不是一回事;成本比较用的是最大力度下的账单。

第三,三项跑在微软内部平台上。DeepSWE 1.1、Terminal Bench 2.1、SWE-Atlas 三项跑在微软内部评估平台 MSBench 上,经 Copilot CLI、无子智能体;只有 FrontierCode v1.1 的分数与成本来自 Artificial Analysis。也就是说,四项里有三项的跑分环境完全由微软控制。

第四,分项分数在模型卡里,不在产品帖里。产品帖只给均值 98% 与 96%,但模型卡主表公布了分项通过率(MSBench 实测、最大推理力度、三次运行均值):MAI Code 2 为 DeepSWE 1.1 73.2%、Terminal-Bench 2.1 84.6%、SWE Atlas 43.1%,FrontierCode v1.1 约 52%(按四项均值 63.2% 反推,微软未单独公布该项分数);Flash 为 59.9%、78.3%、44.8%。注意两点:第一,分项分数仍是微软自报;第二,模型卡安全章节另有一组不同的 DeepSWE/SWE Atlas 数字(60.2%/27.4%、80.9%/65.2%),未说明口径差异,引用时以主表为准。没有 GPT-6.1 Sol 与 Opus 5.5 的同口径分项分数,98%/96% 的均值仍无法逐项复核——分项看,MAI Code 2 的短板在 SWE Atlas(43.1%)。

「98%」藏住了什么:平均通过率反而最低

微软官方博客图表给出了平均通过率:MAI Code 2 为 63.2%,GPT-6.1 Sol 为 64.1%,Claude Opus 5.5 为 65.3%。换句话说,在四项基准的绝对通过率上,MAI Code 2 是三者中最低的——「98%」是相对 GPT-6.1 Sol 的比值(63.2 ÷ 64.1 ≈ 98.6%),不是绝对领先。每任务平均成本同图表:MAI Code 2 为 $0.309,GPT-6.1 Sol 为 $0.761,Claude Opus 5.5 为 $6.306;其中 MAI Code 2 的成本按 50% 推广价计算,推广结束后这一项也会翻倍。这两组数字是理解「98% 性能约 40% 成本」的关键:性能上它略低于对手,成本优势才是真正的卖点——而成本优势有一半来自推广价。

盲测口径澄清:微软已统一为 64%

258 人前端盲测是微软产品帖里最有人味儿的一条:开发者在盲测中偏好 MAI Code 2 的前端应用产出,胜过 GPT-6 Sol。这个数字一度出了问题:微软自家帖文里曾出现三个版本——64%、67%、68%,其中产品帖正文写的是 64%,另两处数字分别出现在 Ignite 主题帖与产品帖的另一表述中。ai-oriens 2026 年 11 月 18 日核实,两处帖文现均已改为 64%(258 人盲测,美学与功能双优),67% 与 68% 为修正前的页面旧值。本站现按 64% 统一口径,旧值只作历史注脚。

Flash 的三项基准:连名字都没公布

MAI Code 2 Flash 的宣称更薄:微软称它在三项「日常高频例行编码任务」基准上与 GPT-6 Luna、Claude Haiku 5.5 相当,成本分别为 65% 与 20%(50% 推广价口径)。但这三项基准没有具名——不知道是哪三项,就无法复核「相当」是什么意思。微软官方博客图表另给出 Flash 的平均通过率 61.0%,高于 GPT-6 Luna 的 55.1% 与 Claude Haiku 5.5 的 53.9%,每任务平均成本 $0.052 对 $0.08 与 $0.319(Flash 成本同样按 50% 推广价计算)。这组数字比「相当」更积极,但同样全部出自微软自报,且基准未具名。

AT&T 的「50 倍」:个案,不是基准

微软称,AT&T 定制版 MAI Code 2 Flash 在标准 5G 网络分析任务上胜过 GPT-6.1 Sol,同时便宜 50 倍。这是单一客户轶事:定制版、单一任务类型、单一客户,没有公开的测试方法,也没有说明「胜过」指的是哪项指标。把它当作营销案例读可以,当作基准读不行。

没有独立评分:AA、LiveBench、LMArena 均未收录

截至 2026 年 11 月 20 日,MAI Code 2 没有登上任何独立榜单。Google 自动补全里出现「mai code 2 artificial analysis」,那只是搜索兴趣——有人想查它在 AA 上的分数,不代表 AA 已经收录。FrontierCode v1.1 的分数与成本出自微软脚注引用的 AA 数据,同样不是 AA 独立上榜。本专题的跟踪清单里,第一项就是等 AA、LiveBench 或 LMArena 的首次收录;在此之前,所有分数都只能标注「微软自报」。

ModelBrief 的看法:MAI Code 2 的基准故事有两个层面:方法论层面,它挑了自己的主场、跑在自己的平台上、产品帖只给均值(分项分数见模型卡主表);数字层面,平均通过率反而最低,成本优势才是真卖点,而成本优势一半来自推广价。盲测数字则是额外的提醒——连微软自己的数字都需要核对,微软后来已统一修正为 64%。在独立评分出现之前,任何引用都必须带上「微软自报」四个字。