Kimi K3.1 Pro 的基准证据分两层:独立榜单是本站专题里最厚的一层——Artificial Analysis、LMArena、LiveBench、Agent Arena 四家互相印证;厂商博客的 14 项基准则是几乎全自报的一层。本文先讲独立数字,再讲厂商表,最后讲两个最容易写错的口径:AA 的两个版本号,和被削弱的网络安全分数。
Artificial Analysis 指数是本模型最重要的一块独立证据,但它有两个版本号,必须同时写明:v4.3.2(2026 年 10 月 23 日)给出 55 分,全榜 215 个模型中第四,单任务成本 $2.11;同版 Opus 5.5 58 分、Sonnet 5.5 56 分、GPT-6 Astra 53 分。约 11 月 13 日,AA 把指数重定版为 v5.0(换了评测集),同一模型得 46 分,仍是全榜最强的开源权重模型。两数都是真的;55 与 46 之间的「落差」是换版造成的,不是模型变弱了。任何只写一个数字、不写版本号的引用,都是错的——读者会在别处看到另一个数字,以为其中一个是假的。
AA 的其他榜单同样是独立实测:Terminal-Bench 4.0 由 AA 自己跑出 67.2%,是该页面上所有模型里的最高分——而厂商博客自报的同一基准是 65.7%,厂商这次数报低了(但两处可能评估设置不同,不宜当成同一口径直接相减)。网络安全指数(11 月 13 日)64 分,Hy4 58 分、DeepSeek-V4.1-Flash-1017 57 分;CyberGym 端到端 94.7%,26 个模型中第一,GPT-6 Sol 93.1%。编程 Agent 指数 v2.1(11 月 13 日)49 分(Kimi Code CLI),Opus 5.5 与 Fable 5.2 58 分、Carbon 55 分、Astra 53 分——编程 Agent 这一项,K3.1 Pro 明显落后于闭源旗舰。
LMArena 文本榜 1488.0 分,第 24(风格控制,3,995 票,初步结果,±13.0);WebDev 1687 Elo(HTML 1689,104 个模型中第 10)。LiveBench 编程 67.8%(单任务成本 $1.395,单成功任务 $2.057)、推理 91.1%(31 个模型中第 8)、浏览器 75.9%(第 13)。Agent Arena(arena.ai)开源第一、全榜第 13,净提升 +5.1%(Max 档),基于 17,500+ 真实长程 Agent 会话;Bash 可靠性 +7.9%,而 K3 为 −4.5%。DuelLab GameBench 2:78.3 分,第 10,Max Intensive 84.0。四家的画像是一致的:综合能力接近闭源旗舰,Agent 与推理是强项;但 LMArena 上它只比 Kimi K3 高 0.6 分(1488.0 对 1487.4,比 Muse Spark 的 1489.2 低 1.2 分),差距在置信区间内,不显著——通用对话这一项,后训练几乎没有拉开差距。
官方博客的基准表(max 推理档,温度 1.0,top-p 0.95)共 14 项,几乎全是厂商自报:Terminal-Bench 4.0 65.7%(Opus 5.5 66.4%、GPT-6 Astra 58.2%);BenchCAD 带工具 92.7%(Opus 5.5 96.2%、GPT-6 Astra 95.9%、Fable 5.1 92.6%),不带工具 72.8%(Opus 5.5 73.0%);Kimi Code Bench 3.0 长程(内部基准)61.2%,K3 为 55.95%;OfficeQA Pro v2(金融)64.4,厂商称 SOTA;Frontier Finance 58.6;内部金融基准对 K3:建模 57.6 对 50.4、研究 70.4 对 58.8、业务运营 37 对 8.9(约 4.2 倍);Kimi Hallu Bench Hard 声明级幻觉率:带工具 8.3%(K3 23.4%),不带工具 5.4%(GPT-6 Astra 4.2%、Opus 5.5 6.8%)。读这张表要分两层:金融与幻觉的改善幅度很大(业务运营 8.9→37、幻觉 23.4%→8.3%),是后训练的真实收益;BenchCAD 与 TB 4.0 则落后于 Opus 5.5,说明它还不是全能旗舰。
xdev-bench-hard pass@3(网络安全):未清理的检查点 90.5%,发布版 81.0%;K3 33.3%,DeepSeek-V4.1-Flash 85.7%。博客写明了原因:为使开源权重不延伸「网络安全能力的绝对前沿」,Moonshot 从中期训练与强化学习中移除了网络安全相关数据。厂商自己的表述是,发布版的网络安全能力「仍落后于至少三个月前就已公开的前沿专有模型」。这是一个刻意的降级,不是能力上限——但发布版的 81.0% 确实低于 DeepSeek-V4.1-Flash 的 85.7%,网络安全任务上它不是开源第一。与此同时,AA CyberGym 端到端实测给出 94.7%、26 个模型中第一——两个数字口径不同(xdev-bench 是厂商的 pass@3,CyberGym 是 AA 的端到端实测),不宜直接比较,更不宜互相否定。
把短板集中列出来:输出速度慢——AA 两次测量互相冲突(约 49.7 与约 73.5 tok/s,速度榜约 186/192 位),eesel.ai 的评价是「smart and cheap per token, but slow」;编程 Agent 指数 49 分,落后于 Opus 5.5 与 Fable 5.2 的 58 分、Carbon 的 55 分;BenchCAD 带工具 92.7%,落后于 Opus 5.5 的 96.2%;高速版「快 2–3 倍」没有已公布的 tok/s 数字,无法验证;LMArena 与 K3 的差距不显著。这些短板不否定 46 分的「开源最强」,但决定了适用边界:Agent 与金融任务值得试,纯速度敏感的长输出任务要先实测。
都是真的:55 分是 v4.3.2(2026 年 10 月 23 日),46 分是 v5.0(约 11 月 13 日重定版,换了评测集)。两个版本号的分数不可直接比较;v5.0 的 46 分仍是全榜最强的开源权重模型。
65.7% 是厂商博客自报,67.2% 是 Artificial Analysis 自己实测的同一基准,且为该页面最高分。两处可能评估设置不同,不宜当成同一口径直接相减;厂商这次数报低了。
不是能力上限,是刻意削弱:Moonshot 移除了网络安全相关训练数据,未清理检查点为 90.5%。但发布版的 81.0% 确实低于 DeepSeek-V4.1-Flash 的 85.7%,网络安全任务上它不是开源第一。
没有可信的单一数字:AA 两次测量约为 49.7 与约 73.5 tok/s,互相冲突;速度榜约 186/192 位。高速版「快 2–3 倍」没有已公布的 tok/s 数字。本站不采纳任何单一速度数字。
参考来源:Artificial Analysis — 指数 v4.3.2/v5.0、Terminal-Bench 4.0、网络安全指数、CyberGym、编程 Agent 指数 · LMArena — 文本榜与 WebDev · LiveBench · Moonshot — kimi.com 技术博客(厂商 14 项基准)(本文为本站改写与整理,事实以各榜单与官方博客为准)