Kimi K3.1 Pro 的基準證據分兩層:獨立榜單是本站專題裏最厚的一層——Artificial Analysis、LMArena、LiveBench、Agent Arena 四家互相印證;廠商博客的 14 項基準則是幾乎全自報的一層。本文先講獨立數字,再講廠商表,最後講兩個最容易寫錯的口徑:AA 的兩個版本號,和被削弱的網絡安全分數。
Artificial Analysis 指數是本模型最重要的一塊獨立證據,但它有兩個版本號,必須同時寫明:v4.3.2(2026 年 10 月 23 日)給出 55 分,全榜 215 個模型中第四,單任務成本 $2.11;同版 Opus 5.5 58 分、Sonnet 5.5 56 分、GPT-6 Astra 53 分。約 11 月 13 日,AA 把指數重定版爲 v5.0(換了評測集),同一模型得 46 分,仍是全榜最強的開源權重模型。兩數都是真的;55 與 46 之間的「落差」是換版造成的,不是模型變弱了。任何只寫一個數字、不寫版本號的引用,都是錯的——讀者會在別處看到另一個數字,以爲其中一個是假的。
AA 的其他榜單同樣是獨立實測:Terminal-Bench 4.0 由 AA 自己跑出 67.2%,是該頁面上所有模型裏的最高分——而廠商博客自報的同一基準是 65.7%,廠商這次數報低了(但兩處可能評估設置不同,不宜當成同一口徑直接相減)。網絡安全指數(11 月 13 日)64 分,Hy4 58 分、DeepSeek-V4.1-Flash-1017 57 分;CyberGym 端到端 94.7%,26 個模型中第一,GPT-6 Sol 93.1%。編程 Agent 指數 v2.1(11 月 13 日)49 分(Kimi Code CLI),Opus 5.5 與 Fable 5.2 58 分、Carbon 55 分、Astra 53 分——編程 Agent 這一項,K3.1 Pro 明顯落後於閉源旗艦。
LMArena 文本榜 1488.0 分,第 24(風格控制,3,995 票,初步結果,±13.0);WebDev 1687 Elo(HTML 1689,104 個模型中第 10)。LiveBench 編程 67.8%(單任務成本 $1.395,單成功任務 $2.057)、推理 91.1%(31 個模型中第 8)、瀏覽器 75.9%(第 13)。Agent Arena(arena.ai)開源第一、全榜第 13,淨提升 +5.1%(Max 檔),基於 17,500+ 真實長程 Agent 會話;Bash 可靠性 +7.9%,而 K3 爲 −4.5%。DuelLab GameBench 2:78.3 分,第 10,Max Intensive 84.0。四家的畫像是一致的:綜合能力接近閉源旗艦,Agent 與推理是強項;但 LMArena 上它只比 Kimi K3 高 0.6 分(1488.0 對 1487.4,比 Muse Spark 的 1489.2 低 1.2 分),差距在置信區間內,不顯著——通用對話這一項,後訓練幾乎沒有拉開差距。
官方博客的基準表(max 推理檔,溫度 1.0,top-p 0.95)共 14 項,幾乎全是廠商自報:Terminal-Bench 4.0 65.7%(Opus 5.5 66.4%、GPT-6 Astra 58.2%);BenchCAD 帶工具 92.7%(Opus 5.5 96.2%、GPT-6 Astra 95.9%、Fable 5.1 92.6%),不帶工具 72.8%(Opus 5.5 73.0%);Kimi Code Bench 3.0 長程(內部基準)61.2%,K3 爲 55.95%;OfficeQA Pro v2(金融)64.4,廠商稱 SOTA;Frontier Finance 58.6;內部金融基準對 K3:建模 57.6 對 50.4、研究 70.4 對 58.8、業務運營 37 對 8.9(約 4.2 倍);Kimi Hallu Bench Hard 聲明級幻覺率:帶工具 8.3%(K3 23.4%),不帶工具 5.4%(GPT-6 Astra 4.2%、Opus 5.5 6.8%)。讀這張表要分兩層:金融與幻覺的改善幅度很大(業務運營 8.9→37、幻覺 23.4%→8.3%),是後訓練的真實收益;BenchCAD 與 TB 4.0 則落後於 Opus 5.5,說明它還不是全能旗艦。
xdev-bench-hard pass@3(網絡安全):未清理的檢查點 90.5%,發佈版 81.0%;K3 33.3%,DeepSeek-V4.1-Flash 85.7%。博客寫明瞭原因:爲使開源權重不延伸「網絡安全能力的絕對前沿」,Moonshot 從中期訓練與強化學習中移除了網絡安全相關數據。廠商自己的表述是,發佈版的網絡安全能力「仍落後於至少三個月前就已公開的前沿專有模型」。這是一個刻意的降級,不是能力上限——但發佈版的 81.0% 確實低於 DeepSeek-V4.1-Flash 的 85.7%,網絡安全任務上它不是開源第一。與此同時,AA CyberGym 端到端實測給出 94.7%、26 個模型中第一——兩個數字口徑不同(xdev-bench 是廠商的 pass@3,CyberGym 是 AA 的端到端實測),不宜直接比較,更不宜互相否定。
把短板集中列出來:輸出速度慢——AA 兩次測量互相沖突(約 49.7 與約 73.5 tok/s,速度榜約 186/192 位),eesel.ai 的評價是「smart and cheap per token, but slow」;編程 Agent 指數 49 分,落後於 Opus 5.5 與 Fable 5.2 的 58 分、Carbon 的 55 分;BenchCAD 帶工具 92.7%,落後於 Opus 5.5 的 96.2%;高速版「快 2–3 倍」沒有已公佈的 tok/s 數字,無法驗證;LMArena 與 K3 的差距不顯著。這些短板不否定 46 分的「開源最強」,但決定了適用邊界:Agent 與金融任務值得試,純速度敏感的長輸出任務要先實測。
都是真的:55 分是 v4.3.2(2026 年 10 月 23 日),46 分是 v5.0(約 11 月 13 日重定版,換了評測集)。兩個版本號的分數不可直接比較;v5.0 的 46 分仍是全榜最強的開源權重模型。
65.7% 是廠商博客自報,67.2% 是 Artificial Analysis 自己實測的同一基準,且爲該頁面最高分。兩處可能評估設置不同,不宜當成同一口徑直接相減;廠商這次數報低了。
不是能力上限,是刻意削弱:Moonshot 移除了網絡安全相關訓練數據,未清理檢查點爲 90.5%。但發佈版的 81.0% 確實低於 DeepSeek-V4.1-Flash 的 85.7%,網絡安全任務上它不是開源第一。
沒有可信的單一數字:AA 兩次測量約爲 49.7 與約 73.5 tok/s,互相沖突;速度榜約 186/192 位。高速版「快 2–3 倍」沒有已公佈的 tok/s 數字。本站不採納任何單一速度數字。
參考來源:Artificial Analysis — 指數 v4.3.2/v5.0、Terminal-Bench 4.0、網絡安全指數、CyberGym、編程 Agent 指數 · LMArena — 文本榜與 WebDev · LiveBench · Moonshot — kimi.com 技術博客(廠商 14 項基準)(本文爲本站改寫與整理,事實以各榜單與官方博客爲準)