Fireworks AI 的這篇評估值得單開一篇文章,不是因爲它給了 K3.1 Pro 一個高分,而是因爲它換了一把尺子:不用廠商自報的榜單,也不用通用聊天榜,而是拿 21 個從業者自己搭建的專業基準做對照——銀行客服、金融研究、公司記錄、遺留代碼維護,全是 Agent 真正要乾的活。結論也因此比「開源最強」更具體:對前代 Kimi K3,17 項共享基準贏了 14 項;對 Claude Opus 5.5,則是「有的贏、有的貴」——銀行客服贏了分數,輸了賬單。
評估用的是 Fireworks 的「專業智能指數」(Specialized Intelligence Index,簡稱 SII):把 21 個從業者自建的基準榜單拉到同一張表上對照。研究基於 2026 年 11 月 9 日的 SII 快照,頁面於 2026 年 11 月 17 日更新。注意一個版本細節:頁面上的 Published 字段顯示 2025-11-06,這是 CMS 的年份錯誤——文中涉及的模型與基準全是 2026 年 11 月的東西,引用時應以 11 月 9 日快照與 11 月 17 日更新爲準。除了榜單對照,文章還對 4 項任務做了任務層面的深挖——Sierra 的 τ³-Banking(銀行客服)、Epiq 的 CorporateBench(公司記錄)、Rogo 的 Big Finance(金融研究)、Factory 的 Legacy-Bench(遺留代碼維護),另有 Letta 與 Surge AI 的補充分析。
與前代 K3 相比,K3.1 Pro 在 17 項共享基準裏贏了 14 項,後訓練的收益是真實的。最漂亮的一場在 Legacy-Bench 上:這是 Factory 的遺留代碼維護基準,共 97 道題,K3.1 Pro 完成率 62.5%,對 K3 的 54.3%,多完成了 15%,模型花費還低了 48%——分數與成本雙贏。法律助理基準 LAB 也從 13.1 升到 15.4(+18%)。但同一張表裏也有兩處明顯的倒退:Letta 的 FrontierMemory(記憶創建)低了 22%——K3.1 Pro 只分配了 50–65% 的源記錄,而 K3 在 3 次運行裏有 2 次分配了全部;22 條記錄的任務有一次只分配了 1 條、一次 0 條。更刺眼的是 LAB Contracts(合同審查):8.3 跌到 3.0,跌了 64%。也就是說,後訓練把代碼維護與通用法律助理推上去了,卻把記憶創建與合同審查這兩項推下去了——升級之前,先看自己的任務是不是正好踩在這兩個坑裏。
與 Claude Opus 5.5 的對照更有意思,因爲勝負與成本是分開算的。先看贏的:τ³-Banking(Sierra 的銀行客服)解決率 63.3%,對 Opus 5.5 的 56.0%,多解決了 13%;更關鍵的是準確性——未按要求改動的賬戶操作字段佔比從 8.5% 降到 2.6%,降了約 69%;12 個最難對話裏,Kimi 平均解決 5 個,其他模型平均不超過 2 個。但代價也很具體:每次成功解決 $1.51,對 Opus 的 $0.80,貴了約 89%,耗時 2 倍多,輸入 token 約 3 倍。CorporateBench(Epiq 的公司記錄)78.4 對 75.4,每題 $0.47 對 $2.80,便宜 83%——這一項是分數與成本雙贏;不過要補一句:GPT-6.1 Sol 在這項上是 82.2 分、$0.41,Kimi 不是最優解;員工關係題 Kimi 只有 78 分,Astra 96、Sol 93,細分題型是短板。Big Finance(Rogo 的金融研究)48.2%,與 Opus 持平,每題 $0.17 對 $0.91,便宜 81%;但 Sol 是 52.0%、每題約 $0.05,分數更高還更便宜。Parallel Search(並行搜索)74.2 對 75.4,分數略低,每題 $0.27 對 $0.95,便宜 72%——分數輸一點、價格贏很多。輸得最乾脆的是兩項:ORCA(Traversal 的生產事故根因定位)32.9%,Opus 5 是 44.3%(Opus 5.5 未測)、Astra 50.2%;sudo L7(Surge AI 的生產代碼庫改動)通過率 16.7%,Opus 5.5 是 45.6%、Sonnet 5.5 是 50.6%,不過比 K3 高了 37%——相對前代進步,絕對值仍然很低。
Surge AI 的補充分析看的不是分數,而是模型在推理裏做了什麼:256 個軟件任務各跑 3 次,64% 的嘗試中,模型在推理過程裏識別了風險,卻既沒有修復,也沒有在最終回覆裏提及。這是一個值得記下來的行爲特徵——模型不是沒看見問題,是看見了卻沒處理。但這段分析有一個必須註明的限定:不可直接跨模型對比,因爲只有 K3.1 Pro 的完整推理是可見的,對比模型只暴露了書面筆記——同樣的行爲在別的模型身上可能也存在,只是看不見。
文章最後做了一組路由模擬:461 個任務,路由器按同類任務的歷史分數與成本來選模型,假設每分值 $20——這是模擬假設,不是真實業務價值。結果是:與 Astra 配對,在 98% 的重採樣中優於單模型;與 Sol 配對,89%。與 Opus 配對,在 99% 的重採樣中優於單用 Opus,而且全部更便宜;但只在 55% 的重採樣中優於單用 Kimi——也就是說,Kimi 加 Opus 的組合,差不多有一半的時候還不如單用 Kimi。兩個具體例子:CorporateBench 上配對組合約 100/128,比單用 Opus 高 11 分,花費從 $358 降到 $100;Legacy-Bench 與 Astra 配對,93/97 分給 Kimi,61 個任務 $43,對單用 Astra 的 56 個任務 $235,省了約 82%。這裏的重採樣衡量的是任務樣本的差異,不是重複運行的波動——換一批任務,結果會浮動,但浮動的方向大致如此。模擬的結論很明確:把 Kimi 放在它擅長的任務上、別的任務交給搭檔,比全量替換成任何一個單模型都划算。
把整篇評估收攏成一句話:Kimi 適合「按任務分工」,而不是「全量替換」。強項是銀行客服、遺留代碼與並行搜索;短板是合同審查、記憶創建、員工關係與根因定位。選它之前,先對照自己的任務清單:任務落在強項裏,它比 Opus 5.5 便宜得多;落在短板裏,再便宜的分數也沒有意義。最後是這篇評估的適用邊界,必須寫清楚:所有結果都是基準分數與模擬,不是真實客戶部署;路由模擬裏的每分值 $20 是假設,不是業務定價;生產環境的路由器要真正落地,還得先獲得或預測任務類別——沒有這一步,模擬裏的收益只是紙面數字。
SII 是 Fireworks 的「專業智能指數」,對照的是 21 個從業者自建的專業基準(銀行客服、金融研究、公司記錄、遺留代碼等),看的是 Agent 在具體工作裏的表現;AA 指數是綜合智能指數,看的是通用能力。兩者互補:AA 說它「開源最強」,SII 說它「強在哪些具體任務上、弱在哪些上」。
因爲 17 項是共享基準的勝負計數,贏 14 項是總數;短板集中在記憶創建(FrontierMemory 低 22%)、合同審查(LAB Contracts 跌 64%)、根因定位(ORCA 32.9%)等單項上。總數贏不等於處處贏,選型要看自己的任務落在贏的那邊還是輸的那邊。
這是模擬假設,不是真實業務價值:路由器按「分數×$20 − 成本」來選模型。換一個假設值,配對結果會變。所以模擬的結論只能讀作「分工有潛力」,不能讀作「這樣配一定省多少錢」。
不能直接當依據:全部結果是基準分數與模擬,不是真實客戶部署;重採樣衡量的是任務樣本差異,不是重複運行的波動。它適合用來縮小候選範圍、決定先試哪些任務,真正的採購決定還得拿自己的任務實測。