Fireworks AI 的这篇评估值得单开一篇文章,不是因为它给了 K3.1 Pro 一个高分,而是因为它换了一把尺子:不用厂商自报的榜单,也不用通用聊天榜,而是拿 21 个从业者自己搭建的专业基准做对照——银行客服、金融研究、公司记录、遗留代码维护,全是 Agent 真正要干的活。结论也因此比「开源最强」更具体:对前代 Kimi K3,17 项共享基准赢了 14 项;对 Claude Opus 5.5,则是「有的赢、有的贵」——银行客服赢了分数,输了账单。
评估用的是 Fireworks 的「专业智能指数」(Specialized Intelligence Index,简称 SII):把 21 个从业者自建的基准榜单拉到同一张表上对照。研究基于 2026 年 11 月 9 日的 SII 快照,页面于 2026 年 11 月 17 日更新。注意一个版本细节:页面上的 Published 字段显示 2025-11-06,这是 CMS 的年份错误——文中涉及的模型与基准全是 2026 年 11 月的东西,引用时应以 11 月 9 日快照与 11 月 17 日更新为准。除了榜单对照,文章还对 4 项任务做了任务层面的深挖——Sierra 的 τ³-Banking(银行客服)、Epiq 的 CorporateBench(公司记录)、Rogo 的 Big Finance(金融研究)、Factory 的 Legacy-Bench(遗留代码维护),另有 Letta 与 Surge AI 的补充分析。
与前代 K3 相比,K3.1 Pro 在 17 项共享基准里赢了 14 项,后训练的收益是真实的。最漂亮的一场在 Legacy-Bench 上:这是 Factory 的遗留代码维护基准,共 97 道题,K3.1 Pro 完成率 62.5%,对 K3 的 54.3%,多完成了 15%,模型花费还低了 48%——分数与成本双赢。法律助理基准 LAB 也从 13.1 升到 15.4(+18%)。但同一张表里也有两处明显的倒退:Letta 的 FrontierMemory(记忆创建)低了 22%——K3.1 Pro 只分配了 50–65% 的源记录,而 K3 在 3 次运行里有 2 次分配了全部;22 条记录的任务有一次只分配了 1 条、一次 0 条。更刺眼的是 LAB Contracts(合同审查):8.3 跌到 3.0,跌了 64%。也就是说,后训练把代码维护与通用法律助理推上去了,却把记忆创建与合同审查这两项推下去了——升级之前,先看自己的任务是不是正好踩在这两个坑里。
与 Claude Opus 5.5 的对照更有意思,因为胜负与成本是分开算的。先看赢的:τ³-Banking(Sierra 的银行客服)解决率 63.3%,对 Opus 5.5 的 56.0%,多解决了 13%;更关键的是准确性——未按要求改动的账户操作字段占比从 8.5% 降到 2.6%,降了约 69%;12 个最难对话里,Kimi 平均解决 5 个,其他模型平均不超过 2 个。但代价也很具体:每次成功解决 $1.51,对 Opus 的 $0.80,贵了约 89%,耗时 2 倍多,输入 token 约 3 倍。CorporateBench(Epiq 的公司记录)78.4 对 75.4,每题 $0.47 对 $2.80,便宜 83%——这一项是分数与成本双赢;不过要补一句:GPT-6.1 Sol 在这项上是 82.2 分、$0.41,Kimi 不是最优解;员工关系题 Kimi 只有 78 分,Astra 96、Sol 93,细分题型是短板。Big Finance(Rogo 的金融研究)48.2%,与 Opus 持平,每题 $0.17 对 $0.91,便宜 81%;但 Sol 是 52.0%、每题约 $0.05,分数更高还更便宜。Parallel Search(并行搜索)74.2 对 75.4,分数略低,每题 $0.27 对 $0.95,便宜 72%——分数输一点、价格赢很多。输得最干脆的是两项:ORCA(Traversal 的生产事故根因定位)32.9%,Opus 5 是 44.3%(Opus 5.5 未测)、Astra 50.2%;sudo L7(Surge AI 的生产代码库改动)通过率 16.7%,Opus 5.5 是 45.6%、Sonnet 5.5 是 50.6%,不过比 K3 高了 37%——相对前代进步,绝对值仍然很低。
Surge AI 的补充分析看的不是分数,而是模型在推理里做了什么:256 个软件任务各跑 3 次,64% 的尝试中,模型在推理过程里识别了风险,却既没有修复,也没有在最终回复里提及。这是一个值得记下来的行为特征——模型不是没看见问题,是看见了却没处理。但这段分析有一个必须注明的限定:不可直接跨模型对比,因为只有 K3.1 Pro 的完整推理是可见的,对比模型只暴露了书面笔记——同样的行为在别的模型身上可能也存在,只是看不见。
文章最后做了一组路由模拟:461 个任务,路由器按同类任务的历史分数与成本来选模型,假设每分值 $20——这是模拟假设,不是真实业务价值。结果是:与 Astra 配对,在 98% 的重采样中优于单模型;与 Sol 配对,89%。与 Opus 配对,在 99% 的重采样中优于单用 Opus,而且全部更便宜;但只在 55% 的重采样中优于单用 Kimi——也就是说,Kimi 加 Opus 的组合,差不多有一半的时候还不如单用 Kimi。两个具体例子:CorporateBench 上配对组合约 100/128,比单用 Opus 高 11 分,花费从 $358 降到 $100;Legacy-Bench 与 Astra 配对,93/97 分给 Kimi,61 个任务 $43,对单用 Astra 的 56 个任务 $235,省了约 82%。这里的重采样衡量的是任务样本的差异,不是重复运行的波动——换一批任务,结果会浮动,但浮动的方向大致如此。模拟的结论很明确:把 Kimi 放在它擅长的任务上、别的任务交给搭档,比全量替换成任何一个单模型都划算。
把整篇评估收拢成一句话:Kimi 适合「按任务分工」,而不是「全量替换」。强项是银行客服、遗留代码与并行搜索;短板是合同审查、记忆创建、员工关系与根因定位。选它之前,先对照自己的任务清单:任务落在强项里,它比 Opus 5.5 便宜得多;落在短板里,再便宜的分数也没有意义。最后是这篇评估的适用边界,必须写清楚:所有结果都是基准分数与模拟,不是真实客户部署;路由模拟里的每分值 $20 是假设,不是业务定价;生产环境的路由器要真正落地,还得先获得或预测任务类别——没有这一步,模拟里的收益只是纸面数字。
SII 是 Fireworks 的「专业智能指数」,对照的是 21 个从业者自建的专业基准(银行客服、金融研究、公司记录、遗留代码等),看的是 Agent 在具体工作里的表现;AA 指数是综合智能指数,看的是通用能力。两者互补:AA 说它「开源最强」,SII 说它「强在哪些具体任务上、弱在哪些上」。
因为 17 项是共享基准的胜负计数,赢 14 项是总数;短板集中在记忆创建(FrontierMemory 低 22%)、合同审查(LAB Contracts 跌 64%)、根因定位(ORCA 32.9%)等单项上。总数赢不等于处处赢,选型要看自己的任务落在赢的那边还是输的那边。
这是模拟假设,不是真实业务价值:路由器按「分数×$20 − 成本」来选模型。换一个假设值,配对结果会变。所以模拟的结论只能读作「分工有潜力」,不能读作「这样配一定省多少钱」。
不能直接当依据:全部结果是基准分数与模拟,不是真实客户部署;重采样衡量的是任务样本差异,不是重复运行的波动。它适合用来缩小候选范围、决定先试哪些任务,真正的采购决定还得拿自己的任务实测。