eesel.ai 在发布后三天内做了首批系统评测,标题点出了两个关键判断:「更聪明了」和「暂时封闭」。评测写于权重发布之前——它的「封闭」判断如今已过期,但对模型能力的判断仍然成立。先说结论:从 13 到 31 的进步是真实的,尤其在编码 Agent、视觉与文档工作上;但代价同样真实:每任务的成本与耗时都翻了几倍,而且聊天不是它的强项。
评测梳理了官方基准表,结论是进步集中在三个方向:编码 Agent 任务、视觉理解与文档/知识工作。SWE-Bench Pro v2 (Hard) 86.3%、PerceptionBench 64.7%、EnterpriseBench-CoreCraft 71.8% 是表里的亮点;AA-Briefcase 从 912 Elo 涨到 1527 Elo,说明文档类 Agent 任务进步最大。AA-Omniscience 的非幻觉率 73.3% 是表中最高——评测认为这说明「事实性短板收窄了」,模型更少编造答案。
| 基准(厂商自测) | Inkling 2 Small | GLM-5.3-Flash | DeepSeek V4.1 Flash | Kimi K3 |
|---|---|---|---|---|
| FrontierCode v2.0 | 25.4% | 14.2% | 28.5% | 17.3% |
| DeepSWE v1.1 | 72.1% | 63.4% | 77.0% | 68.5% |
| Vals Finance Index | 61.5% | 55.8% | 60.9% | 58.0% |
评测的判断是「主要是视觉与金融领先,编码紧跟 DeepSeek 之后」。但在独立的 AA 指数上,Inkling 2 Small 的 30.6 低于 DeepSeek V4.1 Flash 的 32.6、Claude Haiku 5.5 的 36.5,甚至略低于 Gemini 3.8 Flash 的 30.8——厂商自测表与独立榜单给出的排名并不一致,读的时候要分清谁在测。
Artificial Analysis 的独立测量是评测中最值得注意的部分:每指数任务 $1.18、对 15.7 分钟,前代 Inkling Small 是 $0.20、7.0 分钟。成本近 6 倍、耗时翻倍,根源是输出量:每任务约 150K 输出 tokens,是前代约 37K 的 4 倍。AA 的原话是「notably slow per task and very verbose」。评测还提醒:单价 $0.30 输入 / $1.00 输出看着便宜,但 AA 认为这个输入价对同档来说「somewhat expensive」——同档中位价是 $0.24。
评测引述实验室自己的说法:聊天不是它的强项。模型卡还警告了幻觉、指令遵循不完美、长多轮对话变弱、各语言质量不均——这些都是官方自述的短板,不是评测的苛责。另一个保留意见是评测写于 11 月 8 日左右,当时权重还没放出,「封闭」是成立的批评;11 月 12 日权重上架后,这一条已经过期。读这篇评测时要注意时间:能力判断仍然有效,获取方式的判断已经变了。
参考来源:本文为本站原创改写与整理,事实与数据核对自 eesel.ai Inkling 2 Small review(2026-11-08 左右)
← 返回 Inkling 2 Small 专题