ModelBrief · Inkling 2 Small · 专题
最后更新 2026-11-13
EN 简体 繁體

Plotly 数据分析基准:比前代高 9 分,成本相近、速度快一倍

发布于 2026-11-13 · 最后更新 2026-11-13

Plotly 在 11 月 12 日权重发布当天,用自家的数据分析基准(DataAnalyticsBench)测了 Inkling 2 Small:43 道真实数据分析题,在 Plotly Studio Embedded 里多轮工具调用完成,数据是虚构的风电场数据(防止答案进训练集)。这是当天少有的第三方实测——测的是真实工作流,不是标准基准。先说结论:39/43(91%),美国开源权重模型第一,全部开源模型第三;比前代高 9 分,成本相近、速度快一倍。

得分:39/43,美国开源第一

模型得分 / 43整场花费每题中位耗时权重
Kimi K3.1 Pro42$13.47约 2.5 分钟开源
MiniMax M3.1 Flash41$4.09约 3 分钟开源
Inkling 2 Small39$1.8113 秒开源
Meta Muse Spark Open38$5.1648 秒开源
Inkling-Small(前代)30$1.9325 秒开源
Particle-1(闭源)40$0.3516 秒闭源

Plotly 的原话:「如果你想要一个美国实验室的开源权重模型做数据分析,Inkling 2 Small 是我们现在会选的那个。」但要注意样本量:每模型只跑一次,Plotly 自己说重复运行时分数波动可达 3 分,1–2 分的差距基本等于平局——39 对 38 的「美国第一」就是这个量级的差距。

强在哪:判断题,不是 SQL 题

分项看,Inkling 2 Small 在 6 个类别里 4 项满分:模糊问题 5/5、不可能请求 5/5、数据质量问题 3/3、统计陷阱 5/5;分析题 19/20;隐藏规律题 2/5。Plotly 指出,相比前代的进步主要来自「需要判断而不是 SQL」的问题:统计陷阱是那种「 obvious 算法会给出误导答案」的题,全榜 49 个模型中只有 15 个全对,美国开源模型里除了它只有 Ripple-65B Preview 做到了;数据质量问题(植入的数据缺陷)它 3 个全抓,前代只抓 1 个、第一代 1 个都没抓。在已开源权重的模型里,它是唯一同时在这两类上拿满分的。

错在哪:4 道题全是真错

Plotly 逐题人工核对过,4 道错题全是真实失误。一道分析题:答案算出来了,但最后把表格调用写成了文字而不是执行,表格没出现。另外三道是隐藏规律题——考试里最难的部分:每题暗示数据里有个异常但不明说,模型得自己去找。它找到了 2/5,与 Muse Spark Open 并列美国开源模型最多;Kimi K3.1 Pro 与 MiniMax M3.1 Flash 找全了 5/5。它不是没努力:这类题平均跑约 46 次查询,远高于全榜约 26 次的中位数——找了,但没找全。

成本与速度:便宜又快,但不是最便宜

整场 $1.81,按 Plotly 的推广口径(1,000 人、每人每天 10 题、250 个工作日)约合每人每年 $105。便宜的原因有两个:每题只写约 5,700 输出 tokens(Muse Spark Open 约 7,800、MiniMax 约 32,000),且约 96% 的输入 tokens 来自提供商缓存。速度上,每题中位 13 秒、整场约 16 分钟;全榜 49 个模型里只有 3 个更快(Mercury 3、gpt-oss-120b、Nemotron 3.5 Super VL),但它们只得 35、27、30 分——没有得分 39+ 的模型比它更快。不过闭源模型里 Particle-1 得 40 分只花 $0.35、GPT-6.1 Terra 得 40 分花 $1.31——不要求开源的话,它既不是最准也不是最便宜。

一个值得注意的数字:本地运行只要 356GB?

Plotly 称 4-bit 下约需 356GB 内存,「能装进一台 512GB 的 Mac Studio」。这与官方模型卡「至少 500GB 聚合显存」的要求不一致——两者口径不同:Plotly 说的是权重本身的内存占用,官方要求应是包含运行时开销(KV 缓存、激活值)的口径。本站专题页按官方 500GB 口径写;Plotly 的 356GB 说明权重文件本身比官方门槛小,实际部署时要留足余量。

本站结论:Plotly 的测试是目前最有信息量的第三方实测:它测的是真实工作流,给了成本与速度的完整账,而且诚实地标注了样本量限制。画像与官方基准一致——视觉与判断类任务强、数据分析是亮点;但 39 对 38 的「美国第一」只有 1 分差距,按 Plotly 自己的波动说明基本等于平局。真正站得住的结论是三个:比前代进步 9 分是实打实的;速度(13 秒/题)在高分模型里无人能及;成本 $1.81 在开源模型里属于便宜的。

参考来源:本文为本站原创改写与整理,事实与数据核对自 Plotly 数据分析基准实测(2026-11-12)

← 返回 Inkling 2 Small 专题