ModelBrief · Inkling 2 Small · 專題
最後更新 2026-11-13
EN 简体 繁體

Plotly 數據分析基準:比前代高 9 分,成本相近、速度快一倍

發佈於 2026-11-13 · 最後更新 2026-11-13

Plotly 在 11 月 12 日權重發布當天,用自家的數據分析基準(DataAnalyticsBench)測了 Inkling 2 Small:43 道真實數據分析題,在 Plotly Studio Embedded 裏多輪工具調用完成,數據是虛構的風電場數據(防止答案進訓練集)。這是當天少有的第三方實測——測的是真實工作流,不是標準基準。先說結論:39/43(91%),美國開源權重模型第一,全部開源模型第三;比前代高 9 分,成本相近、速度快一倍。

得分:39/43,美國開源第一

模型得分 / 43整場花費每題中位耗時權重
Kimi K3.1 Pro42$13.47約 2.5 分鐘開源
MiniMax M3.1 Flash41$4.09約 3 分鐘開源
Inkling 2 Small39$1.8113 秒開源
Meta Muse Spark Open38$5.1648 秒開源
Inkling-Small(前代)30$1.9325 秒開源
Particle-1(閉源)40$0.3516 秒閉源

Plotly 的原話:「如果你想要一個美國實驗室的開源權重模型做數據分析,Inkling 2 Small 是我們現在會選的那個。」但要注意樣本量:每模型只跑一次,Plotly 自己說重複運行時分數波動可達 3 分,1–2 分的差距基本等於平局——39 對 38 的「美國第一」就是這個量級的差距。

強在哪:判斷題,不是 SQL 題

分項看,Inkling 2 Small 在 6 個類別裏 4 項滿分:模糊問題 5/5、不可能請求 5/5、數據質量問題 3/3、統計陷阱 5/5;分析題 19/20;隱藏規律題 2/5。Plotly 指出,相比前代的進步主要來自「需要判斷而不是 SQL」的問題:統計陷阱是那種「 obvious 算法會給出誤導答案」的題,全榜 49 個模型中只有 15 個全對,美國開源模型裏除了它只有 Ripple-65B Preview 做到了;數據質量問題(植入的數據缺陷)它 3 個全抓,前代只抓 1 個、第一代 1 個都沒抓。在已開源權重的模型裏,它是唯一同時在這兩類上拿滿分的。

錯在哪:4 道題全是真錯

Plotly 逐題人工覈對過,4 道錯題全是真實失誤。一道分析題:答案算出來了,但最後把表格調用寫成了文字而不是執行,表格沒出現。另外三道是隱藏規律題——考試裏最難的部分:每題暗示數據裏有個異常但不明說,模型得自己去找。它找到了 2/5,與 Muse Spark Open 並列美國開源模型最多;Kimi K3.1 Pro 與 MiniMax M3.1 Flash 找全了 5/5。它不是沒努力:這類題平均跑約 46 次查詢,遠高於全榜約 26 次的中位數——找了,但沒找全。

成本與速度:便宜又快,但不是最便宜

整場 $1.81,按 Plotly 的推廣口徑(1,000 人、每人每天 10 題、250 個工作日)約合每人每年 $105。便宜的原因有兩個:每題只寫約 5,700 輸出 tokens(Muse Spark Open 約 7,800、MiniMax 約 32,000),且約 96% 的輸入 tokens 來自提供商緩存。速度上,每題中位 13 秒、整場約 16 分鐘;全榜 49 個模型裏只有 3 個更快(Mercury 3、gpt-oss-120b、Nemotron 3.5 Super VL),但它們只得 35、27、30 分——沒有得分 39+ 的模型比它更快。不過閉源模型裏 Particle-1 得 40 分只花 $0.35、GPT-6.1 Terra 得 40 分花 $1.31——不要求開源的話,它既不是最準也不是最便宜。

一個值得注意的數字:本地運行只要 356GB?

Plotly 稱 4-bit 下約需 356GB 內存,「能裝進一臺 512GB 的 Mac Studio」。這與官方模型卡「至少 500GB 聚合顯存」的要求不一致——兩者口徑不同:Plotly 說的是權重本身的內存佔用,官方要求應是包含運行時開銷(KV 緩存、激活值)的口徑。本站專題頁按官方 500GB 口徑寫;Plotly 的 356GB 說明權重文件本身比官方門檻小,實際部署時要留足餘量。

本站結論:Plotly 的測試是目前最有信息量的第三方實測:它測的是真實工作流,給了成本與速度的完整賬,而且誠實地標註了樣本量限制。畫像與官方基準一致——視覺與判斷類任務強、數據分析是亮點;但 39 對 38 的「美國第一」只有 1 分差距,按 Plotly 自己的波動說明基本等於平局。真正站得住的結論是三個:比前代進步 9 分是實打實的;速度(13 秒/題)在高分模型裏無人能及;成本 $1.81 在開源模型裏屬於便宜的。

參考來源:本文爲本站原創改寫與整理,事實與數據覈對自 Plotly 數據分析基準實測(2026-11-12)

← 返回 Inkling 2 Small 專題