ModelBrief · Gemini 4 Carbon · 專題
最後更新 2026-11-13
EN 简体 繁體

Quantslant 五十多項任務實測:Carbon 對 Argon、Fable 5.2 與 GPT-6.1 Sol,編碼是短板

發佈於 2026-11-13 · 最後更新 2026-11-13

Quantslant 在 Carbon GA 後第一時間做了兩輪測試:先是 GA 後一小時內的首測,隨後是 50 多項任務、四模型同場對比——Carbon 對 Argon、Claude Fable 5.2 與 GPT-6.1 Sol。全部測試經 OpenRouter、同設置、用單元測試與答案鍵評分,是目前方法最嚴謹的一批上手實測。先說結論:日常與 Agent 任務上 Carbon 幾乎全滿分,但編碼是明確短板——76 個單元測試只過 63 個,三位對手全部滿分。

日常任務:與 Argon 持平,慢一倍

23 項實用任務(帶工具的 Agent、帶單元測試的代碼、寫作與校對、謎題、一份 158,000 字符的文檔),low 檔:

模型得分花費耗時
Gemini 4 Carbon99.5%$0.23264 秒
Gemini 4 Argon99.5%$0.22135 秒
Claude Fable 5.2100%$1.37190 秒
GPT-6.1 Sol100%$0.22180 秒

Carbon 扣掉的 0.5% 還是評分器誤扣——實際表現與 Argon 完全相同,只是花了兩倍時間。測試者的判斷很直接:日常任務上,Carbon 做不了 Argon 做不了的事。

Agent、表格與安全:全部滿分

Agent 任務(6 份文檔 + 一個陷阱):四者全部 10/10,Carbon 54 秒最慢。電子表格引擎 34 個單元測試:全部 34/34,但 Carbon 用了 518 秒、$0.47,寫了 639 行代碼(含自寫解析器與生成器式求值),Argon 只用了 64 秒、$0.05。安全審查(一個小型 Flask 應用,8 個植入漏洞):Carbon 全部找到,行號與 CWE 編號正確,67 秒、$0.03。SOC 日誌分析:Carbon 7/7,找出了暴力破解 IP、被盜賬號、登錄的精確秒數、20 秒後的 CSV 導出,以及 URL 編碼的 ..%2f 路徑穿越。

短板:編碼 63/76

6 項編碼任務、76 個單元測試(medium 檔)是整場測試中 Carbon 唯一明顯落後的環節:Carbon 63/76,Argon、Fable 5.2、Sol 全部 76/76。這與 Google 官方表裏 Carbon 在 Terminal-Bench 4.0(65.2%)領先的形象形成反差——官方基準與這批帶單元測試的實用編碼任務,測的不是同一種能力。樣本仍然很小(6 個任務),但差距方向值得記下:買 Carbon 衝着「最強編程模型」去的人,應該先用自己的真實倉庫測一遍。

編造來源與視覺:Carbon 很老實

要求列出 8 篇帶 DOI 的科學論文(兩個主題):Carbon 列出的 16 篇全部真實存在,僅 2 處小錯(1 個 DOI 錯、1 個年份錯),0 編造;Argon 編造了 2 篇;Fable 5.2 爲 0 編造 / 0 錯誤;Sol 爲 0 編造 / 1 小錯。視覺任務 10/10。這與 AA-Omniscience 的測量一致:Carbon 的幻覺率(11%)高於 Argon(4%),但「編造答案而不是承認不知道」的傾向在 medium 檔很低。

思考燒光 Bug:token 花完,答案爲空

測試中兩次出現:首測時輸出上限 6,000 tokens,Carbon 花 5,808 tokens 推理、返回空答案,照樣收費;四模型對比中,正則任務 medium 檔用掉全部 16,000 tokens 推理,未返回一行代碼($0.16)。這是輸出上限覆蓋思考 token 的機制性後果,不是偶發故障——Google 文檔同樣建議用思考檔位控成本,不要壓低輸出上限。詳見本站思考檔位與避坑指南。

本站結論:Quantslant 的測試描繪了一個清晰的 Carbon 畫像:日常任務與 Argon 無異、更慢;Agent、安全、日誌分析這類「搜、查、驗」的任務是強項;但實用編碼反而落後於三位對手。Carbon 不是全能升級,而是一把專用工具——長、難、需要反覆驗證的任務才值得付它的時間與 token 賬。

參考來源:本文爲本站原創改寫與整理,事實與數據覈對自 Quantslant 50+ 任務四模型對比與首測(2026-11-11)

← 返回 Gemini 4 Carbon 專題