ModelBrief · Gemini 4 Carbon · 专题
最后更新 2026-11-13
EN 简体 繁體

Quantslant 五十多项任务实测:Carbon 对 Argon、Fable 5.2 与 GPT-6.1 Sol,编码是短板

发布于 2026-11-13 · 最后更新 2026-11-13

Quantslant 在 Carbon GA 后第一时间做了两轮测试:先是 GA 后一小时内的首测,随后是 50 多项任务、四模型同场对比——Carbon 对 Argon、Claude Fable 5.2 与 GPT-6.1 Sol。全部测试经 OpenRouter、同设置、用单元测试与答案键评分,是目前方法最严谨的一批上手实测。先说结论:日常与 Agent 任务上 Carbon 几乎全满分,但编码是明确短板——76 个单元测试只过 63 个,三位对手全部满分。

日常任务:与 Argon 持平,慢一倍

23 项实用任务(带工具的 Agent、带单元测试的代码、写作与校对、谜题、一份 158,000 字符的文档),low 档:

模型得分花费耗时
Gemini 4 Carbon99.5%$0.23264 秒
Gemini 4 Argon99.5%$0.22135 秒
Claude Fable 5.2100%$1.37190 秒
GPT-6.1 Sol100%$0.22180 秒

Carbon 扣掉的 0.5% 还是评分器误扣——实际表现与 Argon 完全相同,只是花了两倍时间。测试者的判断很直接:日常任务上,Carbon 做不了 Argon 做不了的事。

Agent、表格与安全:全部满分

Agent 任务(6 份文档 + 一个陷阱):四者全部 10/10,Carbon 54 秒最慢。电子表格引擎 34 个单元测试:全部 34/34,但 Carbon 用了 518 秒、$0.47,写了 639 行代码(含自写解析器与生成器式求值),Argon 只用了 64 秒、$0.05。安全审查(一个小型 Flask 应用,8 个植入漏洞):Carbon 全部找到,行号与 CWE 编号正确,67 秒、$0.03。SOC 日志分析:Carbon 7/7,找出了暴力破解 IP、被盗账号、登录的精确秒数、20 秒后的 CSV 导出,以及 URL 编码的 ..%2f 路径穿越。

短板:编码 63/76

6 项编码任务、76 个单元测试(medium 档)是整场测试中 Carbon 唯一明显落后的环节:Carbon 63/76,Argon、Fable 5.2、Sol 全部 76/76。这与 Google 官方表里 Carbon 在 Terminal-Bench 4.0(65.2%)领先的形象形成反差——官方基准与这批带单元测试的实用编码任务,测的不是同一种能力。样本仍然很小(6 个任务),但差距方向值得记下:买 Carbon 冲着「最强编程模型」去的人,应该先用自己的真实仓库测一遍。

编造来源与视觉:Carbon 很老实

要求列出 8 篇带 DOI 的科学论文(两个主题):Carbon 列出的 16 篇全部真实存在,仅 2 处小错(1 个 DOI 错、1 个年份错),0 编造;Argon 编造了 2 篇;Fable 5.2 为 0 编造 / 0 错误;Sol 为 0 编造 / 1 小错。视觉任务 10/10。这与 AA-Omniscience 的测量一致:Carbon 的幻觉率(11%)高于 Argon(4%),但「编造答案而不是承认不知道」的倾向在 medium 档很低。

思考烧光 Bug:token 花完,答案为空

测试中两次出现:首测时输出上限 6,000 tokens,Carbon 花 5,808 tokens 推理、返回空答案,照样收费;四模型对比中,正则任务 medium 档用掉全部 16,000 tokens 推理,未返回一行代码($0.16)。这是输出上限覆盖思考 token 的机制性后果,不是偶发故障——Google 文档同样建议用思考档位控成本,不要压低输出上限。详见本站思考档位与避坑指南。

本站结论:Quantslant 的测试描绘了一个清晰的 Carbon 画像:日常任务与 Argon 无异、更慢;Agent、安全、日志分析这类「搜、查、验」的任务是强项;但实用编码反而落后于三位对手。Carbon 不是全能升级,而是一把专用工具——长、难、需要反复验证的任务才值得付它的时间与 token 账。

参考来源:本文为本站原创改写与整理,事实与数据核对自 Quantslant 50+ 任务四模型对比与首测(2026-11-11)

← 返回 Gemini 4 Carbon 专题