Quantslant 在 Carbon GA 后第一时间做了两轮测试:先是 GA 后一小时内的首测,随后是 50 多项任务、四模型同场对比——Carbon 对 Argon、Claude Fable 5.2 与 GPT-6.1 Sol。全部测试经 OpenRouter、同设置、用单元测试与答案键评分,是目前方法最严谨的一批上手实测。先说结论:日常与 Agent 任务上 Carbon 几乎全满分,但编码是明确短板——76 个单元测试只过 63 个,三位对手全部满分。
23 项实用任务(带工具的 Agent、带单元测试的代码、写作与校对、谜题、一份 158,000 字符的文档),low 档:
| 模型 | 得分 | 花费 | 耗时 |
|---|---|---|---|
| Gemini 4 Carbon | 99.5% | $0.23 | 264 秒 |
| Gemini 4 Argon | 99.5% | $0.22 | 135 秒 |
| Claude Fable 5.2 | 100% | $1.37 | 190 秒 |
| GPT-6.1 Sol | 100% | $0.22 | 180 秒 |
Carbon 扣掉的 0.5% 还是评分器误扣——实际表现与 Argon 完全相同,只是花了两倍时间。测试者的判断很直接:日常任务上,Carbon 做不了 Argon 做不了的事。
Agent 任务(6 份文档 + 一个陷阱):四者全部 10/10,Carbon 54 秒最慢。电子表格引擎 34 个单元测试:全部 34/34,但 Carbon 用了 518 秒、$0.47,写了 639 行代码(含自写解析器与生成器式求值),Argon 只用了 64 秒、$0.05。安全审查(一个小型 Flask 应用,8 个植入漏洞):Carbon 全部找到,行号与 CWE 编号正确,67 秒、$0.03。SOC 日志分析:Carbon 7/7,找出了暴力破解 IP、被盗账号、登录的精确秒数、20 秒后的 CSV 导出,以及 URL 编码的 ..%2f 路径穿越。
6 项编码任务、76 个单元测试(medium 档)是整场测试中 Carbon 唯一明显落后的环节:Carbon 63/76,Argon、Fable 5.2、Sol 全部 76/76。这与 Google 官方表里 Carbon 在 Terminal-Bench 4.0(65.2%)领先的形象形成反差——官方基准与这批带单元测试的实用编码任务,测的不是同一种能力。样本仍然很小(6 个任务),但差距方向值得记下:买 Carbon 冲着「最强编程模型」去的人,应该先用自己的真实仓库测一遍。
要求列出 8 篇带 DOI 的科学论文(两个主题):Carbon 列出的 16 篇全部真实存在,仅 2 处小错(1 个 DOI 错、1 个年份错),0 编造;Argon 编造了 2 篇;Fable 5.2 为 0 编造 / 0 错误;Sol 为 0 编造 / 1 小错。视觉任务 10/10。这与 AA-Omniscience 的测量一致:Carbon 的幻觉率(11%)高于 Argon(4%),但「编造答案而不是承认不知道」的倾向在 medium 档很低。
测试中两次出现:首测时输出上限 6,000 tokens,Carbon 花 5,808 tokens 推理、返回空答案,照样收费;四模型对比中,正则任务 medium 档用掉全部 16,000 tokens 推理,未返回一行代码($0.16)。这是输出上限覆盖思考 token 的机制性后果,不是偶发故障——Google 文档同样建议用思考档位控成本,不要压低输出上限。详见本站思考档位与避坑指南。
参考来源:本文为本站原创改写与整理,事实与数据核对自 Quantslant 50+ 任务四模型对比与首测(2026-11-11)
← 返回 Gemini 4 Carbon 专题