ModelBrief · Gemini 4 Hydrogen · 专题
最后更新 2026-11-20
EN 简体 繁體

CyberQ 实测:六道代理任务都更快,一道除错题拖慢全场

发布于 2026-11-15 · 最后更新 2026-11-15

Google 宣称 Hydrogen 比 3.8 Flash 快 2.5 倍、幻觉少 5 倍以上,CyberQ 用自家 7 道代理任务与一整套 API 规格实测逐项验证,结论几乎是「六道题成立,一道题全盘推翻」。这篇 11 月 13 日首发、11 月 15 日补跑更新的实测总共执行 147 次,API 实际花费约 4.9 美元,是目前最贴近真实代理工作流的独立测试之一——它测的不是基准分数,而是模型在修 bug、重构、读日志这些日常活里的实际表现。

怎么测:7 道自制代理题,每题跑 3 次

CyberQ 自制了一套名为 harness-bench 的 7 题评测,覆盖修 bug、代码重构、读日志找根因、设定冲突、写工具、长文件处理与工具串接,每题重复 3 次,通过 Antigravity CLI(agy)以 headless 方式执行,单题上限 900 秒。Carbon High 的 3 次与 Orchestrator(Carbon)的 19 次是 11 月 15 日额度重置后补跑的,计入结果的共 147 次执行。

总成绩:Hydrogen High 21/21 全过,但总耗时反而不如 3.8 Flash

模型 / 配置通过总耗时
Hydrogen High21/2127.0 分
3.8 Flash High21/2124.4 分
Carbon High18/2187.5 分
Argon High18/2161.2 分
Orchestrator(Carbon)18/2171.6 分
Orchestrator(Argon)20/2150.0 分

单看通过率,Hydrogen High 与 3.8 Flash High 并列满分 21/21,Carbon 与 Argon 各 18/21。单看总耗时,Hydrogen 的 27.0 分钟反而比 3.8 Flash 的 24.4 分钟更长——全部差距来自一道题。

扣掉第 03 题:快 2.5 倍、token 少 65%,官方说法成立

第 03 题是一道 vLLM 日志除错题。把它排除后,其余六题的中位数耗时合计为 Hydrogen 133 秒对 3.8 Flash 333 秒,快 2.5 倍,与官方宣称完全一致;token 用量 335K 对 969K,少 65%——比官方称的省 12%–23% 还要多得多。逐题看,Hydrogen 每题快 1.8–3.6 倍,没有一道例外。这是 2.5 倍说法迄今最干净的一次独立复现:不是吞吐、不是指数任务时间,而是真实代理任务的中位耗时。

第 03 题反转:Hydrogen 查了几十次网,把全场拖垮

但在第 03 题上,Hydrogen 的行为完全变了样:三次执行各调用 45、88、67 次网络搜索,耗时 302–482 秒、每次约 200 万 token;3.8 Flash 中位数只要 69 秒、19 万 token。两边最终都答对了,可代价天差地别。七题全算进来,Hydrogen 的 token 合计 6.69M 对 3.8 Flash 的 4.04M,多 66%,总耗时也被反超。这正是标题那句「一道除错题拖慢全场」的出处:Hydrogen 面对不确定的问题时,会不计成本地反复联网查证。

XHigh 更极端:第 03 题三次全部超时

Hydrogen XHigh 同样 18/21,第 03 题三次全部跑满 900 秒上限超时,各查了 34、120、138 次网络;其余六题全部通过,但每题耗时约 High 档的两倍。更高的思考档位在这里没有换来更好的结果,只换来了更长的查证循环。

捏造测试:Hydrogen 0 次,3.8 Flash 7 次

CyberQ 另设了一组捏造测试:40 道虚构题(不存在的 PyPI 套件、论文、FortiGate 指令与台湾法规,事先已确认查无此物),加 12 道真实题作对照。Hydrogen 0 次捏造,3.8 Flash 7 次直接捏造,另有 3 次先说查无此物、随后又描述起细节。方向与官方「捏造少 5 倍以上」的说法一致——Hydrogen 的谨慎与它的联网查证是一体两面:不捏造的代价,就是遇到不确定的问题会查个没完。

规格与边界:与文件一致,但有两个小陷阱

API 规格实测方面,models.get 返回的上下文与文件一致(输入 1,048,576、输出 65,536);minimal 档位返回 400 错误;请求不存在的 max 思考等级不会报错。两个值得记的细节:thinkingBudget 设为 0 时,在 3.8 Flash 上能关掉思考,在 Hydrogen 上无效——仍有 79 个思考 token;长上下文方面,1,013K token 的捞针测试成功、耗时 31.8 秒。成本上,同一份 209K token 的请求重送命中隐式缓存 207,318 token,费用从 0.321 美元降到 0.027 美元。多模态(PDF、xlsx、影片、语音)单次测试全部答对;平行工具呼叫在 3.8 Flash 上也能做到,并非 Hydrogen 的新能力。

Orchestrator:快 18%,token 反而多 15%

Orchestrator 是 Google 的多模型编排模式。Carbon 版 18/21,与 Carbon High 的通过数相同(失败 3 次全是第 03 题超时),总耗时少 18%(71.6 对 87.5 分钟,与官方称的快 19% 相当),但 token 多 15%(9.27M 对 8.04M)。Argon 版 20/21 对 18/21,总耗时同样少 18%,token 多 21%。至于官方「少用 24% 额度」的说法,作者明确表示无法证实:agy 未标明每次执行实际用的是哪个模型,且额度不等于 token 数。

额度:Carbon High 跑到第 17 次就被挡下

实测还撞上了额度墙:Carbon High 跑到第 17 次起被「Individual quota reached」挡下,约 15 小时后才重置;社群也有 Ultra 用户回报 4 个会话约 2 小时就用完额度。重度代理用户在规划 Hydrogen 的使用量时,这一点比任何基准分都更实际。

局限:小样本、跨两天、版本有变

这篇实测的局限作者已在文中披露:自制 7 题样本小,每题只跑 3 次;11 月 13 日首测与 11 月 15 日补跑相隔两天,agy 版本从 1.5.7 升到 1.5.8 再到 1.5.9,服务端负载也可能有差异;3.8 Flash 遇到 11 次 503 错误,已剔除重跑;多模态与平行调用只是单次、干净素材的测试。读结论时,这些 caveat 要一起带上。

本站结论:Hydrogen 可以当日常代理的默认模型——六道常规任务全过、快 2.5 倍、token 少 65%、零捏造,官方的两项关键说法在这里都站得住。但它面对不确定的问题会大量联网查证,第 03 题就是明证:设好工具调用次数与时间预算再放手跑,别让它无限查下去;XHigh 不建议默认开启,耗时翻倍却没有换来更高的通过率;从 3.8 Flash 迁移时注意 thinkingBudget: 0 在 Hydrogen 上无效,关思考要另想办法。

参考来源:本文为本站原创改写与整理,事实与数据核对自 CyberQ — 實測 Gemini 4 Hydrogen,六道代理任務都更快,為何一道除錯題就拖慢全場?(2026-11-13,2026-11-15 更新)

← 返回 Gemini 4 Hydrogen 专题