Google 宣称 Hydrogen 比 3.8 Flash 快 2.5 倍、幻觉少 5 倍以上,CyberQ 用自家 7 道代理任务与一整套 API 规格实测逐项验证,结论几乎是「六道题成立,一道题全盘推翻」。这篇 11 月 13 日首发、11 月 15 日补跑更新的实测总共执行 147 次,API 实际花费约 4.9 美元,是目前最贴近真实代理工作流的独立测试之一——它测的不是基准分数,而是模型在修 bug、重构、读日志这些日常活里的实际表现。
CyberQ 自制了一套名为 harness-bench 的 7 题评测,覆盖修 bug、代码重构、读日志找根因、设定冲突、写工具、长文件处理与工具串接,每题重复 3 次,通过 Antigravity CLI(agy)以 headless 方式执行,单题上限 900 秒。Carbon High 的 3 次与 Orchestrator(Carbon)的 19 次是 11 月 15 日额度重置后补跑的,计入结果的共 147 次执行。
| 模型 / 配置 | 通过 | 总耗时 |
|---|---|---|
| Hydrogen High | 21/21 | 27.0 分 |
| 3.8 Flash High | 21/21 | 24.4 分 |
| Carbon High | 18/21 | 87.5 分 |
| Argon High | 18/21 | 61.2 分 |
| Orchestrator(Carbon) | 18/21 | 71.6 分 |
| Orchestrator(Argon) | 20/21 | 50.0 分 |
单看通过率,Hydrogen High 与 3.8 Flash High 并列满分 21/21,Carbon 与 Argon 各 18/21。单看总耗时,Hydrogen 的 27.0 分钟反而比 3.8 Flash 的 24.4 分钟更长——全部差距来自一道题。
第 03 题是一道 vLLM 日志除错题。把它排除后,其余六题的中位数耗时合计为 Hydrogen 133 秒对 3.8 Flash 333 秒,快 2.5 倍,与官方宣称完全一致;token 用量 335K 对 969K,少 65%——比官方称的省 12%–23% 还要多得多。逐题看,Hydrogen 每题快 1.8–3.6 倍,没有一道例外。这是 2.5 倍说法迄今最干净的一次独立复现:不是吞吐、不是指数任务时间,而是真实代理任务的中位耗时。
但在第 03 题上,Hydrogen 的行为完全变了样:三次执行各调用 45、88、67 次网络搜索,耗时 302–482 秒、每次约 200 万 token;3.8 Flash 中位数只要 69 秒、19 万 token。两边最终都答对了,可代价天差地别。七题全算进来,Hydrogen 的 token 合计 6.69M 对 3.8 Flash 的 4.04M,多 66%,总耗时也被反超。这正是标题那句「一道除错题拖慢全场」的出处:Hydrogen 面对不确定的问题时,会不计成本地反复联网查证。
Hydrogen XHigh 同样 18/21,第 03 题三次全部跑满 900 秒上限超时,各查了 34、120、138 次网络;其余六题全部通过,但每题耗时约 High 档的两倍。更高的思考档位在这里没有换来更好的结果,只换来了更长的查证循环。
CyberQ 另设了一组捏造测试:40 道虚构题(不存在的 PyPI 套件、论文、FortiGate 指令与台湾法规,事先已确认查无此物),加 12 道真实题作对照。Hydrogen 0 次捏造,3.8 Flash 7 次直接捏造,另有 3 次先说查无此物、随后又描述起细节。方向与官方「捏造少 5 倍以上」的说法一致——Hydrogen 的谨慎与它的联网查证是一体两面:不捏造的代价,就是遇到不确定的问题会查个没完。
API 规格实测方面,models.get 返回的上下文与文件一致(输入 1,048,576、输出 65,536);minimal 档位返回 400 错误;请求不存在的 max 思考等级不会报错。两个值得记的细节:thinkingBudget 设为 0 时,在 3.8 Flash 上能关掉思考,在 Hydrogen 上无效——仍有 79 个思考 token;长上下文方面,1,013K token 的捞针测试成功、耗时 31.8 秒。成本上,同一份 209K token 的请求重送命中隐式缓存 207,318 token,费用从 0.321 美元降到 0.027 美元。多模态(PDF、xlsx、影片、语音)单次测试全部答对;平行工具呼叫在 3.8 Flash 上也能做到,并非 Hydrogen 的新能力。
Orchestrator 是 Google 的多模型编排模式。Carbon 版 18/21,与 Carbon High 的通过数相同(失败 3 次全是第 03 题超时),总耗时少 18%(71.6 对 87.5 分钟,与官方称的快 19% 相当),但 token 多 15%(9.27M 对 8.04M)。Argon 版 20/21 对 18/21,总耗时同样少 18%,token 多 21%。至于官方「少用 24% 额度」的说法,作者明确表示无法证实:agy 未标明每次执行实际用的是哪个模型,且额度不等于 token 数。
实测还撞上了额度墙:Carbon High 跑到第 17 次起被「Individual quota reached」挡下,约 15 小时后才重置;社群也有 Ultra 用户回报 4 个会话约 2 小时就用完额度。重度代理用户在规划 Hydrogen 的使用量时,这一点比任何基准分都更实际。
这篇实测的局限作者已在文中披露:自制 7 题样本小,每题只跑 3 次;11 月 13 日首测与 11 月 15 日补跑相隔两天,agy 版本从 1.5.7 升到 1.5.8 再到 1.5.9,服务端负载也可能有差异;3.8 Flash 遇到 11 次 503 错误,已剔除重跑;多模态与平行调用只是单次、干净素材的测试。读结论时,这些 caveat 要一起带上。
参考来源:本文为本站原创改写与整理,事实与数据核对自 CyberQ — 實測 Gemini 4 Hydrogen,六道代理任務都更快,為何一道除錯題就拖慢全場?(2026-11-13,2026-11-15 更新)
← 返回 Gemini 4 Hydrogen 专题