Google 宣稱 Hydrogen 比 3.8 Flash 快 2.5 倍、幻覺少 5 倍以上,CyberQ 用自家 7 道代理任務與一整套 API 規格實測逐項驗證,結論幾乎是「六道題成立,一道題全盤推翻」。這篇 11 月 13 日首發、11 月 15 日補跑更新的實測總共執行 147 次,API 實際花費約 4.9 美元,是目前最貼近真實代理工作流的獨立測試之一——它測的不是基準分數,而是模型在修 bug、重構、讀日誌這些日常活裏的實際表現。
CyberQ 自制了一套名爲 harness-bench 的 7 題評測,覆蓋修 bug、代碼重構、讀日誌找根因、設定衝突、寫工具、長文件處理與工具串接,每題重複 3 次,通過 Antigravity CLI(agy)以 headless 方式執行,單題上限 900 秒。Carbon High 的 3 次與 Orchestrator(Carbon)的 19 次是 11 月 15 日額度重置後補跑的,計入結果的共 147 次執行。
| 模型 / 配置 | 通過 | 總耗時 |
|---|---|---|
| Hydrogen High | 21/21 | 27.0 分 |
| 3.8 Flash High | 21/21 | 24.4 分 |
| Carbon High | 18/21 | 87.5 分 |
| Argon High | 18/21 | 61.2 分 |
| Orchestrator(Carbon) | 18/21 | 71.6 分 |
| Orchestrator(Argon) | 20/21 | 50.0 分 |
單看通過率,Hydrogen High 與 3.8 Flash High 並列滿分 21/21,Carbon 與 Argon 各 18/21。單看總耗時,Hydrogen 的 27.0 分鐘反而比 3.8 Flash 的 24.4 分鐘更長——全部差距來自一道題。
第 03 題是一道 vLLM 日誌除錯題。把它排除後,其餘六題的中位數耗時合計爲 Hydrogen 133 秒對 3.8 Flash 333 秒,快 2.5 倍,與官方宣稱完全一致;token 用量 335K 對 969K,少 65%——比官方稱的省 12%–23% 還要多得多。逐題看,Hydrogen 每題快 1.8–3.6 倍,沒有一道例外。這是 2.5 倍說法迄今最乾淨的一次獨立復現:不是吞吐、不是指數任務時間,而是真實代理任務的中位耗時。
但在第 03 題上,Hydrogen 的行爲完全變了樣:三次執行各調用 45、88、67 次網絡搜索,耗時 302–482 秒、每次約 200 萬 token;3.8 Flash 中位數只要 69 秒、19 萬 token。兩邊最終都答對了,可代價天差地別。七題全算進來,Hydrogen 的 token 合計 6.69M 對 3.8 Flash 的 4.04M,多 66%,總耗時也被反超。這正是標題那句「一道除錯題拖慢全場」的出處:Hydrogen 面對不確定的問題時,會不計成本地反覆聯網查證。
Hydrogen XHigh 同樣 18/21,第 03 題三次全部跑滿 900 秒上限超時,各查了 34、120、138 次網絡;其餘六題全部通過,但每題耗時約 High 檔的兩倍。更高的思考檔位在這裏沒有換來更好的結果,只換來了更長的查證循環。
CyberQ 另設了一組捏造測試:40 道虛構題(不存在的 PyPI 套件、論文、FortiGate 指令與臺灣法規,事先已確認查無此物),加 12 道真實題作對照。Hydrogen 0 次捏造,3.8 Flash 7 次直接捏造,另有 3 次先說查無此物、隨後又描述起細節。方向與官方「捏造少 5 倍以上」的說法一致——Hydrogen 的謹慎與它的聯網查證是一體兩面:不捏造的代價,就是遇到不確定的問題會查個沒完。
API 規格實測方面,models.get 返回的上下文與文件一致(輸入 1,048,576、輸出 65,536);minimal 檔位返回 400 錯誤;請求不存在的 max 思考等級不會報錯。兩個值得記的細節:thinkingBudget 設爲 0 時,在 3.8 Flash 上能關掉思考,在 Hydrogen 上無效——仍有 79 個思考 token;長上下文方面,1,013K token 的撈針測試成功、耗時 31.8 秒。成本上,同一份 209K token 的請求重送命中隱式緩存 207,318 token,費用從 0.321 美元降到 0.027 美元。多模態(PDF、xlsx、影片、語音)單次測試全部答對;平行工具呼叫在 3.8 Flash 上也能做到,並非 Hydrogen 的新能力。
Orchestrator 是 Google 的多模型編排模式。Carbon 版 18/21,與 Carbon High 的通過數相同(失敗 3 次全是第 03 題超時),總耗時少 18%(71.6 對 87.5 分鐘,與官方稱的快 19% 相當),但 token 多 15%(9.27M 對 8.04M)。Argon 版 20/21 對 18/21,總耗時同樣少 18%,token 多 21%。至於官方「少用 24% 額度」的說法,作者明確表示無法證實:agy 未標明每次執行實際用的是哪個模型,且額度不等於 token 數。
實測還撞上了額度牆:Carbon High 跑到第 17 次起被「Individual quota reached」擋下,約 15 小時後才重置;社羣也有 Ultra 用戶回報 4 個會話約 2 小時就用完額度。重度代理用戶在規劃 Hydrogen 的使用量時,這一點比任何基準分都更實際。
這篇實測的侷限作者已在文中披露:自制 7 題樣本小,每題只跑 3 次;11 月 13 日首測與 11 月 15 日補跑相隔兩天,agy 版本從 1.5.7 升到 1.5.8 再到 1.5.9,服務端負載也可能有差異;3.8 Flash 遇到 11 次 503 錯誤,已剔除重跑;多模態與平行調用只是單次、乾淨素材的測試。讀結論時,這些 caveat 要一起帶上。
參考來源:本文爲本站原創改寫與整理,事實與數據覈對自 CyberQ — 實測 Gemini 4 Hydrogen,六道代理任務都更快,為何一道除錯題就拖慢全場?(2026-11-13,2026-11-15 更新)
← 返回 Gemini 4 Hydrogen 專題