Gemini 4 Hydrogen 基准测试全盘点：官方表、AA 51/54 分与 8% 幻觉率怎么看
Hydrogen 发布一天，分数已经不少：Google 的官方表、Artificial Analysis 的独立测量、Vals 与 Agent Arena 的专项榜。但分数来自不同测试者、不同口径，放在一起看会互相打架。本文把所有可核查的分数列出来，并说明每一项是谁测的、跟谁比、能信几分。
Google 官方表：三项领先，两项落后
| 测试 | Hydrogen | Sonnet 5.5 | GPT-6.1 Terra |
|---|---|---|---|
| SWE-sweep | 13.5% | 3.1% | 5.8% |
| Terminal-Bench 4.1（作弊校正） | 57.0% | 63.9% | — |
| Agents' Last Exam v1.1 | 71.6% | 60.4% | 69.8% |
| AutomationBench-AA | 76.1% | 71.8% | 60.2% |
SWE-sweep 是领先幅度最大的一项：13.5% 对 Sonnet 5.5 的 3.1% 与 Terra 的 5.8%。但 Terminal-Bench 4.1 是官方表里 Hydrogen 输掉的一项：57.0% 对 Sonnet 5.5 的 63.9%。官方表由 Google 选定对照模型与测试版本——它愿意把输掉的那项也放进表里，至少说明这张表不是只挑赢的。
官方表的其他分数：OSWorld-2.1 77.6%（Sonnet 5.5 为 83.9%，又输一项）；HLE-Diamond 58.8%（官方称「同级领先」，但未指明同级包含哪些模型）；Terminal-Bench-Science 0.1 51.4%；Vals Tax Agent Bench 52.3%（85 个模型中第 1）；Vals Legal Research Bench 55.8%（并列第 1）；Multimodal Knowledge Agent (MKA) 53.4%（同级领先）；Agent Arena 第 5。与 3.8 Flash 对比：Terminal-Bench 4.1 从 18.2% 涨到 57%（high 档，Google 每任务平均 5 次尝试）。
AA 独立测量：51/54 分与 8% 幻觉率
| 测量 | Hydrogen | 对照 |
|---|---|---|
| AA 智能指数 v5.0.1（四档） | low 27 / medium 41 / high 51 / xhigh 54 | Argon 50（high）；Sonnet 5.5 与 Sol 各 55（max）；Carbon 60（high） |
| 每任务成本 | low $0.29 / medium $0.80 / high $1.87 / xhigh $3.16 | xhigh 约 Sonnet 5.5（max）的 1/3，约 Sol（max）的 2.5 倍 |
| 每任务耗时 | high 约 6.0 分钟；xhigh 约 13–14 分钟 | AA 每 6 小时重跑，数字会浮动 |
| 首 token 等待（xhigh） | 约 41 秒 | 同类中位约 13.6 秒 |
| 输出速度（xhigh） | 约 198 token/s | — |
| 指数运行总输出 tokens | 304M | 同类中位 72.8M |
| AA-Omniscience 幻觉率 | 8% | Sonnet 5.5 43%；GPT-6.1 Sol 52% |
| Terminal-Bench 4.0（AA） | 54%（high 与 xhigh 相同），64 模型中第 11 | Sol 56%；Sonnet 5.5 64% |
| Terminal-Bench-Science 0.1（AA） | high 41% → xhigh 50% | Sonnet 5.5 53%（the-decoder） |
| AA-Briefcase / GDP.pdf | 展示质量高于其他 Gemini 模型（含 Carbon）；GDP.pdf medium 档并列最高 | — |
AA 的测量更可信，因为测试者是第三方、方法公开、每 6 小时重跑。但要注意：AA 的数字会浮动——不同来源在不同时间读到的每任务耗时就不一样（xhigh 档：winbuzzer 13.0 分钟、stackfutures 13.5 分钟、AA 模型页 FAQ 13.7 分钟）。本文写的是约数，请以 AA 模型页当前读数为准。
怎么读这些分数：六条 caveat
第一，官方表是 Google 自己挑的对手与版本。对照模型只有 Sonnet 5.5 与 Terra，没有 Fable 5.2（AA 65 分的榜首）；「同级领先」的同级也没说清包含谁。
第二，Terminal-Bench 4.0 与 4.1 是两个版本。AA 实测的 54% 是 4.0，官方表的 57% 是 4.1，对手与测法都不同，不能放进一句话里比。
第三，Orchestrator 的基准版本至今未统一。Google 主博客称 Terminal-Bench 4.0，Antigravity 官方帖称 4.1，两处自相矛盾，且均未给出具体成功率数字。
第四，安全类数字未指明比较对象。越权行为减少 81%、服务不足减少 79%、Gray Swan 韧性提升 2.3 倍——cellcog 指出，这些句子都没说跟谁比。
第五，HLE-Diamond 的对照分只有一处来源。Sonnet 5.5 的 53.3% 仅见于一处视频转述，本文未将其列入对照表。
第六，AA 的数字每 6 小时重跑。首 token 41.11 秒（11 月 12 日）与 40.55 秒（11 月 13 日）是同一指标的不同时点读数；high 档的首 token 数据 AA 未单列。
相关文章
参考来源：本文为本站原创改写与整理，事实与数据核对自 deepmind.google Gemini 模型页官方对比表与 Artificial Analysis 模型页（2026-11-12/13）
← 返回 Gemini 4 Hydrogen 专题