跳到正文
The Decoder· Matthias Bastian·· 7 天前精選AI 評分81

Google Gemini 4 Hydrogen 評分超越發佈僅四週的更大型 Argon

Google's Gemini 4 Hydrogen outscores the bigger Argon just four weeks after its launch

AI 導讀

Google 發佈 Gemini 4 Hydrogen,模型在預設 high 思考級別的 Artificial Analysis Intelligence Index 得分為 51,高於 Gemini 4 Argon 的 50;xhigh 級別得分為 54。

推薦理由

文中並列 Google 公佈的基準成績與 Artificial Analysis 的獨立評測,呈現 Hydrogen 在能力分數、終端任務表現及不同思考級別成本上的差異。

正文 · 繁體中文

Google 推出 Gemini 4 Hydrogen,這是一款快速、通用的 AI 模型,面向開發人員及一般用戶。

與 Gemini 4 Carbon 和 Gemini 4 Argon 這兩款前沿模型不同,Google 設計它們是為了在艱深問題上進行深入、長時間跨度的推理;Hydrogen 則旨在快速、低成本地處理日常任務。它看來是早期 Flash 系列的對應產品。

不過,這樣比較或許低估了它。Google 表示,在預設的「high」思考級別下,Hydrogen 在 Artificial Analysis Intelligence Index 的表現勝過較大型的 Argon(51 對 50),而在最高級別「xhigh」下,得分更達 54。

Hydrogen 提供四個思考級別:low、medium、high(預設)以及全新的 xhigh 級別;Argon 則只提供 medium 和 high。模型的輸入上下文窗口為一百萬個 token,並可輸出一百萬個 token。每百萬個輸入 token 收費 $1.50,每百萬個輸出 token 收費 $7.50。快取命中收費 $0.075。

在「xhigh」級別下,Gemini 4 Hydrogen 在 Artificial Analysis Intelligence Index 得分 54,僅落後 Claude Sonnet 5.5 和 GPT-6.1 Sol;兩者在各自的最高思考級別均得 55 分。Gemini 4 Argon 則以 50 分落後。 | 來源:Artificial Analysis

Hydrogen 看來能力更強,價格亦比 Argon 低。更令人費解的是,Google 兩天前宣佈推出新的前沿模型 Carbon 時,公司建議日常編碼工作仍採用 Argon。Hydrogen 應會令這項建議不再適用,Argon 亦會在推出不足四星期後便過時。

Hydrogen 較上一代 Flash 有大幅提升

Google 將 Hydrogen 定位為獨立模型,並稱它是 Gemini 3.8 Flash 的重大升級。Google 表示,在預設思考級別下,它完成任務的速度快 2.5 倍。在 Terminal-Bench 4.1 上,得分由 Flash 的 18.2 percent 跳升至 Hydrogen 的 57 percent。Google 表示,模型的幻覺情況減少至五分之一;當工具呼叫失敗或搜尋沒有結果時,它亦更能妥善恢復。

在研究、數據分析和程式碼導覽等開放式 Agent 任務中,Hydrogen 在 Agent Arena 排行榜排名第五。Google 表示,它在 Vals Tax Agent Bench 以 52.3 percent 位列第一,並在 Vals Legal Research Bench 以 55.8 percent 並列第一。

類別 基準測試 Gemini 4 Hydrogen Gemini 4 Carbon Gemini 4 Argon
一般能力 AA Index v5.0 54 (xhigh, 5.1) 59 50
Vals Index v2.2 — 70.4% 69.2%
智能體編碼 SWE-sweep 13.5% 9.6% 4.3%
FrontierSWE 2 — 61.2% 55.0%
Terminal-Bench 4.1(已調整作弊因素) 57.0% — —
Terminal Bench 4.0 (AA) — 65.2% 57.1%
知識工作 Agents’ Last Exam v1.1 71.6% 77.4% 69.0%
AutomationBench 76.1% — —
AutomationBench (Zapier) — 53.9% 51.3%
Vending-Bench 2(帳戶結餘,美元) $14,549 $16,484 $13,718
電腦操作 OSWorld-2.1(離線子集) 77.6% 81.5% 74.7%
多模態理解 MKA(Climb WSR 準確率) 53.4% — —
圖表製作 66.6% 72.5% 71.6%
Blueprint Bench 2(相似度分數) — 58.6% 54.4%
長上下文 GraphWalks (256k to 1M, BFS) — 96.2% 84.2%
科學與數學 Terminal-Bench-Science 0.1 51.4% — —
RiemannBench — 80.0% 76.0%
Terminal-Bench-Science 0.1 (AA) — 64.8% 52.9%
推理 HLE-Diamond 58.8% — —
網絡安全 CWE-bench — 71.0% 68.0%
ExploitGym — 54.8% 42.0%
SEC-bench Pro — 88.2% 83.4%

對於摘要大型 PDF、試算表或影片等多模態知識工作,Hydrogen 除了一百萬個 token 的輸入上下文窗口外,亦支援最多一百萬個輸出 token。它在 Google 新推出的 Multimodal Knowledge Agent Benchmark 得分 53.4 percent,並在 Agents' Last Exam v1.1 得分 71.6 percent。

Hydrogen 現已推出

Google 正在全球所有平台推出 Hydrogen。開發者可透過 AI Studio 和 Android Studio 中的 Gemini API 使用;付費 Pro 和 Ultra 訂閲用戶則可透過 Google Antigravity 使用。企業客戶可透過 Gemini for Business 使用,而所有用戶都可在 Gemini app 和 Google Search 使用。

Google 表示,在 Gemini app 中,這款模型在較長的對話中更能遵循語氣、格式和指示,因此草稿、摘要和文件更常可以一次生成便用。Hydrogen 也能從 Gmail 和 Drive 等 Google 應用程式,以及 Airtable 和 Dropbox 等第三方應用程式取得相關內容。

Google 也稱,Hydrogen 是 Search 的「重大升級」。Google 表示,這款模型能更妥善處理搜尋查詢,即使查詢包含錯字、多部分問題或非常具體的要求也一樣。搜尋結果更具視覺效果,也更易於瀏覽;改良的查詢扇出技術則能找出更多相關連結。

在 Google 的基準測試比較中,Gemini 4 Hydrogen 在所示的知識工作和多模態理解測試中勝過 Claude Sonnet 5.5 和 GPT-6.1 Terra。不過,Sonnet 在終端機工作和電腦操作方面的得分最高。|來源:Googl

在 Google 的編碼工具 Antigravity 中,全新的協調器會在同一工作階段內動態切換 Carbon 和 Hydrogen,而不是固定使用單一模型。Google 表示,在外部基準測試 Terminal-Bench 4.0 中,協調器的成功率幾乎與 Carbon 相同,同時少用 24% 資源,並縮短 19% 處理時間。

獨立測試發現 Hydrogen 很少出現幻覺,但終端機工作表現較弱

Artificial Analysis 的獨立評估顯示,Hydrogen 在最高思考層級的表現大致與 Claude Sonnet 5.5 相若。在預設的「high」層級,得分降至 51,略低於 GPT-6.1 Sol(xhigh,52)和 Claude Opus 5.5(high,52)。

根據 Artificial Analysis 的資料,在 AA-Omniscience 基準測試中,Hydrogen 只有 8% 的情況會捏造內容。在評估 Agent 式知識工作的 AA-Briefcase 中,它的簡報品質也勝過包括 Carbon 在內的其他 Gemini 模型。

Hydrogen 在 Agent 式終端機工作方面較弱,在 Terminal-Bench 4.0 的得分為 54%,在 Terminal-Bench-Science 0.1 的得分則只有 50%。Claude Sonnet 5.5(max)在這兩項測試的得分分別為 64% 和 53%,而 GPT-6.1 Sol(max)則分別為 56% 和 58%。

在價格效能方面,Artificial Analysis 估算 Hydrogen 在 xhigh 層級每項任務約需 $3.16,約為 Claude Sonnet 5.5(max)成本的三分之一,兩者智能水平相若;但這約是 GPT-6.1 Sol(max)成本的 2.5 倍。

「xhigh」思考層級令 Gemini 4 Hydrogen 的得分由 51 升至 54,但所需的輸出 token 接近「high」層級的兩倍。每項任務的平均成本由 $1.87 升至 $3.16。|來源:Artificial Analysi

在「high」層級,成本降至 $1.87;「medium」層級為 $0.80;「low」層級則為 $0.29。不過,較低層級的智能得分大幅下跌:medium 只有 41 分,low 更只有 27 分。Artificial Analysis 指出,xhigh 使用的輸出 token 接近 high 的兩倍,因而推高成本。在 high、medium 和 low 層級,這款模型均位於 Pareto 前沿,亦即在相應價格下,沒有其他模型能同時更便宜且更智能。

沒有炒作的 AI 新聞——由人手精選

訂閲 THE DECODER,即可享有無廣告閲讀、每週 AI 電子報、每年六期獨家「AI Radar」前沿報告、完整檔案存取權,以及留言區使用權。

來源:The Decoder · the-decoder.com