跳到正文
DEV Community· ali·· 2 小時前精選AI 評分78

Gemini 4 Argon 基準數據未呈現的設定差異與定價風險

Gemini 4 Argon: What the Benchmarks Don't Tell You

AI 導讀

Gemini 4 Argon 廣泛引用的基準分數多在 High 推理設定下測得,但預設設定是 Medium,兩者不能直接代表用戶的預設表現。獨立測試中,Argon 在 Artificial Analysis Intelligence Index 的 High 模式得分為 52.56,模型幻覺率為 15%。

推薦理由

文章拆分基準測試設定與用戶預設值,並列出入門定價與報道中的後續價格,讓模型比較和遷移成本估算有具體依據。

正文 · 繁體中文

過去兩星期,Google 一直向開發者表示,Gemini 4 Argon 是其推出過能力最強的模型。相關圖表隨處可見:Argon 略勝 Claude Opus 5.5 和 GPT-6 Astra 的長條圖、每百萬個輸入 token 收費 $2 的價格,以及在公開競技場排行榜上名列第一的成績。不過,目前廣泛流傳的基準測試表格,採用的是大多數訂戶永遠不會使用的設定;而宣傳中的價格也設有期限。以下會説明宣傳簡報沒有提及的事,以及如果你正考慮把工作負載轉移過來,實際上哪些因素才重要。

Google 實際公佈了甚麼

Google 於 30 September 發布 Gemini 4 Argon,並於本週正式開放使用。開發者可透過 API 使用此模型,現時的入門價格為每百萬個輸入 token $2、每百萬個輸出 token $10。Google AI Pro 用戶可在 Gemini app 和 Search 的 AI Mode 中使用 Argon 的推理能力。但他們無法使用 Google Antigravity;這是一個代理式編碼環境,可編輯多個檔案、執行測試,並在無需人手逐步提示的情況下反覆調整;目前仍只供 Ultra 用戶使用。

此模型配備 1,048,576 個 token 的上下文視窗,輸入、內部推理和輸出共用此容量。預設情況下,每次回覆最多輸出 65,536 個 token;較長時間執行的背景請求可串接 64K 延續步驟,令總輸出 token 數最高約達一百萬。模型可接收文字、圖片、影片、音訊和 PDF,但只會以文字回覆,也不支援生成圖片或音訊。

人人都在分享的基準測試表格

Google 表示,在其自行比較的 19 項基準測試中,Argon 有 13 項勝過 GPT-6 Astra 和 Claude Opus 5.5。科技媒體最常引用、由 VentureBeat 報道的競爭模型分數如下:

  • DeepSWE v1.1(軟件工程): Argon 77.9%,Opus 5.5 74.2%,GPT-6 Astra 74.1%

  • Zapier AutomationBench(商業自動化): Argon 51.3%,Opus 5.5 42.5%,Astra 41.4%

  • Terminal-Bench 4.0(終端機任務): Argon 57.4%,Opus 5.5 66.4%,Astra 未有公佈

  • Artificial Analysis Intelligence Index: Argon 53,Opus 5.5 58,Astra 53

這些模型在軟件工程和自動化任務上的成績確實出色。不過,請仔細看看欄目標題:Google 自家的表格和大部分媒體報道,採用的都是 Argon 在 High 推理設定下的分數。預設設定是 Medium。這個分別幾乎改變了一切,箇中細節如下。

細節:這些分數是在 High 模式下測得

Argon 提供三種思考層級:低、中、高,預設為中。Google 公佈的分數是在 High 模式下測得,並非訂戶開箱即用的設定。獨立測試清楚顯示兩者的差距:在 Artificial Analysis 的 Intelligence Index 上,Argon 在 High 模式下得分 52.56,與 GPT-6 Astra 的 52.67 相差不到半分,但比 Claude Sonnet 5.5 的 56.00 和 Claude Opus 5.5 的 57.62 低約五分。獨立測試也確認了一項亮點:Argon 的幻覺率為 15%,是該指數中所有得分高於 45 的模型之中最低的;相比之下,Astra 在最高設定下的幻覺率為 51%。

預設推理力度下的情況則較不明朗。Cursor 表示,Argon 在 CursorBench 的預設推理力度測試中得分為 52.8%,與 Opus 5.5 相若。Scale AI 在其 Sixth Sense 測試中以 55.4% 的得分將 Argon 排名第一。這些結果可信,但仍屬初步;Arena 的文字排行榜根據 4,942 票將 Argon 排名第一,得分為 1525,並明確標示為初步結果。

工程師比較模型時,還有一個較不易察覺的陷阱。三間主要實驗室現在都把預設推理力度稱為「medium」,但三家的文件頁面都沒有表示這三項預設設定會投入相同的思考量。切勿把不同來源的數據混在同一張比較表中:Anthropic 提供的 Opus 5.5 Terminal-Bench 數據是在 xhigh 推理力度下測得,而 Google 的數據則來自其以 High 設定自行進行的測試。

定價:目前便宜,日後翻倍

每 $2/$10 的價格是優惠價,妥善編列預算的方法,是按優惠期後的價格計算工作負載成本。第三方報道指出,價格會翻倍至每百萬個輸入 token $4、每百萬個輸出 token $20;其中一家媒體指出生效日期為 1 December 2026,另一家則表示優惠價會維持至 2026 年底。Google 尚未公開確定日期,因此任何具體截止日期都應視為未經確認。對歐洲團隊而言,按目前匯率計算,每百萬個 token 的輸入成本約為 €1.80,輸出成本約為 €9.00,未計增值税。

為甚麼這很重要?獨立成本分析顯示,按優惠價計算,Argon 在 Artificial Analysis 指數上的每項任務成本約為 $1.99,約為 GPT-6 Astra 的 60%。按優惠期後的價格計算,情況便會逆轉:每項任務成本約為 $3.98,約為 Astra 目前價格的 120%。如果你今天遷移工作流程,卻忘了在 1 月重新計算,推理費用便會悄悄翻倍。正如一個比較網站所説:「按全價編列預算,而不是按優惠價。」

API 的實際情況:遷移時容易忽略的問題

Argon 有幾項行為與舊版 Gemini 模型或競爭對手的模型不同,團隊移植程式碼時容易因此遇上問題:

  • 推理設定是唯一重要的調節項。將 thinking_level 設為 low、medium 或 high。傳統的取樣參數 temperature、top_p 和 top_k 雖然會被接受,但系統會悄悄忽略。

  • 快取只會自動處理。明確呼叫 cachedContents 會失敗;系統只支援對至少 4,096 個 token 的提示詞進行隱式快取。

  • 取得第一個 token 的時間較長。獨立基準測試顯示,對於含有 10k 個 token 的提示詞,在收到第一個回答 token 前的中位時間約為 43-45 秒。Google 的遷移檢查清單建議,對於較難處理的提示詞,HTTP 用戶端逾時設定至少應為 15 分鐘。

  • 長篇輸出需要使用背景模式。由於同步輸出的上限為 64K,要生成最多一百萬個輸出 token,必須使用背景請求,由 Google 的伺服器串接後續生成步驟。

最簡潔而如實的呼叫模式如下:

from google import genai

client = genai.Client(api_key="YOUR_API_KEY")

# thinking_level: "low" | "medium" (default) | "high"
# High matches the benchmark tables; Medium is what you
# actually get by default. Test both on YOUR prompts.
response = client.models.generate_content(
    model="gemini-4-argon",
    contents="Refactor this ETL pipeline to handle late-arriving events...",
    config={
        "thinking_level": "high",
        "max_output_tokens": 65_536,
    },
    # Google recommends HTTP timeouts of at least 15 minutes
    # for hard prompts against this model.
)
print(response.text)

請注意,這段程式碼沒有設定甚麼:沒有 temperature,也沒有快取設定。在 Argon 中,這些都是無效的控制項。

開發人員實際回報的情況

新聞稿中的説法與開發者論壇上的説法並不相同。在一個有 80 則留言討論這次發布的 Facebook 開發者羣組中,大多數親身測試的用戶表示失望:他們認為 Argon 在多頁網站及動態圖像製作方面的輸出不及 Claude Opus 5.5 準確;一名測試者稱其物理模擬器較差,亦有數人認同 Google 過度吹捧這次發布。少數人則認為 Argon 表現相若或速度更快,並把偏好差異歸因於 Claude 的設計品味。同一討論串亦釐清了存取權方面的疑惑:Pro 訂戶可在 Gemini app 使用 Argon,並非只有 Ultra 用戶可以;這與最初對發布頁面的解讀相反。

Bloomberg 報道,一些 Google 員工認為,Argon 在編碼及前端工作上的表現未如其基準測試成績所示;Google 稱這種説法並不準確。Red Dragon AI 的 Sam Witteveen 向 VentureBeat 作出了目前最持平的評價:這是一款相當出色的模型,但未見得是目前最佳選擇。

數據亦印證了這個模式。Argon 的優勢主要集中在 Agent 式編碼及商業自動化基準測試(DeepSWE、AutomationBench、CyberBench),獨立測試顯示它在這些項目上大幅領先 Opus 5.5。大量使用終端機的工作及前端程式碼仍是 Opus 的強項,也是開發者感受到差距的地方。

是否應該轉用?

暫時不要只因價格而轉用,也不要全面轉換。證據指向一個範圍較窄、也更實用的決策:

  • 值得先試用:商業自動化 Agent、法律及金融知識型工作、長篇文件分析,以及任何比起原始分數更重視幻覺率的工作。Argon 的 15% 幻覺率,是整場發布中最站得住腳的單一數據。

  • 用自己的程式碼測試兩者:至於一般軟件工程,先用 Argon 的 High 模式及 Opus 5.5 的 high effort,針對你實際程式碼儲存庫中的任務進行測試,再考慮遷移任何工作。DeepSWE 的 77.9% 對 74.2% 差距,到了你的技術堆疊上未必仍然存在。

  • 在 Argon 通過你的終端機基準測試之前,繼續使用 Opus 或 GPT 處理大量使用終端機的 Agent 式工作。Terminal-Bench 上的 66.4% 對 57.4% 並非小差距。

  • 核准前,按 $4/$20 重新計算成本。若按初期優惠價格核准遷移,到新一年可能就會遇上預算意外。

我們仍未知道的事

坦誠面對,就必須把未知之處説清楚。截至訂閲用戶版推出時,Google 發布的數據表尚未經獨立重現。初期優惠價格的確切結束日期尚未確認(不同報道分別指 1 December 2026 和 1 January 2027)。Google 的方法説明頁面連結至 Anthropic 的 Opus 5.5 系統卡,而不是 Argon 的系統卡,因此目前有關安全及評測方法的資訊,只有 Google 自己的説法。此外,使用額度限制生效後,訂戶實際使用 High 模式要付出甚麼成本仍不清楚。請細閲細則、自行進行評測,切勿只憑一份新聞稿就遷移生產流程。

來源:DEV Community · dev.to