跳到正文
DEV Community· Hamza Ahmad Aslam·· 8 天前精選AI 評分77

Gemini 4 Carbon 評測:Google 的主張、獨立結果與早期用戶回饋

Gemini 4 Carbon review: Google's claims, independent results and what testers found

AI 導讀

Hamza Ahmad Aslam 評測 Gemini 4 Carbon,對照 Google 的主張、外部實測與早期用戶回饋,指出它在多個獨立排行榜靠前,但未居大多數榜首。

推薦理由

文章分開整理 Google 自行測試、外部排行榜與早期用戶回饋,呈現 Carbon 在排名、速度、幻覺率及使用成本上的取捨。

正文 · 繁體中文

最初刊載於 hamzaahmadaslam.com。

本文製作方式:先在 AI 協助下根據經研究整理的資料草擬,再於發布前對照原始文件核實。

Gemini 4 Carbon(常以 Google Carbon 搜尋)是 Google DeepMind 最新的頂級模型。Google 於 2026 年 10 月 28 日宣佈推出,當時只供少數安全團隊使用,並於 2026 年 11 月 10 日正式開放使用。它以 Gemini 4 Argon 為基礎,後者仍與它一同銷售。

簡而言之,截至 2026 年 11 月 11 日:Carbon 是一款推出時定價低廉、實力強勁的模型,並在多個獨立排行榜名列前茅,但並非在大多數排行榜居首。Artificial Analysis 目前將它排在第四,落後於 Claude Fable 5.2 的三種設定。它的速度亦較慢、輸出大量 token,而且比 Argon 更常編造答案。

這篇評測把三類證據分開:Google 的説法、外部實驗室的測量結果,以及首批用戶使用一天後撰寫的內容。

甚麼是 Gemini 4 Carbon?誰可以使用?

Carbon 是 Google 為最艱鉅任務打造的模型,適用於長時間 Agent 任務、多步驟編碼及除錯,以及科學研究。模型卡指出,Carbon 使用的思考 token 比 Argon 多,以檢查自己的工作。Google 在發布公告中的建議是,大多數軟件工程和知識工作仍以 Argon 為佳。

項目 Gemini 4 Carbon
公佈日期 2026 年 10 月 28 日;當時僅供 Google Fairwind Program 的網絡防禦人員使用
正式開放使用 2026 年 11 月 10 日
開發者 Google AI Studio 中 Gemini API 的付費方案,以及 Gemini for business
消費者 Google AI Ultra 訂戶可在 Gemini app、AI Mode 及 Antigravity 使用
截至 11 月 30 日的價格 每百萬個輸入 token 收費 $2,每百萬個輸出 token 收費 $10
12 月 1 日起的價格 輸入 $4,輸出 $20
上下文視窗 最多 100 萬個 token,輸入及輸出合計
知識截止日期 2026 年 3 月

Gemini AI Pro 訂戶仍可使用 Argon,但 app 內不會提供 Carbon。Google 尚未公佈 Carbon 的開放地區、速率限制或 Vertex AI 上線日期。

安全團隊可申請加入 Fairwind Program,以使用一個防護措施專為防禦工作調整的版本,例如檢查漏洞能否被利用,以及分析惡意軟件。

Google 有何説法?

Google 公佈的大部分數據來自自行測試,而最有力的説法集中於網絡安全。VentureBeat報道,Google 透過 Fairwind 存取途徑,在沒有防護機制的情況下進行這些網絡安全測試。

基準測試(Google 自行測試) Gemini 4 Argon Gemini 4 Carbon
SEC-bench Pro(發現漏洞) 83.4% 88.2%
ExploitGym 42.0% 54.8%
CWE-bench v1 68.0% 71.0%
Agent 誠實度,375 項任務 70% 92%

Google 亦稱,Carbon 在 CursorBench 4.0、Perplexity 的 WANDR 及 Zapier 的 AutomationBench 均排名第一,每項任務的成本不到表現次佳的外部模型的一半。Google 沒有公佈 CursorBench 或 WANDR 的分數,因此目前無法核實這兩項説法。Zapier 確實公佈了AutomationBench 報告:Carbon 在 High thinking 設定下得分 53.9%,每項任務成本約 $2.12;測試在公開推出前進行。

在安全方面,Google 表示,Trajectory Labs 的外部紅隊測試人員經過 132 小時、發出超過 13,000 次請求後,沒有發現新的通用越獄攻擊。同一篇公告亦指出,抵禦提示詞注入「仍有待持續改善」。

獨立實驗室測量到甚麼?

截至11月11日,已有五個外部機構公佈 Carbon 的評測結果。各項數據大致一致:Carbon 排名靠前,而在 Carbon 正式推出前一天發布的 Claude Fable 5.2,在整體指標上領先。

評測機構 Carbon 結果 比較對象
Artificial Analysis, Intelligence Index 60,第四 Fable 5.2 (max) 65,Opus 5.5 (max) 59,GPT-6 Astra 57,Argon 50
Artificial Analysis, Coding Agent Index 59 Claude Code with Opus 5.5 (max) 62
Vals AI, Vals Index 70.45%,36 個模型中排名第三 Fable 5.2 71.31%,排名第一
Arena,文字 第一,1,526(初步結果,4,282 票) Argon 1,522,Opus 5.5 (High) 1,506
Arena,網頁開發 第四,1,768(初步結果) Fable 5.2 (xHigh) 1,836,排名第一
ARC Prize, ARC-AGI-2 94.2% Fable 5.2 93.8%
ARC Prize, ARC-AGI-3 65.1% Fable 5.2 81.2%

Artificial Analysis 在10月28日發布 Carbon 時,將它排在首位,得分為59分。這個排名已不再準確。Fable 5.2 此後取得65分,而 Carbon 自身的得分則升至60分。仍稱 Carbon 為排名第一模型的文章,引用的是10月的結果。

Vals AI 在 Finance Index 中將 Carbon 排名第一,得分為67.05%;在 Terminal-Bench 4.0 中則排名第五,得分為63.13%。使用 Carbon 完成一次 Vals Index 測試,費用為$10.51。

Arena text leaderboard 將 Carbon 列為第一,但得分標示為初步結果,依據約4,300票。它領先 Argon 4分,差距小於 Carbon 得分旁標示的正負10分。

ARC Prize leaderboard 顯示的差距最大。Carbon 在 ARC-AGI-2 上略勝 Fable 5.2,但在較新的 ARC-AGI-3 上落後16分。在該項測試中,Carbon 的運行成本較低:$7.2K,而 Fable 5.2 為$21.9K。

截至11月11日,Carbon 尚無 METR time-horizon 評測結果,也沒有公開的 SWE-bench Verified 得分。

Carbon 產生幻覺的情況比 Argon 嚴重嗎?

是。在唯一一項衡量這方面表現的獨立測試中,結果如此。Artificial Analysis 在其發布分析中發現,Carbon 答對的知識問題比 Argon 多,但其幻覺率由4%升至11%。Artificial Analysis 指出,在它測試過的所有模型中,11%仍是第二低的幻覺率,僅高於 Argon。

實際使用時,Carbon 知道得更多,也更容易猜測。如果你的用途不容有自信但錯誤的回答,例如法律、醫療或金融文本,轉用前請先用自己的問題測試其幻覺率。

Carbon 的速度如何?完成一項任務要花多少錢?

Carbon 速度慢,而且輸出冗長。Artificial Analysis 測得其每秒輸出約80個 token,在73個模型的冗長程度排名中列第70:完成該指標的測試時,它輸出了2.05億個 token。在 High 思考設定下,其排行榜列出的首個回答 token 等待時間為67秒。

截至11月30日,每個 token 的價格偏低,但帳單金額取決於任務所用的 token 數量。Artificial Analysis 在其指標中列出以下每項任務的成本,計算採用 Carbon 的標準價格$4和$20:

模型及設定 指標得分 每項任務成本
Gemini 4 Carbon (high) 60 $7.76
Claude Fable 5.2 (max) 65 $26.54
Claude Fable 5.2 (high) 62 $9.08
Claude Opus 5.5 (max) 59 $10.04
GPT-6 Astra (max) 57 $6.24

由此可見兩點。Carbon 每項任務的成本比 Fable 5.2 低,兩者表現水平相近;但 Fable 5.2 在 High 設定下得分高2分,每項任務只多花約$1.30。此外,Carbon 的發布價格會令表格中該模型一列的所有成本減半,直至11月30日。因此,若以11月帳單編製12月預算,預算金額便會相差一倍。

早期用戶有甚麼評價?

撰寫本文時,只有少數人使用 Carbon 超過一天,因此以下評價只能視為初步印象。

Simon Willison 於 11 月 10 日以他慣用的 SVG 繪圖提示詞測試了它,分別採用三種思考層級;他亦在 Antigravity 中建立了一個 3D 場景,但需要再輸入一個提示詞,才能將它變成獨立的 HTML 檔案。他沒有作出排名,並指出價格「預定於 12 月 1 日加倍至 $4/$20」。

Hacker News 的發布討論串反應不一:

  • 一名開發人員以個人基準測試評估 Carbon,發現其質素與 Fable 5.2 相若,但形容它「仍比 Fable 5.2 慢,而且成本更高」。
  • 一名使用 Ultra 5x 計劃的用戶表示,在 Carbon 用盡計劃限額前,他們「幾乎無法完成一個項目」。
  • 另一名留言者測得首個 token 的回應時間在第 75 百分位約為 60 秒,速度則約為每秒 10 個 token,並形容這個模型「目前完全無法使用」。
  • 正面來説,一名用戶把一篇未完成的研究論文交給 Carbon,發現它提出了其他模型沒有注意到的要點。

Bito 是一家銷售 AI 程式碼審查工具的公司,它在 Claude Code 內發表了自己的比較:Carbon 得分為 79.5%,Argon 為 68.2%,Opus 5.5 則為 85.0%;不過,Carbon 每次工作階段所需時間約為 Argon 的兩倍。這是單一供應商的測試,但結果與上述情況一致:表現優於 Argon,在程式編寫方面落後於 Anthropic 的頂級模型,速度亦較慢。

Google 的安全報告有甚麼內容?

Safety & Security Report有一項大部分發布報道都沒有提及的細節。Google 認為 Carbon 相比 Argon 的提升不足以構成重大進步,因此無需進行全新的前沿安全評估;這次發布亦沒有新一輪外部能力測試。Google 改為沿用 Argon 的評估結果。

這些結果值得留意。Google 表示,不能排除 Carbon 在沒有外部防護措施的情況下,達到其 Frontier Safety Framework 中針對網絡攻擊能力提升及生物資訊的危險門檻。Google 表示,其防護措施可將剩餘風險降至門檻以下;由於模型在漏洞利用測試中的得分上升,Google 亦加強了 Carbon 的網絡安全防護。

這套流程有其合理之處,而且 Google 已公開説明。這亦意味着,Carbon 的安全證據大多來自 Argon 的評估結果,加上針對防護措施的紅隊測試。如果你在能夠瀏覽網頁或讀取客戶文件的產品中部署 Carbon,應把提示詞注入視為尚未解決的風險,Google 本身亦是如此看待。

你應否轉用 Gemini 4 Carbon?

這取決於你目前使用的模型,以及要執行的任務。

  • 如果你使用 Gemini 4 Argon,並在長時間的 Agent 執行或研究任務中遇到限制,可以用 Carbon 測試這些任務。Google 本身仍建議其他用途繼續使用 Argon。
  • 如果你使用 Claude Fable 5.2 或 Opus 5.5 編寫程式碼,上述獨立測試結果沒有提供轉用 Carbon 的理由。Carbon 在程式編寫指數中的表現較差,速度亦較慢。
  • 如果你的工作涉及金融或大量使用工具的商業自動化,Carbon 在 Vals Finance Index 和 AutomationBench 的結果值得一試;而發布時的價格亦令 11 月成為進行測試的低成本月份。
  • 如果錯誤答案代價高昂,應先以你自己的問題測量模型產生幻覺的比率。

轉用前,請複製這份檢查清單

用你自己的 20 項任務進行測試,比本頁任何表格都更能説明問題。

MODEL SWITCH CHECKLIST: Gemini 4 Carbon

Current model:
Candidate: Gemini 4 Carbon
Thinking level tested: Low / Medium / High

1. TASK SET
   20 real tasks from the last month
   Include 5 the current model got wrong
   Include 5 where a wrong answer would be costly

2. FOR EACH TASK, RECORD
   Correct? Yes / Partly / No
   Invented a fact? Yes / No
   Input tokens:          Output tokens:
   Cost at the December price ($4 / $20):
   Time to first token:   Time to finish:

3. COMPARE
   Tasks fixed by Carbon:
   Tasks broken by Carbon:
   Cost per correct answer, old vs new:

4. DECIDE
   Switch all / switch hard tasks only / stay
   Re-test date (after 1 December):

按 12 月的價格計算測試成本。11 月看似便宜的模型,一個月後可能會貴一倍。

Carbon 在商業工作流程中的定位

相比模型本身,周邊限制更重要。在 Carbon 上運行的 Agent 仍需要固定權限;任何會轉移資金或資料的操作,都要經人員批准,並保留可供審核的記錄。

如要了解主要競爭對手的比較,請參閲 Claude Fable 5.2 基準測試及價格。如要了解運行成本,請參閲 小型企業使用 AI 自動化的成本。如果你想把類似 Carbon 的模型連接至 WordPress、WooCommerce 或自家系統,並在程式碼中設定這些限制,相關工作就是 商業工作流程的 AI 整合。

來源:DEV Community · dev.to