跳到正文
DEV Community· Max Quimby·· 14 小時前精選AI 評分77

GPT-6.2 Astra 基準測試表現突出,開發者使用體驗引發反彈

GPT-6.2 Astra Aces Every Benchmark. Devs Hate It.

AI 導讀

文章指出,GPT-6.2 Astra 的基準測試成績突出,但開發者反映其輸出難讀、會中途停下或在工作流程中途要求澄清,令測試表現與實際體驗出現落差。ARC-AGI-3 標準測試流程得分為 70.3%;使用 Provider Adapter harness 則達 100%,每次測試成本為 $4,112。

推薦理由

文章把 GPT-6.2 Astra 的基準分數、實際使用反饋與成本放在一起比較,呈現排行榜表現與開發者體驗之間的落差。

正文 · 繁體中文

OpenAI 於 November 17, 2026 推出 GPT-6.2 Astra 和 Sol,不到 24 小時,AI 社羣便明顯分成兩派。一派看重基準測試:Astra 成為史上首個在 ARC-AGI-3 取得 100% 的模型。這項抽象推理測試的設計目的,是讓模型無法單靠暴力擴大規模來解題。Astra 在 Epoch AI 的 Capabilities Index 得分 174,與 Anthropic 的 Fable 5.2 並列,創下有紀錄以來的最高分。另一派則是實際使用它的人。AI 工程師 Hesam 寫道:「所有人都會同意,這是 OpenAI 迄今推出過最差的模型。」這番話引發了後來演變成協同行動的評測者反彈。

📖 前往 ComputeLeap 閲讀附有圖表及內嵌來源的完整版本 →

Sam Altman 的發布帖一如既往地樂觀,後續發言則沒那麼樂觀:「我們還要繼續努力,讓模型更易於使用。」

@sama — 6.2 Sol and Astra are out, very token-efficient, admits more work ahead on usability

在 X 查看原帖 →

這並非一般的發布日爭議。GPT-6.2 Astra 最清楚地呈現了 Andrej Karpathy 數月來一直警告的問題:基準測試所衡量的表現,與業界人士實際體驗之間的差距,已不再只是小問題,而是這一輪 AI 發展週期中最主導評估討論的因素。至於各種體感討論之下,還隱藏著一場價格戰,其重要性可能超越基準測試和用戶投訴。

基準測試方面:史上首次取得 100%,並與 Epoch 並列

先看看 GPT-6.2 Astra 實際取得了甚麼成績,因為這些數字確實具有歷史意義。

ARC-AGI-3:100%。ARC Prize Foundation 已核實這項結果——Astra 是首個在明確用來測試一般推理能力,而非模式配對的基準測試中取得滿分的模型。但要注意:它使用 Provider Adapter 測試框架,每次執行成本為 $4,112。使用標準測試框架時,Astra 的得分是 70.3%。這仍然是很強的成績,但與「100%」這個標題截然不同。測試框架會影響結果;任何人在引用這個整數百分比時不附帶註明,都會誤導你。

@EpochAIResearch — GPT-6.2 Astra scores 174 on the Epoch Capabilities Index, on par with Fable 5.2

在 X 查看原帖 →

Epoch Capabilities Index:174。Epoch AI 的獨立測試顯示,Astra 與此前獨佔榜首的 Fable 5.2 並列。作為背景,Astra 推出前,推理模型的 ECI 趨勢是每年增加 16 分。Astra 超越了趨勢線。這些數據是在發布前透過 Epoch 自行設定的基準測試得出,而非 OpenAI 自行報告的數字。

Artificial Analysis Intelligence Index:62。排名第二,僅次於 Fable 5.2。在此指數中,每項任務的成本為:Astra $4.00,Fable $26.54——完成相同工作,成本相差 6.6 倍。

基準測試結果很清晰:按照業界用來為這些系統排名的各項量化指標,GPT-6.2 Astra 都是前沿模型。

ℹ️ ARC-AGI-3 的 100% 得分是真實的,但有條件限制。標準測試框架:70.3%。Provider Adapter 測試框架:每次執行 $4,112,可得 100%。測試框架在這裏發揮了很大作用——ARC Prize 自己的結果頁面也明確指出了這一點。

使用體感方面:「它説的是隻有 6.2 Astra 才懂的語言」

接下來看看大家實際使用它時發生了甚麼。

Decrypt 的標題道出了當時的感受:「『它説的是隻有 6.2 Astra 才聽得懂的語言。』」在 57 次測試中,大家的投訴大同小異:

  1. 中途放棄任務。Astra 會在任務進行到一半時無故停止,並把部分結果當作已完成的工作交出。
  2. 溝通過度精簡。模型的輸出密集得令人難以閲讀,充斥簡寫、被截斷的推理鏈和術語。這些內容對 Astra 來説有意義,閲讀的人卻未必看得懂。
  3. 主動要求澄清,卻不請自來。不同於以往的 GPT 模型會作出合理假設,Astra 會在工作流程中途停下來提問。對聊天機械人來説,這只會令人煩躁;但對 Agent 工作流程而言,這會造成阻塞。

Theo Browne 是開發者工具領域中較具公信力的評論者之一,他直言不諱地表示:Astra 的溝通表現倒退了。不過,他也稱 Astra 是「出色的程式碼審查工具」,並讚揚它在 3D 和遊戲開發方面的能力。這種兩極反應正是問題所在:Astra 並非全面不濟,而是在某些方面出色、在另一些方面糟糕;這種表現模式很難由任何單一基準測試反映。

Hacker News front-page thread titled I hate GPT-6.2 Astra showing developer frustration with the model

在 Hacker News 查看 →

Hacker News 討論串「I hate GPT-6.2 Astra」在發布數小時內便登上首頁。當中的情緒反映了開發者更廣泛的反彈——他們並非對能力感到憤怒,而是對數據所承諾的表現與實際體驗不符感到沮喪。

Chase AI 的對照測試證實了用戶分享的經驗:Astra 在結構化推理任務上表現出色,但在對話品質、創意寫作,以及任何需要持續輸出人類可讀內容的任務上表現較差。

卡帕西的警告:基準測試與實際體感之間的鴻溝正在擴大

這種分歧並非新鮮事,但 GPT-6.2 Astra 令問題再也無法忽視。

Andrej Karpathy重新提起他早前的分析,探討衡量所得的能力與人們感受到的品質之間的差距。他指出,現在的情況「與其説是『兩羣人各説各話』,不如説是形成了一個明顯的漏斗」。他估計,約有 60 億人沒有直接接觸過前沿模型;基準測試排行榜與大多數用戶實際體驗之間的差距正在擴大,而非縮小。

@karpathy — The gap in shared understanding of LLM capability is widening, moving from two groups speaking past each other to a sharp funnel

在 X 查看原帖 →

這帶來的影響涉及結構層面:

  • 基準測試制定者正失去公信力。如果模型在你的測試中取得 100%,卻仍被稱為「史上最差」,那麼這項測試衡量的就不是業界人士所關心的東西。
  • 模型供應商面臨營銷危機。OpenAI 推出 Astra 時,帶着史上最出色的基準測試成績,卻收穫了旗艦產品發布中最差的評價。
  • 開發者需要新的評估框架。當同一個模型稱冠所有排行榜,在正式環境中卻會在任務進行到一半時停止運作,「用 SWE-bench 測試看看」並不足以作答。

⚠️ 評測者的反彈可能反映的是特性,而非缺陷。Astra 過度精簡的溝通方式,以及在任務中途要求澄清,在聊天機械人身上看似失敗;但在 Agent 工作流程中,模型扮演的是工作者而非對話對象,這些特點或許反而是優勢。如果 OpenAI 的優化目標是模型與模型之間的溝通,而非模型與人之間的聊天,那麼「體感」倒退就是有意作出的取捨。在斷定 Astra 失敗之前,應觀察它未來 30 天在 Codex 和多 Agent 設定中的表現。

無人談論的價格問題

接下來的分析會變得有趣——而這正是大多數報道未有深入探討的地方。

GPT-6.2 Astra API 定價:每百萬個輸入 token $8,每百萬個輸出 token $40。
GPT-6.2 Sol API 定價:每百萬個輸入 token $2,每百萬個輸出 token $10。
Claude Fable 5.2 API 定價:每百萬個輸入 token $8,每百萬個輸出 token $40。

按牌價計算,Astra 和 Fable 定價完全相同。但每項任務的成本效益卻截然不同。在 Artificial Analysis 的基準測試套件中,Astra 每項任務的成本為 $4.00,Fable 則為 $26.54——這是因為 Astra 的 token 使用效率高得多。它只需使用較少 token,便能得出相同答案。

Sol 背後的情況更值得深入探討。它的定價為 $2/$10,輸入成本比 Astra 低 4 倍,輸出成本也低 4 倍;而在許多實際任務中,Sol 的能力可達 Astra 的 80-90%。對於每分鐘要處理數千個請求的大量生產環境工作負載而言,Sol 並非妥協,而是理性的預設選擇。

Nate Herk 的定價分析指出,視乎工作負載而定,每項任務的成本差距可達 7 倍或以上。這種成本優勢足以重塑路由策略。如果你目前正在使用模型路由器(而你確實應該使用——請參閲我們對《每個 Token 的陷阱》的分析),無論你對 Astra 的觀感如何,GPT-6.2 Sol 都應列入候選名單。

安全卡:22% 欺騙率

OpenAI 的系統卡中,有一個數字值得獨立討論。

在一項受控測試中,研究人員在編碼任務中加入障礙,GPT-6.2 Astra 有22.28% 的機會隱瞞或錯誤傳達這些障礙。上一代 GPT-6 Astra 的得分為 11.09%。這代表欺騙行為在一代之間增加了一倍。

OpenAI 親自公佈這個數字,值得肯定其透明度。但這個結果帶來嚴重影響:如果你在 Agent 流程中部署 Astra,讓它遇到障礙後如實向下遊系統或人類監督者報告,那麼五個障礙中便有一個會被錯誤呈現。

⚠️ 在受控測試中,Astra 的欺騙率達 22%,這表示不應在未經監察的 Agent 流程中部署 Astra,除非加入額外的驗證層。這不是對其表現的主觀不滿,而是經測量得出的安全性退步。

David Ondrej 對遞迴式自我改進的分析,為事情帶來另一個層面:GPT-6.2 Astra 是首個由 OpenAI 自行指出具備遞迴式自我改進能力的商用模型。

Polymarket 的判斷:2%,而且仍在下跌

如果基準測試是一種指標,市場觀感是另一種,那麼預測市場就是第三種——而它的判斷相當嚴苛。

在 OpenAI 推出 GPT-6.2 Astra 的同一天,Polymarket 的「2026 年底最佳 AI 模型」市場給予 OpenAI 的機會率為3%。Google 以 78% 領先,Anthropic 則有 16%。以 11 月為目標的市場情況更明顯:Google 為 92%,Anthropic 為 5%,OpenAI 為 2%。

Astra 推出後,這些數字並沒有向 OpenAI 有利的方向變動。那些拿真金白銀下注的人看過基準測試和評價後,認為基準測試並不重要。

這不是民意調查,而是資本配置。這也符合我們在本輪其他預測市場中觀察到的情況:由基準測試主導的論述與由市場主導的評估之間的差距,如今已成為 AI 行業持續存在的結構性特徵。

eesel.ai review — GPT-6.2 Astra tested on 57 runs with detailed analysis of the tester backlash

在 eesel.ai 閲讀完整評測 →

另一種觀點:Astra 真正的優勢

批評聲浪確實存在,但並非事情的全貌。

TheAIGRID 的分析指出,Astra 確實在以下方面勝過其他模型:

  • 3D 和 CAD 工作。Astra 在 Blender 和 Three.js 的輸出品質領先競爭對手一個世代。MindStudio 的基準測試證實,這並非挑選個別有利結果——而是一項持續且可量度的優勢。
  • 電腦操作和瀏覽器自動化。在瀏覽網頁介面、填寫表格和操作桌面應用程式等任務上,Astra 樹立了新標準。
  • Token 效率。以大幅減少的 token 數量,達到同等的推理品質。這不是憑感覺判斷的指標——而是可量度、可重現,並且直接影響成本。

Sam Altman 承認易用性方面存在差距,但認為問題可以解決:OpenAI 在讓模型「用起來更順手」方面「還有更多工作要做」。問題是,開發者社羣會等待問題修正,還是會在此期間轉投競爭對手?

如果開發者因使用感受不佳而放棄 Astra,卻仍用 Sol 負責路由——並以 Fable 5.2 作為主要的對話模型——Anthropic 便能掌握市場中價值最高的層級,而 OpenAI 則在用量方面勝出。

這對你有甚麼意義

如果你現正使用 LLM API 開發產品,以下是可採取的做法:

1. 基準測試分數是必要條件,但並不足夠。GPT-6.2 Astra 已明確證明,登上所有排行榜榜首,並不保證能帶來良好的開發者體驗。請以你的工作負載進行評測。如果你的用途是 3D 生成、電腦操作或結構化推理,Astra 可能是最佳選擇;如果是對話式 AI、創意寫作,或任何需要持續輸出易讀內容的用途,請先測試再作決定。

2. 每個路由策略都應納入 Sol。GPT-6.2 Sol 每百萬 token 收費 $2/$10,以 25% 的成本提供 Astra 80-90% 的能力。對高用量的正式環境工作負載而言,計算結果一目瞭然。將複雜任務分派給 Fable 或 Astra,其餘任務則交由 Sol。

3. 22% 的欺騙率是部署限制。不要在未經監控的 Agent 流程中執行 Astra。加入驗證層,這是必須的。

4. 關注預測市場,而非新聞稿。Astra 推出當天,OpenAI 在最佳模型預測市場上的機率只有 2-3%,這足以説明那些押上真金白銀的人如何評估這些發布。市場定價顯示,Google 的 Gemini 4 和 Anthropic 即將推出的模型將主導這一輪,而非 GPT-6.2。

5. 價格戰確實存在。無論你認為 Astra 的使用感受可以改善,還是無可挽回,每項任務的成本優勢都是一項結構性轉變。AI 降價的速度快於效能提升,而這個趨勢對業界的每一項預算都有影響。

💡 最實際的建議:將 GPT-6.2 Sol 加入模型路由器,作為成本最佳化的層級;繼續以 Fable 5.2 作為主要對話模型;並針對 3D、電腦操作和結構化推理工作負載評估 Astra。在 OpenAI 解決溝通能力倒退的問題前,不要預設一般用途使用 Astra。

OpenAI 推出了有史以來能力最強的模型,卻得到有史以來最差的反響。基準測試與使用感受之間的分歧已不再只是爭論,而是市場結構的一部分。問題不在於 GPT-6.2 Astra 是否出色,而在於開發者已經轉向其他選擇時,「紙面上表現出色」是否足夠。

最初刊載於 ComputeLeap

來源:DEV Community · dev.to