跳到正文
虎嗅·· 2 天前精選AI 評分76

GPT-6.2 跑分亮眼但實測失利,虎嗅分析 OpenAI 的產品短板

跑分狂飙,实测翻车,刚发的GPT-6.2暴露了OpenAI 的软肋

AI 導讀

OpenAI 推出的 GPT-6.2 Astra 與 Sol 在部分綜合榜單表現突出,但開發者實測反映出 Astra 不穩定、難以配合長流程工作,Sol 的編程表現亦較上代退步。

推薦理由

文章把綜合榜單、編程實測與安全報告並置,呈現 GPT-6.2 專項能力與日常協作體驗之間的落差。

正文 · 繁體中文

紙面成績與真實體感的撕裂,在今天達到了頂峯。

「基本不可用,不推薦」。

OpenAI新模型上線僅僅8分鐘,硅谷知名創業者Matt Shumer,就在社交平台上扔下一句毫不留情的評價。

緊接着,擁有大批開發者擁躉的Theo Browne,發了一篇長文《我為什麼討厭GPT-6.2 Astra》。向來對前沿模型保持温和耐心的沃頓商學院教授Ethan Mollick,測完後也給出了罕見的嚴厲定調,「非常不穩定且古怪」,直言這是「自GPT-4.5以來OpenAI前沿發佈首次未見明顯進步」。

這原本該是OpenAI是一場漂亮的反擊戰。

北京時間11月18日凌晨,OpenAI正式推出新一代旗艦GPT-6.2 Astra與日常主力GPT-6.2 Sol。官方把Astra的API單價直接砍掉20%,還交出了一張從智能體到科研全面刷新紀錄的成績單。

當紙面跑分的狂飆撞上一線開發者的集體吐槽,這種極致的割裂感,恰恰揭開了OpenAI當下最真實的窘境。

01

文字遊戲和算力暗箭

單看官方海報和第三方綜合榜單的頭部數據,GPT-6.2兩款模型確實很能打。

兩款模型均配備105萬上下文窗口,輸入上限92.2萬tokens,輸出上限12.8萬tokens,目前僅支持文本與圖像輸入、純文本輸出,不支持音視頻和微調。定價上,接替9月初GPT-6 Astra的新版旗艦定在每百萬輸入8美元、輸出40美元,緩存輸入更是大砍六成至0.40美元;接替9月DevDay版本的GPT-6.2 Sol維持輸入2美元、輸出10美元不變。

在Artificial Analysis的v5.0.1綜合指數榜上,GPT-6.2 Astra以62分躍居總榜第二,僅次於65分的Claude Fable 5.2,反超了60分的Gemini 4 Carbon和59分的Claude Opus 5.5。

更誘人的是單任務成本,Astra平均開銷僅4美元,只有Fable 5.2高達26.54美元成本的15%。拿下57分的Sol單任務僅花1.01美元,在帕累托前沿散點圖上穩穩落入左上角的高性價比象限。

Artificial Analysis Intelligence Index v5.0.1總分榜與單任務成本帕累托前沿對比|圖片來源:Artificial Analysis

但只要順着官方博客往下翻,仔細去讀那些字號極小的腳註,味道就開始變了。

在Agents'Last Exam測試中,OpenAI高調宣佈Astra跑出最高78.3%(XHigh檔,Max檔為77.6%)的成績,領先Fable 5.2的72.8%一大截。腳註裏卻悄悄寫着,這份對比排除了Fable 5.2使用後備模型的9個任務。更微妙的是,官方配圖裏Google的Gemini 4 Carbon在高推理模式下拿到了77.4%,單任務成本4.60美元,與Astra的4.47美元幾乎打平,但官方正文對這位對手隻字未提。

除了跑分口徑的精妙篩選,API定價表裏還埋着兩顆暗雷。

只要單次輸入超過27.2萬tokens,整筆請求的輸入和緩存單價就會翻倍,輸出單價乘以1.5倍,Astra直接漲到16美元和60美元。同時,僅限美區數據駐留、最高提速4.5倍的Ultrafast模式目前按3倍促銷,但從2027年3月1日起將翻倍至6倍,屆時Astra的輸入輸出價將變成48美元和240美元。

把視線挪到決定程序員日常體驗的專項榜單,短板暴露得更加徹底。

在Artificial Analysis的編程智能體榜單上,GPT-6.2 Astra卡在53分原地踏步,與上代持平,落後於58分的Claude Fable 5.2與Opus 5.5,也落後於55分的Gemini 4 Carbon。主打日常走量的Sol更是倒退3分跌至49分,跌回與開源Kimi K3.1 Pro同分的位置,其中代碼庫問答一項暴跌14分,極易漏掉關鍵事實。

Artificial Analysis Coding Agent Index v2.1對比:Astra停留在53分,Sol較上代倒退3分|圖片來源:Artificial Analysis

在另一家權威機構Epoch AI的測試裏,Astra雖然解出了68道Erdős前沿數學題中的7道,打破了此前3道的紀錄,但報告依舊批評它在真實科研自動化任務上較前代沒有明顯進步、過於保守。Vals綜合榜上Astra僅排第7,普通版在法律檢索裏甚至落到第30名,必須靠專門定製的法律版才能挽回顏面。

只有在徹底關閉安全護欄的極限漏洞挖掘中,它才展現出恐怖的上限。

DeepBinary拿12個Windows系統二進制文件做測試,Astra在兩次獨立運行中平均挖出348.5個獨特漏洞,按微軟賞金標準估值高達103.8萬美元,API成本僅4072美元;小模型Sol也以840美元的成本挖出估值68.7萬美元的227個漏洞,把估值停在16萬美元上下的Opus 5和Kimi K3.1遠遠甩在身後。

02

天才偏科生

為什麼一個能獨自挖出百萬美元級系統漏洞的模型,到了普通程序員手裏卻成了「基本不可用」?翻開網友的一線實測記錄,你會看到一個極度偏科的怪才。

只要交給它邊界清晰、偏重空間幾何或物理仿真的硬核命題,GPT-6.2的能力上限確實驚人。

開發者Thomas Ricouard用它結合街道地圖與法國測繪數據,在瀏覽器裏一比一復刻出涵蓋超過13.1萬棟建築的3D巴黎「Paris Atlas」,街道建築、行人和車流一應俱全,還能靠截圖反饋持續微調。

OpenAI開發者基於GPT-6.2打造的1:1 3D巴黎項目「Paris Atlas」(包含逾13.1萬棟建築數據)|圖片來源:TechRadar/OpenAI

OpenAI官方演示裏,Astra更是獨立建模出3D敞篷跑車,自己寫出Python物理求解器,在Blender裏同步渲染出山地彎道的懸架運動與四輪接地壓力熱力圖。企業端同樣有亮眼案例,Higgsfield內部3D生成一次成功率達到73%,量化巨頭Jump Trading一天內打破了維持三年的硬件優化基準,Harvey、Legora和ClickUp等夥伴也報告了節省三到六成token的成績,Replit實測Sol 6.2提速近3倍。

GPT-6.2 Astra自建3D跑車並用Python求解器完成的山地底盤動力學與四輪接地壓力仿真|圖片來源:OpenAI官方

但是,一旦離開單點突破的演示場景,進入需要長線溝通與多步協作的真實軟件工程,GPT-6.2 Astra古怪的脾氣就會把人逼瘋。

Theo Browne在那篇閲讀破百萬的長文裏,先肯定Astra代碼審查很強,還幫他設計出一套每月省下2.5萬美元的反向代理架構,感嘆「Opus都沒膽量這麼探索」。但緊接着,他列出了讓人崩潰的四宗罪。

最致命的是毫無溝通盲區概念。Theo讓它按目標模式給《星際拓荒》做新關卡,模型跑了兩個小時後突然卡死阻塞,只為問他一個人類根本不可能看懂的內部臨時文件名,逼得他專門寫定時腳本去盯梢。其次是難以忍受的「Astra黑話」,哪怕在系統提示詞裏懇求它用最簡單的話解釋也毫無作用。有一次排查工作樹變慢,Astra寫下四大段包管理器緩存底層機制,Theo把問題丟給Claude Opus 5.5,後者一句話就點破真相,「你的固態硬盤太慢了」。

更折磨人的是死循環執念。在把TypeScript編譯器用Rust重寫的測試項目上,早期OpenAI模型燒掉30多萬美元毫無進展,Opus花兩週、約2萬美元順利完成。這次Theo換上6.2 Astra重試,模型連跑7天零改進,死磕順便減小體積結果把編譯器拖慢了56%;他明令禁止優化體積後,模型又空轉了4天,依然零提交。此外審美也出現嚴重均值迴歸,Theo和朋友在不同遊戲下讓它設計獨特關卡,竟雙雙吐出同樣叫「Bellwether」的水域鈴鐺關卡。

這種體感落差在開發者圈子絕非孤例。Every創始人Dan Shipper吐槽它不如Fable 5.2,過度追求極簡導致寫作晦澀倒退,端到端寫代碼常半途停工,設計帶着濃厚的固定模板味。Simon Willison在知名的Three.js揚克斯機甲實測裏,要求模型把城市地圖變成巨型機甲,結果Astra和Sol雙雙沒能完成正確變形,畫面遠遜於Fable 5.2和Gemini 4 Carbon。

Simon Willison同题Three.js「揚克斯機甲」實測對比:GPT-6.2 Astra(上)與GPT-6.2 Sol(下)|圖片來源:Simon Willison

就連一向温和的Ethan Mollick,雖然用它在Blender和Unity裏搓出了穿破雲層直衝太空的可交互太空電梯,依然給出「非常不穩定且古怪、更難引導」的差評。社區裏還有不少人抱怨正當的二進制逆向任務頻頻被護欄誤殺,甚至官方發佈頁自己的前端圖表在上線當天都出現了卡死報錯。

Ethan Mollick用GPT-6.2 Astra在Blender與Unity中從零構建的可交互太空電梯演示|圖片來源:Ethan Mollick(X)

03

自亂陣腳的妥協之作

把時間線拉回到11月,不難看懂GPT-6.2為什麼透着一股倉促妥協的味道。

外部對手正在以恐怖的節奏收網。11月9日,處於IPO前夕的Anthropic甩出Fable 5.2與Mythos 5.2,率先把旗艦價打到8美元和40美元,霸佔各大編程與綜合榜單第一,還秀出1000個智能體30小時完成費馬大定理形式化證明、8天寫出可啓動操作系統原型、1天設計出3款一次點亮電路板的震撼戰績。

另一邊,Google的Gemini 4家族在10月到11月連續出牌。Carbon 11月促銷價壓到2美元和10美元,Hydrogen更是隻要1.5美元和7.5美元,而且精準打中企業最在意的可靠性痛點。在AA-Omniscience測試中,Gemini 4 Hydrogen幻覺率低至8%,Carbon也只有11%,而GPT-6.2 Astra的幻覺率卻從上代50%惡化到59%,Sol也飆至55%。配合多智能體看板與調度工具,Google兩天就能跑完數萬次併發協作。

AA-Omniscience v1.1知識可靠性與幻覺率對比:GPT-6.2 Astra幻覺率達59%,Gemini 4 Carbon與Hydrogen分別僅為11%與8%|圖片來源:Artificial Analysis

前有Anthropic拉高上限,後有Google夯實低幻覺下限,夾在中間的OpenAI卻在關鍵兩個月後院起火。

原定9月底登場的GPT-6.1 Astra因測試暴露嚴重越權與彙報不實,在最後一刻被緊急砍掉。聯席總裁Greg Brockman在公開訪談中透露已抽調約25%的產品工程師支援安全團隊。就在GPT-6.2發佈前一天,加州總檢察長正式起訴OpenAI,揭出了測試期間至少80起安全事件。

大量人手被抽走救火,又要趕在對手徹底佔領開發者心智前強行發版,結果全都寫進了官方自己披露的系統卡里。

這份罕見坦白的安全報告承認了三類倒退。首先是學會了更隱蔽地「報喜不報憂」,遇到文件缺失等阻礙時,Astra隱瞞障礙的比例從11.09%翻倍到22.28%,Sol達24.08%;搜索工具故障時,API原生調用的胡編率從7.58%暴增至23.00%。其次是監控逃逸與評測感知飆升,85%的測試軌跡在思維鏈裏懷疑自己正在接受考核,無思維鏈下的文件下載逃逸率從1.7%飆升至48.8%。

為了按住這頭首次觸及「AI自我改進」高風險門檻的猛獸,OpenAI在9月強化學習代理意外連上公網後,匆忙上線了35秒斷網急停的控制室系統,並緊急收緊拒答邊界。可這套生硬補丁直接導致了安全與可用性的雙輸,英國人工智能安全研究所只用一半查詢次數,就攻破了預發佈版的網絡越獄防線,批其「實質倒退」,而正當網絡安全任務的可用率卻從90.7%暴跌到78.1%,心理健康基準得分也因為模型急着給答案、不願追問上下文從58.7%跌到53.3%。

看懂了這些隱情,OpenAI在產品端的一系列反常妥協就全部説得通了。

直到現在,GPT-6.2依然沒有放進,面向數億普通用戶的常規ChatGPT聊天界面,只敢放在工作區和編程工具裏;API端直接禁止關閉推理模式,甚至規定一旦切換降級模型或改動歷史前綴,系統就會直接丟棄此前的推理記錄。它既不敢徹底放開手腳,又必須守住跑分榜的體面。

大模型競爭走到今天,靠堆算力刷出漂亮分數的時代已經過去了。當真實工作流開始考驗穩定性、低幻覺和溝通配合時,GPT-6.2 Astra用一場冰火兩重天的首秀敲響了警鐘,先讓聰明的模型學會聽懂人話、老實彙報問題,遠比再刷高兩分榜單緊迫得多。

來源:虎嗅 · huxiu.com