OpenAI 發佈 GPT-6.1 Sol,稱其智能接近 Astra,API 輸入及輸出 token 價格為 Astra 標準價五分之一
Introducing GPT-6.1 Sol
OpenAI 發佈 GPT-6.1 Sol,稱其面向編碼、電腦操作及專業工作,智能水平接近 Astra。其 API 輸入及輸出 token 價格均為 Astra 標準 API 對應價格的五分之一。
公告把 GPT-6.1 Sol 的工作場景定位與 Astra 標準 API 輸入、輸出 token 價格作比較,便於瞭解其能力主張與定價定位。
我們推出 GPT-6.1 Sol,這是 GPT-6 Sol 的升級版,在代理式編碼、電腦操作及專業工作方面的智能表現幾乎媲美 GPT-6 Astra,而收費僅為 Astra 標準輸入及輸出詞元價格的五分之一。快取輸入每百萬詞元僅收 $0.10—比標準輸入定價低 95%,亦比 GPT-6 Sol 的快取輸入定價低 50%—讓開發者有更多空間建立及運行可在不同請求之間重用上下文的智能代理。
GPT-6.1 Sol 為重要的日常工作帶來能力與成本之間的新平衡。它在各類複雜專業任務上的表現均較 GPT-6 Sol 大幅提升,涵蓋編寫和除錯程式碼、理解文件,以及執行多步驟商業工作流程。在其中多項評測中,它以大幅較低的成本達到接近 GPT-6 Astra 的表現。
在評估真實程式碼庫中複雜軟件工程任務的 DeepSWE v1.1 中,GPT-6.1 Sol 以約五分之一的成本達到與 GPT-6 Astra 相同的表現;同時,在較低的推理力度和成本下,其得分仍比 GPT-6 Sol 的最佳成績高 6.4 個百分點。
在 GDP.pdf 上(此測試衡量模型使用包含表格、圖表、示意圖及細小字體細節的複雜 PDF 文件回答專業問題的準確度),在各個受測推理設定下,GPT-6.1 Sol 的得分均高於採用後備方案的 Opus 5.5,而每項任務的成本不到一半。其效能亦接近 GPT-6 Astra 的最先進水平,每項任務的成本約為五分之一。
在衡量代理程式能否正確完成多步驟商業工作流程的 AutomationBench 上,GPT-6.1 Sol 在中等推理力度下的得分比 Opus 5.5 高 2.2 個百分點,成本約為其三分之一。相同設定下,該得分亦較 GPT-6 Sol 高 4.8 個百分點。
GPT-6.1 Sol 在需要與電腦應用程式互動的任務上亦取得重大進展。在 OSWorld 2.0 的離線測試集中,代理程式須完成要求嚴格的電腦操作流程;在最高推理力度下,GPT-6.1 Sol 的表現比 GPT-6 Sol 高七個百分點,成本不到一半。在最高推理力度下,其得分與 Astra 相差不到 2.1 個百分點,每項任務的成本約為七分之一。
在 Terminal-Bench Science 0.1 測試中,該測試評估數據分析、模擬及定理證明等科學工作流程。於最高推理強度下,GPT-6.1 Sol 的得分超過 GPT-6 Sol 的兩倍,而每項任務的成本不到一半。在最高推理強度下,GPT-6.1 Sol 平均每項任務成本為 $5.47,相比之下,Opus 5.5 為 $23.21,Astra 為 $23.80;其科學能力出色,成本比這兩款模型低逾 75%。
GPT-6 Astra 仍以 68.1% 的得分在受測模型中居首;最艱難的科學研究任務應使用它。
GPT-6.1 Sol 亦提升了在困難提示下的事實準確度。相較於 GPT-6 Sol,其事實準確度提升幅度最大的是在低推理力度下;此時,含有事實錯誤的回應比例由 11.4% 降至 7.7%,降幅約為 32%。在各個受測推理設定下,其錯誤率仍與 GPT-6 Astra 相差不超過 1.9 個百分點,而每項任務的成本不到五分之一。
這項評估衡量,在已去識別化、且用戶曾標記早前模型錯誤的對話中,至少含有一項事實錯誤的答案所佔比例。這些刻意設計得較困難的提示,並不代表一般使用情況。
GPT-6.1 Sol 在我們的對齊評估中較 GPT-6 Sol 有大幅進步,表現更接近 GPT-6 Astra。
GPT-6.1 Sol 對自身限制的說明更為透明,也更可靠地遵循使用者意圖及安全限制。在具挑戰性的評測中,與 GPT-6 Sol 相比,它在說明搜尋工具故障、遵守明確限制,以及在代理任務中避免產生未經授權的結果方面,失敗率較低。與 GPT-6 Astra 和 GPT-6 Sol 一樣,我們未觀察到任何試圖繞過自動化安全審核的情況。詳情請參閱 GPT-6.1 Sol 系統卡補充資料(會在新視窗開啟)。
以下評測刻意測試具挑戰性的情況,並非用來衡量一般使用情況下的失敗率。
價格與供應情況
GPT-6.1 Sol 即日起供 ChatGPT Work 和 Codex 的所有 Plus、Pro、Business、Enterprise 及 Edu 用戶使用。GPT-6.1 Sol 目前尚未在 Chat 提供。開發者亦可透過 OpenAI API 以 gpt-6.1-sol 使用此模型。其 API 標準定價為每百萬個輸入 token $2、每百萬個快取輸入 token $0.10,以及每百萬個輸出 token $10。未來幾天,我們亦會在 Codex 推出 GPT-6.1 Sol Ultrafast,其 token 生成速度最高可達標準速度的 8x。
來源:OpenAI News · openai.com