OpenAI 將 GPT-4.1 模型系列引入 API,並推出首款 nano 模型
Introducing GPT-4.1 in the API
OpenAI 將 GPT-4.1 新模型系列引入 API,並同步推出首款 nano 模型。OpenAI 表示,該系列整體有所改進,尤其在編碼、指令遵循和長上下文理解方面提升顯著,並即日起向全球開發者開放。
公告列出 API 開放時間、改進方向及 nano 型號,讓開發者掌握此次 GPT-4.1 更新的發布範圍。
全新 GPT 模型系列在編碼、遵循指示及長上下文方面均有重大改進,並推出我們首款 nano 模型。
今日,我們在 API 推出三款新模型:GPT‑4.1、GPT‑4.1 mini 和 GPT‑4.1 nano。這些模型在各方面均勝過 GPT‑4o 和 GPT‑4o mini,在編碼和遵循指示方面更有顯著提升。它們亦配備更大的上下文視窗,最多支援 1 million tokens 的上下文,並透過提升長上下文理解能力,更有效運用這些上下文。知識截止日期亦更新至 June 2024。
GPT‑4.1 在以下業界標準評測項目中表現出色:
編程:GPT‑4.1 在 SWE-bench Verified 上的得分為 54.6%,較 GPT‑4o 高出 21.4%絕對值,亦較 GPT‑4.5 高出 26.6%絕對值,令其成為編程領域的領先模型。
遵循指示: 在 Scale’s MultiChallenge(於新視窗開啟) 這項衡量遵循指示能力的基準測試中,GPT‑4.1 得分為 38.3%,較 GPT‑4o 提升 10.5%abs。
長上下文: 在 Video-MME(於新視窗開啟) 這項用於評估多模態長上下文理解能力的基準測試中,GPT‑4.1 創下全新頂尖成績——在長片且無字幕的類別中取得 72.0%,較 GPT‑4o 提升 6.7%abs。
雖然基準測試能提供有價值的參考,但我們訓練這些模型時著重於實際用途。透過與開發者社群緊密合作和建立夥伴關係,我們得以針對對其應用程式最重要的任務優化這些模型。
為此,GPT‑4.1 模型系列以更低成本提供卓越效能。這些模型在延遲曲線的每個位置都進一步提升效能。
GPT‑4.1 mini 在小型模型效能方面大幅躍進,在許多基準測試中甚至勝過 GPT‑4o。它在智能評測中的表現媲美或超越 GPT‑4o,同時將延遲降低近一半,成本降低 83%。
對於講求低延遲的任務,GPT‑4.1 nano 是目前速度最快、價格最低的模型。它體積小巧,配備 1 million token 上下文視窗,仍能提供卓越效能;在 MMLU、GPQA 和 Aider polyglot coding 上分別取得 80.1%、50.3% 和 9.8% 的分數,甚至高於 GPT‑4o mini。它非常適合分類或自動補全等任務。
遵循指示的可靠性和長上下文理解能力有所提升,亦令 GPT‑4.1 模型在驅動 AI 代理方面大為有效;AI 代理是能代表使用者獨立完成任務的系統。配合 Responses API(於新視窗開啟) 等基礎元件後,開發者現可建立更實用、可靠的 AI 代理,應付真實世界的軟件工程工作、從大型文件中提取見解、以最少人工協助解決客戶要求,以及處理其他複雜任務。
請注意,GPT‑4.1 只會透過 API 提供。在 ChatGPT 中,指令遵循、編碼和智能方面的許多改進,已逐步融入 GPT‑4o 的 最新版本(在新視窗中開啟),我們亦會在未來版本中繼續加入更多改進。
我們亦會開始在 API 中逐步淘汰 GPT‑4.5 Preview,因為 GPT‑4.1 在許多關鍵能力上的表現更佳或相若,而且成本和延遲低得多。GPT‑4.5 Preview 將於三個月後停用,即 July 14, 2025,讓開發者有時間過渡。GPT‑4.5 曾被介紹為研究預覽版,讓大家探索和試用大型、運算密集型模型,而我們從開發者的意見中學到很多。我們會繼續把你們表示欣賞 GPT‑4.5 的創意、寫作質素、幽默感和細膩度,延續到未來的 API 模型中。
以下會分析 GPT‑4.1 在多項基準測試中的表現,並列舉 alpha 測試者 Windsurf、Qodo、Hex、Blue J、Thomson Reuters 和 Carlyle 的例子,展示它在生產環境中處理特定領域任務的表現。
編碼
GPT‑4.1 在多種編碼任務上的表現大幅優於 GPT‑4o,包括以代理方式解決編碼任務、前端編碼、減少多餘修改、可靠地遵循 diff 格式、確保一致地使用工具等。
在 SWE-bench Verified(一項衡量真實世界軟件工程技能的基準測試)中,GPT‑4.1 完成了 54.6% 的任務,而 GPT‑4o(2024-11-20)則完成了 33.2%。這反映模型在探索程式碼儲存庫、完成任務,以及產生既可執行又能通過測試的程式碼方面有所提升。
在 SWE-bench Verified 測試中,模型會取得一個程式碼儲存庫和問題描述,並須產生修補程式以解決問題。表現很大程度取決於所用的提示和工具。為了協助重現結果並提供背景資料,我們在此處(在新視窗中開啟)說明了 GPT‑4.1 的設定。我們的分數不包括 500 個問題中的 23 個,因為這些問題的解決方案無法在我們的基礎設施上執行;若保守地將這些問題的分數計為 0,54.6% 的分數便會降至 52.1%。
對於希望編輯大型檔案的 API 開發者而言,GPT‑4.1 在多種格式的程式碼差異處理方面可靠得多。GPT‑4.1 在 Aider 的 polyglot diff benchmark(在新視窗中開啟) 中的得分超過 GPT‑4o 的兩倍,甚至比 GPT‑4.5 高 8%絕對值。這項評測既衡量模型在多種程式語言中的程式編寫能力,也衡量模型以完整格式和差異格式產生變更的能力。我們特別訓練 GPT‑4.1 更可靠地遵循差異格式,讓開發者只需讓模型輸出有變更的程式行,而非重寫整個檔案,從而節省成本並縮短延遲時間。如要取得最佳的程式碼差異處理表現,請參閱我們的 提示指南(在新視窗中開啟)。對於偏好重寫整個檔案的開發者,我們已將 GPT‑4.1 的輸出 token 上限提高至 32,768 tokens(GPT‑4o 為 16,384 tokens)。我們亦建議使用 Predicted Outputs(在新視窗中開啟),以縮短完整重寫檔案的延遲時間。
GPT‑4.1 在前端程式編寫方面亦大幅優於 GPT‑4o,能夠建立功能更完善、外觀更吸引的網頁應用程式。在我們的直接比較中,付費人類評審有 80% 的時間較喜歡 GPT‑4.1 建立的網站,而非 GPT‑4o 建立的網站。
GPT‑4o
GPT‑4.1
除了上述基準測試外,GPT‑4.1 更可靠地遵循指定格式,亦較少作出多餘修改。在我們的內部評測中,程式碼的多餘修改比例由 GPT‑4o 的 9% 降至 GPT‑4.1 的 2%。
真實世界案例
Windsurf(在新視窗開啟): GPT‑4.1 在 Windsurf 的內部編碼基準測試中得分比 GPT‑4o 高 60%;該基準測試與程式碼修改在首次審查時獲接納的頻率密切相關。其用戶指出,工具呼叫效率提高了 30%,而重複不必要修改,或以過於狹窄、逐步的方式閱讀程式碼的可能性則降低約 50%。這些改進令工程團隊能更快迭代,工作流程亦更順暢。
Qodo(在新視窗中開啟): Qodo 以直接比較的方式,測試 GPT‑4.1 與其他領先模型,看看它們能否根據 GitHub pull request 產生高質素的程式碼審查;測試方法參考了 Qodo 的微調基準測試。在提示和測試條件相同的情況下,測試涵蓋 200 個具實際意義的真實 pull request;結果顯示,GPT‑4.1 在 55% 的情況中(在新視窗中開啟) 提出的建議較佳。值得注意的是,GPT‑4.1 在精確度(知道何時不應提出建議)和全面性(在有需要時提供深入分析)兩方面都表現出色,同時聚焦於真正關鍵的問題。
遵循指令
GPT‑4.1 更可靠地遵循指令,而且我們在多種遵循指令的評測中都量度到顯著改進。
我們開發了一項內部遵循指令評測,用來追蹤模型在多個維度上的表現,以及在幾個主要遵循指令類別中的表現,包括:
遵循格式。 提供指示,指定模型回應所採用的自訂格式,例如 XML、YAML、Markdown 等。
負面指示。 指定模型應避免的行為。(例如:「不要要求使用者聯絡支援人員」)
按次序執行的指示。 提供一組模型必須依照指定次序遵循的指示。(例如:「先詢問使用者的姓名,然後詢問其電郵地址」)
內容要求。 要求輸出內容包含特定資訊。(例如:「撰寫營養計劃時,務必包括蛋白質含量」)
排序。 按特定方式排列輸出內容。(例如:「按人口數量排序回應」)
過度自信。 指示模型在所需資訊無法取得,或請求不屬於指定類別時,回答「我不知道」或類似說法。(例如:「如果你不知道答案,請提供支援聯絡電郵」)
這些類別源自開發者的意見回饋,反映他們認為指示遵循的哪些方面最切合需要、最為重要。每個類別內,我們都把提示分為簡單、中等及困難三個級別。尤其在困難提示上,GPT‑4.1 的表現較 GPT‑4o 有顯著提升。
我們的內部指示遵循評測以開發者的實際使用情境和意見回饋為基礎,涵蓋不同複雜程度的任務,以及有關格式、詳略程度、長度等方面的指示。
對許多開發者而言,多輪指示遵循至關重要——模型必須在深入對話時保持連貫,並記住使用者先前告訴它的內容。我們訓練 GPT‑4.1,使其更善於從對話過往訊息中提取資訊,讓對話更自然。Scale 的 MultiChallenge 基準測試是衡量這項能力的實用指標,而 GPT‑4.1 的表現較 GPT‑4o 高 10.5%abs。
GPT‑4.1 在 IFEval 的得分亦達 87.4%,而 GPT‑4o 為 81.0%。IFEval 使用包含可驗證指示的提示(例如指定內容長度,或避免使用某些詞語或格式)。
更好地遵循指示,能提高現有應用程式的可靠性,並促成以往受可靠性不足所限制的新應用。早期測試者指出,GPT‑4.1 可能會更按字面理解指示,因此我們建議在提示中明確、具體地表達要求。關於 GPT‑4.1 提示撰寫的最佳做法,請參閱提示指南。
真實世界案例
Blue J(在新視窗開啟): GPT‑4.1 在一項內部基準測試中,處理 Blue J 最具挑戰性的真實稅務情境時,準確度比 GPT‑4o 高 53%。這項準確度提升是系統效能和使用者滿意度的關鍵,並突顯了 GPT‑4.1 在理解複雜法規及在長篇內容中遵循細緻指示方面的進步。對 Blue J 的使用者而言,這代表稅務研究更快速、更可靠,也能騰出更多時間從事高價值的顧問工作。
Hex(在新視窗中開啟):GPT‑4.1 在 Hex 最具挑戰性的 SQL 評測集,(在新視窗中開啟) 展現接近 2× 的提升,在指令遵循和語義理解方面取得顯著進步。該模型在大型且含糊不清的結構描述中選取正確資料表時更為可靠——這是會直接影響整體準確度的上游決策點,而且單靠提示詞很難調校。對 Hex 而言,這令手動除錯量可量度地減少,並更快建成生產級工作流程。
長上下文
GPT‑4.1、GPT‑4.1 mini 及 GPT‑4.1 nano 可處理長達 1 million tokens 的上下文,較之前 GPT‑4o 模型的 128,000 大幅增加。1 million tokens 超過整個 React 程式碼庫的 8 份副本,因此長上下文非常適合用來處理大型程式碼庫,或大量長篇文件。
我們訓練 GPT‑4.1,使它能在長達 1 million 的整個上下文中可靠地留意資訊。我們亦訓練它,使其在察覺相關文字,以及在長短不同的上下文中忽略干擾內容方面,遠比 GPT‑4o 可靠。長上下文理解是法律、程式編寫、客戶支援及許多其他領域應用的關鍵能力。
以下展示 GPT‑4.1 從上下文視窗內不同位置檢索一小段隱藏資訊(「針」)的能力。GPT‑4.1 在所有位置和所有上下文長度下,都能持續準確地檢索這段資訊,最長可達 1 million tokens。無論相關細節位於輸入中的哪個位置,它都能有效抽取當前任務所需的細節。
在我們內部的「大海撈針」評測中,GPT‑4.1、GPT‑4.1 mini 及 GPT 4.1 nano 均能在長達 1M 的上下文中,於所有位置找出隱藏資訊。
然而,現實世界中的任務很少會像找出一個單一而明顯的「針」答案那麼直接。我們發現,使用者往往需要我們的模型檢索及理解多項資訊,並了解這些資訊彼此之間的關係。為展示這項能力,我們正將一項新的評測開源:OpenAI-MRCR(多輪共指)。
OpenAI-MRCR 會測試模型在上下文中找出多個隱藏得很深的「針」,並分辨它們彼此差異的能力。這項評測由使用者與助理之間的多輪合成對話組成;在對話中,使用者會要求撰寫某個主題的文章,例如「寫一首關於貘的詩」或「寫一篇關於岩石的網誌文章」。然後,我們會在整段上下文中插入兩、四或八個完全相同的請求。模型之後必須找回與某次特定請求相對應的回覆(例如:「給我第三首關於貘的詩。」)。
挑戰源於這些請求與上下文其餘內容十分相似——模型很容易被細微差異誤導,例如內容是關於貘的短篇故事而非詩,或是關於青蛙而非貘的詩。我們發現,在不超過 128K tokens 的上下文長度下,GPT‑4.1 的表現優於 GPT‑4o;即使上下文長達 1 million tokens,仍能維持強勁表現。
不過,即使對進階推理模型而言,這項任務仍然困難。我們分享評測資料集(會在新視窗中開啟),以鼓勵進一步研究真實世界的長上下文檢索。
我們亦推出Graphwalks(會在新視窗中開啟),這是一個用來評估多跳長上下文推理的資料集。許多面向開發者的長上下文應用場景,都需要在上下文中進行多次邏輯跳轉,例如編寫程式碼時在多個檔案之間跳轉,或回答複雜法律問題時交叉參照文件。
模型(甚至人類)理論上只需從頭到尾讀一遍提示詞,便能解決 OpenAI-MRCR 問題;但 Graphwalks 的設計要求模型跨越上下文中的多個位置進行推理,無法只靠循序讀取來解決。
Graphwalks 會在整個上下文視窗中填入一個由十六進位雜湊值組成的有向圖,然後要求模型從圖中的隨機節點開始執行廣度優先搜尋(BFS)。接着,我們要求模型回傳某個深度的所有節點。GPT‑4.1 在這項基準測試中達到 61.7% 準確率,表現與 o1 相若,並大幅勝過 GPT‑4o。
基準測試無法呈現全貌,因此我們與阿爾法階段的合作夥伴一同測試 GPT‑4.1 在他們的真實世界長上下文任務中的表現。
真實世界案例
Thomson Reuters:(會在新視窗中開啟) Thomson Reuters 使用 CoCounsel 測試 GPT‑4.1。CoCounsel 是他們專為法律工作設計的專業級人工智能助理。與 GPT‑4o 相比,他們使用 GPT‑4.1 後,在多項內部長上下文基準測試中的多文件審閱準確度提升了 17%——這是衡量 CoCounsel 處理涉及多份篇幅冗長文件的複雜法律工作流程能力的重要指標。他們特別發現,該模型在不同來源之間維持上下文,以及準確辨識文件之間細微的關係方面非常可靠,例如互相矛盾的條款或額外補充的上下文資料;這些工作對法律分析和決策至關重要。
Carlyle(在新視窗中開啟):Carlyle 使用 GPT‑4.1,準確地從多份篇幅冗長的文件中擷取精細的財務數據,包括 PDF、Excel 檔案及其他複雜格式。根據其內部評估,該模型從含有大量密集數據的超大型文件中檢索資料的表現提升了50%,並且是首個成功克服其他可用模型所面對的主要限制的模型,包括大海撈針式檢索、資訊中段遺失錯誤,以及跨文件多跳推理。
除了模型效能和準確度之外,開發者亦需要回應迅速的模型,才能跟上並滿足使用者的需求。我們已改良推理堆疊,以縮短首個詞元的輸出時間;透過提示快取,你還可以進一步降低延遲,同時節省成本。 在我們的初步測試中,GPT‑4.1 在上下文長度為 128,000 個詞元時,首個詞元延遲約為十五秒;上下文長度為一百萬個詞元時,約為一分鐘。 GPT‑4.1 mini 和 nano 的速度更快,例如,GPT‑4.1 nano 處理輸入包含 128,000 個詞元的查詢時,通常會在不到五秒內傳回首個詞元。
視覺
GPT‑4.1 系列在圖像理解方面表現極為出色,尤其 GPT‑4.1 mini 帶來重大躍進,在圖像基準測試中往往勝過 GPT‑4o。
在 MMMU(於新視窗開啟),模型會回答包含圖表、示意圖、地圖等內容的問題。(注意:即使未提供圖像,仍有許多答案可根據上下文推斷或猜出。)
長上下文能力對多模態應用情境亦十分重要,例如處理長影片。在 Video-MME(於新視窗開啟) (長影片,無字幕),模型根據長達 30-60 分鐘且沒有字幕的影片回答多項選擇題。GPT‑4.1 達到業界最佳表現,得分為 72.0%,高於 GPT‑4o 的 65.3%。
定價
GPT‑4.1、GPT‑4.1 mini 和 GPT‑4.1 nano 現已開放予所有開發者使用。
透過提升推論系統的效率,我們得以降低 GPT‑4.1 系列的價格。GPT‑4.1 以中位數查詢計算,比 GPT‑4o 便宜 26%,而 GPT‑4.1 nano 是我們迄今最便宜、速度最快的模型。對於會重複傳送相同上下文的查詢,我們將這些新模型的提示詞快取折扣提高至 75%(此前為 50%)。最後,長上下文請求除標準的每 token 費用外,不會收取額外費用。
模型 | 輸入 | 快取輸入 | 輸出 | 綜合定價* |
gpt-4.1 | $2.00 | $0.50 | $8.00 | $1.84 |
gpt-4.1-mini | $0.40 | $0.10 | $1.60 | $0.42 |
gpt-4.1-nano | $0.10 | $0.025 | $0.40 | $0.12 |
*按常見的輸入/輸出及快取比例計算。
這些模型亦可透過我們的 Batch API(於新視窗開啟) 使用,並可額外享有 50% 的價格折扣。
結論
GPT‑4.1 在 AI 的實際應用方面邁出重要一步。這些模型緊扣開發者在實際工作中的需求,涵蓋編碼、指示遵循及長上下文理解等方面,為建構智能系統和複雜的代理式應用程式開拓新可能。我們一直深受開發者社群的創意啟發,並期待看到大家運用 GPT‑4.1 建構出甚麼。
附錄
以下列出學術知識、編碼、指示遵循、長上下文、視覺及函數呼叫評測的完整結果。
學術知識
| 類別 | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | GPT-4o(2024-11-20) | GPT-4o mini | OpenAI o1(high) | OpenAI o3-mini(high) | GPT-4.5 |
|---|---|---|---|---|---|---|---|---|
| AIME '24 | 48.1% | 49.6% | 29.4% | 13.1% | 8.6% | 74.3% | 87.3% | 36.7% |
| GPQA Diamond1 | 66.3% | 65.0% | 50.3% | 46.0% | 40.2% | 75.7% | 77.2% | 69.5% |
| MMLU | 90.2% | 87.5% | 80.1% | 85.7% | 82.0% | 91.8% | 86.9% | 90.8% |
| 多語言 MMLU | 87.3% | 78.5% | 66.9% | 81.4% | 70.5% | 87.7% | 80.7% | 85.1% |
[1] 我們的 GPQA 實作會使用模型抽取答案,而非正則表達式。對 GPT-4.1 而言,差異為 <1%(未達統計顯著);但對 GPT-4o 而言,使用模型抽取答案可顯著提高分數(~46% -> 54%)。
編碼評測
| 類別 | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | GPT-4o(2024-11-20) | GPT-4o mini | OpenAI o1(high) | OpenAI o3-mini(high) | GPT-4.5 |
|---|---|---|---|---|---|---|---|---|
| SWE-bench Verified2 | 54.6% | 23.6% | - | 33.2% | 8.7% | 41.0% | 49.3% | 38.0% |
| SWE-Lancer | $176K (35.1%) | $165K (33.0%) | $77K (15.3%) | $163K (32.6%) | $116K (23.1%) | $160K (32.1%) | $90K (18.0%) | $186K (37.3%) |
| SWE-Lancer (IC-Diamond 子集) | $34K (14.4%) | $31K (13.1%) | $9K (3.7%) | $29K (12.4%) | $11K (4.8%) | $29K (9.7%) | $17K (7.4%) | $41K (17.4%) |
| Aider 的多語言基準:完整 | 51.6% | 34.7% | 9.8% | 30.7% | 3.6% | 64.6% | 66.7% | - |
| Aider 的多語言基準:差異 | 52.9% | 31.6% | 6.2% | 18.2% | 2.7% | 61.7% | 60.4% | 44.9% |
[2] 我們剔除了 23/500 個無法在我們的基礎設施上執行的問題。被剔除的 23 項任務完整清單為 'astropy__astropy-7606', 'astropy__astropy-8707', 'astropy__astropy-8872', 'django__django-10097', 'django__django-7530', 'matplotlib__matplotlib-20488', 'matplotlib__matplotlib-20676', 'matplotlib__matplotlib-20826', 'matplotlib__matplotlib-23299', 'matplotlib__matplotlib-24970', 'matplotlib__matplotlib-25479', 'matplotlib__matplotlib-26342', 'psf__requests-6028', 'pylint-dev__pylint-6528', 'pylint-dev__pylint-7080', 'pylint-dev__pylint-7277', 'pytest-dev__pytest-5262', 'pytest-dev__pytest-7521', 'scikit-learn__scikit-learn-12973', 'sphinx-doc__sphinx-10466', 'sphinx-doc__sphinx-7462', 'sphinx-doc__sphinx-8265', 及 'sphinx-doc__sphinx-9367'.
指令遵循
| 類別 | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | GPT-4o(2024-11-20) | GPT-4o mini | OpenAI o1(high) | OpenAI o3-mini(high) | GPT-4.5 |
|---|---|---|---|---|---|---|---|---|
| 內部 API 指令遵循(困難) | 49.1% | 45.1% | 31.6% | 29.2% | 27.2% | 51.3% | 50.0% | 54.0% |
| MultiChallenge | 38.3% | 35.8% | 15.0% | 27.8% | 20.3% | 44.9% | 39.9% | 43.8% |
| MultiChallenge(o3-mini 評分器)3 | 46.2% | 42.2% | 31.1% | 39.9% | 25.6% | 52.9% | 50.2% | 50.1% |
| COLLIE | 65.8% | 54.6% | 42.5% | 50.2% | 52.7% | 95.3% | 98.7% | 72.3% |
| IFEval | 87.4% | 84.1% | 74.5% | 81.0% | 78.4% | 92.2% | 93.9% | 88.2% |
| Multi-IF | 70.8% | 67.0% | 57.2% | 60.9% | 57.9% | 77.9% | 79.5% | 70.8% |
[3] 註:我們發現,MultiChallenge 的預設評分器(GPT-4o)經常會錯誤評分模型的回應。我們發現,將評分器換成推理模型(例如 o3-mini),能大幅提高我們檢視過的樣本的評分準確度。為了與排行榜保持一致,我們會公布兩組結果。.註:我們發現,MultiChallenge 的預設評分器(GPT-4o)經常會錯誤評分模型的回應。我們發現,將評分器換成推理模型(例如 o3-mini),能大幅提高我們檢視過的樣本的評分準確度。為了與排行榜保持一致,我們會公布兩組結果。
長上下文評測
| 類別 | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | GPT-4o(2024-11-20) | GPT-4o mini | OpenAI o1(high) | OpenAI o3-mini(high) | GPT-4.5 |
|---|---|---|---|---|---|---|---|---|
| OpenAI-MRCR: 2 needle128k | 57.2% | 47.2% | 36.6% | 31.9% | 24.5% | 22.1% | 18.7% | 38.5% |
| OpenAI-MRCR: 2 needle 1M | 46.3% | 33.3% | 12.0% | - | - | - | - | - |
| Graphwalks bfs <128k | 61.7% | 61.7% | 25.0% | 41.7% | 29.0% | 62.0% | 51.0% | 72.3% |
| Graphwalks bfs >128k | 19.0% | 15.0% | 2.9% | - | - | - | - | - |
| Graphwalks parents <128k | 58.0% | 60.5% | 9.4% | 35.4% | 12.6% | 50.9% | 58.3% | 72.6% |
| Graphwalks parents >128k | 25.0% | 11.0% | 5.6% | - | - | - | - | - |
視覺
| 類別 | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | GPT-4o(2024-11-20) | GPT-4o mini | OpenAI o1(high) | OpenAI o3-mini(high) | GPT-4.5 |
|---|---|---|---|---|---|---|---|---|
| MMMU | 74.8% | 72.7% | 55.4% | 68.7% | 56.3% | 77.6% | - | 75.2% |
| MathVista | 72.2% | 73.1% | 56.2% | 61.4% | 56.5% | 71.8% | - | 72.3% |
| CharXiv-R | 56.7% | 56.8% | 40.5% | 52.7% | 36.8% | 55.1% | - | 55.4% |
| CharXiv-D | 87.9% | 88.4% | 73.9% | 85.3% | 76.6% | 88.9% | - | 90.0% |
函數呼叫
| 類別 | GPT-4.1 | GPT-4.1 mini | GPT-4.1 nano | GPT-4o(2024-11-20) | GPT-4o mini | OpenAI o1(high) | OpenAI o3-mini(high) | GPT-4.5 |
|---|---|---|---|---|---|---|---|---|
| ComplexFuncBench | 65.5% | 49.3% | 5.7% | 66.5% | 38.6% | 47.6% | 17.6% | 63.0% |
| Taubench 航空業4 | 49.4% | 36.0% | 14.0% | 42.8% | 22.0% | 50.0% | 32.4% | 50.0% |
| Taubench 零售業4, 5 | 68.0% (73.6%) | 55.8% (65.4%) | 22.6% (23.5%) | 60.3% | 44.0% | 70.8% | 57.6% | 68.4% |
[4] 為減少變異,tau-bench 的評測數值取 5 次執行的平均,且評測時不使用任何自訂工具或提示。
[5] 括號內的數字代表以 GPT-4.1 而非 GPT-4o 作為使用者模型時的 Tau-bench 結果。我們發現,由於 GPT-4.1 更擅長遵循指令,因此更能勝任使用者角色,從而產生更多成功的執行軌跡。我們相信,這反映了受評模型在該基準測試上的真實表現。
直播重播
作者
OpenAI
研究負責人
Ananya Kumar, Jiahui Yu, John Hallman, Michelle Pokrass
研究核心貢獻者
Adam Goucher, Adi Ganesh, Bowen Cheng, Brandon McKinzie, Brian Zhang, Chris Koch, Colin Wei, David Medina, Edmund Wong, Erin Kavanaugh, Florent Bekerman, Haitang Hu, Hongyu Ren, Ishaan Singal, Jamie Kiros, Jason Ai, Ji Lin, Jonathan Chien, Josh McGrath, Julian Lee, Julie Wang, Kevin Lu, Kristian Georgiev, Kyle Luther, Li Jing, Max Schwarzer, Miguel Castro, Nitish Keskar, Rapha Gontijo Lopes, Shengjia Zhao, Sully Chen, Suvansh Sanjeev, Taylor Gordon, Ted Sanders, Wenda Zhou, Yang Song, Yujia Xie, Yujia Jin, Zhishuai Zhang
研究貢獻者
Aditya Ramesh, Aiden Low, Alex Nichol, Andrei Gheorghe, Andrew Tulloch, Behrooz Ghorbani, Borys Minaiev, Brandon Houghton, Charlotte Cole, Chris Lu, Edmund Wong, Hannah Sheahan, Jacob Huh, James Qin, Jianfeng Wang, Jonathan Ward, Joseph Mo, Joyce Ruffell, Kai Chen, Karan Singhal, Karina Nguyen, Kenji Hata, Kevin Liu, Maja Trębacz, Matt Lim, Mikhail Pavlov, Ming Chen, Morgan Griffiths, Nat McAleese, Nick Stathas, Rajkumar Samuel, Ravi Teja Mullapudi, Rowan Zellers, Shengli Hu, Shuchao Bi, Spencer Papay, Szi‑chieh Yu, Yash Patil, Yufeng Zhang
應用與規模擴展貢獻者
Adam Walker, Ali Kamali, Alvin Wan, Andy Wang, Angad Singh, Ben Leimberger, Beth Hoover, Brian Yu, Charlie Jatt, Chen Ding, Cheng Chang, Daniel Kappler, Dinghua Li, Felipe Petroski Such, Janardhanan Vembunarayanan, Joseph Florencio, Kevin King, Larry Lv, Lin Yang, Linden Li, Manoli Liodakis, Mark Hudnall, Nikunj Handa, Olivier Godement, Ryszard Madej, Sean Chang, Sean Fitzgerald, Sherwin Wu, Siyuan Fu, Stanley Hsieh, Thibault Sottiaux, Yunxing Dai, Yutian Liu
銷售、市場推廣、傳訊及設計
Andy Wood, Ashley Tyra, Cary Hudson, Dana Palmie, Jessica Shieh, Justin Wang, Karan Sekhri, Katie Kim, Kendal Simon, Laura Peng, Leher Pathak, Lindsay McCallum, Matt Nichols, Nick Pyne, Noah MacCallum, Oona Gleeson, Pranav Deshpande, Rishabh Aggarwal, Scott Ethersmith, Shaokyi Amdo, Stephen Gutierrez, Tabarak Khan, Terry Lee, Thomas Degry, Veit Moeller, Yara Khakbaz
來源:OpenAI News · openai.com