OpenAI 發佈 gpt-oss-120b 和 gpt-oss-20b 兩款開放權重語言模型
Introducing gpt-oss
OpenAI 發佈 gpt-oss-120b 和 gpt-oss-20b 兩款低成本開放權重語言模型,採用 Apache 2.0 授權。它們在推理任務上優於規模相近的開放模型,並具備良好工具使用能力,亦針對消費級硬件高效部署作最佳化。
推理表現、工具使用能力與消費級硬件部署資訊一併呈現,便於從能力和部署兩方面理解兩款開放權重模型的取向。
gpt-oss-120b 和 gpt-oss-20b 推進開放權重推理模型的發展前沿
引言
我們推出 gpt-oss-120b 和 gpt-oss-20b,這兩款最先進的開放權重語言模型以低成本提供強勁的實際應用表現。這些模型採用靈活的 Apache 2.0 授權條款,於推理任務上的表現勝過規模相若的開放模型,展現出強大的工具使用能力,並針對在消費級硬件上的高效部署作出優化。它們透過結合強化學習及參考 OpenAI 最先進內部模型(包括 o3 及其他前沿系統)的技術進行訓練。
gpt-oss-120b 模型在核心推理基準測試中的表現接近 OpenAI o4-mini,同時能在單張 80 GB GPU 上高效運行。gpt-oss-20b 模型在常見基準測試中的表現與 OpenAI o3‑mini 相若,而且只需 16 GB 記憶體便可在邊緣裝置上運行,適用於裝置端應用、本機推理,或無需昂貴基礎設施的快速迭代。兩款模型在工具使用、少樣本函式呼叫、CoT 推理(Tau-Bench 代理式評測套件的結果亦反映出這點)及 HealthBench 方面同樣表現出色,甚至勝過 OpenAI o1 和 GPT‑4o 等專有模型。
這些模型兼容我們的 Responses API(在新視窗中開啟),並專為代理式工作流程而設,具備出色的指令遵循能力、工具使用能力(例如網絡搜尋或執行 Python 程式碼),以及推理能力;其中包括可按需要調整推理力度,適用於無需複雜推理的任務及/或需要極低延遲最終輸出的場景。模型完全可自訂,可提供完整的思維鏈(CoT),並支援 Structured Outputs(在新視窗中開啟)。
安全是我們發布所有模型時的根本考量,對開放模型尤其重要。除了對模型進行全面的安全訓練及評估外,我們亦透過在 Preparedness Framework(在新視窗中開啟) 下測試經對抗性微調的 gpt-oss-120b 版本,額外增加一層評估。gpt-oss 模型在內部安全基準測試中的表現與我們的前沿模型相若,為開發者提供與我們近期專有模型相同的安全標準。我們分享了該項工作的結果及更多詳情,相關內容載於 研究論文(在新視窗中開啟) 及 模型卡(在新視窗中開啟)。外部專家已審閱我們的方法,這是為開放權重模型訂立新安全標準的一大進展。
我們亦一直與早期合作夥伴合作,例如 AI Sweden(在新視窗中開啟)、Orange(在新視窗中開啟)及 Snowflake(在新視窗中開啟),藉此了解開放模型在實際場景中的應用,包括為保障資料安全而在本地部署模型,以及以專門資料集微調模型。我們很高興能提供這些同類最佳的開放模型,讓所有人——從個人開發者、大型企業到政府——都能在自己的基礎設施上運行及自訂 AI。配合我們 API 中提供的模型,開發者可以按 AI 工作流程的需要,選擇所需的效能、成本及延遲。
預訓練 & 模型架構
gpt-oss 模型採用我們最先進的預訓練及後訓練技術,特別着重推理、效率,以及在廣泛部署環境中的實際可用性。雖然我們曾開放提供其他模型,包括 Whisper 及 CLIP,gpt-oss 模型是我們自 GPT‑2 以來首批開放權重語言模型[1]。
每個模型都是採用混合專家(MoE[2])架構的 Transformer,可減少處理輸入所需的啟用參數數量。gpt-oss-120b 每個詞元啟用 5.1B 個參數,而 gpt-oss-20b 每個詞元啟用 3.6B 個參數。兩款模型的總參數量分別為 117b 及 21b。 模型採用交替的密集注意力模式及局部帶狀稀疏注意力模式,與 GPT‑3[3] 相似。為提升推理及記憶體效率,模型亦採用分組多查詢注意力,組大小為 8。我們使用旋轉位置嵌入(RoPE[4])進行位置編碼,並原生支援最長 128k 的上下文長度。
模型 | 層數 | 總參數量 | 每個詞元啟用的參數量 | 專家總數 | 每個詞元啟用的專家數 | 上下文長度 |
gpt-oss-120b | 36 | 117B | 5.1B | 128 | 4 | 128k |
gpt-oss-20b | 24 | 21B | 3.6B | 32 | 4 | 128k |
我們使用以英文為主的純文字資料集訓練模型,內容重點涵蓋 STEM、編碼及一般知識。我們使用 OpenAI o4-mini 和 GPT‑4o 所用分詞器的超集 o200k_harmony 對資料進行分詞;該分詞器亦於今天開源。
如欲進一步了解模型的架構及訓練,請參閱 模型卡(在新視窗中開啟)。
後訓練
模型的後訓練流程與 o4-mini 相似,包括監督式微調階段及高運算量的強化學習(RL)階段。我們的目標是讓模型符合 OpenAI Model Spec(在新視窗中開啟),並教導模型在作答前運用 CoT 推理 及使用工具。我們採用與自家最先進專有推理模型相同的技術,因此模型在後訓練後展現出色能力。
與 API 中的 OpenAI o 系列推理模型相似,這兩款開放權重模型支援低、中及高三種推理力度,以便在延遲與效能之間取捨。開發者只需在系統訊息中寫一句話,便可輕易設定推理力度。
評估
我們透過多項標準學術基準測試,評估 gpt-oss-120b 和 gpt-oss-20b 在編碼、競賽數學、健康及代理式工具使用方面的能力,並與其他 OpenAI 推理模型(包括 o3、o3‑mini 及 o4-mini)比較。
gpt-oss-120b 在競賽編碼(Codeforces)、一般問題解決(MMLU 和 HLE)及工具呼叫(TauBench)方面勝過 OpenAI o3‑mini,並與 OpenAI o4-mini 表現相若或更佳。此外,它在健康相關查詢(HealthBench)及競賽數學(AIME 2024 & 2025)方面甚至勝過 o4-mini。儘管規模較小,gpt-oss-20b 在這些相同評估中的表現與 OpenAI o3‑mini 相若或更佳,在競賽數學及健康方面甚至勝過它。
gpt-oss 模型不能取代醫療專業人員,亦非用於診斷或治療疾病
示例推理過程
思維鏈(CoT)
我們的近期研究指出,只要模型並非透過直接監督來對齊 CoT,監察推理模型的 CoT 便有助偵測模型的不當行為。這個觀點亦有人認同(在新視窗中開啟),包括業界其他人士。自推出 OpenAI o1‑preview 以來,我們一直秉持相關原則,因此沒有對任何一款 gpt-oss 模型的 CoT 施加直接監督。我們認為,這對監察模型的不當行為、欺瞞及濫用至關重要。我們希望,發布採用未經監督思維鏈的開放模型,能讓開發者及研究人員有機會研究並實作自己的 CoT 監察系統。
開發者不應在其應用程式中直接向用戶展示 CoT。內容可能包含幻覺或有害內容,包括不符合 OpenAI 標準安全政策的語言,亦可能包含模型被明確要求不要在最終輸出中包含的資訊。
安全及最壞情況微調
gpt-oss 模型採用我們最先進的安全訓練方法。預訓練期間,我們過濾掉與化學、生物、放射性及核子(CBRN)相關的若干有害資料。後訓練期間,我們採用 審議式對齊 及 指令層級(在新視窗中開啟),教導模型拒絕不安全提示,並防禦提示注入攻擊。
開放權重模型發布後,對手可能會將模型微調以達成惡意目的。我們透過使用專門的生物學及網絡安全資料微調模型,直接評估這些風險,並按攻擊者可能採取的方式,為每個領域建立一個特定領域且不會拒答的版本。然後,我們透過內部及外部測試評估這些模型的能力水平。正如隨附的 安全論文 所詳述,測試結果顯示,即使利用 OpenAI 領先業界的訓練技術進行強力微調,這些經惡意微調的模型仍未能達到我們的 Preparedness Framework 所界定的高能力水平。三個獨立專家團隊審閱了這套惡意微調方法,並提出改善訓練流程及評估的建議;我們採納了其中許多建議。我們在模型卡中詳述這些建議。這些流程令開放模型安全取得重大進展。這些發現影響了我們發布 gpt-oss 模型的決定。我們希望這些模型有助推動業界的安全訓練及對齊研究。
為促進更安全的開源生態系統,我們舉辦 Red Teaming Challenge(在新視窗中開啟),鼓勵世界各地的研究人員、開發者及愛好者協助找出新型安全問題。挑戰賽設有 $500,000 獎金,將根據 OpenAI 及其他領先研究實驗室的專家評審團審核結果頒發。挑戰賽結束後,我們將發布報告,並根據經驗證的發現開源一套評估資料集,讓更廣泛的社群可以即時受惠。了解詳情並參與,請按 此處(在新視窗中開啟)。
提供情況
gpt-oss-120b 和 gpt-oss-20b 的權重可在 Hugging Face 免費下載,並原生採用 MXFP4 量化。這讓 gpt-oss-120B 模型可在 80GB 記憶體內運行,而 gpt-oss-20b 只需 16GB。
模型採用我們的 harmony 提示格式(在新視窗中開啟)進行後訓練,而我們亦以 Python 及 Rust 開源 harmony 渲染器(在新視窗中開啟),令採用更容易。我們亦發布了使用 PyTorch 及在 Apple Metal 平台上運行推理的參考實作,並提供一系列模型示例工具。
我們設計這些模型時,着重令它們靈活易用,可在任何地方運行——本機、裝置端,或透過第三方推理供應商。為此,我們在發布前與 Azure、Hugging Face、vLLM、Ollama、llama.cpp、LM Studio、AWS、Fireworks、Together AI、Baseten、Databricks、Vercel、Cloudflare 及 OpenRouter 等主要部署平台合作,讓開發者能廣泛使用這些模型。在硬件方面,我們與 NVIDIA、AMD、Cerebras 及 Groq 等業界領導者合作,確保模型在各類系統上都能發揮最佳效能。
作為今天發布內容的一部分,Microsoft 亦為 Windows 裝置推出經 GPU 優化的 gpt-oss-20b 模型版本。這些模型以 ONNX Runtime 為基礎,支援本機推理,並可透過 Foundry Local 及 VS Code 的 AI Toolkit 使用,讓 Windows 開發者更容易使用開放模型進行開發。
對於希望取得可完全自訂、能在自家環境中微調及部署的模型的開發者,gpt-oss 非常適合。如需多模態支援、內置工具及與我們平台無縫整合,透過我們 API 平台提供的模型仍是最佳選擇。我們會繼續密切聆聽開發者意見,並可能在未來考慮為 gpt-oss 提供 API 支援。
如想試用這些模型,請前往我們的 開放模型試玩平台(在新視窗中開啟)。如欲了解如何透過不同生態系統供應商使用模型,或如何微調模型,請參閱我們的指南(在新視窗中開啟)。
開放模型的重要性
發布 gpt-oss-120b 和 gpt-oss-20b 是開放權重模型發展的重要一步。以其規模而言,這些模型在推理能力及安全性方面均有顯著進展。開放模型可與我們託管的模型互相補足,為開發者提供更多工具,以加快最前沿研究、推動創新,並在廣泛的應用場景中促進更安全、更透明的 AI 開發。
這些開放模型亦降低了新興市場、資源受限領域及規模較小機構的門檻;這些機構可能缺乏預算或彈性採用專有模型。世界各地的人只要取得強大而易於使用的工具,便能為自己及他人建設、創新並創造新機會。在美國開發的這些高能力開放權重模型廣泛開放取用,有助擴展民主化 AI 基礎設施。
健康的開放模型生態系統,是讓 AI 廣泛普及並惠及所有人的其中一個面向。我們邀請開發者及研究人員使用這些模型進行實驗、協作,並突破可能性的界限。我們期待看到你們打造的成果。
作者
OpenAI
貢獻者
Zoran Martinovic, Zhuohan Li, Zhiqing Sun, Zach Johnson, Yu Yang, Yu Bai, Yang Song, Xin Wang, Wenting Zhan, Volodymyr Kyrylov, Vlad Fomenko, Tyler Bertao, Tong Mu, Timur Garipov, Tarun Gogineni, Suvansh Sanjeev, Steve Mostovoy, Song Mei, Shengjia Zhao, Sebastien Bubeck, Scott McKinney, Scott Lessans, Sandhini Agarwal, Sam Toizer, Sam Altman, Saachi Jain, Romain Huet, Rahul K. Arora, Philippe Tillet, Olivia Watkins, Nivedita Brett, Nikhil Vyas, Miles Wang, Michihiro Yasunaga, Michelle Pokrass, Mia Glaese, Max Schwarzer, Mark Chen, Mario Lezcano-Casado, Marat Dukhan, Lukas Gross, Ludovic Peran, Ludovic Peran, Lindsay McCallum, Lin Yang, Lily (Xiaoxuan) Liu, Leher Pathak, Lama Ahmad, Kristian Georgiev, Kristen Ying, Kimmy Richardson, Kevin Whinnery, Kevin Weil, Kevin Lu, Kevin Fives, Kendal Simon, Katia Gil Guzman, Karan Singhal, Karan Singhal, Kai Chen, Josh McGrath, Jordan Liss, Jongsoo Park, John Hallman, Johannes Heidecke, Jiancheng Liu, Ji Lin, Jason Kwon, Jason Ai, James Park Lennon, Jakub Pachocki, Jacob Huh, Jackie Hehir, Irina Kofman, Huida Qiu, Hongyu Ren, Harshit Sikchi, Hannah Wong, Haitang Hu, Haitang Hu, Haiming Bao, Hadi Salman, Guillaume Leclerc, Greg Brockman, Gideon Myles, Giambattista Parascandolo, Gaby Raila, Foivos Tsimpourlas, Filippo Raso, Eugene Brevdo, Eric Wallace, Enoch Cheung, Elizabeth Proehl, Elaine Ya Le, Edwin Arbus, Eddie Zhang, Dominik Kundel, Dmitry Pimenov, David Robinson, Dane Stuckey, Dana Palmie, Dan Cook, Cyril Zhang, Chris Lu, Chris Koch, Che Chang, Cedric Whitney, Casey Dvorak, Carolina Paz, Brian Zhang, Bowen Baker, Bob Rotsted, Boaz Barak, Ashley Pantuliano, Andy Applebaum, Amy Wendling, Ally Bennett, Alexander Neitz, Alex Paino, Alex Nichol, Alec Helyar, Aidan McLaughlin, Aidan Clark, Adam Goucher
來源:OpenAI News · openai.com