跳到正文
Ollama:Blog·· 2025-08-05精選AI 評分87

Ollama 引入 OpenAI gpt-oss-20b 與 gpt-oss-120b 開放權重模型

OpenAI gpt-oss

AI 導讀

Ollama 與 OpenAI 合作,將 gpt-oss-20b 和 gpt-oss-120b 開放權重模型帶到 Ollama,供用戶本地使用。兩款模型採用 MXFP4 量化,20B 版本可在記憶體低至 16GB 的系統運行,120B 版本可在單張 80GB GPU 上運行。20B 面向低延遲、本地或專用場景,120B 面向生產、通用及高推理需求;可透過 Ollama 新應用程式或終端機下載。

推薦理由

文章説明 MXFP4 量化及 Ollama 原生支援如何降低本地運行門檻,並列出 20B 與 120B 模型的硬件需求和用途定位。

正文 · 繁體中文

August 5, 2025

welcome OpenAI gpt-oss

歡迎 OpenAI 的 gpt-oss!

Ollama 與 OpenAI 合作,將 OpenAI 最新、最先進的開放權重模型帶到 Ollama。兩款模型分別為 20B 和 120B,帶來全新的本機聊天體驗,並為強大的推理能力、Agent 任務及多元的開發者使用情境而設計。

功能重點

  • Agent 能力:運用模型的原生功能,支援函數呼叫、網頁瀏覽(Ollama 提供內置網頁搜尋,可選擇啟用,讓模型取得最新資訊)、Python 工具呼叫及結構化輸出。
  • 完整思維鏈: 完整存取模型的推理過程,讓除錯更容易,並提升對輸出結果的信任。
  • 可設定推理力度:根據特定使用情境及延遲需求,輕鬆調整推理力度(低、中、高)。
  • 可微調: 透過參數微調,按特定使用情境充分自訂模型。
  • 寬鬆的 Apache 2.0 授權條款:可自由開發,不受 Copyleft 限制,亦無專利風險;適合實驗、自訂及商業部署。

量化 — MXFP4 格式

OpenAI 採用量化技術,減少 gpt-oss 模型的記憶體佔用。模型在後訓練階段會將混合專家(MoE)權重量化為 MXFP4 格式,每個參數量化為 4.25 位元。MoE 權重佔總參數量的 90+%;將這些權重量化為 MXFP4 後,較小型模型可在記憶體僅有 16GB 的系統上執行,而較大型模型則可在單張 80GB GPU 上運行。

Ollama 原生支援 MXFP4 格式,毋須額外量化或轉換。Ollama 的新引擎已開發新的核心,以支援 MXFP4 格式。

Ollama 與 OpenAI 合作,對照 OpenAI 的參考實作進行基準測試,以確保 Ollama 的實作品質與參考實作相同。

20B 參數模型

gpt-oss-20b

gpt-oss-20b 模型專為低延遲、本機使用或專門用途而設。

120B 參數模型

gpt-oss-120b

gpt-oss-120b 模型專為生產環境、通用用途及高推理需求的使用情境而設。

NVIDIA 與 Ollama 合作,加速 gpt-oss 在 GeForce RTX 和 RTX PRO GPU 上的運行

ollama collaborate

NVIDIA 與 Ollama 正進一步深化合作,提升模型在 NVIDIA GeForce RTX 和 RTX PRO GPU 上的效能。這項合作讓使用配備 RTX 電腦的用戶能夠準確運用 OpenAI gpt-oss 模型的功能。

我們會繼續合作,進一步完善 Ollama。未來,我們會發佈一篇深入介紹該模型的工程文章。

開始使用

下載最新版本的 Ollama,即可開始使用

可直接在 Ollama 的新應用程式中下載模型,或透過終端機下載:

ollama run gpt-oss:20b

ollama run gpt-oss:120b

參考資料

OpenAI 發佈網誌 OpenAI 模型卡 NVIDIA RTX 網誌

來源:Ollama:Blog · ollama.com