跳到正文
Hugging Face Blog·· 2025-08-05精選AI 評分91

OpenAI 發佈開源 GPT OSS 模型系列

Welcome GPT OSS, the new open-source model family from OpenAI!

AI 導讀

OpenAI 發佈 GPT OSS 開源模型系列,包含 117B 參數的 gpt-oss-120b 和 21B 參數的 gpt-oss-20b。兩款均為 MoE 推理模型,採用 MXFP4 4-bit 量化;gpt-oss-120b 可在單張 80 GB GPU 運行,gpt-oss-20b 可在 16GB 記憶體內運行。

推薦理由

文章將兩款模型的量化方式、硬件需求與多種部署路徑整理在一起,便於評估本地推理的資源門檻及接入方式。

正文 · 繁體中文

GPT OSS 是 OpenAI 備受期待的開放權重模型,專為強大的推理能力、代理式任務及多元開發者用途而設。它包含兩個模型:大型模型有 117B 個參數(gpt-oss-120b),較小型模型則有 21B 個參數(gpt-oss-20b)。兩者均採用專家混合(MoE)架構及 4-bit 量化方案(MXFP4),在維持低資源用量的同時,藉由減少啟用中的參數而加快推理速度(詳情見下文)。大型模型可在單張 H100 GPU 上運行;小型模型則可在 16GB 記憶體內運行,非常適合消費級硬件及裝置端應用。

為進一步提升模型對社羣的價值和影響力,模型採用 Apache 2.0 授權條款,並附有精簡的使用政策:

我們希望工具能以安全、負責任及民主的方式使用,同時盡量讓你掌控工具的使用方式。使用 gpt-oss,即表示你同意遵守所有適用法律。

OpenAI 表示,這次發布是其對開源生態系承諾的重要一步,亦符合其讓大眾廣泛受惠於 AI 的既定使命。許多用途都依賴私有及/或本機部署;我們 Hugging Face 也非常歡迎 OpenAI 加入社羣。我們相信這些模型將長期發揮作用,並帶來啟發和影響。

目錄

能力與架構概覽

  • 總參數量為 21B 和 117B,當中分別有 3.6B 和 5.1B 個啟用中參數。
  • 採用 mxfp4 格式的 4-bit 量化方案,只套用於 MoE 權重。如上所述,120B 模型可在單張 80 GB GPU 上運行,而 20B 模型可在單張 16GB GPU 上運行。
  • 這些是推理型、純文字模型,具備思維鏈及可調整的推理力度等級。
  • 支援遵循指示及使用工具。
  • 可透過 transformers、vLLM、llama.cpp 及 ollama 推理。
  • 建議使用 Responses API 進行推理。
  • 授權:Apache 2.0,並附有精簡的補充使用政策。

架構

  • 採用 token-choice MoE,並使用 SwiGLU 啟動函數。
  • 計算 MoE 權重時,會對選出的專家套用 softmax(softmax-after-topk)。
  • 每個注意力層都使用 RoPE,並支援 128K 上下文。
  • 注意力層交替採用全上下文及 128-token 滑動視窗。
  • 注意力層會為每個注意力頭使用一個可學習的注意力 sink,在 softmax 分母中加入額外的加和值。
  • 它使用與 GPT-4o 及其他 OpenAI API 模型相同的 tokenizer。
    • 模型加入了一些新 token,以支援與 Responses API 相容。
Some benchmark results of OpenAI GPT OSS models
OpenAI GPT OSS 模型與 o3 及 o4-mini 的基準測試結果比較(來源:OpenAI)。

透過 Inference Providers 使用 API

OpenAI GPT OSS 模型可透過 Hugging Face 的 Inference Providers 服務使用,讓你可以用相同的 JavaScript 或 Python 程式碼向任何受支援的供應商發送請求。OpenAI 在 gpt-oss.com 上的官方示範也採用這套基礎設施,你亦可用於自己的專案。

以下範例使用 Python 及速度極快的 Cerebras 供應商。如需更多資訊和其他程式碼片段,請參閲模型卡中的 inference providers 區段,以及我們為這些模型編寫的專用指南。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b:cerebras",
    messages=[
        {
            "role": "user",
            "content": "How many rs are in the word 'strawberry'?",
        }
    ],
)

print(completion.choices[0].message)

Inference Providers 亦實作了與 OpenAI 相容的 Responses API。這是 OpenAI 為聊天模型提供的進階介面,旨在帶來更靈活、直觀的互動方式。
以下範例使用 Fireworks AI 供應商的 Responses API。詳情請參閲開源的 responses.js 專案。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.getenv("HF_TOKEN"),
)

response = client.responses.create(
    model="openai/gpt-oss-20b:fireworks-ai",
    input="How many rs are in the word 'strawberry'?",
)

print(response)

本機推理

使用 Transformers

你需要安裝最新版本的 transformers(v4.55.1 或更新版本),以及 accelerate 和 kernels。我們亦建議安裝 triton 3.4 或更新版本,以便在 CUDA 硬件上支援 mxfp4 量化:

pip install --upgrade transformers kernels accelerate "triton>=3.4"

模型權重以 mxfp4 格式量化,這種格式原先只適用於 Hopper 或 Blackwell 系列 GPU,現在亦可在較早期的 CUDA 架構上使用(包括 Ada、Ampere 及 Tesla)。安裝 triton 3.4 並配合 kernels 程式庫,首次使用時即可下載經最佳化的 mxfp4 kernels,大幅節省記憶體。有了這些元件,你便可在 16 GB RAM 的 GPU 上執行 20B 模型,包括多款消費級顯示卡(3090、4090、5080),以及 Colab 和 Kaggle!

如果未安裝上述程式庫(或沒有相容的 GPU),載入模型時便會改用從量化權重解包而成的 bfloat16。

以下程式碼片段示範如何簡單地使用 20B 模型進行推理。如前所述,使用 mxfp4 時可在 16 GB GPU 上運行;使用 bfloat16 則約需 48 GB。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "openai/gpt-oss-20b"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
)

messages = [
    {"role": "user", "content": "How many rs are in the word 'strawberry'?"},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

generated = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(generated[0][inputs["input_ids"].shape[-1]:]))

Flash Attention 3

模型使用注意力 sinks技術,vLLM 團隊已令其與 Flash Attention 3 相容。我們已將他們最佳化的 kernel 打包並整合至 kernels-community/vllm-flash-attn3。截至本文撰寫時,這個高速 kernel 已在搭載 PyTorch 2.7 和 2.8 的 Hopper 顯示卡上測試。我們預期未來數日會擴大支援範圍。如果你在 Hopper 顯示卡(例如 H100 或 H200)上執行模型,需要先執行 pip install --upgrade kernels,並在程式碼片段中加入以下一行:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "openai/gpt-oss-20b"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
+    # Flash Attention with Sinks
+    attn_implementation="kernels-community/vllm-flash-attn3",
)

messages = [
    {"role": "user", "content": "How many rs are in the word 'strawberry'?"},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

generated = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(generated[0][inputs["input_ids"].shape[-1]:]))

這段程式碼會從 kernels-community 下載經最佳化的預先編譯 kernel 程式碼,詳情可參閲我們先前的網誌文章。transformers 團隊已建置、打包並測試這些程式碼,因此你可以安心使用。

其他最佳化

如果你的 GPU 支援 mxfp4,我們建議使用它。如果還可以使用 Flash Attention 3,就更應該啟用!

如果你的 GPU 不相容於 mxfp4,我們建議改用 MegaBlocks MoE kernels 以提升速度。只需像這樣調整推理程式碼:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "openai/gpt-oss-20b"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
+    # Optimize MoE layers with downloadable` MegaBlocksMoeMLP
+    use_kernels=True,
)

messages = [
    {"role": "user", "content": "How many rs are in the word 'strawberry'?"},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

generated = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(generated[0][inputs["input_ids"].shape[-1]:]))

MegaBlocks 最佳化 MoE kernels 需要模型以 bfloat16 運行,因此記憶體用量會高於使用 mxfp4。如可行,我們建議使用 mxfp4;否則可透過 use_kernels=True 啟用 MegaBlocks。

AMD ROCm 支援

OpenAI GPT OSS 已在 AMD Instinct 硬件上完成驗證;我們亦欣然宣佈,kernels 程式庫開始支援 AMD ROCm 平台,為 Transformers 日後推出經最佳化的 ROCm kernels 奠定基礎。MegaBlocks MoE kernel 加速功能已可在 AMD Instinct(例如 MI300 系列)上用於 OpenAI GPT OSS,提升訓練及推理效能。你可使用上文相同的推理程式碼進行測試。

AMD 亦準備了 Hugging Face Space,讓用戶在 AMD 硬件上試用模型。

可用最佳化總覽

截至本文撰寫時,下表根據 GPU 相容性及我們的測試概述了建議。我們預期 Flash Attention 3(配合 sink attention)日後會相容於更多 GPU。

mxfp4 Flash Attention 3(含 sink attention) MegaBlocks MoE kernels
Hopper GPU(H100、H200) ✅ ✅ ❌
具備 16+ GB RAM 的 CUDA GPU ✅ ❌ ❌
其他 CUDA GPU ❌ ❌ ✅
AMD Instinct(MI3XX) ❌ ❌ ✅
啟用方法 triton 3.4 + kernels 程式庫 使用來自 kernels-community 的 vllm-flash-attn3 use_kernels

雖然 120B 模型可使用 mxfp4 在單張 H100 GPU 上運行,你亦可透過 accelerate 或 torchrun 輕鬆使用多張 GPU。Transformers 提供預設的平行化方案,你亦可使用經最佳化的注意力 kernels。在配備 4 張 GPU 的系統上,可透過 torchrun --nproc_per_node=4 generate.py 執行以下程式碼:

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.distributed import DistributedConfig
import torch

model_path = "openai/gpt-oss-120b"
tokenizer = AutoTokenizer.from_pretrained(model_path, padding_side="left")

device_map = {
    "tp_plan": "auto",    # Enable Tensor Parallelism
}

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    attn_implementation="kernels-community/vllm-flash-attn3",
    **device_map,
)

messages = [
     {"role": "user", "content": "Explain how expert parallelism works in large language models."}
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=1000)

# Decode and print
response = tokenizer.decode(outputs[0])
print("Model response:", response.split("<|channel|>final<|message|>")[-1].strip())

OpenAI GPT OSS 模型經過大量訓練,能在推理過程中運用工具。我們為 transformers 設計的聊天模板相當靈活,詳情請參閲本文稍後的專門章節。

Llama.cpp

Llama.cpp 原生支援 MXFP4 及 Flash Attention,可在 Metal、CUDA 和 Vulkan 等多種後端提供最佳效能,並從發布首日起即可使用。

如要安裝,請按照 llama.cpp GitHub 儲存庫中的指南操作。

# MacOS
brew install llama.cpp

# Windows
winget install llama.cpp

建議透過 llama-server 使用:

llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 -fa --jinja --reasoning-format none

# Then, access http://localhost:8080

我們同時支援 120B 和 20B 模型。如需更多詳細資訊,請參閲此 PR或 GGUF 模型系列。

vLLM

如上所述,vLLM 開發了支援 sink attention 的最佳化 Flash Attention 3 kernels,因此在 Hopper 顯示卡上可取得最佳效果。Chat Completion 和 Responses API 均受支援。你可以使用以下程式碼片段安裝並啟動伺服器;範例假設使用 2 張 H100 GPU:

vllm serve openai/gpt-oss-120b --tensor-parallel-size 2

或者直接在 Python 中這樣使用:

from vllm import LLM
llm = LLM("openai/gpt-oss-120b", tensor_parallel_size=2)
output = llm.generate("San Francisco is a")

transformers serve

你可使用 transformers serve 在本機試驗模型,無需其他相依套件。只需以下指令即可啟動伺服器:

transformers serve

之後可使用 Responses API 發送請求。

# responses API
curl -X POST http://localhost:8000/v1/responses \
-H "Content-Type: application/json" \
-d '{"input": [{"role": "system", "content": "hello"}], "temperature": 1.0, "stream": true, "model": "openai/gpt-oss-120b"}'

你亦可透過標準 Completions API 發送請求:

# completions API
curl -X POST http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"messages": [{"role": "system", "content": "hello"}], "temperature": 1.0, "max_tokens": 1000, "stream": true, "model": "openai/gpt-oss-120b"}'

微調

GPT OSS 模型已全面整合至 trl。我們開發了幾個使用 SFTTrainer 的微調範例,協助你開始使用:

在 Hugging Face 合作夥伴平台部署

Azure

Hugging Face 與 Azure 合作,透過 Azure AI Model Catalog 將最受歡迎的開源模型(涵蓋文字、視覺、語音及多模態任務)直接帶給客戶,在 Azure 企業級基礎設施、自動擴展及監控功能支援下,安全地部署至受管理的線上端點。

GPT OSS 模型現已上架 Azure AI Model Catalog(GPT OSS 20B、GPT OSS 120B),可部署至線上端點以進行即時推理。

model card in azure ai model catalog

Dell

Dell Enterprise Hub 是安全的線上入口網站,讓使用者透過 Dell 平台簡化最新開放 AI 模型的本機訓練及部署流程。這項服務由 Dell 合作開發,提供經最佳化的容器、原生 Dell 硬件支援及企業級安全功能。

GPT OSS 模型現已可在 Dell Enterprise Hub 使用,並可透過 Dell 平台部署至本機環境。

model card in dell enterprise hub

評估模型

GPT OSS 模型屬於推理型模型,因此評估時需要設定非常大的生成長度(即新 token 的上限),因為生成內容會先包含推理過程,然後才是實際答案。生成長度太短,可能會在推理途中截斷預測,造成假陰性。計算指標前,亦應從模型答案中移除推理軌跡,以免產生剖析錯誤,尤其是在數學或指示遵循評估中。

以下示範如何使用 lighteval 評估模型(需要從原始碼安裝)。

git clone https://github.com/huggingface/lighteval
pip install -e .[dev] # make sure you have the correct transformers version installed!
lighteval accelerate \
    "model_name=openai/gpt-oss-20b,max_length=16384,skip_special_tokens=False,generation_parameters={temperature:1,top_p:1,top_k:40,min_p:0,max_new_tokens:16384}" \ 
    "extended|ifeval|0|0,lighteval|aime25|0|0" \
    --save-details --output-dir "openai_scores" \
    --remove-reasoning-tags --reasoning-tags="[('<|channel|>analysis<|message|>','<|end|><|start|>assistant<|channel|>final<|message|>')]" 

對於 20B 模型,這應可在 IFEval(strict prompt)取得 69.5(+/-1.9),並在 AIME25(pass@1)取得 63.3(+/-8.9);這些分數符合此規模推理模型的預期範圍。

如果你想編寫自訂評估指令碼,請注意,為了正確篩除推理標籤,需要在 tokenizer 中使用 skip_special_tokens=False,才能取得模型輸出的完整軌跡(並使用上例中的相同字串配對篩除推理內容);下文會説明原因。

聊天與聊天模板

OpenAI GPT OSS 在輸出中採用「channel」概念。大多數時候,你會看到「analysis」channel,當中包含不應傳送給終端用戶的內容,例如思維鏈;而「final」channel 則包含真正要向用戶顯示的訊息。

假設沒有使用任何工具,模型輸出的結構如下:

<|start|>assistant<|channel|>analysis<|message|>CHAIN_OF_THOUGHT<|end|><|start|>assistant<|channel|>final<|message|>ACTUAL_MESSAGE

大多數時候,你應忽略 <|channel|>final<|message|>. 之後以外的所有內容。只有這段文字應附加至聊天,作為 assistant 訊息,或顯示給用戶。不過,此規則有兩個例外:在訓練期間,或模型正在呼叫外部工具時,可能需要將 analysis 訊息納入對話記錄。

訓練時: 如果你要為訓練整理範例,通常應在最後一則訊息中加入思維鏈。正確做法是將其放在 thinking 欄位。

chat = [
    {"role": "user", "content": "Hi there!"},
    {"role": "assistant", "content": "Hello!"},
    {"role": "user", "content": "Can you think about this one?"},
    {"role": "assistant", "thinking": "Thinking real hard...", "content": "Okay!"}
]

# add_generation_prompt=False is generally only used in training, not inference
inputs = tokenizer.apply_chat_template(chat, add_generation_prompt=False)

你可以在先前的對話回合中加入 thinking 欄位,或在推理而非訓練時加入,但通常會被忽略。聊天模板只會納入最近一段思維鏈,而且只限訓練時使用(即 add_generation_prompt=False,並且最後一個回合是 assistant 回合)。

這樣做的原因較為微妙:OpenAI gpt-oss 模型以多輪對話資料訓練,當中除最後一段思維鏈外,其餘內容都會被移除。因此,微調 OpenAI gpt-oss 模型時也應採用相同做法。

  • 讓聊天模板移除除最後一段以外的所有思維鏈
  • 除了最後一個 assistant 回合外,所有回合的標籤都應遮罩;否則模型會以沒有思維鏈的先前回合作訓練,學會輸出不含 CoT 的回應。因此,不能將整段多輪對話當作單一樣本訓練;相反,必須按每個 assistant 回合拆分成獨立樣本,並在每次訓練時只解除遮罩,讓模型能從每個回合學習,同時確保每次只有最後一則訊息包含思維鏈。

System 與 Developer 訊息

OpenAI GPT OSS 的特別之處,在於聊天開始時會區分「system」訊息和「developer」訊息,但大多數其他模型只使用「system」。在 GPT OSS 中,system 訊息格式嚴格,包含目前日期、模型身分及推理力度等資訊;「developer」訊息則較自由,令人(非常容易混淆地)聯想到其他模型的「system」訊息。

為了讓 GPT OSS 更容易透過標準 API 使用,聊天模板會將「system」或「developer」角色的訊息視為 developer 訊息。如果要修改實際的 system 訊息,可以向聊天模板傳入 model_identity 或 reasoning_effort 等特定參數:

chat = [
    {"role": "system", "content": "This will actually become a developer message!"}
]

tokenizer.apply_chat_template(
    chat, 
    model_identity="You are OpenAI GPT OSS.",
    reasoning_effort="high"  # Defaults to "medium", but also accepts "high" and "low"
)

在 transformers 中使用工具

GPT OSS 支援兩類工具:內置工具 browser 和 python,以及由用戶提供的自訂工具。如要啟用內置工具,請將工具名稱以清單形式傳入聊天模板的 builtin_tools 參數,如下所示。自訂工具則可透過 JSON schema,或使用具備型別提示和 docstring 的 Python 函式,經由 tools 參數傳入。詳情請參閲聊天模板工具文件,亦可直接修改以下範例:

def get_current_weather(location: str):
    """
    Returns the current weather status at a given location as a string.

    Args:
        location: The location to get the weather for.
    """
    return "Terrestrial."  # We never said this was a good weather tool

chat = [
    {"role": "user", "content": "What's the weather in Paris right now?"}
]

inputs = tokenizer.apply_chat_template(
    chat, 
    tools=[weather_tool], 
    builtin_tools=["browser", "python"],
    add_generation_prompt=True,
    return_tensors="pt"
)

如果模型選擇呼叫工具(即訊息以 <|call|> 結尾),你應將工具呼叫加入聊天內容、呼叫該工具,再把工具結果加入聊天,然後再次生成:

tool_call_message = {
    "role": "assistant",
    "tool_calls": [
        {
            "type": "function",
            "function": {
                "name": "get_current_temperature", 
                "arguments": {"location": "Paris, France"}
            }
        }
    ]
}
chat.append(tool_call_message)

tool_output = get_current_weather("Paris, France")

tool_result_message = {
    # Because GPT OSS only calls one tool at a time, we don't
    # need any extra metadata in the tool message! The template can
    # figure out that this result is from the most recent tool call.
    "role": "tool",
    "content": tool_output
}
chat.append(tool_result_message)

# You can now apply_chat_template() and generate() again, and the model can use
# the tool result in conversation.

致謝

這次發布對社羣而言意義重大;多個團隊及公司付出了極大努力,才能在整個生態系中全面支援新模型。

本文作者是從有份為文章撰寫內容的人員中選出,並不代表對項目的投入程度。除作者名單上的人員外,Merve 和 Sergio 等人亦為內容作出了重要審閲。謝謝大家!

整合及支援工作涉及數十人。以下排名不分先後,我們特別鳴謝開源團隊的 Cyril、Lysandre、Arthur、Marc、Mohammed、Nouamane、Harry、Benjamin 和 Matt。TRL 團隊的 Ed、Lewis 和 Quentin 亦有參與;Evaluations 團隊的 Clémentine,以及 Kernels 團隊的 David 和 Daniel 同樣值得感謝。商業合作方面,Simon、Alvaro、Jeff、Akos、Alvaro 和 Ivar 作出了重要貢獻。Hub 和 Product 團隊提供了 Inference Providers 支援、llama.cpp 支援及多項改進,全賴 Simon、Célina、Pierric、Lucain、Xuan-Son、Chunte 和 Julien。法律團隊的 Magda 和 Anna 亦有參與。

Hugging Face 的角色是協助社羣有效使用這些模型。我們感謝 vLLM 等公司推動領域發展,亦珍惜與推理供應商持續合作,為大家提供愈來愈簡便的模型建置方式。

當然,我們也非常感謝 OpenAI 決定向廣大社羣發布這些模型。期待未來有更多成果!

來源:Hugging Face Blog · huggingface.co