Llama 4 Maverick 與 Scout 登陸 Hugging Face Hub,支援 Transformers 和 TGI
Welcome Llama 4 Maverick & Scout on Hugging Face
Hugging Face 將 Llama 4 Maverick (~400B) 與 Scout (~109B) 的權重上架 Hub,並宣佈 Transformers 與 TGI 支援。
文章整理了長上下文所用的 NoPE、分塊注意力與 temperature tuning 設計,讓讀者瞭解 Llama 4 延伸上下文窗口的架構取捨。
我們非常高興歡迎 Meta 新一代大型語言模型登陸 Hugging Face Hub:Llama 4 Maverick(約 400B)和 Llama 4 Scout(約 109B)! 🤗 兩者都是混合專家(MoE)模型,啟用參數均為 17B。
今天發布的這些強大原生多模態模型,代表重大進展。我們與 Meta 緊密合作,確保模型從首日起便能無縫整合至 Hugging Face 生態系統,包括 transformers 和 TGI。
這只是我們 Llama 4 旅程的開始。未來幾天,我們會繼續與社羣合作,利用 Maverick 和 Scout 建構出色的模型、資料集及應用程式!🔥
甚麼是 Llama 4?
Meta 開發的 Llama 4 採用全新的自回歸混合專家(MoE)架構。這一代包括兩個模型:
- 能力強大的 Llama 4 Maverick,總參數約 400B,啟用參數為 17B,並採用 128 個專家。
- 高效率的 Llama 4 Scout,總參數約 109B,啟用參數同樣為 17B,只採用 16 個專家。
兩款模型均透過早期融合實現原生多模態,可處理文字和影像輸入。Maverick 和 Scout 都使用涵蓋 200 種語言的資料訓練,最多達 40 萬億個 token(其中針對包括阿拉伯文、西班牙文、德文和印地文在內的 12 種語言提供專項微調支援)。
在部署方面,Llama 4 Scout 以易於使用為目標,可透過即時 4-bit 或 8-bit 量化,在一張伺服器級 GPU 上運行;Maverick 則提供 BF16 和 FP8 格式。這些模型採用自訂的 Llama 4 Community License Agreement 發布,相關條款載於模型儲存庫。
Hugging Face 上的功能與整合
為協助社羣即時運用這些最先進的模型,我們很高興宣佈以下整合功能:
- Hub 上的模型檢查點:Llama 4 Maverick 和 Llama 4 Scout 的模型權重均已直接上載至 Hugging Face Hub 的
meta-llama組織,當中包括基礎模型及指令微調版本。你可以輕鬆存取、探索及下載模型。存取權重前,須先在模型卡上接受授權條款。 - Hugging Face
transformers整合:立即開始建構!Llama 4 模型已完整整合至transformers(版本v4.51.0)。這讓你可使用熟悉的 API 輕鬆載入模型、執行推論和微調,並支援模型原生多模態能力及 TRL 等下游函式庫。 - 自動支援 tensor-parallel,並可在 transformers 中自動映射裝置。
- 支援 Text Generation Inference(TGI):為支援最佳化及可擴展的部署,兩款模型均可透過 TGI 使用。這可提供高吞吐量文字生成,讓你更輕鬆地把 Llama 4 整合到生產應用程式中。
- 支援量化:我們為 Scout 提供即時 int4 量化程式碼,在部署至較小型硬件時盡量減少效能損失。Maverick 則提供 FP8 量化權重,可在相容硬件上高效部署。
- Xet 儲存:為提升上載和下載速度,並支援社羣微調模型更快迭代,我們使用 Xet 儲存後端發布所有 Llama 4 模型。這套儲存系統專為加快上載和下載而設,在 Llama 4 模型上實現約 ~25% 去重。所有衍生模型(微調版本、量化版本等)的去重率應更高,約 ~40%,為社羣進一步節省時間和頻寬。
上下文長度與架構選擇
Llama 4 模型的預訓練上下文長度為 256K。指令微調模型則支援更長的上下文:大型 128 專家版本(Maverick)可達 1M,而 16 專家版本(Scout)則達 10M(!)。
| 模型 | 指令微調 | 上下文長度 |
|---|---|---|
| Scout(16E) | ✅ | 10M |
| Maverick(128E) | ✅ | 1M |
| Scout(16E) | 256K | |
| Maverick(128E) | 256K |
這些超長上下文長度背後有幾項相當有趣的架構選擇。在官方技術報告發布前,以下是我們目前掌握的資料。
- 不含 RoPE(NoPE)層
NoPE(名字可愛,魅力值 +1)早在 2022 年已有人研究,它完全省略了 transformers 模型通常採用的傳統位置編碼方案,例如 RoPE。在 Llama 4 中,每隔 4 層便會使用 NoPE 層。這些層對長上下文至關重要,因為它們會對整個上下文使用完整的因果遮罩。
RoPE 層(每 4 層中的 3 層)則會使用 分塊注意力。
Meta 將 NoPE 層的交錯使用方式,配合下文所述的温度縮放,稱為 iRoPE 架構。
如要深入瞭解位置編碼,建議閲讀 Chris 最近發表的文章。
- 分塊注意力(用於 RoPE 層)
為降低記憶體需求,Llama 4 在採用傳統 RoPE 位置編碼的層(每 4 個解碼器層中的 3 層)使用分塊注意力。要理解分塊注意力的運作方式,最佳方法是參考從 transformers 原始碼擷取的 ASCII 圖示:
'What' : 0 ■ ⬚ ⬚ ⬚ ⬚ ⬚
'▁is' : 1 ■ ■ ⬚ ⬚ ⬚ ⬚
'▁ch' : 2 ■ ■ ■ ⬚ ⬚ ⬚
'unked' : 3 ⬚ ⬚ ⬚ ■ ⬚ ⬚
'▁attention': 4 ⬚ ⬚ ⬚ ■ ■ ⬚
'?' : 5 ⬚ ⬚ ⬚ ■ ■ ■
這張圖展示分塊注意力長度為 3 時所使用的注意力遮罩。Llama 4 的分塊注意力長度為 8192。也就是説,RoPE 層只會以 8K 區塊追蹤上下文,而 NoPE 層則可存取完整上下文。你可以把它視為記憶體和運算效率更高的滑動視窗注意力。
- 注意力温度調校
應用於長上下文的注意力區塊有一個問題:序列長度增加時,注意力機率分數會逐漸趨近零。這是對極長序列套用 softmax 函數時已知的結果。為解決此問題,Llama 4 使用縮放 softmax,模型稱之為温度調校。這項技術會套用於 NoPE 層,但不會用於 RoPE 層,因為 RoPE 層只會關注較短的子序列。
這種方法有助提升模型對任意上下文長度的泛化能力,可能也是 Llama 4 Scout 能達到 10M 上下文長度的關鍵因素之一。
- QK 正規化
Llama Scout(16 專家版本)會在套用 RoPE 嵌入後,對 RoPE 層中的 Query 和 Key 狀態額外執行無可學習參數的 RMS 正規化。
- MoE 交錯配置
Llama Scout 是由 16 個專家組成的完整 MoE。Llama Maverick 則使用 128 個專家,但 MoE 層會與稠密層交替出現。因此,只有一半的層會使用專家。
- 協同蒸餾
Llama Maverick 以更大型的 Llama Behemoth 模型進行協同蒸餾,並採用一種新型損失函數,動態調整學生模型與教師模型 logits 的權重。
- MetaP
這些模型採用 MetaP 方法(可能受 MuP 啟發),在訓練預算和模型大小等不同維度上,最佳化調整超參數。
如何使用 Transformers
使用 transformers 開始體驗 Llama 4 十分簡單。請先安裝 transformers v4.51.0 或更新版本(pip install -U transformers huggingface_hub[hf_xet])。以下簡單示例使用經指令微調的 Maverick 模型,讓它根據兩張圖片作答,並使用 tensor parallel 以發揮最高速度。你需要在配備 8 張 GPU 的執行個體上,使用類似以下指令執行指令碼:torchrun –nproc-per-instance=8 script.py
from transformers import AutoProcessor, Llama4ForConditionalGeneration
import torch
model_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct"
processor = AutoProcessor.from_pretrained(model_id)
model = Llama4ForConditionalGeneration.from_pretrained(
model_id,
attn_implementation="flex_attention",
device_map="auto",
torch_dtype=torch.bfloat16,
)
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/datasets/cat_style_layout.png"
messages = [
{
"role": "user",
"content": [
{"type": "image", "url": url1},
{"type": "image", "url": url2},
{"type": "text", "text": "Can you describe how these two images are similar, and how they differ?"},
]
},
]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=256,
)
response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])[0]
print(response)
print(outputs[0])
詳細使用説明請參閲模型儲存庫中的模型卡(Llama 4 Maverick(約 400B)和 Llama 4 Scout(約 109B)),內容包括多模態示例、特定提示格式(例如系統提示詞)、量化細節及進階設定選項!
評估分數
評估結果證實了這些模型的實力:其表現達到業界最先進水平,大幅超越 Llama 3.1 405B 等前代模型。例如,在推理及知識任務中,指令微調版 Maverick 在 MMLU Pro 取得 80.5%,在 GPQA Diamond 取得 69.8%;Scout 則分別取得 74.3% 和 57.2%。
按此展開評估結果
預訓練模型
| 類別 | 基準測試 | 提示樣本數 | 指標 | Llama 3.1 70B | Llama 3.1 405B | Llama 4 Scout | Llama 4 Maverick |
|---|---|---|---|---|---|---|---|
| 推理與知識 | MMLU | 5 | macro_avg/acc_char | 79.3 | 85.2 | 79.6 | 85.5 |
| MMLU-Pro | 5 | macro_avg/em | 53.8 | 61.6 | 58.2 | 62.9 | |
| MATH | 4 | em_maj1@1 | 41.6 | 53.5 | 50.3 | 61.2 | |
| 程式編碼 | MBPP | 3 | pass@1 | 66.4 | 74.4 | 67.8 | 77.6 |
| 多語言 | TydiQA | 1 | average/f1 | 29.9 | 34.3 | 31.5 | 31.7 |
| 影像 | ChartQA | 0 | relaxed_accuracy | 不支援多模態 | 83.4 | 85.3 | |
| DocVQA | 0 | anls | 89.4 | 91.6 |
指令微調模型
| 類別 | 基準測試 | 提示樣本數 | 指標 | Llama 3.3 70B | Llama 3.1 405B | Llama 4 Scout | Llama 4 Maverick |
|---|---|---|---|---|---|---|---|
| 影像推理 | MMMU | 0 | accuracy | 不支援多模態 | 69.4 | 73.4 | |
| MMMU Pro^ | 0 | accuracy | 52.2 | 59.6 | |||
| MathVista | 0 | accuracy | 70.7 | 73.7 | |||
| 影像理解 | ChartQA | 0 | relaxed_accuracy | 88.8 | 90.0 | ||
| DocVQA(測試集) | 0 | anls | 94.4 | 94.4 | |||
| 程式編碼 | LiveCodeBench(10/01/2024–02/01/2025) | 0 | pass@1 | 33.3 | 27.7 | 32.8 | 43.4 |
| 推理與知識 | MMLU Pro | 0 | macro_avg/em | 68.9 | 73.4 | 74.3 | 80.5 |
| GPQA Diamond | 0 | accuracy | 50.5 | 49.0 | 57.2 | 69.8 | |
| 多語言 | MGSM | 0 | average/em | 91.1 | 91.6 | 90.6 | 92.3 |
| 長上下文 | MTOB(半本書) eng→kgv/kgv→eng | - | chrF | 上下文視窗為 128K | 42.2/36.6 | 54.0/46.4 | |
| MTOB(全本書) eng→kgv/kgv→eng | - | chrF | 39.7/36.3 | 50.8/46.7 |
鳴謝
發布 Llama 4 這樣的大型模型,需要各團隊跨地域付出龐大努力,也動用大量虛擬機器。我們謹此感謝 Transformers 團隊的 Arthur、Lysandre、Cyril、Pablo、Marc 和 Mohammed(排名不分先後)。我們感謝 vLLM 全體團隊在這次充滿挑戰的緊密整合過程中,與我們深入討論、分享見解、共同測試和除錯。為應付更大型的最佳化需求,我們亦感謝 Mohit 獨力為 TGI 加入 Llama 4 支援。這些大型模型對儲存層面的工程要求極高,Ajit、Rajat、Jared、Di、Yucheng 及整個 Xet 團隊為此付出大量努力。
這項工作有很多人參與,非常感謝 Hugging Face、vLLM 和 Meta Llama 團隊其他成員共同合作,發揮出色的協同效應!
參考資料
來源:Hugging Face Blog · huggingface.co