跳到正文
Hugging Face Blog·· 2025-04-05精選AI 評分83

Llama 4 Maverick 與 Scout 登陸 Hugging Face Hub,支援 Transformers 和 TGI

Welcome Llama 4 Maverick & Scout on Hugging Face

AI 導讀

Hugging Face 將 Llama 4 Maverick (~400B) 與 Scout (~109B) 的權重上架 Hub,並宣佈 Transformers 與 TGI 支援。

推薦理由

文章整理了長上下文所用的 NoPE、分塊注意力與 temperature tuning 設計,讓讀者瞭解 Llama 4 延伸上下文窗口的架構取捨。

正文 · 繁體中文

我們非常高興歡迎 Meta 新一代大型語言模型登陸 Hugging Face Hub:Llama 4 Maverick(約 400B)和 Llama 4 Scout(約 109B)! 🤗 兩者都是混合專家(MoE)模型,啟用參數均為 17B。

今天發布的這些強大原生多模態模型,代表重大進展。我們與 Meta 緊密合作,確保模型從首日起便能無縫整合至 Hugging Face 生態系統,包括 transformers 和 TGI。

這只是我們 Llama 4 旅程的開始。未來幾天,我們會繼續與社羣合作,利用 Maverick 和 Scout 建構出色的模型、資料集及應用程式!🔥

甚麼是 Llama 4?

Meta 開發的 Llama 4 採用全新的自回歸混合專家(MoE)架構。這一代包括兩個模型:

  • 能力強大的 Llama 4 Maverick,總參數約 400B,啟用參數為 17B,並採用 128 個專家。
  • 高效率的 Llama 4 Scout,總參數約 109B,啟用參數同樣為 17B,只採用 16 個專家。

兩款模型均透過早期融合實現原生多模態,可處理文字和影像輸入。Maverick 和 Scout 都使用涵蓋 200 種語言的資料訓練,最多達 40 萬億個 token(其中針對包括阿拉伯文、西班牙文、德文和印地文在內的 12 種語言提供專項微調支援)。

在部署方面,Llama 4 Scout 以易於使用為目標,可透過即時 4-bit 或 8-bit 量化,在一張伺服器級 GPU 上運行;Maverick 則提供 BF16 和 FP8 格式。這些模型採用自訂的 Llama 4 Community License Agreement 發布,相關條款載於模型儲存庫。

Hugging Face 上的功能與整合

為協助社羣即時運用這些最先進的模型,我們很高興宣佈以下整合功能:

  • Hub 上的模型檢查點:Llama 4 Maverick 和 Llama 4 Scout 的模型權重均已直接上載至 Hugging Face Hub 的 meta-llama 組織,當中包括基礎模型及指令微調版本。你可以輕鬆存取、探索及下載模型。存取權重前,須先在模型卡上接受授權條款。
  • Hugging Face transformers 整合:立即開始建構!Llama 4 模型已完整整合至 transformers(版本 v4.51.0)。這讓你可使用熟悉的 API 輕鬆載入模型、執行推論和微調,並支援模型原生多模態能力及 TRL 等下游函式庫。
  • 自動支援 tensor-parallel,並可在 transformers 中自動映射裝置。
  • 支援 Text Generation Inference(TGI):為支援最佳化及可擴展的部署,兩款模型均可透過 TGI 使用。這可提供高吞吐量文字生成,讓你更輕鬆地把 Llama 4 整合到生產應用程式中。
  • 支援量化:我們為 Scout 提供即時 int4 量化程式碼,在部署至較小型硬件時盡量減少效能損失。Maverick 則提供 FP8 量化權重,可在相容硬件上高效部署。
  • Xet 儲存:為提升上載和下載速度,並支援社羣微調模型更快迭代,我們使用 Xet 儲存後端發布所有 Llama 4 模型。這套儲存系統專為加快上載和下載而設,在 Llama 4 模型上實現約 ~25% 去重。所有衍生模型(微調版本、量化版本等)的去重率應更高,約 ~40%,為社羣進一步節省時間和頻寬。

上下文長度與架構選擇

Llama 4 模型的預訓練上下文長度為 256K。指令微調模型則支援更長的上下文:大型 128 專家版本(Maverick)可達 1M,而 16 專家版本(Scout)則達 10M(!)。

模型 指令微調 上下文長度
Scout(16E) ✅ 10M
Maverick(128E) ✅ 1M
Scout(16E) 256K
Maverick(128E) 256K

這些超長上下文長度背後有幾項相當有趣的架構選擇。在官方技術報告發布前,以下是我們目前掌握的資料。

  • 不含 RoPE(NoPE)層

NoPE(名字可愛,魅力值 +1)早在 2022 年已有人研究,它完全省略了 transformers 模型通常採用的傳統位置編碼方案,例如 RoPE。在 Llama 4 中,每隔 4 層便會使用 NoPE 層。這些層對長上下文至關重要,因為它們會對整個上下文使用完整的因果遮罩。

RoPE 層(每 4 層中的 3 層)則會使用 分塊注意力。

Meta 將 NoPE 層的交錯使用方式,配合下文所述的温度縮放,稱為 iRoPE 架構。

如要深入瞭解位置編碼,建議閲讀 Chris 最近發表的文章。

  • 分塊注意力(用於 RoPE 層)

為降低記憶體需求,Llama 4 在採用傳統 RoPE 位置編碼的層(每 4 個解碼器層中的 3 層)使用分塊注意力。要理解分塊注意力的運作方式,最佳方法是參考從 transformers 原始碼擷取的 ASCII 圖示:

'What'      :  0 ■ ⬚ ⬚ ⬚ ⬚ ⬚ 
'▁is'       :  1 ■ ■ ⬚ ⬚ ⬚ ⬚ 
'▁ch'       :  2 ■ ■ ■ ⬚ ⬚ ⬚ 
'unked'     :  3 ⬚ ⬚ ⬚ ■ ⬚ ⬚ 
'▁attention':  4 ⬚ ⬚ ⬚ ■ ■ ⬚ 
'?'         :  5 ⬚ ⬚ ⬚ ■ ■ ■ 

這張圖展示分塊注意力長度為 3 時所使用的注意力遮罩。Llama 4 的分塊注意力長度為 8192。也就是説,RoPE 層只會以 8K 區塊追蹤上下文,而 NoPE 層則可存取完整上下文。你可以把它視為記憶體和運算效率更高的滑動視窗注意力。

  • 注意力温度調校

應用於長上下文的注意力區塊有一個問題:序列長度增加時,注意力機率分數會逐漸趨近零。這是對極長序列套用 softmax 函數時已知的結果。為解決此問題,Llama 4 使用縮放 softmax,模型稱之為温度調校。這項技術會套用於 NoPE 層,但不會用於 RoPE 層,因為 RoPE 層只會關注較短的子序列。

這種方法有助提升模型對任意上下文長度的泛化能力,可能也是 Llama 4 Scout 能達到 10M 上下文長度的關鍵因素之一。

  • QK 正規化

Llama Scout(16 專家版本)會在套用 RoPE 嵌入後,對 RoPE 層中的 Query 和 Key 狀態額外執行無可學習參數的 RMS 正規化。

  • MoE 交錯配置

Llama Scout 是由 16 個專家組成的完整 MoE。Llama Maverick 則使用 128 個專家,但 MoE 層會與稠密層交替出現。因此,只有一半的層會使用專家。

  • 協同蒸餾

Llama Maverick 以更大型的 Llama Behemoth 模型進行協同蒸餾,並採用一種新型損失函數,動態調整學生模型與教師模型 logits 的權重。

  • MetaP

這些模型採用 MetaP 方法(可能受 MuP 啟發),在訓練預算和模型大小等不同維度上,最佳化調整超參數。

如何使用 Transformers

使用 transformers 開始體驗 Llama 4 十分簡單。請先安裝 transformers v4.51.0 或更新版本(pip install -U transformers huggingface_hub[hf_xet])。以下簡單示例使用經指令微調的 Maverick 模型,讓它根據兩張圖片作答,並使用 tensor parallel 以發揮最高速度。你需要在配備 8 張 GPU 的執行個體上,使用類似以下指令執行指令碼:
torchrun –nproc-per-instance=8 script.py

from transformers import AutoProcessor, Llama4ForConditionalGeneration
import torch

model_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct"

processor = AutoProcessor.from_pretrained(model_id)
model = Llama4ForConditionalGeneration.from_pretrained(
    model_id,
    attn_implementation="flex_attention",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/datasets/cat_style_layout.png"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url1},
            {"type": "image", "url": url2},
            {"type": "text", "text": "Can you describe how these two images are similar, and how they differ?"},
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
)

response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])[0]
print(response)
print(outputs[0])

詳細使用説明請參閲模型儲存庫中的模型卡(Llama 4 Maverick(約 400B)和 Llama 4 Scout(約 109B)),內容包括多模態示例、特定提示格式(例如系統提示詞)、量化細節及進階設定選項!

評估分數

評估結果證實了這些模型的實力:其表現達到業界最先進水平,大幅超越 Llama 3.1 405B 等前代模型。例如,在推理及知識任務中,指令微調版 Maverick 在 MMLU Pro 取得 80.5%,在 GPQA Diamond 取得 69.8%;Scout 則分別取得 74.3% 和 57.2%。

按此展開評估結果

預訓練模型

類別 基準測試 提示樣本數 指標 Llama 3.1 70B Llama 3.1 405B Llama 4 Scout Llama 4 Maverick
推理與知識 MMLU 5 macro_avg/acc_char 79.3 85.2 79.6 85.5
MMLU-Pro 5 macro_avg/em 53.8 61.6 58.2 62.9
MATH 4 em_maj1@1 41.6 53.5 50.3 61.2
程式編碼 MBPP 3 pass@1 66.4 74.4 67.8 77.6
多語言 TydiQA 1 average/f1 29.9 34.3 31.5 31.7
影像 ChartQA 0 relaxed_accuracy 不支援多模態 83.4 85.3
DocVQA 0 anls 89.4 91.6

指令微調模型

類別 基準測試 提示樣本數 指標 Llama 3.3 70B Llama 3.1 405B Llama 4 Scout Llama 4 Maverick
影像推理 MMMU 0 accuracy 不支援多模態 69.4 73.4
MMMU Pro^ 0 accuracy 52.2 59.6
MathVista 0 accuracy 70.7 73.7
影像理解 ChartQA 0 relaxed_accuracy 88.8 90.0
DocVQA(測試集) 0 anls 94.4 94.4
程式編碼 LiveCodeBench(10/01/2024–02/01/2025) 0 pass@1 33.3 27.7 32.8 43.4
推理與知識 MMLU Pro 0 macro_avg/em 68.9 73.4 74.3 80.5
GPQA Diamond 0 accuracy 50.5 49.0 57.2 69.8
多語言 MGSM 0 average/em 91.1 91.6 90.6 92.3
長上下文 MTOB(半本書) eng→kgv/kgv→eng - chrF 上下文視窗為 128K 42.2/36.6 54.0/46.4
MTOB(全本書) eng→kgv/kgv→eng - chrF 39.7/36.3 50.8/46.7

鳴謝

發布 Llama 4 這樣的大型模型,需要各團隊跨地域付出龐大努力,也動用大量虛擬機器。我們謹此感謝 Transformers 團隊的 Arthur、Lysandre、Cyril、Pablo、Marc 和 Mohammed(排名不分先後)。我們感謝 vLLM 全體團隊在這次充滿挑戰的緊密整合過程中,與我們深入討論、分享見解、共同測試和除錯。為應付更大型的最佳化需求,我們亦感謝 Mohit 獨力為 TGI 加入 Llama 4 支援。這些大型模型對儲存層面的工程要求極高,Ajit、Rajat、Jared、Di、Yucheng 及整個 Xet 團隊為此付出大量努力。

這項工作有很多人參與,非常感謝 Hugging Face、vLLM 和 Meta Llama 團隊其他成員共同合作,發揮出色的協同效應!

參考資料

來源:Hugging Face Blog · huggingface.co