跳到正文
Hugging Face Blog·· 16 小時前精選AI 評分80

Mistral Large 4（Le Chonk）登陸 Hugging Face，提供模型權重與部署指南

Welcome Le Chonk: Mistral Large 4 on Hugging Face

AI 導讀

Mistral Large 4（Le Chonk）以開放權重形式登上 Hugging Face，提供 FP8 和 NVFP4 兩個官方版本。模型是多模態、多語言 MoE，約有 1T 總參數、49B 活躍參數及 1M tokens 上下文窗口，支援文字和圖片輸入並生成文字。

推薦理由

文章整理 Mistral Large 4 在 Transformers、vLLM 和 llama.cpp 的部署方式，並附上不同硬件配置與上下文長度下的實測速度，提供實際部署參考。

正文 · 繁體中文

Mistral Large 4（又稱 Le Chonk）是 Mistral 推出的多模態、多語言專家混合（MoE）模型。它以文字和圖片作為輸入，並生成文字。模型約有 1T 個總參數及 49B 個活躍參數，上下文視窗為 1M 個 token。

模型正式推出兩個版本：

  1. FP8
  2. NVFP4

此外，Unsloth 和 llama.cpp 團隊亦製作了 GGUF 檔。模型採用 Mistral Ecosystem Open-Weight License 發佈，這是一種 MIT 衍生授權，對模型即服務方案設有限制。

Mistral Large 4 尤其擅長網絡安全、編碼 Agent 和多模態任務。本文會探討模型的運作原理、能力、架構等。

目錄

Mistral Large 4 有哪些新內容

Mistral Large 4 結合了龐大的專家池、稀疏注意力，以及 Pixtral 視覺編碼器。語言模型會為每個 token 選取一小組專家，而注意力索引器則會選取要關注的先前 token 位置。這是兩種不同形式的稀疏化：一種選取前饋網絡，另一種選取上下文位置。

你可以在 Mistral Large 4 模型集中找到所有檢查點。

網絡安全能力

Mistral Large 4 在 Artificial Analysis Cyber Index 測試中取得 82% 分數。該測試要求模型重現開源軟件中的真實漏洞，然後修補軟件。Mistral 表示，數個閉源前沿模型在同一測試中得分接近零，因為它們拒絕嘗試這項工作。這對防禦方非常重要，因為修補漏洞通常需要先重現漏洞。Mistral 的內部測試亦顯示，Mistral Large 4 有助於分析惡意軟件、排列漏洞的優先次序，以及編寫偵測規則，而模型並未針對這些工作接受專門訓練。

Mistral 主要將模型定位為用於防禦性網絡安全工作。漏洞研究和事故應變在模型輸入中往往看起來像攻擊行為，因此閉源模型的過濾機制可能會封鎖相關內容。依賴 API 的團隊亦可能在事故處理期間失去存取權。更重要的是，開放權重模型讓用戶可自行控制使用政策和部署方式。儘管如此，模型仍會拒絕有害請求：在 JailbreakBench、StrongREJECT 和 AgentHarm 的網絡安全提示詞測試中，其平均拒答率高於任何其他開放權重模型。

對社羣建設者而言，Mistral Large 4 這類開放權重模型可解鎖大量下游應用場景。你可以根據自己的程式碼庫、崩潰記錄和惡意軟件樣本，建立專屬的網絡安全系統。例如，使用 TRL，你可以利用 Mistral Large 4 修補程式碼庫的軌跡來微調較小型模型。事實上，「重現再修補」任務使用可驗證的獎勵，因此適合用於 RL 環境，進一步對較小型的網絡安全模型進行 RL。開放權重亦讓研究人員可直接評估模型的拒絕行為，而無須依賴供應商的描述。

簡而言之，ML4 這類以開放形式提供的網絡安全能力，對社羣是巨大的助力。

我們曾就模型的網絡安全能力訪問 Pierre Stock，你可在此觀看。

架構

ML4

Mistral Large 4 的文字解碼器有 72 層、6,144 的隱藏維度，以及 64 個注意力頭。其注意力區塊結合多頭潛在注意力（Multi-head Latent Attention，MLA）與 DeepSeek 稀疏注意力（DeepSeek Sparse Attention，DSA）索引器（GLM 5.3 等其他模型採用的方向之一）。MLA 保留壓縮的 KV 表示法，而 DSA 為每個查詢最多選取 2,048 個鍵位置。

Attention
每個解碼器區塊均採用 3:1 的 RoPE 與 NoPE 配置，即 3 個解碼器層使用 RoPE，而每第四層使用 NoPE。模型亦會在各層之間共享 KV 狀態。
第一個解碼器層使用密集前饋網絡。其餘 71 層使用 MoE 區塊，並由 softmax 路由器為每個 token 從 128 個專家中選出 4 個。除了選出的專家外，模型還會固定啟用一個共享專家，因此每個 token 共啟用 5 個專家。

至於 RoPE，Mistral 使用 LeRope，這是一種採用 YaRN 縮放的 RoPE，每個頻率各有一個經學習的乘數。

Experts

視覺編碼器

Mistral Large 4 採用 1.6B Pixtral 編碼器。Pixtral 有 30 層、2,048 的隱藏維度，以及 16 個注意力頭。它使用 14 × 14 的圖塊，以及空間合併大小為 2 的圖塊合併投影器。你可在下方查看編碼器流程。

Image Encoder

基準測試結果

Mistral Large 4 在程式編寫、網絡安全、多模態理解和 Agent 工作流程方面均取得出色的基準測試表現，成為開放權重生態系中的有力新選擇。截至 2026 年 10 月 29 日，該模型在 Artificial Analysis Intelligence 指數的開放權重模型中排名第五。

在程式編寫方面，ML4 在 DeepSWE v1.1 取得 61.7%，在 SWE-Atlas-QnA 取得 59.4%，並在 Terminal-Bench 4 取得 28.3%。其綜合 Coding Agent Index 評分為 49.8%，高於 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。

ML4 的程式編寫能力亦延伸至知識工作，在 AutomationBench 取得 59.9%，並在 AA-Briefcase 取得 1,393 Elo；這兩項基準測試評估商業工作流程和長時間跨度的專業任務。

網絡安全是 Mistral Large 4 的突出能力之一，在真實世界的漏洞評估及安全競賽任務中均有出色表現。以下三項基準測試凸顯了模型的網絡安全表現：

  • Artificial Analysis Cyber Index：在這項獨立評估模型尋找及修補軟件漏洞能力的測試中，ML4 排名全球前五。
  • 漏洞重現及修補：在該索引中，此項測試的已報告分數以 82% 最高。這項任務要求重現開源軟件中的真實漏洞，然後修補漏洞，以測試調查及修復能力。
  • Cybench：ML4 在一系列從資安競賽選出的 40 項挑戰中解決了 93%，展現出處理實作型資安問題的卓越能力。

Mistral Large 4 在 Lakera 的 B3 基準測試中，攻擊抵禦能力亦達 93.3%，進一步提供證據，顯示它能有效抵禦提示詞注入攻擊。除基準測試外，內部測試亦顯示，它在惡意軟件分析、漏洞優先排序及偵測規則生成方面取得令人鼓舞的結果。

推理支援

Mistral Large 4 推出時即支援 transformers、vLLM 和 llama.cpp。GGUF 量化版本可從 GGUF 和 llama.cpp 團隊取得。我們提供透過 Inference Endpoints 遠端部署的選項，亦可透過 Inference Providers 使用無伺服器推理。

Transformers

Transformers 實作提供 AutoModelForMultimodalLM，其中 AutoProcessor 負責準備對話及圖像輸入。Mistral Large 4 可將 low、medium、high 設為推理力度。預設值為 high。請注意，推理功能不能停用，因此即使使用 reasoning_effort: none，仍會使用 high。

如要執行模型，請升級 transformers 套件

pip install --upgrade transformers

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)

# only text
text_messages = [
    {
        "role": "user",
        "content": "Who are you?"
    }
]

# text + image
multimodal_messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
            },
            {
                "type": "text",
                "text": "How many cats are in the image?",
            },
        ],
    },
]

for messages in [text_messages, multimodal_messages]:
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
        reasoning_effort="medium",
    ).to(model.device).to(model.dtype)
    input_len = inputs["input_ids"].shape[-1]

    outputs = model.generate(**inputs, max_new_tokens=100)
    if int(os.environ["RANK"]) == 0:
        print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

你可以將上述指令碼儲存至 Python 檔案 script.py，然後執行

torchrun --nproc-per-node 8 script.py

vLLM

vLLM 支援高質素的 NVFP4 Mistral Large 4 檢查點，其記憶體佔用較少，並需要 NVIDIA Blackwell GPU。模型亦隨附 DSpark 草稿模型，讓 vLLM 進一步提升速度。可按以下方式啟動伺服器：

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --config-format mistral \
  --load-format mistral \
  --tensor-parallel-size 8 \
  --decode-context-parallel-size 8 \
  --enable-expert-parallel \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enforce-eager \
  --mm_processor_cache_gb 0.0

伺服器啟動並運作後，你可以執行以下指令。

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'

Llama.cpp

Llama.cpp 和 Llama App 已支援 Mistral Large 4。

你可以使用以下指令安裝 Llama App：

curl -LsSf https://llama.app/install.sh | sh

然後，你可以按以下方式啟動伺服器，並在模型 ID 後標明量化後綴：

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

這裏是相關儲存庫，內有由 FP8 檢查點轉換而來的量化版本；這個則是 NVFP4 版本，由官方 NVFP4 儲存庫轉換而來。

伺服器啟動後，你可以前往 localhost:9931，使用內置 WebUI 聊天。你可以在網頁介面加入圖像以進行推理，並調整推理滑桿。
你亦可以按以下方式向伺服器發送查詢。如需瞭解多模態、工具呼叫等功能，請參閲API 參考文件。

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

你可以按以下方式執行圖文推理。

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
        "model": "muse-spark-open",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "What is in this image?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "data:image/png;base64,..."
                        }
                    }
                ]
            }
        ],
        "temperature": 0
    }'

llama.cpp 團隊提供以下量化版本：IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0，以及 BF16，供進一步轉換使用。2-bit 量化版本可在配備 512 GB 統一記憶體的單部 Apple Silicon Ultra 電腦上運行。其他版本則需要分散式推理。你亦可以使用多張 NVIDIA 或 AMD 顯示卡運行。

在單部 M3 Ultra 上運行 Q2_K，我們測得預填充吞吐量約為每秒 90 個 token，生成速度為 15 tok/s。在 4 x RTX6000 Pro 上，我們觀察到以下結果：

  • NVFP4：32K 上下文長度，預填充 130-590 t/s，生成速度約 10 t/s
  • IQ2_XXS：800K 上下文長度。在較短的上下文長度下，預填充速度為 500 tok/s，生成速度為 30 tok/s。然而，使用較長上下文時，效能會降至 129 tok/s（預填充）及 3 tok/s（生成）。

使用 TRL 微調

我們亦提供使用 TRL 微調 Mistral Large 4 的首日支援。你只需將 transformers、trl 和 peft 升級至最新版本即可。

pip install --upgrade transformers trl peft

在以下範例中，我們訓練模型進行多語言思考。經微調的模型能夠使用系統提示詞指定的語言進行推理！

此指令碼在一台配備 8xB300s 的節點上執行 FP8 版本。

# torchrun --nproc-per-node 8 sft.py
import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
# the assistant turns carry reasoning, so render them in reasoning mode
dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

Inference Endpoints

Mistral Large 4 亦可透過 Inference Endpoints 使用，並提供一套可直接部署於 8 x NVIDIA H200 GPUs 的配置方案。此方案使用 vLLM，透過張量並行和專家並行將 FP8 權重分佈至全部八張 GPU，並使用模型內置的 DSpark 草稿頭，透過推測解碼加快生成速度。此方案支援最多 131K tokens 的上下文，並可同時處理最多 16 個請求；我們觀察到以下結果：

  • 單一請求：對於 1K 個 token 的提示詞，首個 token 的生成時間約為 0.6 秒，生成速度約為 65 tok/s；在 DSpark 草稿獲接受的聊天提示詞中，速度可達 120–138 tok/s。
  • 長提示詞：每次處理四個 16K-token 提示詞時，總預填速度約為 4,300 tok/s，首個 token 的生成時間為 8–9 秒。
  • 負載情況下：在 1,000 段 ShareGPT 對話中，總生成速度約為 480 tok/s。

你可以使用 hf CLI 按照以下方式部署：

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

端點啟動後，你可以使用端點網址和 Hugging Face token 查詢其與 OpenAI 相容的 API。reasoning_effort 欄位可控制模型在回答前進行推理的程度，並可設為 low、medium 或 high（預設）。

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Large-4-1T-A52B",
        "messages": [
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ],
        "reasoning_effort": "medium"
    }'

答案會以 choices[0].message.content 傳回，推理內容則以 choices[0].message.reasoning 傳回。端點亦支援工具呼叫、結構化輸出、圖片輸入，以及透過標準 Chat Completions 欄位進行串流。

Dell Enterprise Hub

要在 Dell AI Servers（NVIDIA H200、B200、GB200 或 GB300）上快速開始使用，最簡單的方法是安裝 dell-ai CLI：

pip install dell-ai && dell-ai login

然後使用它在例如配備 NVIDIA B300 的節點上執行 Mistral Large 4 的最佳化配置方案。

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

你可以在 Dell Enterprise Hub (DEH) 瞭解更多有關此版本的資訊。

立即試用

從 Mistral Large 4 collection 取得權重，使用 GGUFs 在本機執行，或透過 Inference Endpoints 部署。我們期待看到你用 Le Chonk 打造的成果。歡迎在 Hub 分享你的微調版本、量化版本及其他產物！

來源：Hugging Face Blog · huggingface.co

#模型發佈#多模態#編碼#Agent#Hugging Face