如何在自己的電腦上執行 Mistral Large 4

Mistral Large 4 的開放權重於 2026 年 10 月 29 日在 Hugging Face 開放下載。你會取得與 Mistral 透過 API 提供的同一個 1.05T 參數模型，採用經修改的 MIT 授權條款，並提供 FP8 和 NVFP4 兩種格式，另有社羣提供的 GGUF 量化版本。下載無需經過審批。你可以使用 vLLM 或 SGLang，在 8 張資料中心 GPU 上提供服務；也可以跳過硬件問題，直接透過 Mistral API 呼叫 mistral-large-4，每百萬個輸入 token 收費 $0.70。

立即試用 Apidog

下文涵蓋：與 10 月 6 日的預覽版本相比有哪些變化、下載大小、各種方案所需的硬件，以及授權條款。如要了解模型概況，請閲讀我們的 Mistral Large 4 發佈詳解；如要查看請求格式和 SDK 程式碼，請參閲 Mistral Large 4 API 指南

甚麼是 Mistral Large 4 開放權重？

Mistral Large 4 的開放權重，是 Mistral 旗艦模型的可下載 checkpoint，暱稱為「Le Chonk」。這是一個多模態混合專家模型，總參數量約為 1.05T，每個 token 約啟用 49B 參數（計入 embeddings 和輸出層時為 52B），配備 1.6B 的視覺編碼器，並有 1M token 的上下文視窗。模型以 Mistral Ecosystem Open-Weight License 發佈

官方模型資料卡列明，模型有 72 個文字層和 128 個路由專家，每個 token 會選用其中 4 個，另外加上 1 個共享專家

這次發佈的並非預覽版本的原樣副本。Mistral 的開放權重公告表示，在釋出權重前，模型額外進行了三星期強化學習訓練，重點提升編碼和網絡安全能力

與 10 月 6 日的預覽版本相比，有哪些變化

如果你在預覽期間測試過 Large 4，現在有四方面已經不同

項目	10 月 6 日的預覽版本	10 月 29 日的開放權重發佈
權重	僅限 API，當時承諾稍後提供權重	Hugging Face 上的 FP8 和 NVFP4 版本，沒有存取限制
推理模式	`high` 或 `none`	`low`、`medium`、`high`（預設為 `high`）；`low` 取代 `none`
Terminal-Bench 4.0（Mistral 報告）	28%	41%；輸出 token 約減少 30%
B3 Agent Security 攻擊抵抗力（Mistral 報告）	93.3%	97.1%
每 1M token 的 API 價格	以預覽期折扣價列示	輸入 $0.70、快取輸入 $0.07、輸出 $2.10

推理模式的變更可能會令程式碼出錯。如果你的預覽版本整合會傳送 reasoning_effort: "none"，請改為 "low"：Hugging Face 上的發佈文章指出，Transformers 會以 high 級別執行 none。沿用過時設定不會令操作失敗，反而會浪費 token

本文所有 benchmark 數字均由供應商自行報告。Mistral 亦聲稱，在 Cognition 的私人 FrontierCode 2.0 benchmark 中取得 19.7%，是其圖表上開放權重模型的最高分；在 Artificial Analysis Coding Agent Index 中則取得 48%，接近 GLM-5.3。截至我們在 11 月 2 日查閲時，獨立重現測試仍在進行中

執行 Mistral Large 4 的三種方法

你有三種方案，最適合你的方案取決於你對硬件的控制程度

呼叫 Mistral API — 模型 ID 為 mistral-large-4；每百萬個 token 的輸入收費 $0.70、快取輸入收費 $0.07、輸出收費 $2.10。無需 GPU
使用託管服務供應商 — Mistral 列出 OpenRouter、由 NVIDIA 託管的端點和 NIM 容器，亦包括 Microsoft Foundry；後者亦可在 Azure 上進行私有部署
自行託管權重 — 從 Hugging Face 下載權重，然後在自己的電腦上使用 vLLM、SGLang、Transformers 或 llama.cpp 提供服務

由路線 1 或 2 開始，只有在有具體理由時才轉用路線 3：資料不能離開你的網絡、必須由你自行負責的微調，或足以令 8 GPU 節點滿載的用量

如何下載 Mistral Large 4

官方儲存庫沒有存取控制（Hugging Face API 對兩個儲存庫均回報 gated: false），因此任何帳戶，甚至匿名用戶端，都可以提取檔案。真正的門檻是檔案大小

儲存庫	格式	磁碟佔用空間
`mistralai/Mistral-Large-4-1T-A52B`	FP8，官方	約 1,061 GB
`mistralai/Mistral-Large-4-1T-A52B-NVFP4`	NVFP4，官方	約 610 GB
`ggml-org/Mistral-Large-4-1T-A52B-GGUF`	Q8_0	約 1,115 GB
`ggml-org/Mistral-Large-4-1T-A52B-GGUF`	Q4_K_M	約 635 GB
`ggml-org/Mistral-Large-4-1T-A52B-GGUF`	Q2_K	約 381 GB
`ggml-org/Mistral-Large-4-1T-A52B-GGUF`	IQ2_XXS	約 298 GB

我們根據 2026 年 11 月 2 日各儲存庫的檔案清單整理出這些資料。此外，Unsloth 亦在 unsloth/Mistral-Large-4-1T-A52B-GGUF 發佈 GGUF 量化版本

使用 Hugging Face CLI 只下載所需檔案：

pip install -U huggingface_hub
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --local-dir ./mistral-large-4-nvfp4

在持續維持 1 Gbps 的速度下，下載 FP8 稍多於兩小時

如何自行託管 Mistral Large 4

所有官方服務範例均假設使用一個配備 8 GPU、張量平行度為 8 的節點。以下是各引擎所需的配置

引擎	檢查點	官方範例硬件
vLLM	FP8	8 GPU、`--tensor-parallel-size 8`；Hugging Face Inference Endpoints 使用 8x H200
vLLM	NVFP4	8 個 NVIDIA Blackwell GPU
SGLang	FP8	8 GPU、`--tp-size 8`
Transformers	FP8	透過 `torchrun` 使用 8 GPU
llama.cpp	Q2_K GGUF	一部配備 512 GB 統一記憶體的 Apple Silicon Ultra 電腦

vLLM

模型卡建議使用 vLLM，並提供專用 Docker 映像：

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:~/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B \
  --tensor-parallel-size 8 \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

保留兩個解析器旗標，否則推理文字會洩漏至 content，而工具呼叫則會變成原始文字。如要加快解碼，模型卡列出可選的 DSpark speculative decoder：加入 --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

使用該 draft 模型，在 8x H200 上，Hugging Face 測得單一請求約每秒 65 個 token；在負載下，1,000 段 ShareGPT 對話的總吞吐量約為每秒 480 個 token

SGLang 亦可使用：模型卡中的範例 sglang serve 使用 --tp-size 8、--speculative-algorithm DSPARK，以及用於推理和工具呼叫的 auto 解析器

在 Mac 上使用 llama.cpp

llama.cpp 團隊從一開始便提供支援。Q2_K 量化版本（381 GB）可放進一部配備 512 GB 統一記憶體的 Apple Silicon Ultra 電腦：

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

Hugging Face 報告指，在一部 M3 Ultra 電腦上，prefill 約為每秒 90 個 token，generation 約為每秒 15 個 token：用於個人實驗尚可，但對 Agent 循環而言太慢。2-bit 量化仍會損失品質，因此請先以自己的工作負載測試

Mistral 在所有推理層級建議的採樣值為 temperature=1.0 和 top_p=0.95

呼叫自行託管的模型

vLLM 和 SGLang 會提供與 OpenAI 相容的伺服器，因此請求格式與一般 chat completion 請求無異：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-Large-4-1T-A52B",
    "messages": [{"role": "user", "content": "Summarize RFC 9110 section 9 in 5 bullets."}],
    "reasoning_effort": "medium",
    "temperature": 1.0,
    "top_p": 0.95
  }'

如使用託管 API，請使用 "model": "mistral-large-4"，並附上 Bearer [REDACTED]，將相同的請求主體傳送至 https://api.mistral.ai/v1/chat/completions。vLLM 的 OpenAI 相容伺服器文件列出所有接受的欄位

使用 Apidog CLI 讓 Claude Code 測試兩個 endpoint

自行託管的模型經常會在沒有提示的情況下失效：缺少解析器旗標會令推理內容洩漏至 content，或令工具呼叫變成純文字。請使用 Apidog CLI，讓你的編碼 Agent 檢查兩條路徑，而不是手動貼上 curl 指令

一次性設定：

npm install -g apidog-cli@latest
apidog login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com   # pick Claude Code when prompted

然後向 Claude Code 提供相同的提示詞：

In Apidog project <id>, create two environments: "ml4-self-hosted" with base URL
http://localhost:8000 and "ml4-mistral-api" with base URL https://api.mistral.ai.
Add a POST /v1/chat/completions endpoint and a test case that sends a tool-calling
request with reasoning_effort "low", then asserts status 200, that choices[0].message
has a tool_calls array, and that message.content holds no thinking text.
Run it against both environments and tell me where they differ.

Agent 會讀取各個 schema、檢查 payload 並執行測試案例：

apidog environment create ml4-self-hosted --project <id> --base-url http://localhost:8000
apidog environment create ml4-mistral-api --project <id> --base-url https://api.mistral.ai
apidog cli-schema get endpoint-create
apidog cli-schema get test-case-create
apidog cli-schema validate test-case-create --file case.json
apidog test-case create --project <id> --file case.json
apidog run --test-case <caseId> --project <id> -e <selfHostedEnvId> -r cli,json
apidog run --test-case <caseId> --project <id> -e <apiEnvId> -r cli,json

加入 --upload-report，即可在 Apidog 應用程式查看執行結果；或將相同的 apidog run ... -r junit 一行加入 CI，確保發佈 vLLM 升級時不會連同失效的工具呼叫一併推出。我們的 Claude Code 中的 Apidog CLI 使用指南會更詳細介紹設定方法。Apidog 免費方案最多支援 4 位用戶

授權：你可以做甚麼，不能做甚麼

Mistral Ecosystem Open-Weight License 是 MIT 授權，另附一項條件

你可以：執行、部署、微調及修改模型及其衍生版本，用於商業及非商業用途，前提是你在副本中保留版權及許可聲明

如有以下情況，你必須另行向 Mistral 取得商業許可證：以「Model as a Service」形式運行；該授權將此定義為向第三方提供模型或其衍生版本的存取權，以進行推理或後訓練

這項條件不適用於：內部使用、模型嵌入特定功能或 harness 的終端用戶產品、將請求轉送至由他人託管的模型，以及透過 Mistral 自家產品使用模型

基於此模型開發的內部編碼助手或產品功能均可使用。轉售原始推理服務則須有協議。這只是摘要，並非法律意見

如需其他開放權重模型的類似指引，請參閲我們的 GLM-5.3 自行託管指南

應該自行託管還是呼叫 API？

當你的用量中等、需要 1M 上下文而不想調整伺服器限制，或你目前尚未運行 8 GPU 節點時，應呼叫 API。按每百萬個輸入 token $0.70、每百萬個輸出 token $2.10 計算，每月 100 百萬個輸入 token加上 20 百萬個輸出 token，費用為 $112，尚未計算任何快取折扣

當你的資料不能離開網絡、需要自行掌握微調版本（Hugging Face 顯示可在 8x B300 節點上使用 TRL 進行 LoRA 訓練），或固定用量足以令節點全速運行時，應自行託管。Mistral 的 Forge 服務是使用你自己的資料進行微調的託管選項

常見問題

Mistral Large 4 的開放權重可以免費下載嗎？

可以。Hugging Face 上兩個官方儲存庫均沒有存取控制，因此可以直接下載，無須申請權限。成本在於運行模型：官方 FP8 檢查點約為 1,061 GB，而服務示例使用 8 張數據中心 GPU

我可以在單張 GPU 上運行 Mistral Large 4 嗎？

沒有任何官方配置方案涵蓋單張 GPU。vLLM、SGLang 和 Transformers 的所有示例均使用 8 張 GPU 及張量並行。記錄在案的最小配置，是在一部配備 512 GB 統一記憶體的 Apple Silicon Ultra 電腦上，使用 llama.cpp 和 Q2_K 量化版本，佔用 381 GB

Mistral Large 4 是開源軟件嗎？

它是開放權重模型，而非 OSI 定義下的開源軟件。你可以取得採用修改版 MIT 授權的模型權重，並用於商業用途；但若要向第三方提供模型作為推理或後訓練服務，必須另行向 Mistral 取得商業許可證

開放權重模型是否與 API 模型相同？

Mistral 表示，正式發布的檢查點在 10月6日的預覽版之後，又進行了三星期的強化學習；API 提供的則是名稱為 mistral-large-4 的更新版模型。推理模式也有變化：使用 low、medium 或 high

Mistral Large 4 API 的費用是多少？

Mistral 列出的價格為每百萬個輸入 token $0.70、每百萬個快取輸入 token $0.07，以及每百萬個輸出 token $2.10。截至 2026年11月2日