Mistral Large 4 如何在本地運行

如何在本機執行 Mistral Large 4

Mistral Large 4 開放權重於 2026 年 10 月 29 日在 Hugging Face 公開。你可以下載與 Mistral 自家 API 提供的相同 1.05T 參數模型，採用修改版 MIT 授權條款，並提供 FP8 及 NVFP4 檢查點，以及社羣製作的 GGUF 量化版本。無需審批即可下載，並以 vLLM 或 SGLang 在 8 張資料中心 GPU 上提供服務；也可以省去硬件部署，透過 Mistral API 以每百萬個輸入 token $0.70 呼叫 mistral-large-4。

立即試用 Apidog

以下內容涵蓋：10 月 6 日預覽版推出後的變化、下載容量、各種方案所需的硬件，以及授權條款。模型概覽請參閲 Mistral Large 4 發佈解析；請求格式及 SDK 程式碼請參閲 Mistral Large 4 API 指南。

甚麼是 Mistral Large 4 開放權重？

Mistral Large 4 開放權重是 Mistral 旗艦模型「Le Chonk」的可下載檢查點。這款多模態混合專家（mixture-of-experts）模型共有約 1.05T 個參數，每個 token 啟用約 49B 個參數（計入嵌入層和輸出層則為 52B），配備 1.6B 視覺編碼器及 1M token 上下文視窗，並以 Mistral Ecosystem Open-Weight License 公開。

官方模型卡列出 72 個文字層和 128 個路由專家，每個 token 會選取 4 個專家，另加 1 個共享專家。

這次發佈並非預覽版的固定複本。根據 Mistral 的開放權重公告，模型在公開權重前，額外接受了為期 3 週、著重編碼和網絡安全的強化學習。

10 月 6 日預覽版推出後有哪些變化

如果你在預覽期間測試過 Large 4，現在有四方面不同。

推理相關變更會令程式碼出錯。若預覽版整合程式傳送 reasoning_effort: "none"，請改為 "low"。根據 Hugging Face發佈貼文，Transformers 會以 high 執行 none，因此舊設定不會報錯，反而會浪費 token。

本文所有基準測試數據均由供應商提供。Mistral 亦表示，在 Cognition 的非公開 FrontierCode 2.0 基準測試中，模型以 19.7% 取得自家圖表上最高的開放權重分數；在 Artificial Analysis Coding Agent Index 中，則以 48% 大致追平 GLM-5.3。截至 11 月 2 日查證時，獨立重現測試仍在進行。

執行 Mistral Large 4 的三種方法

共有三種方案，合適的選擇取決於你能掌控多少硬件。

1. 呼叫 Mistral API。模型 ID 為 mistral-large-4，每百萬個 token 的輸入價格為 $0.70、快取輸入為 $0.07、輸出為 $2.10。無需 GPU。
2. 使用託管服務供應商。Mistral 列出 OpenRouter、NVIDIA 託管端點和 NIM 容器，以及 Microsoft Foundry；後者亦提供 Azure 私人部署。
3. 自行託管權重。從 Hugging Face 下載，並在自己的機器上以 vLLM、SGLang、Transformers 或 llama.cpp 提供服務。

建議先選擇方案 1 或 2，有具體原因時才改用方案 3，例如資料不能離開網絡環境、需要自行掌控微調，或工作量足以讓 8-GPU 節點持續運作。

如何下載 Mistral Large 4

官方儲存庫沒有存取限制（Hugging Face API 對兩者均回報 gated: false），因此任何帳戶或匿名用戶均可下載。真正的門檻是檔案大小。

數據是根據 2026 年 11 月 2 日各儲存庫的檔案清單加總所得。Unsloth 亦以 unsloth/Mistral-Large-4-1T-A52B-GGUF 發佈 GGUF 量化版本。

使用 Hugging Face CLI 只下載所需檔案：

pip install -U huggingface_hub
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --local-dir ./mistral-large-4-nvfp4

若能持續維持 1 Gbps，下載 FP8 需要略多於兩小時。

如何自行託管 Mistral Large 4

所有官方推理服務範例均假設使用一部配備 8 張 GPU 的節點，並採用 8 路張量平行。各推理引擎的官方範例所需規格如下。

vLLM

模型卡建議使用 vLLM，並提供專用 Docker 映像：

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:~/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B \
  --tensor-parallel-size 8 \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

請保留兩個解析器旗標，否則推理文字會混入 content，而工具呼叫則會以原始文字傳送。為加快解碼速度，模型卡亦記錄了可選用的 DSpark 推理解碼器：加入 --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'。

在配備 8x H200、並使用該草稿模型的設定下，Hugging Face 測得單一請求每秒約 65 個 token；在負載狀態下，處理 1,000 個 ShareGPT 對話則達每秒約 480 個 token。

SGLang 亦可運作。模型卡中的 sglang serve 範例使用 --tp-size 8、--speculative-algorithm DSPARK，以及 auto 推理和工具呼叫解析器。

在 Mac 上使用 llama.cpp

llama.cpp 團隊在發佈當日已提供支援。Q2_K 量化版本（381 GB）可放進一部具備 512 GB 統一記憶體的 Apple Silicon Ultra 機器：

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

Hugging Face 報告，在一部 M3 Ultra 上，預填每秒約 90 個 token，生成每秒 15 個 token。用於私人實驗尚可，但用於 Agent 迴圈則較慢。2-bit 量化亦會降低品質，因此請先用自己的工作進行測試。

Mistral 建議在所有推理級別使用 temperature=1.0 和 top_p=0.95。

呼叫自行託管模型

vLLM 和 SGLang 都會提供 OpenAI 相容伺服器，因此請求看起來與其他聊天完成請求相同：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-Large-4-1T-A52B",
    "messages": [{"role": "user", "content": "RFC 9110 섹션 9를 5개의 불릿으로 요약해 줘."}],
    "reasoning_effort": "medium",
    "temperature": 1.0,
    "top_p": 0.95
  }'

對於託管 API，請將相同的本文連同 Bearer 金鑰傳送至 "model": "mistral-large-4" 的 https://api.mistral.ai/v1/chat/completions。vLLM 的 OpenAI 相容伺服器文件列出了可用欄位。

使用 Apidog CLI 讓 Claude Code 測試兩個端點

自行託管的模型可能會靜默失敗。如果缺少解析器旗標，推理內容可能會洩漏至 content，或工具呼叫會退回一般文字。與其手動貼上 curl 命令，不如讓編碼 Agent 使用 Apidog CLI 檢查兩條路徑。

先設定一次：

npm install -g apidog-cli@latest
apidog login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com   # pick Claude Code when prompted

然後向 Claude Code 提供一個提示詞：

In Apidog project <id>, create two environments: "ml4-self-hosted" with base URL
http://localhost:8000 and "ml4-mistral-api" with base URL https://api.mistral.ai.
Add a POST /v1/chat/completions endpoint and a test case that sends a tool-calling
request with reasoning_effort "low", then asserts status 200, that choices[0].message
has a tool_calls array, and that message.content holds no thinking text.
Run it against both environments and tell me where they differ.

Agent 會讀取每個結構描述、驗證酬載並執行測試案例：

apidog environment create ml4-self-hosted --project <id> --base-url http://localhost:8000
apidog environment create ml4-mistral-api --project <id> --base-url https://api.mistral.ai
apidog cli-schema get endpoint-create
apidog cli-schema get test-case-create
apidog cli-schema validate test-case-create --file case.json
apidog test-case create --project <id> --file case.json
apidog run --test-case <caseId> --project <id> -e <selfHostedEnvId> -r cli,json
apidog run --test-case <caseId> --project <id> -e <apiEnvId> -r cli,json

在 Apidog 應用程式中查看執行結果，請加入 --upload-report；或者將相同的 apidog run ... -r junit 一行加入 CI，避免 vLLM 升級時連同失效的工具呼叫一併部署。Claude Code 中的 Apidog CLI 指南會更詳細介紹設定。Apidog 免費方案最多支援 4 位用戶。

授權條款：可以做甚麼，不能做甚麼

Mistral Ecosystem Open-Weight License 是在 MIT 授權條款上額外加上一項條件。

可以做的事：只要在副本中保留版權及許可聲明，就可以執行、分發、微調和修改模型及其衍生品，作商業或非商業用途。

需要 Mistral 另行授予商業授權的情況：以 "Model as a Service" 形式營運。這項授權將其定義為讓第三方可存取模型或其衍生品，以進行推理或後訓練。

不適用這項條件的情況：內部使用、模型嵌入特定功能或執行框架的終端用戶產品、單純將請求轉送至由其他人託管的模型，以及透過 Mistral 自家產品使用模型。

內部編碼助理或以模型建構的產品功能都沒有問題，但要轉售原始推理服務則需要簽訂合約。這只是摘要，並非法律意見。

其他開放權重模型的類似操作指南，請參閲 GLM-5.3 自行託管指南。

應該自行託管，還是呼叫 API？

如果用量較少、想使用 1M 上下文而不調校伺服器限制，或目前沒有運行 8-GPU 節點，就呼叫 API。以每百萬個輸入 token $0.70、每百萬個輸出 token $2.10 計算，每月 1 億個輸入 token 和 2,000 萬個輸出 token，費用為 $112，尚未計算快取折扣。

如果資料不能離開網絡、想自行掌控微調（Hugging Face 示範了在 8x B300 節點上使用 TRL 進行 LoRA 訓練），或用量穩定，足以讓節點持續運作，就自行託管。Mistral 的 Forge 服務提供以自有資料進行調校的託管選項。

常見問題

Mistral Large 4 開放權重可免費下載嗎？

可以。Hugging Face 上兩個官方儲存庫都沒有存取限制，因此無須申請存取權限即可下載。成本在於執行模型：官方 FP8 檢查點約為 1,061 GB，而服務範例使用 8 張數據中心 GPU。

可以在單一 GPU 上執行 Mistral Large 4 嗎？

官方配方中沒有任何一個支援單一 GPU。所有 vLLM、SGLang 和 Transformers 範例都使用 8 張 GPU，並採用張量並行。文件中列出的最低配置，是在一部配備 512 GB 統一記憶體的 Apple Silicon Ultra 電腦上，使用 381 GB 的 Q2_K 量化模型並透過 llama.cpp 執行。

Mistral Large 4 是開放原始碼嗎？

它是開放權重模型，但並非 OSI 定義下的開放原始碼。你可以根據經修改的 MIT 授權條款取得權重，並作商業用途；但若要向第三方提供模型作為推理或後訓練服務，則需要 Mistral 另行授予商業授權。

開放權重模型與 API 模型相同嗎？

Mistral 表示，公開的檢查點在 10 月 6 日預覽版推出後，再經過 3 週額外的強化學習；API 則以 mistral-large-4 提供更新後的模型。推理模式也有所改變。請使用 low、medium 或 high。

Mistral Large 4 API 的費用是多少？

截至 2026 年 11 月 2 日，Mistral 的定價為每百萬個輸入 token $0.70、每百萬個快取輸入 token $0.07，以及每百萬個輸出 token $2.10。