如何在自己的電腦上執行 Mistral Large 4

วิธีรัน Mistral Large 4 บนเครื่องของคุณเอง

น้ำหนักแบบเปิดของ Mistral Large 4 เปิดให้ดาวน์โหลดบน Hugging Face เมื่อวันที่ 29 ตุลาคม 2026 คุณจะได้โมเดล 1.05T พารามิเตอร์ตัวเดียวกับที่ Mistral ให้บริการผ่าน API ภายใต้ลิขสิทธิ์ MIT ดัดแปลง ทั้งในรูปแบบ FP8 และ NVFP4 checkpoint พร้อม GGUF quants จากชุมชน ดาวน์โหลดได้โดยไม่ต้องผ่านขั้นตอนอนุมัติ ให้บริการบน GPU ศูนย์ข้อมูล 8 ตัวด้วย vLLM หรือ SGLang หรือข้ามเรื่องฮาร์ดแวร์แล้วเรียก mistral-large-4 บน Mistral API ในราคา $0.70 ต่อโทเค็นอินพุตหนึ่งล้านโทเค็น

ลองใช้ Apidog วันนี้

ด้านล่างครอบคลุม: สิ่งที่เปลี่ยนแปลงไปตั้งแต่ตัวอย่างเมื่อวันที่ 6 ตุลาคม, ขนาดดาวน์โหลด, ฮาร์ดแวร์ต่อเส้นทาง และลิขสิทธิ์ สำหรับภาพรวมของโมเดล อ่าน Mistral Large 4 launch breakdown ของเรา ส่วนรูปแบบคำขอและโค้ด SDK ดูได้ที่ Mistral Large 4 API guide

น้ำหนักแบบเปิดของ Mistral Large 4 คืออะไร?

น้ำหนักแบบเปิดของ Mistral Large 4 คือ checkpoint ที่ดาวน์โหลดได้ของโมเดลเรือธงของ Mistral ซึ่งมีชื่อเล่นว่า "Le Chonk" เป็นโมเดล multimodal mixture-of-experts ที่มีพารามิเตอร์รวมประมาณ 1.05T, ใช้งานประมาณ 49B ต่อโทเค็น (52B เมื่อนับ embeddings และ output layers), vision encoder 1.6B และหน้าต่างบริบทขนาด 1M โทเค็น เปิดตัวภายใต้ Mistral Ecosystem Open-Weight License

model card อย่างเป็นทางการระบุ 72 text layers และ 128 routed experts โดยเลือกใช้ 4 ตัวต่อโทเค็นบวกกับ shared expert อีก 1 ตัว

การเปิดตัวนี้ไม่ใช่สำเนาที่หยุดนิ่งของตัวอย่างก่อนหน้า ประกาศ open-weight ของ Mistral กล่าวว่าโมเดลได้รับการเรียนรู้แบบเสริมกำลังเพิ่มอีกสามสัปดาห์ โดยเน้นที่การเขียนโค้ดและความปลอดภัยทางไซเบอร์ ก่อนที่น้ำหนักจะถูกปล่อยออกมา

มีอะไรเปลี่ยนแปลงไปตั้งแต่ตัวอย่างเมื่อวันที่ 6 ตุลาคม

หากคุณทดสอบ Large 4 ระหว่างช่วงตัวอย่าง ตอนนี้มีสี่เรื่องที่แตกต่างออกไป

การเปลี่ยนแปลงโหมดการให้เหตุผลทำให้โค้ดพังได้ หากการผสานรวมช่วงตัวอย่างของคุณส่ง reasoning_effort: "none" ให้เปลี่ยนเป็น "low": โพสต์เปิดตัว บน Hugging Face ระบุว่า Transformers จะรัน none ที่ระดับ high การตั้งค่าที่ล้าสมัยจึงทำให้สิ้นเปลืองโทเค็นแทนที่จะล้มเหลว

ตัวเลข benchmark ทั้งหมดในโพสต์นี้เป็นข้อมูลที่ผู้ขายรายงานเอง Mistral ยังอ้างว่าได้ 19.7% ใน FrontierCode 2.0 benchmark ส่วนตัวของ Cognition ซึ่งเป็นคะแนน open-weight สูงสุดในแผนภูมิของตน และ 48% ใน Artificial Analysis Coding Agent Index ซึ่งใกล้เคียงกับ GLM-5.3 การทำซ้ำโดยอิสระยังอยู่ระหว่างดำเนินการ ณ วันที่เราตรวจสอบ 2 พฤศจิกายน

สามวิธีในการรัน Mistral Large 4

คุณมีสามเส้นทาง และเส้นทางที่เหมาะสมขึ้นอยู่กับว่าคุณควบคุมฮาร์ดแวร์ได้มากแค่ไหน

1. เรียก Mistral API — model id mistral-large-4, $0.70 อินพุต, $0.07 อินพุตแคช และ $2.10 เอาต์พุตต่อล้านโทเค็น ไม่ต้องใช้ GPU
2. ใช้ผู้ให้บริการโฮสต์ — Mistral ระบุ OpenRouter, endpoint ที่โฮสต์โดย NVIDIA และ NIM container รวมถึง Microsoft Foundry ซึ่งมี private deployment บน Azure ด้วย
3. โฮสต์น้ำหนักด้วยตัวเอง — ดาวน์โหลดจาก Hugging Face แล้วให้บริการด้วย vLLM, SGLang, Transformers หรือ llama.cpp บนเครื่องของคุณเอง

เริ่มจากเส้นทางที่ 1 หรือ 2 แล้วย้ายไปเส้นทางที่ 3 เมื่อมีเหตุผลที่เป็นรูปธรรม: ข้อมูลที่ไม่สามารถออกจากเครือข่ายของคุณ, fine-tune ที่คุณต้องเป็นเจ้าของเอง หรือปริมาณการใช้งานที่ทำให้โหนด 8 GPU ทำงานเต็มที่

วิธีดาวน์โหลด Mistral Large 4

repo อย่างเป็นทางการไม่มีการควบคุมการเข้าถึง (Hugging Face API รายงาน gated: false สำหรับทั้งสอง repo) ดังนั้นบัญชีใดก็ตามหรือแม้แต่ไคลเอนต์ไม่ระบุตัวตนก็ดึงได้ ขนาดไฟล์ต่างหากคือประตูด่านที่แท้จริง

เรารวมข้อมูลเหล่านี้จากรายการไฟล์ของแต่ละ repo เมื่อวันที่ 2 พฤศจิกายน 2026 นอกจากนี้ Unsloth ยังเผยแพร่ GGUF quants ภายใต้ unsloth/Mistral-Large-4-1T-A52B-GGUF

ดาวน์โหลดเฉพาะไฟล์ที่คุณต้องการด้วย Hugging Face CLI:

pip install -U huggingface_hub
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --local-dir ./mistral-large-4-nvfp4

การดาวน์โหลด FP8 ใช้เวลามากกว่าสองชั่วโมงเล็กน้อยที่ความเร็ว 1 Gbps ต่อเนื่อง

วิธีโฮสต์ Mistral Large 4 ด้วยตัวเอง

ตัวอย่างการให้บริการอย่างเป็นทางการทุกรายการสมมติว่าใช้หนึ่งโหนดที่มี 8 GPU และ tensor parallelism เป็น 8 นี่คือสิ่งที่แต่ละเอนจินคาดหวัง

vLLM

model card แนะนำ vLLM และมี Docker image เฉพาะ:

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:~/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B \
  --tensor-parallel-size 8 \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

เก็บ flag parser ทั้งสองไว้ ไม่เช่นนั้นข้อความคิดจะรั่วไหลไปอยู่ใน content และการเรียกเครื่องมือจะกลับมาเป็นข้อความดิบ สำหรับการถอดรหัสที่เร็วขึ้น การ์ดได้บันทึก DSpark speculative decoder แบบเลือกใช้ได้: เพิ่ม --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

บน 8x H200 พร้อม drafter ตัวนั้น Hugging Face วัดได้ประมาณ 65 โทเค็นต่อวินาทีสำหรับหนึ่งคำขอ และประมาณ 480 โทเค็นต่อวินาทีโดยรวมจากบทสนทนา ShareGPT 1,000 รายการภายใต้โหลด

SGLang ก็ใช้ได้เช่นกัน: ตัวอย่าง sglang serve ใน model card ใช้ --tp-size 8, --speculative-algorithm DSPARK และ parser แบบ auto สำหรับการให้เหตุผลและการเรียกเครื่องมือ

llama.cpp บน Mac

ทีม llama.cpp สนับสนุนตั้งแต่วันแรก Q2_K quant (381 GB) พอดีกับเครื่อง Apple Silicon Ultra หนึ่งเครื่องที่มีหน่วยความจำรวม 512 GB:

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

Hugging Face รายงานประมาณ 90 โทเค็นต่อวินาทีสำหรับ prefill และ 15 สำหรับ generation บน M3 Ultra หนึ่งเครื่อง: ใช้ได้สำหรับการทดลองส่วนตัว แต่ช้าเกินไปสำหรับ agent loop quant 2-bit ยังสูญเสียคุณภาพ ดังนั้นทดสอบกับงานของคุณเองก่อน

ค่าสุ่มที่ Mistral แนะนำคือ temperature=1.0 และ top_p=0.95 ในทุกระดับการให้เหตุผล

การเรียกโมเดลที่คุณโฮสต์เอง

vLLM และ SGLang เปิดเผยเซิร์ฟเวอร์ที่เข้ากันได้กับ OpenAI คำขอจึงดูเหมือน chat completion ทั่วไป:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-Large-4-1T-A52B",
    "messages": [{"role": "user", "content": "Summarize RFC 9110 section 9 in 5 bullets."}],
    "reasoning_effort": "medium",
    "temperature": 1.0,
    "top_p": 0.95
  }'

สำหรับ API ที่โฮสต์ไว้ ให้ส่ง body เดียวกันไปที่ https://api.mistral.ai/v1/chat/completions โดยใช้ "model": "mistral-large-4" พร้อม Bearer [REDACTED] เอกสารเซิร์ฟเวอร์ที่เข้ากันได้กับ OpenAI ของ vLLM มีรายการฟิลด์ที่ยอมรับทั้งหมด

ให้ Claude Code ทดสอบทั้งสอง endpoint ด้วย Apidog CLI

โมเดลที่โฮสต์เองมักล้มเหลวอย่างเงียบๆ: flag parser ที่หายไปทำให้การให้เหตุผลรั่วเข้าไปใน content หรือการเรียกเครื่องมือกลับมาเป็นข้อความธรรมดา ให้ coding agent ของคุณตรวจสอบทั้งสองเส้นทางด้วย Apidog CLI แทนการวางคำสั่ง curl ด้วยมือ

ตั้งค่าครั้งเดียว:

npm install -g apidog-cli@latest
apidog login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com   # pick Claude Code when prompted

จากนั้นให้ prompt เดียวกับ Claude Code:

In Apidog project <id>, create two environments: "ml4-self-hosted" with base URL
http://localhost:8000 and "ml4-mistral-api" with base URL https://api.mistral.ai.
Add a POST /v1/chat/completions endpoint and a test case that sends a tool-calling
request with reasoning_effort "low", then asserts status 200, that choices[0].message
has a tool_calls array, and that message.content holds no thinking text.
Run it against both environments and tell me where they differ.

agent จะอ่าน schema แต่ละตัว ตรวจสอบ payload และรันเคส:

apidog environment create ml4-self-hosted --project <id> --base-url http://localhost:8000
apidog environment create ml4-mistral-api --project <id> --base-url https://api.mistral.ai
apidog cli-schema get endpoint-create
apidog cli-schema get test-case-create
apidog cli-schema validate test-case-create --file case.json
apidog test-case create --project <id> --file case.json
apidog run --test-case <caseId> --project <id> -e <selfHostedEnvId> -r cli,json
apidog run --test-case <caseId> --project <id> -e <apiEnvId> -r cli,json

เพิ่ม --upload-report เพื่อดูผลการรันในแอป Apidog หรือใส่บรรทัด apidog run ... -r junit เดียวกันลงใน CI เพื่อให้การอัปเกรด vLLM ส่งออกไปพร้อมการเรียกเครื่องมือที่พังไม่ได้ คู่มือ Apidog CLI ใน Claude Code ของเราครอบคลุมการตั้งค่าโดยละเอียดยิ่งขึ้น แผนฟรีของ Apidog รองรับผู้ใช้สูงสุด 4 คน

ลิขสิทธิ์: สิ่งที่คุณทำได้และทำไม่ได้

Mistral Ecosystem Open-Weight License เป็น MIT ที่มีเงื่อนไขเพิ่มเติมหนึ่งข้อ

คุณสามารถ: รัน, ปรับใช้, fine-tune และแก้ไขโมเดลและอนุพันธ์ของมัน ทั้งการใช้เชิงพาณิชย์และไม่ใช่เชิงพาณิชย์ ตราบใดที่คุณเก็บข้อความลิขสิทธิ์และการอนุญาตไว้ในสำเนา

คุณต้องมีลิขสิทธิ์เชิงพาณิชย์แยกต่างหากจาก Mistral หาก: คุณรันเป็น "Model as a Service" ซึ่งลิขสิทธิ์นิยามว่าเป็นการให้บุคคลที่สามเข้าถึงโมเดลหรืออนุพันธ์ของมันเพื่อการอนุมานหรือ post-training

เงื่อนไขนั้นไม่ใช้กับ: การใช้ภายใน, ผลิตภัณฑ์สำหรับผู้ใช้ปลายทางที่โมเดลอยู่ภายในฟีเจอร์หรือ harness เฉพาะ, การส่งต่อคำขอไปยังโมเดลที่คนอื่นโฮสต์ และการใช้ผ่านผลิตภัณฑ์ของ Mistral เอง

ผู้ช่วยเขียนโค้ดภายในหรือฟีเจอร์ผลิตภัณฑ์ที่สร้างบนโมเดลนี้ทำได้ การขายต่อการอนุมานดิบต้องมีข้อตกลง นี่คือบทสรุป ไม่ใช่คำแนะนำทางกฎหมาย

สำหรับคำแนะนำในลักษณะเดียวกันบนโมเดล open-weight ตัวอื่น ดู คู่มือการโฮสต์ GLM-5.3 ด้วยตัวเอง ของเรา

คุณควรโฮสต์เองหรือเรียก API?

เรียก API เมื่อปริมาณของคุณปานกลาง, คุณต้องการบริบท 1M โดยไม่ต้องปรับแต่งขีดจำกัดเซิร์ฟเวอร์ หรือคุณยังไม่ได้รันโหนด 8 GPU อยู่แล้ว ที่ราคา $0.70 อินพุตและ $2.10 เอาต์พุตต่อล้านโทเค็น ปริมาณ 100 ล้านโทเค็นอินพุตบวก 20 ล้านโทเค็นเอาต์พุตต่อเดือนคิดเป็น $112 ก่อนส่วนลดแคชใดๆ

โฮสต์เองเมื่อข้อมูลของคุณไม่สามารถออกจากเครือข่ายได้, เมื่อคุณต้องการเป็นเจ้าของ fine-tune (Hugging Face แสดงการฝึก LoRA ด้วย TRL บนโหนด 8x B300) หรือเมื่อปริมาณที่คงที่ทำให้โหนดทำงานเต็มที่ บริการ Forge ของ Mistral เป็นตัวเลือกแบบจัดการสำหรับการปรับแต่งบนข้อมูลของคุณเอง

คำถามที่พบบ่อย

น้ำหนักแบบเปิดของ Mistral Large 4 ดาวน์โหลดฟรีหรือไม่?

ใช่ repo อย่างเป็นทางการทั้งสองบน Hugging Face ไม่มีการควบคุมการเข้าถึง คุณจึงดาวน์โหลดได้โดยไม่ต้องขอสิทธิ์ ต้นทุนอยู่ที่การรันต่างหาก: checkpoint FP8 อย่างเป็นทางการมีขนาดประมาณ 1,061 GB และตัวอย่างการให้บริการใช้ GPU ศูนย์ข้อมูล 8 ตัว

ฉันสามารถรัน Mistral Large 4 บน GPU เดียวได้หรือไม่?

ไม่มีสูตรอย่างเป็นทางการใดที่ครอบคลุม GPU เดียว ตัวอย่าง vLLM, SGLang และ Transformers ทุกตัวใช้ 8 GPU กับ tensor parallelism การตั้งค่าที่เล็กที่สุดที่บันทึกไว้คือ llama.cpp กับ Q2_K quant 381 GB บนเครื่อง Apple Silicon Ultra หนึ่งเครื่องที่มีหน่วยความจำรวม 512 GB

Mistral Large 4 เป็นโอเพนซอร์สหรือไม่?

เป็น open weight ไม่ใช่โอเพนซอร์สในความหมายของ OSI คุณได้รับน้ำหนักภายใต้ลิขสิทธิ์ MIT ดัดแปลงที่อนุญาตให้ใช้เชิงพาณิชย์ แต่การเสนอโมเดลให้บุคคลที่สามเป็นบริการอนุมานหรือ post-training ต้องมีลิขสิทธิ์เชิงพาณิชย์แยกต่างหากจาก Mistral

โมเดล open-weight เหมือนกับโมเดล API หรือไม่?

Mistral กล่าวว่า checkpoint ที่เปิดตัวได้รับการเรียนรู้แบบเสริมกำลังเพิ่มอีกสามสัปดาห์หลังจากตัวอย่างเมื่อวันที่ 6 ตุลาคม และ API ให้บริการโมเดลที่อัปเดตแล้วในชื่อ mistral-large-4 โหมดการให้เหตุผลก็เปลี่ยนเช่นกัน: ใช้ low, medium หรือ high

Mistral Large 4 API มีค่าใช้จ่ายเท่าไร?

Mistral ระบุ $0.70 ต่อล้านโทเค็นอินพุต, $0.07 ต่อล้านโทเค็นอินพุตแคช และ $2.10 ต่อล้านโทเค็นเอาต์พุต ณ วันที่ 2 พฤศจิกายน 2026