Nemotron 3.5 Super VL 如何在本地運行：需要 128 GB 記憶體，不必使用 Blackwell GPU

沒有 Blackwell GPU，可以在本機執行 Nemotron 3.5 Super VL 嗎？可以，只要有約 128 GB 記憶體。GPU 世代遠不及這個數字重要。

NVIDIA 於 10 月 15 日推出這個模型：一個總參數量 120B、活躍參數量 12B 的視覺語言 MoE 模型。主打的模型檢查點採用 NVFP4，這是一種只有 Blackwell 能原生執行的 4-bit 格式，而模型卡列出四種部署選擇：DGX Spark、一張 H200、兩張 H100，或一張 GB200。一天後，Hugging Face 上已有 GGUF、MLX、FP8 和 EXL3 轉換版本；根據 Unsloth 的數據，llama.cpp 應該可以在配備 128 GB 記憶體的 Mac 或 96 GB 工作站顯示卡上，連同視覺功能一起執行。RTX 5090 是唯一被排除在外的熱門顯示卡。

我沒有實際執行過。以下內容均來自模型卡、轉換版本的程式碼儲存庫和 Unsloth 文件，並附有連結。

Nemotron 3.5 Super VL 實際上是甚麼

根據模型卡：

• 總參數量 120B、活躍參數量 12B；採用 Mamba-2/Transformer 混合式 MoE，每個 MoE 層有 512 個路由專家
• 採用 C-RADIO 視覺編碼器及連接器，可處理文字、JPEG/PNG 圖片，以及最長 2 分鐘的 MP4 影片
• 上下文長度最高達 1M tokens，並原生支援 Multi-Token Prediction，用於推測解碼
• 推理級別為 off、on (medium) 和 on，透過聊天範本設定
• 建議文字採樣設定為 temperature 1.0 / top_p 0.95；視覺則為 0.6 / 0.95

我曾搜尋是否有獨立的純文字版「Nemotron 3.5 Super」，但並不存在。VL 模型就是 3.5 Super，模型卡的基準測試部分也以這個名稱稱呼它。其主幹「以 Nemotron 3 Super Base 初始化」，之後以 Nemotron 3 Ultra Base 蒸餾 1T tokens、擴展至 1M 上下文、接受 67B tokens 的軟件工程中期訓練，最後才進行視覺訓練。因此，真正的前代模型是Nemotron 3 Super，這款純文字模型於 2026 年 3 月 11 日推出。

Nemotron 3.5 Super VL 與 Nemotron 3 Super 比較

兩張模型卡都有 NVFP4 分數，因此這裡比較的是 NVFP4 與 NVFP4。不過，Nemotron 3 Super 使用 NeMo Evaluator/NeMo Skills 評分，3.5 則使用 NeMo Gym，因此我會把分數差異只視作趨勢參考。

在推理和 Agent 任務上，表現大幅提升。多語言知識（MMLU-ProX）和指令遵循能力則有所下降，NVIDIA 沒有就這兩點作出評論。

視覺方面（NVFP4）：MathVision 77.79、CharXiv reasoning 79.88、V* 85.95、OCRBench v2 EN 68.34 / ZH 59.03、MMLongBench-Doc 62.82、OSWorld-Verified 52.3、Video-MME v2 32.54。編碼方面的成績為 SWE-bench Verified 71.07、SWE-bench Pro 51.30 和 Terminal-Bench 2.1 62.78。

NVFP4 會犧牲多少準確度

NVFP4 並非所有部分都採用 4-bit。視覺編碼器、連接器、Mamba 卷積和嵌入層仍使用 BF16，而 MoE 路由器則使用 FP32。模型卡指出，推理「在 Blackwell 上使用 W4A4，在非 Blackwell 平台上使用 W4A16」。換言之，Hopper 顯示卡仍可載入較小的檢查點，但矩陣乘法會使用 16-bit 啟用值。你可以節省記憶體，但無法享有 FP4 Tensor Core 的速度。

程式碼儲存庫共 75.1 GB，分成 88 個 safetensors 分片。Hugging Face 側邊欄顯示「66B 個參數」；我認為這是因為 U8 封裝的 4-bit 權重按每個 byte 計算，而不是代表另一個模型。

NVIDIA 使用完全相同的測試框架評估 BF16 和 NVFP4，大部分項目的差異都在雜訊範圍內。但有幾項並非如此：

如果你正在建構瀏覽器 Agent，WebVoyager 下跌 11 分是個實際問題，但這張卡片除了表格外，完全沒有提及這一點。

哪款 GPU 或 Mac 可以執行 Nemotron 3.5 Super VL

以下的 checkpoint 和量化版本大小來自 NVIDIA、ggml-org、Unsloth 和 rapid-mlx 的儲存庫。記憶體估算是各來源自行提供的規劃數字；我沒有實際測量任何一項。

因此，單張消費級顯示卡無論採用多少位元量化，都無法容納 120B 模型。NVIDIA 提供的選項是 Nemotron 3.5 Bolt 74B-A9B 24GB，它由 Super VL 壓縮而成，採用原生 2-bit 量化，目標是在 32 GB 以上的獨立 GPU（Ada Lovelace 和 Blackwell）上執行 llama.cpp。如果你有 5090，我會先試用這個方案，再考慮對 120B 模型進行 CPU 卸載。

對於 Mac 用戶，rapid-mlx 的卡片報告指出，在 M3 Ultra 上以 1K 上下文執行時，實測峯值為 72.7 GB。卡片亦指出，96 GB Mac「尚未經過驗證」，而且圖片輸入和 MTP 尚未啟用。如果你現在想在 Mac 上使用視覺功能，請配合 mmproj 檔案使用 llama.cpp。

執行方式：DGX Spark 使用 vLLM，其他情況使用 llama.cpp

在 DGX Spark 上，以下是這張卡片提供的 Quick Start，使用 vllm/vllm-openai:v0.32.0（或固定的 nightly 版本）：

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
export DRAFT_MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr

vllm serve $MODEL \
  --served-model-name nemotron-3.5-super-vl \
  --max-num-seqs 1 \
  --trust-remote-code \
  --gpu-memory-utilization 0.75 \
  --max-num-batched-tokens 8192 \
  --speculative_config.model $DRAFT_MODEL\
  --speculative_config.num_speculative_tokens 7 \
  --speculative_config.method dflash \
  --mamba-backend flashinfer \
  --mamba-ssm-cache-dtype float16 \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --enable-mamba-shared-prefix-checkpoint \
  --video-pruning-rate 0.5 \
  --media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
  --block-size 64 \
  --prefix-match-unit 64 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

如果你是從卡片而非此處複製指令，請檢查 num_speculative_tokens 7 \ 那一行。卡片中的反斜線後有一個 Tab 字元，因此 bash 會在那裏結束指令，然後嘗試把 --speculative_config.method 當作獨立指令執行。

還有一處不一致：卡片自己的部署表格稱 DGX Spark 使用「MTP 配合 5 個草稿 token」，但上面的指令使用 LiLiCorr，並採用 7 個草稿 token。卡片建議在 Spark 上「所有情況下」都使用 LiLiCorr，因此我會採用該指令。

其他情況一律使用 llama.cpp。Unsloth 的操作指引是在使用 -DGGML_CUDA=ON 編譯後執行（Mac 上則使用 OFF，因為 Metal 是預設值）：

hf download unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF \
    --local-dir models/nemotron-super-vl \
    --include "*UD-Q4_K_XL*.gguf" "*mmproj*.gguf"

./llama.cpp/llama-server --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \
    --alias nemotron-super-vl --ctx-size 16384 --parallel 1 \
    --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \
    --media-path "$PWD/media" --host 127.0.0.1 --port 8001

建議從 16K 上下文開始，而不是 1M。KV cache、影片影格和 1.73 GB 的 BF16 mmproj 都會佔用同一份記憶體預算。要處理影片，必須讓 ffmpeg 和 ffprobe 位於 PATH 中。

OpenMDW 授權條款是最大亮點

Nemotron 3 Super 採用 NVIDIA Nemotron Open Model License。Nemotron 3.5 Super VL 則採用 OpenMDW 1.1，該授權賦予用戶「不受限制地處理模型材料」的權利。它沒有用途範圍條款，也不限制輸出內容。重新分發時必須保留相關聲明；如果你提起訴訟，指稱模型侵犯專利或版權，你的權利便會終止。與大多數「開放」模型授權相比，這種授權更接近 MIT；對我來説，這比 FP4 kernels 更重要。

我的看法

NVFP4 是不錯的格式，但也帶有推銷話術。大部分測試項目的品質損失很小，但少數幾個代理型項目的損失很大；而且速度優勢只在 Blackwell 上才有，社羣則在一天內已經完成可用的 GGUF 和 MLX 版本。如果你已經有 DGX Spark，官方方案是打磨得最完善的選項。如果沒有，就把錢花在記憶體上，而不是 FP4 張量核心。

那麼，你會否只為了原生執行 NVFP4 模型而購買 Blackwell 硬件，還是 128 GB Mac 加上 GGUF 已經足夠？如果你曾在 5090 上以卸載方式執行 120B，請貼出每秒 token 數。我想看看。

來源

• nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 模型卡
• nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 模型卡
• Unsloth：Nemotron 3.5 Super VL 本機執行指南
• ggml-org GGUF 轉換
• rapid-mlx MLX 4-bit 轉換
• RedHatAI FP8 版本
• Nemotron 3.5 Bolt 74B-A9B 24GB GGUF
• OpenMDW License 1.1