跳到正文
Hugging Face Blog·· 2025-07-22精選AI 評分61

NVIDIA NIM 支援在 Hugging Face 部署逾 100,000 個 LLM

Accelerate a World of LLMs on Hugging Face with NVIDIA NIM

AI 導讀

NVIDIA NIM 現可透過單一 Docker 容器部署 Hugging Face 上逾 100,000 個 LLM。NIM 會自動識別模型格式、架構和量化格式,並在 NVIDIA TensorRT-LLM、vLLM 與 SGLang 間選擇後端及套用預設設定。

推薦理由

文章展示 NIM 如何按模型格式、架構與量化方式自動選擇推理後端,並以部署示例説明從 Hugging Face 模型到 Docker 服務的操作流程。

正文 · 繁體中文

AI 開發者希望選用最新的大型語言模型(LLM)架構和專用變體,用於AI 代理及其他應用程式;但多樣性增加會拖慢測試和部署管線。尤其是要管理和最佳化不同推論軟件框架,以便在各類 LLM 和服務需求下達到最佳效能,往往會耗費大量時間,成為把高效能 AI 應用程式交到終端使用者手上的瓶頸。

NVIDIA AI 客戶和生態系統夥伴使用 NVIDIA NIM 推論微服務,簡化在 NVIDIA 加速運算基礎設施上部署最新 AI 模型的流程,涵蓋 NVIDIA、Meta、Mistral AI、Google 和數百家創新模型開發者提供的 LLM、多模態模型及領域專用模型。我們看到客戶和夥伴以更簡單可靠的方式更快推動創新;今天我們很高興宣佈,透過 NIM 可在 Hugging Face 上快速可靠地部署超過 100,000 款 LLM。

以單一 NIM 微服務部署多種 LLM

NIM 現提供單一 Docker 容器,可部署多種由 NVIDIA 和社羣領先推論框架支援的 LLM,包括 NVIDIA TensorRT-LLM、vLLM 和 SGLang。把 LLM 提供給 NIM 容器後,它便會自動執行以下部署及效能最佳化步驟,毋須手動設定:

LLM 調整階段 NIM 的工作
模型分析 NIM 會自動識別模型格式,包括 Hugging Face 模型、TensorRT-LLM checkpoint 或預先建構的 TensorRT-LLM engine,確保相容。
架構和量化格式偵測 它會識別模型架構(例如 Llama、Mistral)和量化格式(例如 FP16、FP8、INT4)。
後端選擇 NIM 會按分析結果選擇推論後端(NVIDIA TensorRT-LLM、vLLM 或 SGLang)。
效能設定 NIM 會為所選模型和後端套用預先設定的參數,然後啟動推論伺服器,減少手動調校工作。

表 1:NVIDIA NIM LLM 調整階段和功能

單一 NIM 容器支援常見的 LLM 權重格式,包括:

  • Hugging Face Transformers checkpoint:LLM 可直接從 Hugging Face 儲存庫部署,並使用.safetensors檔案,毋須進行複雜轉換。
  • GGUF checkpoint:支援架構的量化 GGUF checkpoint,可直接從 HuggingFace 或本機下載檔案部署。
  • TensorRT-LLM checkpoint:可部署封裝在 trtllm_ckpt 目錄中、針對 TensorRT-LLM 最佳化的模型。
  • TensorRT-LLM engine:可使用 trtllm_engine 目錄中的預先建構 TensorRT-LLM engine,在 NVIDIA GPU 上發揮最高效能。

開始使用

要使用 NIM,請確保環境具備安裝適當驅動程式的 NVIDIA GPU(CUDA 12.1+)、Docker、NVIDIA NGC 帳戶及用於下載 NIM Docker 映像的 API 金鑰;如模型需要驗證,亦須有 Hugging Face 帳戶和 API Token。環境先決條件詳情請參閲 NIM 文件。

環境設定包括設定環境變數和建立持久快取目錄。請確保 nim_cache 目錄具有正確的 Unix 權限,最好由啟動 Docker 容器的同一 Unix 使用者擁有,以免出現權限問題。相關指令會使用 -u $(id -u) 進行管理。

為方便使用,我們把一些常用資訊儲存為環境變數。

# A variable for storing the NIM docker image specification
NIM_IMAGE=llm-nim
# Populate with your Hugging Face API token.
HF_TOKEN=<your_huggingface_token>

範例 1:部署模型

以下以 Codestral-22B 示範如何部署 Hugging Face 上的 LLM:

docker run --rm --gpus all \
  --shm-size=16GB \
  --network=host \
  -u $(id -u) \
  -v $(pwd)/nim_cache:/opt/nim/.cache \
  -v $(pwd):$(pwd) \
  -e HF_TOKEN=$HF_TOKEN \
  -e NIM_TENSOR_PARALLEL_SIZE=1 \
  -e NIM_MODEL_NAME="hf://mistralai/Codestral-22B-v0.1" \
  $NIM_IMAGE

若使用本機下載的模型,請將 NIM_MODEL_NAME 指向模型路徑,並掛載該目錄:

docker run --rm --gpus all \
  --shm-size=16GB \
  --network=host \
  -u $(id -u) \
  -v $(pwd)/nim_cache:/opt/nim/.cache \
  -v $(pwd):$(pwd) \
  -v /path/to/model/dir:/path/to/model/dir \
  -e HF_TOKEN=$HF_TOKEN \
  -e NIM_TENSOR_PARALLEL_SIZE=1 \
  -e NIM_MODEL_NAME="/path/to/model/dir/mistralai-Codestral-22B-v0.1" \
  $NIM_IMAGE

部署模型時,歡迎查看輸出日誌,瞭解 NIM 在部署期間作出的選擇。部署完成後,模型可在 http://localhost:8000 使用,API 端點則位於 http://localhost:8000/docs。

底層 engine 亦支援其他參數。如要查看完整清單,可按下方示範在容器中執行 nim-run --help。

docker run --rm --gpus all \
  --network=host \
  -u $(id -u) \
  $NIM_IMAGE nim-run --help

範例 2:指定後端

如要檢查相容後端或選擇指定後端,請使用 list-model-profiles:

docker run --rm --gpus all \
  --shm-size=16GB \
  --network=host \
  -u $(id -u) \
  -v $(pwd)/nim_cache:/opt/nim/.cache \
  -v $(pwd):$(pwd) \
  -e HF_TOKEN=$HF_TOKEN \
  $NIM_IMAGE list-model-profiles --model "hf://meta-llama/Llama-3.1-8B-Instruct"

此指令會列出相容 profile,包括 LoRA adapter。若要指定後端(例如 vLLM)部署,請使用 NIM_MODEL_PROFILE 環境變數,並填入 list-model-profiles 輸出的值:

docker run --rm --gpus all \
  --shm-size=16GB \
  --network=host \
  -u $(id -u) \
  -v $(pwd)/nim_cache:/opt/nim/.cache \
  -v $(pwd):$(pwd) \
  -e HF_TOKEN=$HF_TOKEN \
  -e NIM_TENSOR_PARALLEL_SIZE=1 \
  -e NIM_MODEL_NAME="hf://meta-llama/Llama-3.1-8B-Instruct" \
  -e NIM_MODEL_PROFILE="e2f00b2cbfb168f907c8d6d4d40406f7261111fbab8b3417a485dcd19d10cc98" \
  $NIM_IMAGE

範例 3:部署量化模型

NIM 簡化量化模型的部署流程。它會自動偵測量化格式(例如 GGUF、AWQ),並透過標準部署指令選擇合適的後端:

# Choose a quantized model and populate the MODEL variable, for example:
# MODEL="hf://modularai/Llama-3.1-8B-Instruct-GGUF"
# or
# MODEL="hf://Qwen/Qwen2.5-14B-Instruct-AWQ"
docker run --rm --gpus all \
  --shm-size=16GB \
  --network=host \
  -u $(id -u) \
  -v $(pwd)/nim_cache:/opt/nim/.cache \
  -v $(pwd):$(pwd) \
  -e HF_TOKEN=$HF_TOKEN \
  -e NIM_TENSOR_PARALLEL_SIZE=1 \
  -e NIM_MODEL_NAME=$MODEL \
  $NIM_IMAGE

進階使用者可透過環境變數自訂 NIM,例如使用 NIM_MAX_MODEL_LEN 設定上下文長度。對於大型 LLM,NIM_TENSOR_PARALLEL_SIZE 可啟用多 GPU 部署。使用 Docker 時,請確保傳入 --shm-size=<shared memory size>,以支援多 GPU 通訊。

NIM 容器支援 NVIDIA TensorRT-LLM、vLLM 和 SGLang 支援的多種 LLM,包括 Hugging Face 上的熱門 LLM 和專用變體。支援的 LLM 詳情請參閲文件。

與 Hugging Face 和 NVIDIA 一同建構

NIM 專為簡化在 NVIDIA 加速運算基礎設施上部署 AI 模型而設,協助高效能 AI 開發者和企業 AI 團隊加快創新並更快創造價值。我們期待 Hugging Face 社羣參與並提供意見。

請在 NVIDIA 託管的運算環境中,透過 build.nvidia.com 開始體驗開發者範例。

來源:Hugging Face Blog · huggingface.co