NVIDIA NIM 支援在 Hugging Face 部署逾 100,000 個 LLM
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM
NVIDIA NIM 現可透過單一 Docker 容器部署 Hugging Face 上逾 100,000 個 LLM。NIM 會自動識別模型格式、架構和量化格式,並在 NVIDIA TensorRT-LLM、vLLM 與 SGLang 間選擇後端及套用預設設定。
文章展示 NIM 如何按模型格式、架構與量化方式自動選擇推理後端,並以部署示例説明從 Hugging Face 模型到 Docker 服務的操作流程。
AI 開發者希望選用最新的大型語言模型(LLM)架構和專用變體,用於AI 代理及其他應用程式;但多樣性增加會拖慢測試和部署管線。尤其是要管理和最佳化不同推論軟件框架,以便在各類 LLM 和服務需求下達到最佳效能,往往會耗費大量時間,成為把高效能 AI 應用程式交到終端使用者手上的瓶頸。
NVIDIA AI 客戶和生態系統夥伴使用 NVIDIA NIM 推論微服務,簡化在 NVIDIA 加速運算基礎設施上部署最新 AI 模型的流程,涵蓋 NVIDIA、Meta、Mistral AI、Google 和數百家創新模型開發者提供的 LLM、多模態模型及領域專用模型。我們看到客戶和夥伴以更簡單可靠的方式更快推動創新;今天我們很高興宣佈,透過 NIM 可在 Hugging Face 上快速可靠地部署超過 100,000 款 LLM。
以單一 NIM 微服務部署多種 LLM
NIM 現提供單一 Docker 容器,可部署多種由 NVIDIA 和社羣領先推論框架支援的 LLM,包括 NVIDIA TensorRT-LLM、vLLM 和 SGLang。把 LLM 提供給 NIM 容器後,它便會自動執行以下部署及效能最佳化步驟,毋須手動設定:
| LLM 調整階段 | NIM 的工作 |
|---|---|
| 模型分析 | NIM 會自動識別模型格式,包括 Hugging Face 模型、TensorRT-LLM checkpoint 或預先建構的 TensorRT-LLM engine,確保相容。 |
| 架構和量化格式偵測 | 它會識別模型架構(例如 Llama、Mistral)和量化格式(例如 FP16、FP8、INT4)。 |
| 後端選擇 | NIM 會按分析結果選擇推論後端(NVIDIA TensorRT-LLM、vLLM 或 SGLang)。 |
| 效能設定 | NIM 會為所選模型和後端套用預先設定的參數,然後啟動推論伺服器,減少手動調校工作。 |
表 1:NVIDIA NIM LLM 調整階段和功能
單一 NIM 容器支援常見的 LLM 權重格式,包括:
- Hugging Face Transformers checkpoint:LLM 可直接從 Hugging Face 儲存庫部署,並使用
.safetensors檔案,毋須進行複雜轉換。 - GGUF checkpoint:支援架構的量化 GGUF checkpoint,可直接從 HuggingFace 或本機下載檔案部署。
- TensorRT-LLM checkpoint:可部署封裝在
trtllm_ckpt目錄中、針對 TensorRT-LLM 最佳化的模型。 - TensorRT-LLM engine:可使用
trtllm_engine目錄中的預先建構 TensorRT-LLM engine,在 NVIDIA GPU 上發揮最高效能。
開始使用
要使用 NIM,請確保環境具備安裝適當驅動程式的 NVIDIA GPU(CUDA 12.1+)、Docker、NVIDIA NGC 帳戶及用於下載 NIM Docker 映像的 API 金鑰;如模型需要驗證,亦須有 Hugging Face 帳戶和 API Token。環境先決條件詳情請參閲 NIM 文件。
環境設定包括設定環境變數和建立持久快取目錄。請確保 nim_cache 目錄具有正確的 Unix 權限,最好由啟動 Docker 容器的同一 Unix 使用者擁有,以免出現權限問題。相關指令會使用 -u $(id -u) 進行管理。
為方便使用,我們把一些常用資訊儲存為環境變數。
# A variable for storing the NIM docker image specification
NIM_IMAGE=llm-nim
# Populate with your Hugging Face API token.
HF_TOKEN=<your_huggingface_token>
範例 1:部署模型
以下以 Codestral-22B 示範如何部署 Hugging Face 上的 LLM:
docker run --rm --gpus all \
--shm-size=16GB \
--network=host \
-u $(id -u) \
-v $(pwd)/nim_cache:/opt/nim/.cache \
-v $(pwd):$(pwd) \
-e HF_TOKEN=$HF_TOKEN \
-e NIM_TENSOR_PARALLEL_SIZE=1 \
-e NIM_MODEL_NAME="hf://mistralai/Codestral-22B-v0.1" \
$NIM_IMAGE
若使用本機下載的模型,請將 NIM_MODEL_NAME 指向模型路徑,並掛載該目錄:
docker run --rm --gpus all \
--shm-size=16GB \
--network=host \
-u $(id -u) \
-v $(pwd)/nim_cache:/opt/nim/.cache \
-v $(pwd):$(pwd) \
-v /path/to/model/dir:/path/to/model/dir \
-e HF_TOKEN=$HF_TOKEN \
-e NIM_TENSOR_PARALLEL_SIZE=1 \
-e NIM_MODEL_NAME="/path/to/model/dir/mistralai-Codestral-22B-v0.1" \
$NIM_IMAGE
部署模型時,歡迎查看輸出日誌,瞭解 NIM 在部署期間作出的選擇。部署完成後,模型可在 http://localhost:8000 使用,API 端點則位於 http://localhost:8000/docs。
底層 engine 亦支援其他參數。如要查看完整清單,可按下方示範在容器中執行 nim-run --help。
docker run --rm --gpus all \
--network=host \
-u $(id -u) \
$NIM_IMAGE nim-run --help
範例 2:指定後端
如要檢查相容後端或選擇指定後端,請使用 list-model-profiles:
docker run --rm --gpus all \
--shm-size=16GB \
--network=host \
-u $(id -u) \
-v $(pwd)/nim_cache:/opt/nim/.cache \
-v $(pwd):$(pwd) \
-e HF_TOKEN=$HF_TOKEN \
$NIM_IMAGE list-model-profiles --model "hf://meta-llama/Llama-3.1-8B-Instruct"
此指令會列出相容 profile,包括 LoRA adapter。若要指定後端(例如 vLLM)部署,請使用 NIM_MODEL_PROFILE 環境變數,並填入 list-model-profiles 輸出的值:
docker run --rm --gpus all \
--shm-size=16GB \
--network=host \
-u $(id -u) \
-v $(pwd)/nim_cache:/opt/nim/.cache \
-v $(pwd):$(pwd) \
-e HF_TOKEN=$HF_TOKEN \
-e NIM_TENSOR_PARALLEL_SIZE=1 \
-e NIM_MODEL_NAME="hf://meta-llama/Llama-3.1-8B-Instruct" \
-e NIM_MODEL_PROFILE="e2f00b2cbfb168f907c8d6d4d40406f7261111fbab8b3417a485dcd19d10cc98" \
$NIM_IMAGE
範例 3:部署量化模型
NIM 簡化量化模型的部署流程。它會自動偵測量化格式(例如 GGUF、AWQ),並透過標準部署指令選擇合適的後端:
# Choose a quantized model and populate the MODEL variable, for example:
# MODEL="hf://modularai/Llama-3.1-8B-Instruct-GGUF"
# or
# MODEL="hf://Qwen/Qwen2.5-14B-Instruct-AWQ"
docker run --rm --gpus all \
--shm-size=16GB \
--network=host \
-u $(id -u) \
-v $(pwd)/nim_cache:/opt/nim/.cache \
-v $(pwd):$(pwd) \
-e HF_TOKEN=$HF_TOKEN \
-e NIM_TENSOR_PARALLEL_SIZE=1 \
-e NIM_MODEL_NAME=$MODEL \
$NIM_IMAGE
進階使用者可透過環境變數自訂 NIM,例如使用 NIM_MAX_MODEL_LEN 設定上下文長度。對於大型 LLM,NIM_TENSOR_PARALLEL_SIZE 可啟用多 GPU 部署。使用 Docker 時,請確保傳入 --shm-size=<shared memory size>,以支援多 GPU 通訊。
NIM 容器支援 NVIDIA TensorRT-LLM、vLLM 和 SGLang 支援的多種 LLM,包括 Hugging Face 上的熱門 LLM 和專用變體。支援的 LLM 詳情請參閲文件。
與 Hugging Face 和 NVIDIA 一同建構
NIM 專為簡化在 NVIDIA 加速運算基礎設施上部署 AI 模型而設,協助高效能 AI 開發者和企業 AI 團隊加快創新並更快創造價值。我們期待 Hugging Face 社羣參與並提供意見。
請在 NVIDIA 託管的運算環境中,透過 build.nvidia.com 開始體驗開發者範例。
來源:Hugging Face Blog · huggingface.co