NVIDIA NIM 支援在 Hugging Face 部署逾 100,000 個 LLM

NVIDIA NIM 現可透過單一 Docker 容器部署 Hugging Face 上逾 100,000 個 LLM。NIM 會自動識別模型格式、架構和量化格式，並在 NVIDIA TensorRT-LLM、vLLM 與 SGLang 間選擇後端及套用預設設定。