Hugging Face TGI 推出 Multi-LoRA 服務，部署一次即可服務 30 個模型

Hugging Face 的 TGI 推出 Multi-LoRA serving，讓單一基礎模型可按請求動態選用不同 LoRA adapter，以一個部署服務多個微調模型。文中以 mistralai/Mistral-7B-v0.1 示範，載入 30 個 adapter 時 VRAM 增幅為 3%；實際可載入數量取決於 GPU 資源和所部署模型。