Hugging Face TGI 推出 Multi-LoRA 服務,部署一次即可服務 30 個模型
TGI Multi-LoRA: Deploy Once, Serve 30 Models
Hugging Face 的 TGI 推出 Multi-LoRA serving,讓單一基礎模型可按請求動態選用不同 LoRA adapter,以一個部署服務多個微調模型。文中以 mistralai/Mistral-7B-v0.1 示範,載入 30 個 adapter 時 VRAM 增幅為 3%;實際可載入數量取決於 GPU 資源和所部署模型。
文章以 TGI 的部署及調用示例,展示單一基礎模型按請求選用不同 LoRA adapter 的做法,並比較多模型部署的成本與擴展管理。
你是否厭倦了管理多個 AI 模型所帶來的複雜性和成本?如果部署一次就可以服務 30 個模型,會怎樣?在今日的機器學習世界,想發揮數據價值的機構,很可能最終都會走進微調模型的世界,建立大量模型,每個模型都針對特定任務高度專門化。但要如何應付每個使用場景都部署一個模型所帶來的麻煩和成本?答案就是 Multi-LoRA 服務。
動機
對機構而言,透過微調建立大量模型有多個合理原因。
效能 - 有令人信服的證據顯示,在受訓任務上,小型專用模型的表現勝過大型通用模型。Predibase [5]指出,使用以 mistralai/Mistral-7B-v0.1 為基礎的任務專用 LoRA,表現可以勝過 GPT-4。
適應力 - Mistral 或 Llama 等模型用途非常廣泛。你可以選擇其中一個作為基礎模型,再建立許多專用模型,即使下游任務相差很大亦可。此外,你不會被原有選擇綁定;日後可以輕鬆更換基礎模型,並使用你的數據在另一個基礎模型上微調(稍後詳述)。
自主性 - 對機構關注的每項任務,不同團隊都可以各自進行微調,在數據準備、設定、評估準則和模型更新週期方面保持自主。
私隱 - 專用模型可按數據私隱要求,靈活隔離訓練數據,並限制不同用戶的存取權限。此外,在必須本機執行模型的情況下,可以令小型模型在特定任務上能力出眾,同時保持足夠小巧,以便在裝置上運行。
總括而言,微調讓機構發揮數據價值;當機構使用獨有的高度專門化數據時,這項優勢尤其顯著,甚至足以帶來重大改變。
那麼,難處在哪裏?部署和提供大型語言模型(LLM)服務有不少挑戰。即使只部署一個模型,也要考慮成本和營運複雜性,更不用説要部署 n 個模型。這表示,微調雖然有很多好處,卻會令 LLM 的部署和服務更複雜。
因此,我們今天非常高興推出 TGI 的最新功能:Multi-LoRA 服務。
LoRA 背景
LoRA 是 Low-Rank Adaptation 的縮寫,是一種高效微調大型預訓練模型的技術。其核心概念是在不必重新訓練整個模型的情況下,將大型預訓練模型調整至特定任務,只需訓練一小組稱為 adapter 的參數即可。與預訓練 LLM 的大小相比,這些 adapter 一般只增加約 1% 的儲存空間和記憶體開銷,同時維持與完整微調模型相若的品質。
LoRA 最明顯的好處,是減少記憶體需求,令微調成本大幅下降。它亦可減少災難性遺忘,並更適合小型數據集。
你的瀏覽器不支援影片標籤。
| 圖 1:LoRA 解説 |
訓練期間,LoRA 會凍結原有權重 W,並微調兩個小型矩陣 A 和 B,令微調效率大幅提高。瞭解這點後,便可透過圖 1看看 LoRA 在推論期間如何運作:取出預訓練模型的輸出 Wx,再加上低秩適配項 BAx [6]。
Multi-LoRA 服務
瞭解 LoRA 模型適配的基本概念後,我們可以深入探討 Multi-LoRA 服務。概念很簡單:你有一個基礎預訓練模型,以及多項經特定 LoRA 微調的任務;Multi-LoRA 服務機制會根據收到的請求,動態選擇所需的 LoRA。
你的瀏覽器不支援影片標籤。
| 圖 2:Multi-LoRA 解説 |
圖 2展示這種動態適配如何運作。每個用戶請求都包含輸入 x,以及該請求所對應的 LoRA ID(我們稱之為異質用戶請求批次)。任務資訊讓 TGI 可以選擇合適的 LoRA adapter。
使用 Multi-LoRA 服務,只需部署一次基礎模型。由於 LoRA adapter 體積小,可以載入許多 adapter。請注意,實際數量取決於可用 GPU 資源及所部署的模型。最終效果基本上等同於在單一部署中擁有多個經微調的模型。
LoRA(adapter 權重)的 rank 和量化方式可能各有不同,但通常都非常小。簡單看看 adapter 有多小:predibase/magicoder 只有 13.6MB,還不到 mistralai/Mistral-7B-v0.1 大小的 1/1000;後者大小為 14.48GB。就相對比例而言,將 30 個 adapter 載入 RAM,只會令 VRAM 增加 3%。最終而言,這對大部分部署都不是問題。因此,我們可以一次部署,服務多個模型。
使用方法
準備 LoRA
首先,你需要訓練 LoRA 模型並匯出 adapter。可在此處查看 LoRA adapter 微調指南。請注意,將微調模型推送至 Hub 時,只需推送 adapter,無須推送合併後的完整模型。從 Hub 載入 LoRA adapter 時,系統會根據 adapter 模型卡推斷其基礎模型,然後另行載入。如需深入支援,請參閲我們的專家支援計劃。為特定使用場景建立自己的 LoRA,才是其真正價值所在。
少寫程式碼的團隊
對部分機構而言,要為每種使用場景訓練一個 LoRA 可能很困難,因為他們或許缺乏專業知識或其他資源。即使選好基礎模型並準備數據後,仍要掌握最新技術、探索超參數、尋找最佳硬件資源、撰寫程式碼,然後進行評估。即使對經驗豐富的團隊而言,這也是一項不小的工作。
AutoTrain 可大幅降低入門門檻。AutoTrain 是一種無需編寫程式碼的方案,只需點擊幾下便可訓練機器學習模型。AutoTrain 有多種使用方式。除了本機/自建環境外,還有:
| AutoTrain 環境 | 硬件詳情 | 程式碼要求 | 備註 |
|---|---|---|---|
| Hugging Face Space | 多種 GPU 和硬件 | 無須程式碼 | 靈活而且易於分享 |
| DGX cloud | 最多 8xH100 GPU | 無須程式碼 | 更適合大型模型 |
| Google Colab | 可使用 T4 GPU | 只需少量程式碼 | 適合小型工作負載和量化模型 |
部署
以下範例會使用 Predibase 的 LoRA Land 中幾個出色的 adapter:LoRA Land。
predibase/customer_support 使用 Gridspace-Stanford Harper Valley 語音數據集訓練, 提升其準確理解和回應客戶服務互動的能力。這會改善模型在語音識別、情緒偵測和對話管理等任務上的表現,令客戶支援更有效率、更具同理心。
predibase/magicoder 使用 ise-uiuc/Magicoder-OSS-Instruct-75K訓練;這是一個以合成方式生成的程式碼指令數據集。
TGI
關於如何部署 TGI,已有許多實用資料。按照一般方式部署即可,但請確保:
- 使用不低於
v2.1.1的 TGI 版本 - 部署基礎模型:
mistralai/Mistral-7B-v0.1 - 加入
LORA_ADAPTERS環境變數以進行部署- 範例:
LORA_ADAPTERS=predibase/customer_support,predibase/magicoder
- 範例:
model=mistralai/Mistral-7B-v0.1
# share a volume with the Docker container to avoid downloading weights every run
volume=$PWD/data
docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data \
ghcr.io/huggingface/text-generation-inference:2.1.1 \
--model-id $model \
--lora-adapters=predibase/customer_support,predibase/magicoder
Inference Endpoints 圖形介面
Inference Endpoints 讓你只需點擊幾下,便可在 AWS、GCP 和 Azure 的多種GPU 及其他硬件類型上部署任何 Hugging Face 模型!在圖形介面中,部署非常簡單。底層預設使用 TGI 進行文本生成(不過你也可以選擇使用自選映像)。
要在 Inference Endpoints 使用 Multi-LoRA 服務,只需前往控制面板,然後:
- 選擇基礎模型:
mistralai/Mistral-7B-v0.1 - 選擇你的
Cloud|Region|HW- 我會使用
AWS|us-east-1|Nvidia L4
- 我會使用
- 選取進階設定
- 你會看到已預先選取
text generation - 按你的需要進行設定
- 你會看到已預先選取
- 在環境變數中加入
LORA_ADAPTERS=predibase/customer_support,predibase/magicoder - 最後按
Create Endpoint!
請注意,以上是最低限度設定;你應按需要配置其他設定。
![]() |
|---|
| 圖 3:Multi-LoRA Inference Endpoints |
![]() |
|---|
| 圖 4:Multi-LoRA Inference Endpoints 2 |
Inference Endpoints 程式碼
或許你們當中有人害怕使用滑鼠,不想用滑鼠操作;我們不會批評你。只用鍵盤也很容易以程式碼自動化這個流程。
from huggingface_hub import create_inference_endpoint
# Custom Docker image details
custom_image = {
"health_route": "/health",
"url": "ghcr.io/huggingface/text-generation-inference:2.1.1", # This is the min version
"env": {
"LORA_ADAPTERS": "predibase/customer_support,predibase/magicoder", # Add adapters here
"MAX_BATCH_PREFILL_TOKENS": "2048", # Set according to your needs
"MAX_INPUT_LENGTH": "1024", # Set according to your needs
"MAX_TOTAL_TOKENS": "1512", # Set according to your needs
"MODEL_ID": "/repository"
}
}
# Creating the inference endpoint
endpoint = create_inference_endpoint(
name="mistral-7b-multi-lora",
repository="mistralai/Mistral-7B-v0.1",
framework="pytorch",
accelerator="gpu",
instance_size="x1",
instance_type="nvidia-l4",
region="us-east-1",
vendor="aws",
min_replica=1,
max_replica=1,
task="text-generation",
custom_image=custom_image,
)
endpoint.wait()
print("Your model is ready to use!")
這個設定部署了約 3 分 40 秒。請注意,模型數量越多,所需時間就越長。如果遇到載入時間問題,請在 GitHub 開立 issue!
使用服務
使用端點時,需要指定 adapter_id。以下是 cURL 範例:
curl 127.0.0.1:3000/generate \
-X POST \
-H 'Content-Type: application/json' \
-d '{
"inputs": "Hello who are you?",
"parameters": {
"max_new_tokens": 40,
"adapter_id": "predibase/customer_support"
}
}'
另外,亦可使用InferenceClient;它來自優秀的 Hugging Face Hub Python 程式庫。請確保使用 huggingface-hub>=0.24.0,並在需要時登入。
from huggingface_hub import InferenceClient
tgi_deployment = "127.0.0.1:3000"
client = InferenceClient(tgi_deployment)
response = client.text_generation(
prompt="Hello who are you?",
max_new_tokens=40,
adapter_id='predibase/customer_support',
)
實際考量
成本
正如下文所述,我們並非第一個攀上這座高峯的團隊。LoRAX 背後的 Predibase 發表了一篇出色的介紹文章。值得一讀,因為本節內容以他們的工作為基礎。
![]() |
|---|
| 圖 5:Multi-LoRA 成本 就 TGI 而言,我在 nvidia-l4 上部署 mistralai/Mistral-7B-v0.1 作為基礎模型;GPU 的費用為每小時 $0.8,並透過 Inference Endpoints 部署。我達到每秒 75 個請求,平均輸入 450 個 token、輸出 234 個 token,並據此與 GPT3.5 Turbo 比較。 |
Multi-LoRA 服務的一大優點是,多個模型無須分別部署,因此總成本便宜得多。這符合直覺:多個模型都需要載入完整權重,而不只是小型 adapter 層。如圖 5所示,即使透過 TGI Multi-LoRA 加入更多模型,每個 token 的成本仍然相同。TGI 專用部署的成本則會隨着需求增加;每個經微調的模型都需要新增一個部署。
使用模式
![]() |
|---|
| 圖 6:Multi-LoRA 服務模式 |
部署多個模型時,一項真實挑戰是各模型的使用模式差異很大。有些模型使用量低,有些使用量突發,另一些則使用頻率高。這會令擴展十分困難,尤其是每個模型各自獨立運作時。每次需要增加一張 GPU,都會出現不少「餘數」浪費,很快便會累積起來。理想情況下,應盡量提高每張 GPU 的使用率,不要多用任何額外資源。你又要確保有足夠 GPU 可用,同時知道部分 GPU 會閒置,管理起來相當繁瑣。
採用 Multi-LoRA 整合模型後,使用量會穩定得多。圖 6展示了結果:即使各模型的使用模式較易波動,Multi-LoRA 服務模式仍相當穩定。整合模型可以令使用量更平穩,擴展亦更易管理。請注意,這些只是示意模式;你應仔細分析自己的模式,思考 Multi-LoRA 可以如何協助。擴展 1 個模型,而非 30 個!
更換基礎模型
AI 急速發展,現實中會有甚麼變化?如果你想選擇不同或更新的模型作為基礎,該怎麼辦?我們的範例使用 mistralai/Mistral-7B-v0.1 作基礎模型,但也有 Mistral 的 v0.3 等其他選擇,支援函數呼叫,還有 Llama 3 等完全不同的模型系列。一般而言,我們預期更高效、效能更好的新基礎模型會不斷推出。
不必擔心!只要有充分理由更新基礎模型,重新訓練 LoRA 並不困難。訓練成本相對低;事實上,Predibase 發現,每個 LoRA 的訓練成本僅約 $8.00。使用現代框架和常見工程實踐,所需程式碼改動也很少:
- 保留訓練模型時所用的 notebook/程式碼
- 為數據集進行版本控制
- 記錄所用的設定
- 配合新模型/設定更新
總結
Multi-LoRA 服務為部署 AI 模型帶來重大轉變,解決管理多個專用模型時的成本和複雜性障礙。透過使用單一基礎模型並動態套用經微調的 adapter,機構可大幅減少營運開銷,同時維持甚至提升不同任務的表現。我們想對各位 AI 總監説:勇於嘗試,選定一個基礎模型,並採用 Multi-LoRA 模式;其簡便性和節省成本的效益,長遠會帶來豐厚回報。讓 Multi-LoRA 成為你的 AI 策略基石,確保機構在急速演變的科技環境中保持領先。
鳴謝
實作 Multi-LoRA 服務可能相當棘手,但多虧 punica-ai 和 lorax 團隊的出色工作,現已有優化核心和框架,令流程更有效率。TGI 運用這些優化,為多個 LoRA 模型提供快速而高效的推論服務。
特別感謝 Punica、LoRAX 和 S-LoRA 團隊在 Multi-LoRA 服務方面的卓越開源貢獻。
參考資料
- [1]:Dan Biderman、Jose Gonzalez Ortiz、Jacob Portes、Mansheej Paul、Philip Greengard、Connor Jennings、Daniel King、Sam Havens、Vitaliy Chiley、Jonathan Frankle、Cody Blakeney、John P. Cunningham,LoRA Learns Less and Forgets Less,2024
- [2] :Edward J. Hu、Yelong Shen、Phillip Wallis、Zeyuan Allen-Zhu、Yuanzhi Li、Shean Wang、Lu Wang、Weizhu Chen,LoRA: Low-Rank Adaptation of Large Language Models,2021
- [3] :Sourab Mangrulkar、Sayak Paul,PEFT: Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware,2023
- [4] :Travis Addair、Geoffrey Angus、Magdy Saleh、Wael Abid,LoRAX: The Open Source Framework for Serving 100s of Fine-Tuned LLMs in Production,2023
- [5] :Timothy Wang、Justin Zhao、Will Van Eaton,LoRA Land: Fine-Tuned Open-Source LLMs that Outperform GPT-4,2024
- [6] :Punica: Serving multiple LoRA finetuned LLM as one:https://github.com/punica-ai/punica
來源:Hugging Face Blog · huggingface.co



