跳到正文
Hugging Face Blog·· 2024-07-18精選AI 評分63

Hugging Face TGI 推出 Multi-LoRA 服務,部署一次即可服務 30 個模型

TGI Multi-LoRA: Deploy Once, Serve 30 Models

AI 導讀

Hugging Face 的 TGI 推出 Multi-LoRA serving,讓單一基礎模型可按請求動態選用不同 LoRA adapter,以一個部署服務多個微調模型。文中以 mistralai/Mistral-7B-v0.1 示範,載入 30 個 adapter 時 VRAM 增幅為 3%;實際可載入數量取決於 GPU 資源和所部署模型。

推薦理由

文章以 TGI 的部署及調用示例,展示單一基礎模型按請求選用不同 LoRA adapter 的做法,並比較多模型部署的成本與擴展管理。

正文 · 繁體中文

你是否厭倦了管理多個 AI 模型所帶來的複雜性和成本?如果部署一次就可以服務 30 個模型,會怎樣?在今日的機器學習世界,想發揮數據價值的機構,很可能最終都會走進微調模型的世界,建立大量模型,每個模型都針對特定任務高度專門化。但要如何應付每個使用場景都部署一個模型所帶來的麻煩和成本?答案就是 Multi-LoRA 服務。

動機

對機構而言,透過微調建立大量模型有多個合理原因。

  • 效能 - 有令人信服的證據顯示,在受訓任務上,小型專用模型的表現勝過大型通用模型。Predibase [5]指出,使用以 mistralai/Mistral-7B-v0.1 為基礎的任務專用 LoRA,表現可以勝過 GPT-4。

  • 適應力 - Mistral 或 Llama 等模型用途非常廣泛。你可以選擇其中一個作為基礎模型,再建立許多專用模型,即使下游任務相差很大亦可。此外,你不會被原有選擇綁定;日後可以輕鬆更換基礎模型,並使用你的數據在另一個基礎模型上微調(稍後詳述)。

  • 自主性 - 對機構關注的每項任務,不同團隊都可以各自進行微調,在數據準備、設定、評估準則和模型更新週期方面保持自主。

  • 私隱 - 專用模型可按數據私隱要求,靈活隔離訓練數據,並限制不同用戶的存取權限。此外,在必須本機執行模型的情況下,可以令小型模型在特定任務上能力出眾,同時保持足夠小巧,以便在裝置上運行。

總括而言,微調讓機構發揮數據價值;當機構使用獨有的高度專門化數據時,這項優勢尤其顯著,甚至足以帶來重大改變。

那麼,難處在哪裏?部署和提供大型語言模型(LLM)服務有不少挑戰。即使只部署一個模型,也要考慮成本和營運複雜性,更不用説要部署 n 個模型。這表示,微調雖然有很多好處,卻會令 LLM 的部署和服務更複雜。

因此,我們今天非常高興推出 TGI 的最新功能:Multi-LoRA 服務。

LoRA 背景

LoRA 是 Low-Rank Adaptation 的縮寫,是一種高效微調大型預訓練模型的技術。其核心概念是在不必重新訓練整個模型的情況下,將大型預訓練模型調整至特定任務,只需訓練一小組稱為 adapter 的參數即可。與預訓練 LLM 的大小相比,這些 adapter 一般只增加約 1% 的儲存空間和記憶體開銷,同時維持與完整微調模型相若的品質。

LoRA 最明顯的好處,是減少記憶體需求,令微調成本大幅下降。它亦可減少災難性遺忘,並更適合小型數據集。

你的瀏覽器不支援影片標籤。

圖 1:LoRA 解説

訓練期間,LoRA 會凍結原有權重 W,並微調兩個小型矩陣 A 和 B,令微調效率大幅提高。瞭解這點後,便可透過圖 1看看 LoRA 在推論期間如何運作:取出預訓練模型的輸出 Wx,再加上低秩適配項 BAx [6]。

Multi-LoRA 服務

瞭解 LoRA 模型適配的基本概念後,我們可以深入探討 Multi-LoRA 服務。概念很簡單:你有一個基礎預訓練模型,以及多項經特定 LoRA 微調的任務;Multi-LoRA 服務機制會根據收到的請求,動態選擇所需的 LoRA。

你的瀏覽器不支援影片標籤。

圖 2:Multi-LoRA 解説

圖 2展示這種動態適配如何運作。每個用戶請求都包含輸入 x,以及該請求所對應的 LoRA ID(我們稱之為異質用戶請求批次)。任務資訊讓 TGI 可以選擇合適的 LoRA adapter。

使用 Multi-LoRA 服務,只需部署一次基礎模型。由於 LoRA adapter 體積小,可以載入許多 adapter。請注意,實際數量取決於可用 GPU 資源及所部署的模型。最終效果基本上等同於在單一部署中擁有多個經微調的模型。

LoRA(adapter 權重)的 rank 和量化方式可能各有不同,但通常都非常小。簡單看看 adapter 有多小:predibase/magicoder 只有 13.6MB,還不到 mistralai/Mistral-7B-v0.1 大小的 1/1000;後者大小為 14.48GB。就相對比例而言,將 30 個 adapter 載入 RAM,只會令 VRAM 增加 3%。最終而言,這對大部分部署都不是問題。因此,我們可以一次部署,服務多個模型。

使用方法

準備 LoRA

首先,你需要訓練 LoRA 模型並匯出 adapter。可在此處查看 LoRA adapter 微調指南。請注意,將微調模型推送至 Hub 時,只需推送 adapter,無須推送合併後的完整模型。從 Hub 載入 LoRA adapter 時,系統會根據 adapter 模型卡推斷其基礎模型,然後另行載入。如需深入支援,請參閲我們的專家支援計劃。為特定使用場景建立自己的 LoRA,才是其真正價值所在。

少寫程式碼的團隊

對部分機構而言,要為每種使用場景訓練一個 LoRA 可能很困難,因為他們或許缺乏專業知識或其他資源。即使選好基礎模型並準備數據後,仍要掌握最新技術、探索超參數、尋找最佳硬件資源、撰寫程式碼,然後進行評估。即使對經驗豐富的團隊而言,這也是一項不小的工作。

AutoTrain 可大幅降低入門門檻。AutoTrain 是一種無需編寫程式碼的方案,只需點擊幾下便可訓練機器學習模型。AutoTrain 有多種使用方式。除了本機/自建環境外,還有:

AutoTrain 環境 硬件詳情 程式碼要求 備註
Hugging Face Space 多種 GPU 和硬件 無須程式碼 靈活而且易於分享
DGX cloud 最多 8xH100 GPU 無須程式碼 更適合大型模型
Google Colab 可使用 T4 GPU 只需少量程式碼 適合小型工作負載和量化模型

部署

以下範例會使用 Predibase 的 LoRA Land 中幾個出色的 adapter:LoRA Land。

TGI

關於如何部署 TGI,已有許多實用資料。按照一般方式部署即可,但請確保:

  1. 使用不低於 v2.1.1 的 TGI 版本
  2. 部署基礎模型:mistralai/Mistral-7B-v0.1
  3. 加入 LORA_ADAPTERS 環境變數以進行部署
    • 範例:LORA_ADAPTERS=predibase/customer_support,predibase/magicoder
model=mistralai/Mistral-7B-v0.1
# share a volume with the Docker container to avoid downloading weights every run
volume=$PWD/data

docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data \
    ghcr.io/huggingface/text-generation-inference:2.1.1 \
    --model-id $model \
    --lora-adapters=predibase/customer_support,predibase/magicoder

Inference Endpoints 圖形介面

Inference Endpoints 讓你只需點擊幾下,便可在 AWS、GCP 和 Azure 的多種GPU 及其他硬件類型上部署任何 Hugging Face 模型!在圖形介面中,部署非常簡單。底層預設使用 TGI 進行文本生成(不過你也可以選擇使用自選映像)。

要在 Inference Endpoints 使用 Multi-LoRA 服務,只需前往控制面板,然後:

  1. 選擇基礎模型:mistralai/Mistral-7B-v0.1
  2. 選擇你的 Cloud | Region | HW
    • 我會使用 AWS | us-east-1 | Nvidia L4
  3. 選取進階設定
    • 你會看到已預先選取 text generation
    • 按你的需要進行設定
  4. 在環境變數中加入 LORA_ADAPTERS=predibase/customer_support,predibase/magicoder
  5. 最後按 Create Endpoint!

請注意,以上是最低限度設定;你應按需要配置其他設定。

multi-lora-inference-endpoints
圖 3:Multi-LoRA Inference Endpoints
multi-lora-inference-endpoints
圖 4:Multi-LoRA Inference Endpoints 2

Inference Endpoints 程式碼

或許你們當中有人害怕使用滑鼠,不想用滑鼠操作;我們不會批評你。只用鍵盤也很容易以程式碼自動化這個流程。

from huggingface_hub import create_inference_endpoint

# Custom Docker image details
custom_image = {
    "health_route": "/health",
    "url": "ghcr.io/huggingface/text-generation-inference:2.1.1",  # This is the min version
    "env": {
        "LORA_ADAPTERS": "predibase/customer_support,predibase/magicoder",  # Add adapters here
        "MAX_BATCH_PREFILL_TOKENS": "2048",  # Set according to your needs
        "MAX_INPUT_LENGTH": "1024", # Set according to your needs
        "MAX_TOTAL_TOKENS": "1512", # Set according to your needs
        "MODEL_ID": "/repository"
    }
}

# Creating the inference endpoint
endpoint = create_inference_endpoint(
    name="mistral-7b-multi-lora",
    repository="mistralai/Mistral-7B-v0.1",
    framework="pytorch",
    accelerator="gpu",
    instance_size="x1",
    instance_type="nvidia-l4",
    region="us-east-1",
    vendor="aws",
    min_replica=1,
    max_replica=1,
    task="text-generation",
    custom_image=custom_image,
)
endpoint.wait()

print("Your model is ready to use!")

這個設定部署了約 3 分 40 秒。請注意,模型數量越多,所需時間就越長。如果遇到載入時間問題,請在 GitHub 開立 issue!

使用服務

使用端點時,需要指定 adapter_id。以下是 cURL 範例:

curl 127.0.0.1:3000/generate \
    -X POST \
    -H 'Content-Type: application/json' \
    -d '{
  "inputs": "Hello who are you?",
  "parameters": {
    "max_new_tokens": 40,
    "adapter_id": "predibase/customer_support"
  }
}'

另外,亦可使用InferenceClient;它來自優秀的 Hugging Face Hub Python 程式庫。請確保使用 huggingface-hub>=0.24.0,並在需要時登入。

from huggingface_hub import InferenceClient

tgi_deployment = "127.0.0.1:3000"
client = InferenceClient(tgi_deployment)
response = client.text_generation(
    prompt="Hello who are you?",
    max_new_tokens=40,
    adapter_id='predibase/customer_support',
)

實際考量

成本

正如下文所述,我們並非第一個攀上這座高峯的團隊。LoRAX 背後的 Predibase 發表了一篇出色的介紹文章。值得一讀,因為本節內容以他們的工作為基礎。

multi-lora-cost
圖 5:Multi-LoRA 成本 就 TGI 而言,我在 nvidia-l4 上部署 mistralai/Mistral-7B-v0.1 作為基礎模型;GPU 的費用為每小時 $0.8,並透過 Inference Endpoints 部署。我達到每秒 75 個請求,平均輸入 450 個 token、輸出 234 個 token,並據此與 GPT3.5 Turbo 比較。

Multi-LoRA 服務的一大優點是,多個模型無須分別部署,因此總成本便宜得多。這符合直覺:多個模型都需要載入完整權重,而不只是小型 adapter 層。如圖 5所示,即使透過 TGI Multi-LoRA 加入更多模型,每個 token 的成本仍然相同。TGI 專用部署的成本則會隨着需求增加;每個經微調的模型都需要新增一個部署。

使用模式

multi-lora-serving-pattern
圖 6:Multi-LoRA 服務模式

部署多個模型時,一項真實挑戰是各模型的使用模式差異很大。有些模型使用量低,有些使用量突發,另一些則使用頻率高。這會令擴展十分困難,尤其是每個模型各自獨立運作時。每次需要增加一張 GPU,都會出現不少「餘數」浪費,很快便會累積起來。理想情況下,應盡量提高每張 GPU 的使用率,不要多用任何額外資源。你又要確保有足夠 GPU 可用,同時知道部分 GPU 會閒置,管理起來相當繁瑣。

採用 Multi-LoRA 整合模型後,使用量會穩定得多。圖 6展示了結果:即使各模型的使用模式較易波動,Multi-LoRA 服務模式仍相當穩定。整合模型可以令使用量更平穩,擴展亦更易管理。請注意,這些只是示意模式;你應仔細分析自己的模式,思考 Multi-LoRA 可以如何協助。擴展 1 個模型,而非 30 個!

更換基礎模型

AI 急速發展,現實中會有甚麼變化?如果你想選擇不同或更新的模型作為基礎,該怎麼辦?我們的範例使用 mistralai/Mistral-7B-v0.1 作基礎模型,但也有 Mistral 的 v0.3 等其他選擇,支援函數呼叫,還有 Llama 3 等完全不同的模型系列。一般而言,我們預期更高效、效能更好的新基礎模型會不斷推出。

不必擔心!只要有充分理由更新基礎模型,重新訓練 LoRA 並不困難。訓練成本相對低;事實上,Predibase 發現,每個 LoRA 的訓練成本僅約 $8.00。使用現代框架和常見工程實踐,所需程式碼改動也很少:

  • 保留訓練模型時所用的 notebook/程式碼
  • 為數據集進行版本控制
  • 記錄所用的設定
  • 配合新模型/設定更新

總結

Multi-LoRA 服務為部署 AI 模型帶來重大轉變,解決管理多個專用模型時的成本和複雜性障礙。透過使用單一基礎模型並動態套用經微調的 adapter,機構可大幅減少營運開銷,同時維持甚至提升不同任務的表現。我們想對各位 AI 總監説:勇於嘗試,選定一個基礎模型,並採用 Multi-LoRA 模式;其簡便性和節省成本的效益,長遠會帶來豐厚回報。讓 Multi-LoRA 成為你的 AI 策略基石,確保機構在急速演變的科技環境中保持領先。

鳴謝

實作 Multi-LoRA 服務可能相當棘手,但多虧 punica-ai 和 lorax 團隊的出色工作,現已有優化核心和框架,令流程更有效率。TGI 運用這些優化,為多個 LoRA 模型提供快速而高效的推論服務。

特別感謝 Punica、LoRAX 和 S-LoRA 團隊在 Multi-LoRA 服務方面的卓越開源貢獻。

參考資料

來源:Hugging Face Blog · huggingface.co