跳到正文
AWS Machine Learning Blog· Shantanu Tripathi·· 13 天前精選AI 評分73

SageMaker Inference 支援 Multi-Instance GPU 分區,提升模型端點 GPU 使用率

SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

AI 導讀

Amazon SageMaker Inference 現支援 NVIDIA Multi-Instance GPU(MIG)分區,讓多個模型可在同一 GPU 上獲得硬件隔離。

推薦理由

文章以 H100 的 mig-3g.40gb 對比完整 A100,呈現 GPU 分區的效能與成本差異如何隨流量形態改變。

正文 · 繁體中文

將模型部署至 GPU 端點時,可申請的最小 GPU 單位是一整個加速器。

這項限制會令你付出雙重代價。首先,執行個體能託管的模型數量不能多於其加速器數量。ml.p4d.24xlarge 配備八張 A100,因此只能容納八個模型,無論每個模型需要 40 GB 還是 14 GB。其次,較不明顯的是,每次部署都必須選擇使用哪一張完整 GPU。隨着並行請求數和提示詞長度增加,較舊執行個體上的一整張 GPU 會不敷使用,但較新執行個體上的一整張 GPU 又超出模型所需。結果要麼資源不足,要麼為用不上的效能付費。

今天,Amazon SageMaker Inference 支援 GPU 分割功能,透過 NVIDIA Multi-Instance GPU (MIG) 將實體 GPU 分成互相獨立的分區。每個分區獲分配固定比例的 GPU 運算單元,以及專屬的記憶體區塊,並由硬件強制隔離。這項功能改變了上述兩項限制:你可以在每個分區部署不同模型,也可以選用較新一代加速器的一部分,而不必使用任何一代的整張 GPU。

本文會探討這兩方面。第一部分是直接好處:即使 GPU 數量較少,也能部署更多模型,並確保模型之間互相隔離。第二部分則是客戶談到成本時會問的問題:分割粒度如何助你選擇合適大小的資源單位,以及我們進行測試時量度到的結果。

繼續閲讀前,有一點需要注意:GPU 分割功能適用於使用 推論元件的端點。推論元件是一種機制,可讓你在同一端點部署多個模型,並設定每個模型可使用的運算資源。分割功能直接建基於推論元件。元件可申請分區,就像現時申請 CPU 和記憶體一樣。如果你未用過推論元件,這篇文章會介紹相關功能。單一模型端點、無伺服器端點和異質實例集區均不支援分割。

客戶目前的做法,以及各種選項的不足之處

如果模型數量多於加速器數量,你有三種選擇。

使用較少但更大型的端點,並加大批次處理量 – 這樣可以提高使用率,但前提是模型可以互換。由微調版本或每個租戶專用模型組成的模型組合並不適用。

使用多模型端點 – 這類端點會按需要從共用 GPU 載入及卸載模型,適合流量稀疏且突發的情況。但模型共用裝置而沒有隔離,因此某個模型收到繁重請求時會影響其他模型。尚未載入的模型,首次使用時也要承受載入延遲。

轉用自行管理的 Kubernetes – 需要真正 GPU 分割功能的客戶一直以來都會選擇這種做法。在這類環境中可以使用 MIG,但你需要自行處理驅動程式版本管理、分區設定、裝置外掛程式、排程,以及確保整個機羣的設定一致。為了使用執行個體本身已具備的硬件功能,這需要處理大量工作。

為何選用 MIG

NVIDIA Multi-Instance GPU (MIG) 可將一張 GPU 分割成最多七個實例,數量視乎 GPU 而定。每個實例都有自己的運算資源、快取、記憶體和記憶體頻寬。由於分割由硬件而非軟件執行,因此能提供其他共用方式無法保證的效能:

  1. 延遲表現可預測 – 每個分區都有專屬的記憶體頻寬,因此某個模型的流量突然增加,不會影響另一個模型的 p99 延遲。
  2. 故障隔離 – 當機或記憶體錯誤只會影響所屬分區,不會令 GPU 上的所有模型停止運作。
  3. 容量配置恰到好處 – 小型及中型模型可獲分配合適的容量,而無須獨佔整張 GPU。你可以在同一部裝置上混合不同大小的分區。
  4. 不會有冷啟動 – 每個模型都有自己的分區,並會一直載入,無須承受載入開銷,亦不會被卸載。
  5. 租戶隔離 – 分區之間的記憶體保護由硬件強制執行,令安全及合規審查更簡單。
  6. 可靠的規劃及成本分攤 – 分區的效能不受相鄰分區影響,因此負載測試結果可用來預測正式環境的表現。GPU 成本亦可清晰地分攤至個別模型、團隊或租戶。

分區功能有一些限制,宜事先了解。可用分區數量上限視乎加速器而定,最多為七個。MIG 本身只容許在分區閒置時更改配置;在 SageMaker AI 上,這表示你須在建立端點時選擇配置。需要多於一部 GPU 的模型仍須使用完整 GPU。在這些限制之內,你可以享有獨立 GPU 的隔離效果,而無須為每個模型獨佔一部 GPU。

無須自行管理平台的分區功能

以往要使用 MIG,便須自行運行 Kubernetes 技術堆疊。Amazon SageMaker AI 的 GPU 分區功能省卻了這個步驟:你只須為模型選擇分區設定檔,SageMaker AI 就會處理 GPU 配置、資源安排及擴展。你可在受管理的端點上共享 GPU,並享有硬件隔離,無須自行運行底層平台。

Salesforce 從一開始便參與這項工作,協助制定需求並驗證初始實作。

「NVIDIA MIG 可將單一 GPU 分成多個互相隔離的執行個體,每個執行個體均配備專用的運算及記憶體資源。Salesforce 認為這是一項重要功能,因為許多推理工作負載並不需要使用整張 GPU。MIG 可讓我們安全地整合工作負載,大幅提升 GPU 使用率、降低推理成本,同時維持可預測的效能及強大的隔離能力。

這項功能有助我們更有效率地擴展不同用途的 AI 推理。Salesforce 協助制定需求,並驗證了初始方案。我們現正準備使用具代表性的正式環境工作負載驗證方案,並與 AWS 展示客戶的強烈需求。我們相信,MIG 支援可為企業客戶帶來顯著的技術及業務價值。」

— Richard Chang,Salesforce 軟件工程架構師

運作方式

GPU 分區功能在你現有的 API 呼叫中加入兩個可選欄位。它不會新增 API 操作、資源類型或 AWS Identity and Access Management (IAM) 動作;若端點沒有填寫這兩個欄位,其運作方式便與現時完全相同。

AcceleratorPartitionLayouts 設定於 CreateEndpointConfig 中的生產變體,並指定如何劃分每個加速器:

{
  "EndpointConfigName": "multi-model-partitioned",
  "ExecutionRoleArn": "<execution-role-arn>",
  "ProductionVariants": [
    {
      "VariantName": "AllTraffic",
      "InstanceType": "ml.p4d.24xlarge",
      "InitialInstanceCount": 1,
      "AcceleratorPartitionLayouts": [
        { "AcceleratorPartitionTypes": ["mig-4g.20gb", "mig-2g.10gb", "mig-1g.5gb"] }
      ]
    }
  ]
}

A100 有七個運算切片可供劃分。上述配置用盡七個切片,因此 p4d 執行個體上的八張 A100 各有三個分區,而端點共提供 24 個分區,每種類型各有八個。

劃分方式會一致套用。每個配置項目會描述如何劃分一個加速器,而變體中每個執行個體上的所有加速器都會以相同方式劃分。清單並非按位置排列,因此項目不會對應至某張特定的 GPU。

AcceleratorPartitionType 設定在推理元件上,並選擇模型在哪個分區執行:

{
  "InferenceComponentName": "summarizer",
  "EndpointName": "multi-model-partitioned",
  "VariantName": "AllTraffic",
  "Specification": {
    "ModelName": "summarizer-model",
    "ComputeResourceRequirements": {
      "AcceleratorPartitionType": "mig-4g.20gb",
      "NumberOfAcceleratorDevicesRequired": 1,
      "NumberOfCpuCoresRequired": 1,
      "MinMemoryRequiredInMb": 2048
    }
  },
  "RuntimeConfig": { "CopyCount": 1 }
}

每個元件副本會佔用一個指定類型的分區。執行個體上每種類型都有八個分區;提高 CopyCount 的值,就會在空閒分區上放置更多副本。這適用於需要處理大量並行請求的小型模型:如果只有一個程序,GPU 便會因等候請求而閒置。

NumberOfAcceleratorDevicesRequired 在此始終為 1。設定分區類型後,它代表一個分區,而非一個加速器。NumberOfCpuCoresRequired 和 MinMemoryRequiredInMb 仍分別代表主機 CPU 和主機記憶體,因為 GPU 記憶體取決於分區類型。

呼叫方式不變。InvokeEndpoint 以推理元件名稱識別模型,而模型所佔用的分區不會出現在請求中。

分區會在配置端點時進行。端點配置進度到達 InService 時,所有加速器都已切分,分區則仍是空的;之後元件會配置到這些分區上,因此這是有效狀態。根據我們的測試,切分加速器令配置時間增加約 17 秒。其餘時間則用於一般的執行個體啟動和容器下載。

按 GPU 分類的分區設定檔

你可使用哪些設定檔取決於 GPU,因此請先確認執行個體類型配備哪款 GPU,再查閲NVIDIA 支援的 MIG 設定檔;該資料列出完整的設定檔集合,以及單一裝置上有效的組合。

執行個體系列 加速器 GPU 記憶體 粒度(運算/記憶體) 可用分區設定檔 每個 GPU 的分區數上限
P4d NVIDIA A100 40 GB 7 / 8 mig-1g.5gb, mig-1g.10gb (請參閲驅動程式説明), mig-2g.10gb, mig-3g.20gb, mig-4g.20gb, mig-7g.40gb 7
P5 NVIDIA H100 80 GB 7 / 8 mig-1g.10gb, mig-1g.20gb, mig-2g.20gb, mig-3g.40gb, mig-4g.40gb, mig-7g.80gb 7
G7 NVIDIA RTX PRO 4500 Blackwell 32 GB 2 / 2 mig-1g.16gb, mig-2g.32gb 2
G7e NVIDIA RTX PRO 6000 Blackwell Server Edition 96 GB 4 / 4 mig-1g.24gb, mig-2g.48gb, mig-4g.96gb 4

設定檔名稱先列運算單位,再列 GPU 記憶體:mig-3g.40gb 使用三個運算單位和 40 GB。粒度欄決定配置方式的限制。A100 和 H100 的運算單位分為七等份,記憶體分為八等份;G7 分為兩等份,G7e 則分為四等份。即使分片數目相同,不同 GPU 的設定檔名稱也可能不同,因此切勿未對照此表便將某個執行個體系列的配置套用到另一個系列。

在這些限制範圍內,你有多種選擇。在 P4d 或 P5 上,可以切分成七個最小規格的分區、兩個 3g 分區、前文例子中的 4g、2g 和 1g 配置,亦可以整張裝置作為一個分區。在 G7e 上,可以選擇四個最小規格的分區、兩個 1g 分區加一個 2g 分區、兩個 2g 分區,或一個完整裝置。在 G7 上,則可選擇兩個分區或一個分區。

值得留意的是 3g 設定檔,因為它的兩個維度並不相同:它佔用七個運算單位中的三個,卻佔用八個記憶體單位中的四個。兩個 3g 分區便會用盡 GPU,旁邊無法再容納其他分區。

概括而言:配置中的每個設定檔都必須是 GPU 提供的設定檔,而且所有設定檔所佔用的運算單位和記憶體單位總和,都不得超過單一裝置所提供的容量。建立端點設定時會檢查這兩項條件;任何一項不符都會遭拒,而不會改為使用整個加速器。

P4d 驅動程式備註: mig-1g.10gb 需要 R525 或更新版本的 NVIDIA 驅動程式,而預設 P4d 映像內建 470.256.02。若在預設映像上要求使用該設定檔,切分會失敗,而且錯誤訊息不會指出設定檔名稱。在正式環境版本中將 InferenceAmiVersion 設為 al2023-ami-sagemaker-inference-gpu-4-1,即可取得採用 580 驅動程式系列、並支援此設定檔的映像。

為工作負載選擇配置

作出合適選擇,與選擇一個僅僅獲接受的配置是兩回事。分區會按固定比例提供運算能力和記憶體,而兩者在推理期間各司其職。

預填充需要運算單元。 預填充會讀取提示詞並建立其表示形式。這是運算密集的階段,其效能取決於分區所包含的串流多處理器數量,也就是其 TFLOPs。輸入越長、同時到達的提示詞越多,這些因素對你返回首個 token 的速度就越重要。

解碼和容量需要記憶體單元。生成 token 時,每一步都會重新讀取模型權重,因此解碼速度受記憶體頻寬限制,而非運算能力;記憶體亦會限制可容納的 KV 快取量。這項限制進而決定你可支援的上下文長度,以及可同時處理的序列數量。

幾乎沒有實際工作負載只會用到其中一項,因此目標不是隻選一個維度,而是選擇能支援用途的組合。選擇比例合適的設定檔,確保最繁重的階段得到支援,同時亦為另一階段提供足夠資源。運算方面,關鍵在於提示詞的長度,以及同時到達的數量;記憶體方面,則取決於輸出長度、上下文視窗和並行數。

記憶體需求較容易被低估,因為分區必須容納三類內容,而不只是模型:權重;以 FP16 運行的 8B 模型,其權重約佔 16 GB。KV 快取的大小則取決於上下文長度,以及你打算容許的並行序列數量。這部分經常被忽略,亦會隨流量增加。還有 1–2 GB 的運行時開銷,用於 CUDA context 和服務程序。選擇設定檔前,先把這些容量加起來;若分區只按權重大小配置,模型雖然能載入,卻會在負載下失敗,或在沒有明確提示的情況下,只能提供遠短於設定值的上下文長度。舉例而言,同一個以 FP16 運行的 8B 模型,在 40 GB 分區上可輕鬆支援 8,000 個 token 的上下文。

MIG 最能發揮價值的場景

多種小型及中型模型組合 – 最直接的應用。微調版本、嵌入模型、重排序模型和分類器各自只使用加速器的一小部分,現在可以共用同一個加速器。

多租戶模型服務 – 如果你為每位客戶託管一個模型,MIG 會在他們之間建立硬件隔離邊界:一個分區中的程序無法讀取另一個分區的記憶體,也不能佔用其吞吐量。不過,應準確界定這項隔離的範圍。同一個執行個體上的模型仍會共用主機 CPU、系統記憶體、儲存空間、網絡和端點路由,因此分區是 GPU 的隔離機制,並非完整的租戶隔離邊界。

在同一個執行個體上運行多階段管線 – 例如語音轉錄模型、説話者分離模型和語言模型,或嵌入模型、重排序模型和生成模型。每個階段都是獨立可尋址的元件,並位於各自的分區;階段之間亦不再需要經過網絡跳轉。

位於請求處理路徑中的小型模型 – 每個請求都必須執行、但不值得為其配置專用加速器的安全分類器或防護模型;由於它不會與主模型分時共用運算資源,延遲亦較可預測。

候選模型與金絲雀部署 – 在服務正式環境流量的模型旁,以小型分區執行候選模型,而非另行建立第二個端點。

效能:以較新 GPU 的一個分區對比整張較舊 GPU

除了裝箱配置之外,另一項優勢是能更細緻地配置高階 GPU:可選用更多 GPU 規格來部署模型,而選擇權在你手上。每款支援的加速器都會細分為多種規格,而非只有一種;因此,實際上可以把每種設定檔視為獨立的 GPU 選項,與你原本可選用的整張加速器並列。這在考慮較大型或較新一代的執行個體類型時尤其重要,因為升級不再是非此即彼:你可以按工作負載需要,選用較大型 GPU 的全部或部分資源,並從該 GPU 提供的任何規格中選擇,而不必支付整張加速器的費用。

為了了解這樣做是否划算,我們比較了 H100 的一個 mig-3g.40gb 分區與一張未分區的 A100-40GB。兩者的 GPU 記憶體容量相若,因此可以清楚比較較先進執行個體中的 GPU 分區效能。

我們使用 genai-bench 產生負載,並由同一個用戶端向兩個端點施加負載,確保 GPU 是唯一變數。兩邊都在 SageMaker 正式環境即時端點上執行 Llama-3.1-8B-Instruct,各有一個模型副本,並使用完全相同的容器映像、分詞器及用戶端設定。兩者均透過 SageMaker AI 原生的 OpenAI 相容路由呼叫。我們測試了五種流量模式,以 D(輸入 token 數、輸出 token 數)表示,涵蓋由短提示詞至長上下文摘要的情況;每種模式的並發數均由 2 逐級增加至 512。

Output tokens per second versus concurrency for an H100 mig-3g.40gb partition and a full A100-40GB across five traffic shapes

圖 1:H100 的一個 mig-3g.40gb 分區與一張完整 A100-40GB 在五種流量模式下的每秒輸出 token 總數,並發數由 2 逐級增加至 512

Cost benefit per million output tokens versus concurrency for five traffic shapes, with the break-even crossover marked

圖 2:相同五種流量模式下,分區每百萬個輸出 token 的成本優勢與並發數的關係

有四點值得注意。

  • 分區在所有情況下都更快 – 在每種情境及所有並發數下,分區每秒輸出的 token 都較多;在各情境成本優勢最大的負載下,增幅介乎 53 percent 至 89 percent。每種情境的 token 間延遲也較低,降幅介乎 8.9 percent 至 42.1 percent。負載越高,差距越大。
  • 所有情況下,首個 token 的生成時間都較短,降幅介乎 5.6 percent 至 47.5 percent。
  • 成本方面,超過損益交叉點後,每百萬個輸出 token 的成本低 18–34 percent;提示詞越長,交叉點越早出現。對於 100-token 提示詞,交叉點為並發數 64;對於 8,000-token 提示詞,則為並發數 4。低於交叉點時,整張 A100 的成本較低。這些價格均為隨選價格;分析當時,美國西部(奧勒岡)AWS 區域的 ml.p4d.24xlarge 每小時價格為 $25.251286,ml.p5.48xlarge 每小時價格為 $63.296000。僅供我們自行分析之用,我們以整部執行個體的成本除以其單位數,得出每單位成本:p4d 有 8 個單位,p5 有 16 個單位;我們使用的分區則佔一張 GPU 的一半。
  • 在長上下文流量的最高負載級別,A100 停止提供服務。在 6,000 及 8,000 token 工作負載下,A100 分別有三分之一至一半的請求因未能在服務路徑時限內完成而失敗,而分割配置則沒有請求失敗。這就是為甚麼圖表中這兩個區段比其餘部分早結束。

應按個別情況比較,而非視之為定論。一個實用的思考方式,是把可用的 GPU 分額視為各自獨立的 GPU 類型。將它們與完整加速器一併列出,瞭解實際流量對計算資源和記憶體的需求,再以自己的工作負載作比較。在高並行度、長輸入的流量下,分割配置在這裏的效能和成本都較佳;至於短輸入或低並行度的工作負載,完整 A100 的成本仍較低。分割並非適用於所有情況的方案。它提供更多規格選擇,讓你挑選最適合工作負載的配置。

確定配置前須知

分割會改變端點的配置方式;設計端點前,有幾項特性值得了解。

元件的分割類型在該元件的整個生命週期內固定不變。若要將模型移至不同設定檔,就必須建立新的元件。若要更改端點的分割配置,則必須建立新的端點並遷移流量,因為更新端點配置不會重新分割正在運行的主機。因此,分割適合用於穩定的模型組合,但不適合每天都重新調整的組合。

端點配置必須包含所要求的設定檔。系統不會改用完整加速器作後備方案,因此,若元件要求的設定檔未有在該變體中宣告,要求便會遭拒。

分割適用於推論元件端點上的即時推論。系統不支援無伺服器端點和異質執行個體集區;非同步調用亦無法指定推論元件,因此非同步工作負載不在支援範圍內。

收費方式與現時一樣,按整個 GPU 執行個體收費。分割會提高你可使用的執行個體資源量,但不會改變每小時價格。

最後,若模型確實需要一個或多個完整加速器,就應繼續使用完整加速器。GPU 分割區不會橫跨多個加速器。

支援的執行個體和區域

GPU 分割適用於 P4d、P5、G7 和 G7e 執行個體系列。支援以系列為單位,因此係列內較小的規格亦包括在內。

此功能適用於以下 AWS 區域:美國東部(北維珍尼亞)、美國東部(俄亥俄州)、美國西部(俄勒岡州)、亞太地區(新加坡)、亞太地區(東京)、歐洲(法蘭克福)及歐洲(愛爾蘭)。

執行個體的供應情況因區域而異,因此請確認你選擇的執行個體類型在所選區域有供應,並確認你有該類型的端點使用配額。

開始使用

若要分割 GPU 端點,請先了解各模型所需的記憶體和計算資源,選擇合適的設定檔,在端點配置中宣告配置方式,然後將每個模型部署為要求使用該配置中某個設定檔的推論元件。調用模型的方式毋須更改。

如需 API 參考資料、各執行個體系列的完整設定檔表格,以及逐步操作指南,請參閲《Amazon SageMaker AI 開發人員指南》中的 GPU 分割。

如要親自試用,請執行GPU 分割範例筆記本,當中會將多個模型部署至單一 GPU 端點的不同分割區。

規劃容量時,值得留意這項更廣泛的改變。現在,每種支援的加速器都有多種規格,而非只有一種。對於指定模型,應採用較新 GPU 的分割區,還是較舊加速器的整個裝置作為適當單位,已不再是需要靠向上取整來回答的問題;你可以透過測量得出答案。


作者簡介

Shantanu Tripathi

Shantanu Tripathi

Shantanu 是 AWS 的軟件開發工程師,具備建構大型 AI/ML 基礎設施的經驗。作為 Amazon SageMaker 的核心工程師,他曾負責設計及優化可擴展的推理方案,以支援高效能 AI 工作負載。他的相關經驗亦涵蓋分散式 AI 訓練程式庫、深度學習容器 (DLCs)、深度學習 AMI,以及生成式 AI 方案。工作之餘,他喜歡戲劇和游泳。

Apoorva Chandra

Apoorva Chandra

Apoorva 是 Amazon SageMaker AI 推理團隊的產品經理,專注於端點體驗和託管體驗。她與在正式環境部署生成式 AI 模型的客戶合作,讓他們更容易取得加速運算資源,以更具成本效益的方式執行工作,並更可預測地進行營運。工作之餘,Apoorva 喜歡行山、探索咖啡店,以及與朋友共度時光。

Dmitry Soldatkin

Dmitry Soldatkin

Dmitry 是 SageMaker Inference 專家解決方案架構的全球主管。在這個職位上,Dmitry 協助客戶設計、建構和優化生成式 AI 及 AI/ML 方案。他的工作涵蓋各種 ML 使用案例,主要專注於生成式 AI、深度學習,以及在企業內擴展 ML。他曾協助金融服務、保險和電訊等多個行業的公司。

來源:AWS Machine Learning Blog · aws.amazon.com