AWS Lambda 新增 GPU 推理支援,單一環境最多 48 個並發呼叫共用模型
AWS Lambda Now Runs GPU Inference with 48 Concurrent Invocations Sharing One Model per GPU
AWS 為 Lambda Managed Instances 加入 GPU 支援,Event Functions 可在 EC2 G 系列執行,單一環境最多 48 個並發呼叫共用一個模型。
文章把 48 路並發的實測吞吐與部署流程中的啟動時間、映像格式限制放在一起,便於評估這條 GPU 推理路徑的實際取捨。
AWS 已為 AWS Lambda 加入 GPU 支援:在 Lambda Managed Instances 上執行的事件函數,現在可使用 EC2 G 系列執行個體(推出時包括 G4dn、G5、G6、G6f、Gr6、Gr6f 和 G6e),並以容器映像部署,亦可由與其他函數相同的事件來源觸發。這項功能已在同時提供 Managed Instances 和 G 系列執行個體的商業區域正式推出。收費按 EC2 隨需價格計算,另加 9.75% 管理費,以及每百萬次請求標準收費 $0.20。
正如 InfoQ 去年 12 月報道,Managed Instances 讓函數在由用戶選擇並付費的 EC2 容量上執行,Lambda 則負責佈建、修補和擴展,而且多次調用可共用同一個執行環境。這項服務推出時尚未支援 GPU。AWS 資深專家解決方案架構師 Daniel Abib 從操作人員的角度描述這項改變:
你只需建立 OCI 映像,將函數指向該映像,再由 Lambda 處理佈建、擴展和事件整合。你無需處理 GPU 驅動程式、CUDA 版本或 AMI 之間的相容問題,也不用管理叢集或裝置外掛程式。
容量供應者會列出允許使用的執行個體類型、VPC 和 vCPU 上限;Lambda 會選用有可用容量的最新一代執行個體,若新一代容量不足,則改用較舊一代:
"InstanceRequirements": {
"AllowedInstanceTypes": ["g5.2xlarge", "g6.2xlarge", "g6e.2xlarge"]
},
"CapacityProviderScalingConfig": { "ScalingMode": "Auto", "MaxVCpuCount": 96 }函數透過新的 AcceleratorConfig 區塊指定 GPU 記憶體,該區塊與記憶體、逾時、儲存空間和每個環境的並行數量設定並列:
"MemorySize": 16384,
"Timeout": 900,
"EphemeralStorage": { "Size": 32768 },
"Environment": { "Variables": { "MODEL_ID": "Qwen/Qwen2.5-1.5B-Instruct" } },
"CapacityProviderConfig": {
"LambdaManagedInstancesCapacityProviderConfig": {
"CapacityProviderArn": "arn:aws:lambda:us-east-2:111122223333:capacity-provider:lmi-gpu-cp",
"ExecutionEnvironmentMemoryGiBPerVCpu": 4,
"PerExecutionEnvironmentMaxConcurrency": 4
}
},
"AcceleratorConfig": { "AcceleratorMemorySize": 16 }同一環境內的並行調用會共用 GPU 記憶體中的同一份模型,最多每個環境 48 個調用;擴展則會根據 GPU 使用率、CPU 使用率和並行數量進行。發布版本時,系統會佈建執行環境、下載權重,並預熱引擎,讓系統在收到第一個事件前準備就緒;使用 Seekable OCI 延遲載入,最多可將環境啟動時間縮短 70%。
AWS 提供五種 GPU 基礎映像:僅包含 CUDA 的映像、CuPy、PyTorch、vLLM 和 SGLang。兩種推理伺服器均無需編寫處理常式程式碼;只需設定 MODEL_ID 變數,指向 Hugging Face 或 ModelScope 儲存庫、S3 前綴或本機路徑。更換模型只需更改設定,然後發布新版本:
aws lambda update-function-configuration \
--function-name my-gpu-function \
--environment 'Variables={MODEL_ID=s3://amzn-s3-demo-bucket/models/Qwen2.5-1.5B-Instruct/,VLLM_LOAD_FORMAT=runai_streamer}'推出公告列出的限制包括:容器映像上限為 32 GB、臨時儲存空間為 32 GB、記憶體為 2 至 32 GB、加速器記憶體為 3 至 48 GB、每個容量供應者最多 15,000 個 vCPU;非同步調用和事件來源映射調用的逾時時間則最長為 90 分鐘。Abib 用一句話指出這類服務與競爭對手的分別:無伺服器 GPU 服務雖然隱藏了同樣的工作,但「通常位於你的 AWS 環境之外,沒有原生事件來源、身分識別或網絡功能。」
首批實測報告在一天內便已出現。Classmethod 的 Akaike 曾在 12 月發現沒有任何 G 類型獲接納,並因此修正一場會議演講;這次他在 us-east-1 試用了所有加速型執行個體類型,發現 81 種之中有 37 種獲接納,而且全部屬於 G 系列;P 系列、G7、Inferentia、Trainium,以及以 Graviton 為基礎的 g5g 均不獲接納,ZIP 套件亦然。PyTorch 基準測試在 L4 上的執行速度約為該執行個體 CPU 的 66 倍。即使如此,Terraform 和 Cloud Control provider 尚未識別 AcceleratorConfig,而新帳戶的 GPU vCPU 配額為零:「如果使用 g6.xlarge(4 vCPU),並採用預設的三個執行個體,就需要 12 vCPU 的配額。」一項 Terraform provider issue 和一個 pull request 由名為 sasidhar-aws 的用戶於 11 月 16 日提出;同一用戶的另一個 pull request 目前亦仍未處理。
另一項測試由一名以 xbill 為名撰文的 AWS Community Builder 進行,他透過 vLLM 映像,在單一 g6.2xlarge 上部署了 Gemma 4 E2B,並把 Google 的 4-bit QAT 權重和用於推測解碼的草稿模型打包到 9 GB 映像中。單一環境處理了全部 48 個同時提出的請求,417 次呼叫亦全部成功;單一請求的速度約為每秒 130 個 token,而 48 個請求時則約為每秒 3,400 至 3,600 個 token。問題出在流程而非 GPU:從發布到版本啟用需時 484 秒;Lambda 拒絕 Docker 映像索引,直到映像以單一平台資訊清單形式推送才接受;此外,處理常式會一次返回完整回覆,因此無法測量首個 token 的時間。他的結論只針對這個範圍:
如果模型要處理來自事件、佇列或其他 AWS 服務的請求,Lambda GPU 函數是較簡單的選擇:只需一個映像和一個函數,Lambda 會維持伺服器運作並路由請求。若聊天用戶不多,可繼續使用草稿模型;若要處理大量批次負載,則發布不含草稿模型的版本。
他寫道,若需要串流回覆或全面控制伺服器,「就在 EC2 G6 上自行執行 vLLM。」
這套定價模式由 Managed Instances 引入,GPU 的費用低於 CPU 執行個體類型所收取的 15%。Savings Plans 和 Reserved Instances 適用於該執行個體,而且沒有按時長收費;只要最少環境數量高於零,執行個體便會持續計費。Yan Cui 在 12 月發表的相關分析,當時仍列有「GPU 執行個體不受支援」這句話;其分析同樣適用於 GPU 情況:
一般 Lambda 函數可以透過使用大型共用 EC2 執行個體池,迅速擴展規模。使用受管理執行個體時,啟動新的 EC2 執行個體需時數十秒。因此,這並不適合流量出現大型、難以預測的峯值時使用。
Managed Instances 目前仍只支援 Event Functions,因此 GPU 功能尚未擴展至 Web Functions——Lambda 今年新增的 HTTP 伺服器形態;AWS 尚未表示會否支援。
關於作者
Steef-Jan Wiggers
顯示更多顯示較少
來源:InfoQ · infoq.com