Hugging Face 將 AMD Instinct MI300 整合至平台並支援模型部署
Hugging Face on AMD Instinct MI300 GPU
Hugging Face 宣佈把 AMD Instinct MI300 整合至平台,透過 Transformers、text-generation-inference 等工具部署模型時無需改動程式碼。
文章比較 Azure MI300X 與 MI250 執行 Llama 3 70B 推理和微調的結果,並公開基準程式碼,便於核對性能差異及復現測試。
6 月 6 日加入下一場 Hugging Cast,向文章作者提問、觀看在 Azure MI300X 上部署 Llama 3 的現場示範,以及加碼示範在 Ryzen AI PC 上本機部署模型!
簡介
在 Hugging Face,我們希望讓所有人都能輕鬆運用開放模型及開源技術建構 AI,無論你選擇哪種框架、雲端或技術堆疊。 其中一項關鍵,是能夠選用不同硬件來部署 AI 模型。 過去約一年,我們一直與 AMD 合作,投資多種加速器,包括 AMD Instinct™ 和 Radeon™ GPU、EPYC™ 和 Ryzen™ CPU,以及 Ryzen AI NPU,務求確保 AMD 產品線上總有合適裝置支援龐大的 AI 社羣。 今天我們很高興宣佈,Hugging Face 與 AMD 一直密切合作,讓新一代 AMD GPU 伺服器(即 AMD Instinct MI300)能以一級公民身分整合至整個 Hugging Face 平台。 從本機環境原型開發,到在 Azure ND MI300x V5 VM 上於生產環境運行模型,使用 transformers[1]、text-generation-inference 及其他程式庫,或使用 Hugging Face 產品和方案,都毋須修改程式碼。我們希望讓你在 Hugging Face 上使用 AMD MI300、取得最佳效能變得非常簡單。 讓我們深入探討!
支援開源及投入生產
在 Transformers 和 text-generation-inference 中持續支援 AMD Instinct GPU
AI 近期發展迅速,我們必須確保 MI300 系列經過妥善測試,並能長期監察。 為此,我們與 Hugging Face 的基礎設施團隊緊密合作,建立穩健的基礎元件,讓有需要的人能輕鬆啟用持續整合及部署(CI/CD),同時不影響現有系統。
為實現這些目標,我們與 AMD 及 Microsoft Azure 團隊合作,採用最近推出的 Azure ND MI300x V5,作為支援 MI300 的基礎。 我們的基礎設施團隊只花了幾小時,便完成部署和設定,讓 MI300 一切就緒供我們使用!
我們亦從舊有基礎設施遷移至託管式 Kubernetes 叢集,負責排程 Hugging Face 協作者希望在特定硬件 Pod 上執行的所有 GitHub 工作流程。 這次遷移讓我們可在多種硬件平台上執行完全相同的 CI/CD 流程,而開發者無須處理底層差異。 我們在 Azure MI300X VM 上只花了幾天便完成 CI/CD 設定,過程相當順利。
因此,transformers 和 text-generation-inference 現在都會定期在 AMD Instinct 前一代 GPU MI250 及最新 MI300 上接受測試。 實際上,我們會定期執行數以萬計的單元測試,驗證這些儲存庫的狀態,確保整合長期保持正確和穩健。
提升生產 AI 工作負載的效能
推論效能
如前文所述,我們一直致力讓全新的 AMD Instinct MI300 GPU 透過開源推論方案 text-generation-inference(TGI)高效執行推論工作負載。 TGI 可視為由三個組件構成: - 傳輸層,主要使用 HTTP,向用戶端公開並接收 API 請求 - 排程層,負責視乎情況把請求批次合併(即連續批次處理),在不影響使用者體驗下提高硬件運算密度 - 模型層,負責在裝置上執行實際運算,並運用高度最佳化的模型程序
在 AMD 工程師協助下,我們聚焦最後一個組件,即模型層,以有效設定、運行及最佳化工作負載,服務 Meta Llama 系列等模型。具體工作包括: - Flash Attention v2 - Paged Attention - GPTQ/AWQ 壓縮技術 - 在 PyTorch 整合 ROCm TunableOp - 整合最佳化融合核心
上述大部分技術已推出一段時間,包括 FlashAttention v2、PagedAttention 及 GPTQ/AWQ 壓縮方法,尤其是其中的最佳化程序和核心。我們不會詳細介紹以上三項技術,建議你前往其原始實作頁面瞭解更多。
不過,面對全新的硬件平台和新 SDK 版本,我們必須仔細驗證、分析效能並逐項最佳化,確保使用者能充分發揮新平台的效能。
最後,作為這次 TGI 發佈的一部分,我們整合了最近推出、屬於 PyTorch 2.3 的 AMD TunableOp。 TunableOp 提供靈活機制,會按照矩陣形狀和資料類型,找出執行一般矩陣乘法(即 GEMM)的最高效方法。 TunableOp 已整合至 PyTorch,目前仍積極開發中;但如下文所示,它能在不大幅影響使用者體驗下提升 GEMM 運算效能。 具體而言,對應自回歸模型生成解碼階段的小型輸入序列,使用 TunableOp 可令延遲加快 8% 至 10%。
事實上,建立新的 TGI 執行個體時,我們會先進行預熱,提供一些虛擬負載,確保模型及其記憶體已分配並準備就緒。
使用 TunableOp 後,我們會讓 GEMM 程序調校器花一些時間,按照使用者提供給 TGI 的參數(例如序列長度、最大批次大小等)尋找最佳設定。 預熱階段完成後,我們會停用調校器,並在伺服器其後的運作期間使用最佳化程序。
如前所述,我們所有基準測試均使用 Microsoft BUILD 最近推出的 Azure ND MI300x V5;該平台內置八張 AMD Instinct GPU。我們以 Meta Llama 3 70B 部署與前一代 MI250 比較,觀察到首個 token 延遲(亦稱 prefill)提升 2 至 3 倍,後續自回歸解碼階段的延遲亦提升 2 倍。
Meta Llama 3 70B 的 TGI 延遲結果:比較 Azure VM 上的 AMD Instinct MI300X 與前一代 AMD Instinct MI250
模型微調效能
Hugging Face 程式庫亦可用於微調模型。 我們使用 Transformers 和 PEFT 程式庫,透過低秩適配器(LoRA)微調 Llama 3 70B。為在多個裝置間處理平行運算,我們使用 DeepSpeed Zero3,並透過 Accelerate 程式庫執行。
對 Llama 3 70B 而言,我們的工作負載由每批 448 個 token 組成,批次大小為 2。使用低秩適配器時,模型原有的 70,570,090,496 個參數會凍結;透過低秩適配器,我們改為訓練額外的 16,384,000 個參數。
比較 Llama 3 70B 後,我們發現在由 MI300X 驅動的 Azure VM 上訓練速度,比使用前一代 AMD Instinct MI250 的 HPC 伺服器快約 2 倍。
此外,MI300X 配備 192 GB HBM3 記憶體(MI250 則為 128 GB),因此我們可在單一裝置上完整載入及微調 Meta Llama 3 70B。MI250 GPU 則無法在單一裝置上完整容納約 140 GB 的模型,無論使用 float16 或 bfloat16。 基準測試必須能夠重現及檢驗,因此我們公開推出配套 GitHub 儲存庫,內含本網誌所展示效能數據的所有相關產物及原始碼。
下一步
我們正為這些全新的 AMD Instinct MI300 GPU 準備多項令人期待的功能。 未來幾週,我們會大力投資的主要領域之一是迷你浮點格式(即 float8 或更低精度)。 這些資料格式天生能以非均勻方式壓縮資訊,減輕整數格式所面對的部分問題。
在 LLM 推論等情境中,這可把 LLM 通常使用的鍵值快取縮小一半。 其後,把 float8 儲存的鍵值快取與 float8/float8 矩陣乘法結合,還能帶來額外效能提升並減少記憶體佔用。
總結
如你所見,AMD MI300 大幅提升 AI 使用情境的效能,涵蓋由訓練到推論的端到端工作流程。 我們 Hugging Face 團隊十分期待社羣及企業能利用這些新硬件和整合方案實現甚麼成果。 我們期待聽取你的意見,並協助你處理使用情境。
歡迎瀏覽 optimum-AMD 及 text-generation-inference GitHub 儲存庫,掌握 AMD GPU 最新的效能最佳化資訊!
來源:Hugging Face Blog · huggingface.co

