Hugging Face 推出 Deploy on Google Cloud,讓開放模型可部署至 Vertex AI 和 GKE
Making thousands of open LLMs bloom in the Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 整合,讓用户可把 Hub 上的開放模型部署至 Vertex AI 或 GKE。所有帶有「text-generation-inference」標籤的模型均獲支援;Vertex Model Garden 提供數百個熱門開放 LLM 的即用測試硬件配置。
這項整合串起 Hugging Face 模型探索與 Google Cloud 部署,並為數百個熱門開放 LLM 提供測試硬件配置,呈現更直接的雲端部署流程。
今天,我們很高興宣佈推出 Deploy on Google Cloud,這是 Hugging Face Hub 的新整合功能,可透過 Vertex AI 或 Google Kubernetes Engine (GKE),輕鬆將數以千計的基礎模型部署至 Google Cloud。Deploy on Google Cloud 讓你可直接透過 Hugging Face 模型卡,或在 Vertex Model Garden 內,將開放模型部署為自己 Google Cloud 帳戶中的 API 端點。Vertex Model Garden 是 Google Cloud 集中探索、自訂和部署 Google 及其合作夥伴各類模型的平台。由今天起,我們會透過正式環境方案 Text Generation Inference,為 Hugging Face 上最熱門的開放模型提供推論服務。
使用 Deploy on Google Cloud,開發者可直接在安全的 Google Cloud 環境中構建適合正式環境的生成式 AI 應用程式,無需管理基礎設施或伺服器。
攜手合作,成就 AI 開發者
這項新體驗延續我們今年較早前宣佈的策略夥伴關係,為 Google 客戶簡化存取和部署開放生成式 AI 模型的流程。開發者和機構面對的主要問題之一,是安全可靠地部署模型所需時間和資源。Deploy on Google Cloud 為 Hugging Face 模型提供專用設定和資產,以簡易的託管方案應對這些挑戰。只需點擊幾下,即可在 Google Cloud Vertex AI 建立適合正式環境的端點。
「Vertex AI 的 Model Garden 與 Hugging Face Hub 整合後,無論你從 Hub 還是直接從 Google Cloud Console 開始,都能輕鬆地在 Vertex AI 和 GKE 探索及部署開放模型,」Google 產品經理 Wenming Ye 説。「我們很期待看到 Google 開發者使用 Hugging Face 模型構建甚麼。」
運作方式:從 Hub 開始
在 Google Cloud 部署 Hugging Face 模型非常簡單。下文會逐步説明如何部署 Zephyr Gemma。由今天起,系統支援所有帶有「text-generation-inference」標籤的模型。
開啟「Deploy」選單並選擇「Google Cloud」,系統便會直接帶你進入 Google Cloud Console,只需點擊 1 次,即可在 Vertex AI 或 GKE 部署 Zephyr Gemma。
進入 Vertex Model Garden 後,可選擇 Vertex AI 或 GKE 作為部署環境。使用 Vertex AI 時,只需按 1 次「Deploy」即可部署模型。使用 GKE 則可參閲指引和設定範本,將模型部署至新的或正在運作的 Kubernetes 叢集。
運作方式:從 Vertex Model Garden 開始
Vertex Model Garden 是 Google 開發者尋找生成式 AI 專案即用模型的平台。由今天起,Vertex Model Garden 推出新體驗,讓用戶輕鬆部署 Hugging Face 上最熱門的開放 LLM!
你可在 Google Vertex AI Model Garden 內選擇新的「Deploy From Hugging Face」選項,直接在 Google Cloud Console 搜尋和部署 Hugging Face 模型。
按下「Deploy From Hugging Face」後,畫面會顯示表格,讓你快速搜尋模型 ID。Hugging Face 上數百款最熱門的開放 LLM,均備有經測試、即用的硬件設定。
找到想部署的模型後,選取模型,Vertex AI 便會預先填妥所有必要設定,讓你部署至 Vertex AI 或 GKE。你亦可按「在 Hugging Face 查看」確認選擇了正確模型。如果使用受權限限制的模型,請提供 Hugging Face 存取權杖,授權下載模型。
就是這樣!直接從 Vertex Model Garden 將 Zephyr Gemma 等模型部署至自己的 Google Cloud 帳戶,只需點擊幾下。
我們才剛剛開始
我們很高興與 Google Cloud 合作,讓 AI 更開放、易於使用。無論從 Hugging Face Hub 還是 Google Cloud Console 開始,在 Google Cloud 部署開放模型都前所未有地簡單。我們還會繼續擴展,讓用戶可在 Google Cloud 透過開放模型構建更多 AI 體驗,敬請期待!
來源:Hugging Face Blog · huggingface.co




