Hugging Face 精選模型目錄登陸 Microsoft Foundry Managed Compute,開放預覽
Hugging Face Models on Foundry Managed Compute
Hugging Face 與 Microsoft 將每週更新的精選開放權重模型目錄加入 Microsoft Foundry Model Catalog,並可一鍵部署至 Foundry Managed Compute。
文章梳理模型篩選、權重預置和執行環境掃描的上架流程,説明企業如何在私有網絡內部署而毋須連出 Hugging Face Hub。
在 Microsoft Build 2026 上,我們宣佈推出 Foundry Managed Compute 及 Foundry 上的 Hugging Face 模型:從 Hugging Face 生態系統精選的開放權重模型目錄,每週更新,只需按一下即可部署至 Foundry Managed Compute。模型權重預先暫存於 Azure,Microsoft 負責建立及掃描執行環境;Collection 中每個模型都享有 Foundry 其他模型同等的企業級安全性、治理、可觀測性和計費服務。
平台:Microsoft Foundry 和 Managed Compute
Microsoft Foundry 是用來建構和營運代理式 AI 應用程式的平台。Foundry 提供各雲端中最廣泛的模型選擇,包括 Microsoft、OpenAI、Anthropic、Meta、Mistral、DeepSeek、Hugging Face 等模型,涵蓋前沿、開源及自訂權重;全部都可透過單一端點,以及 Python、C#、JavaScript 和 Java 的同一套 SDK 存取。
在這些模型之上是 Foundry Agent Service:具備內置記憶、多代理協調功能,透過 Foundry IQ 建立知識基礎,並提供可透過代理協定連接的工具目錄,讓代理程式能處理企業數據。代理程式開始運作後,Foundry 會提供端到端追蹤、即時監察、持續評估,以及根據評估結果改善代理程式行為的提示優化器;這些可觀測性和質素改進循環都是平台的一部分。
此外,開發人員亦可使用:
- 內容安全篩選器
- 任務遵循防護措施
- 用於對抗測試的 AI Red Teaming Agent
- 統一 RBAC
- 私人網絡
- 平台內直接整合 Azure Policy
除了按 token 付費(入門門檻最低)和預留輸送量(適用於前沿模型,為生產工作負載提供可預測的高效能)外,Foundry Managed Compute 是 Foundry 的第三種部署選項:為開源和自訂模型提供的受管理 GPU 平台即服務。
你部署模型實例時,只需描述工作負載關注的要素,例如參數數目、上下文長度,以及希望優先優化延遲還是輸送量;Foundry 會在底層處理 GPU 拓撲,無論實例使用一個還是多個加速器,讓你可以從模型角度思考和規劃。
Microsoft 會負責維護機器:在支援的 runtime(vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp)上,容器更新、runtime 升級和安全修補程式都會自動套用,無須重新部署模型;模型設定、部署行為和路由則仍由你掌控。
這種一致性亦延伸至開發者介面;按 token 付費、預留輸送量和 Managed Compute 共用:
- 單一端點
- 相同的 SDK
- 相同的驗證方式
- 相同的可觀測性
- 單一帳單
開源模型與 Foundry Agents 的整合方式與前沿模型相同,因此你可以在同一個代理程式中混用不同類型的模型,無須另設整合流程。
Managed Compute 提供:
- 全球部署 — 容量最廣,價格最優惠
- Data Zone 部署 — 配合數據駐留和主權要求
相同的程式碼,相同的工作流程。配額按加速器系列劃分,因此現時以 H100 系列制定的方案,日後推出新一代硬件時仍可沿用。
為何選擇 Hugging Face
Hugging Face 是開放 AI 的公共廣場:有 1,500 萬名建構者、40 萬個機構,以及發布超過 300 萬個開放模型;代理式編程、影片分割、語音和 embeddings 等前沿能力每週都有新進展。它就像開放模型界的 GitHub,社羣會在此發布權重、撰寫模型卡、比較評估結果,並下載模型作實驗。
開放模型在一項又一項基準測試中追上專有模型,亦能解鎖專有端點無法提供的能力:
- 最先進的技術如今亦可開放使用。在最廣泛使用的基準測試中,領先的開放權重模型已可與頂尖閉源前沿模型競爭。
- 深入自訂。完整權重讓你可以微調、蒸餾、量化,並以 LoRA 調整模型,配合你的領域、數據,以及延遲和成本目標。
- 你的模型,由你託管。模型權重會在你控制的基礎設施、你的租用戶內執行,位於你的推論端點之後,並受你的身分識別及網絡邊界保護。
- 靈活控制成本。按小時支付加速器費用,閒置時可縮減至零,並按指定模型選擇合適規格的 GPU;這對穩定、高流量或對延遲敏感的工作負載特別有用,因為這些情況下按 token 計價較難預測。
- 版本控制。固定指定模型版本,完成評估和部署,並按自己的發布節奏升級或回復舊版。
一直以來的難題都是營運層:模型探索、授權審查、安全篩查、runtime 選擇、GPU 規格配置、映像建置、CVE 修補,以及在企業級端點後啟動模型。Hugging Face 本身並非企業級模型服務平台。由 Microsoft 營運的 Hugging Face 模型 on Foundry,正是這個營運層。
Foundry 上的 Hugging Face 模型
Hugging Face Collection 將一批精選模型直接加入 Foundry Model Catalog:
- 每週更新 — 隨著社羣發布新模型,Hugging Face 生態系統中的熱門模型會持續加入。
- 涵蓋各種模態 — 文字、視覺、音訊及多模態:用於聊天和代理程式的 LLM 及 VLM、ASR 和語音翻譯、embeddings、分割、圖像生成。
- 只提供 Safetensors,不執行不受信任程式碼 — Collection 中每個模型都經過安全篩查,並以 SafeTensors 權重格式提供;除非經過嚴格審查,否則不會執行
trust_remote_code路徑。 - 為模型選用合適的 runtime — LLM 使用 vLLM 和 SGLang;適用時使用 TensorRT-LLM 和 NIM;embeddings 使用 TEI;CPU 則使用 llama.cpp。Foundry 會為模型選擇合適的引擎。
對你而言,Hugging Face Collection 中的開放權重模型,外觀和行為都與 Foundry Model Catalog 中其他模型無異。而且 Collection 中的每個模型,在出現在目錄前都已通過多階段發布流程。
精選流程
Hugging Face 與 Microsoft 合作,透過系統化的精選流程,將 Hugging Face 生態系統中最受歡迎的開放權重模型引入 Microsoft Foundry,讓模型可供企業環境投入生產使用:
- 找出熱門模型 — 根據社羣訊號、合作夥伴要求和客戶需求,從 Hugging Face 生態系統中挑選候選模型,評估其是否適合企業使用。
- 進行合規與安全篩查 — 按照 Microsoft 企業分發政策審查模型授權(並在目錄模型卡中記錄和保留授權中繼資料),以及檢查程式碼儲存庫中的
trust_remote_code模式和自訂可執行程式碼。任何需要在載入時執行第三方 Python 程式碼的模型,都會先修正,否則便會排除。 - 建置、掃描並發布 runtime — Microsoft 會使用支援的 runtime(vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp)建置推論容器映像,掃描 CVE,然後簽署並發布至 Microsoft 管理的容器登錄。
- 將權重上載至安全的 Azure 儲存空間 — 模型權重只會從 Hugging Face 下載一次,並按已發布的模型卡驗證,再存放於 Microsoft 管理、模型提供服務的各個區域中的 Azure 儲存空間。
- 驗證並發布至目錄 — 每種「模型 + runtime + 加速器」組合都會接受 API 相容性測試(聊天完成、embeddings、重排序等)和效能測試(延遲、輸送量、首個 token 時間、token 間解碼時間)。通過驗證的模型連同其模板、runtime 映像和權重,會發布到 Foundry Model Catalog,並可一鍵部署至 Managed Compute。
由於模型權重已預先暫存於 Azure 儲存空間,而 runtime 映像存放在 Microsoft 管理的登錄中,部署時無須連線至 Hugging Face Hub;你可以在私人網絡內部署至生產環境。
模型 Runtime
Foundry 上的 Hugging Face 模型由多種社羣建置的開源推論 runtime 提供支援。每種 runtime 都經過挑選和調校,適用於 Foundry Managed Compute,並配合最適合服務的模型架構。所有 runtime 都會經過系統化精選流程,因此新版本和修補程式會迅速套用至 Foundry;現有模型部署亦會自動升級,無須重新部署。
vLLM — 為開放大型語言模型提供高輸送量服務的預設引擎,並針對生產環境 GPU 工作負載調校。由於 Hugging Face 直接參與 vLLM 開發,Transformers 程式庫中的任何模型都可開箱即用地在 vLLM 上執行。因此,新模型一旦登陸 Hugging Face,同日即可在 Foundry 提供服務,無須等待自訂整合。
SGLang — 為語言及多模態模型提供服務的引擎,支援結構化輸出(JSON、正則表達式、文法限制生成),這些能力是代理式和使用工具的工作負載所需。Hugging Face 與 SGLang 團隊已為 SGLang 建置 Transformers 後端整合,因此 Transformers 程式庫中的任何模型都可開箱即用地在 SGLang 上執行,並可在模型登陸 Hugging Face 的同日加入 Foundry。
Text Embeddings Inference(TEI) — 用於 embedding、重排序器和序列分類模型的 runtime。針對不同加速器的映像會附上為 Foundry 支援的各種 GPU 和 CPU 系列編譯的核心,令 RAG 和語意搜尋工作負載的 embedding 熱路徑保持精簡。
llama.cpp — 為經 GGUF 量化模型提供 CPU 和小型 GPU 部署方案。適合成本優化部署、較小型模型及只有 CPU 的區域,並提供與 vLLM 和 SGLang 相同、相容 OpenAI 的 API。
TensorRT-LLM 和 NIM — 適用於 NVIDIA 硬件;針對特定模型系列,NVIDIA 優化核心及以 Triton 為基礎的服務能顯著改善延遲或輸送量時便會採用。
hf-serve — Hugging Face 自家的多模型推論伺服器,用於 LLM 和 embedding 快速路徑以外的模型架構(視覺、音訊、分割及其他原生 Transformers 流程),讓 Collection 可以透過一致的服務層涵蓋所有模態。
部署及評分開放權重模型
首先前往 Foundry Model Catalog 中的 Hugging Face Collection,然後完成五個部署步驟:
- 瀏覽目錄並選擇模型 — 部署精靈亦會顯示模型 ID、部署模板 ID,以及使用 SDK 或 REST 編寫部署指令碼時所需的
acceleratorType。 - 選擇部署模板 — 針對延遲或輸送量優化、加速器系列、上下文長度及量化方式。
- 設定實例數目 — 增加模型實例以提升輸送量。
- 部署 — 可透過入口網站、CLI、SDK 或 REST 操作。
- 評分 — 透過統一 Foundry 端點,使用你現有的 SDK。
部署模板
部署模板是步驟 2 中的選擇單位:一項具名及有版本的資產,會固定 runtime、加速器系列和數目、上下文長度,以及妥善服務模型所需、與 runtime 相關的調校設定。因此,選擇模板就是你決定「想如何執行此模型」時唯一需要調整的選項。
例如,qwen3-32b 提供四種部署精靈並列顯示的模板:
| 模板 | Runtime | 加速器 | 上下文 |
|---|---|---|---|
qwen–qwen3-32b–40k-nvidia-a100 |
vLLM | 1 × A100 80 GB | 40K |
qwen–qwen3-32b–40k-nvidia-h100 |
vLLM | 1 × H100 80 GB | 40K |
qwen–qwen3-32b–128k-nvidia-2xa100 |
vLLM | 2 × A100 80 GB | 128K |
qwen–qwen3-32b–128k-nvidia-2xh100 |
vLLM | 2 × H100 80 GB | 128K |
每個模板都已按模型預先調校,包括 runtime 設定、工具呼叫及推理解析器、評分流程、健康檢查探針、請求並行數,以及任何與模型相關的上下文擴展設定。任何取捨亦會在模板説明中列明。使用指令碼部署時,只需參照模板,其餘工作由 Foundry 處理。
部署 — Python SDK
from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient
client = CognitiveServicesManagementClient(DefaultAzureCredential(), SUBSCRIPTION_ID)
deployment = client.managed_compute_deployments.begin_create_or_update(
resource_group_name=RESOURCE_GROUP,
account_name=ACCOUNT_NAME,
deployment_name="qwen3-32b",
resource={
"sku": {"name": "GlobalManagedCompute", "capacity": 1},
"properties": {
"model": "azureml://registries/azure-huggingface/models/qwen--qwen3-32b/versions/1",
"deploymentTemplate": "azureml://registries/azure-huggingface/deploymenttemplates/qwen--qwen3-32b--40k-nvidia-h100/labels/latest",
"acceleratorType": "H100_80GB",
},
},
).result()
評分 — OpenAI SDK
部署完成後,可透過 OpenAI SDK 使用統一 Foundry 端點呼叫;`model` 欄位填入剛建立的部署名稱:
from openai import OpenAI
api_key = client.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1
endpoint = f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1"
openai_client = OpenAI(base_url=endpoint, api_key=api_key)
completion = openai_client.chat.completions.create(
model=deployment.name,
messages=[{"role": "user", "content": "What is the capital of France?"}],
)
print(completion.choices[0].message)
在代理程式中使用
Collection 中的聊天完成模型可以管理員連接模型的形式加入 Foundry Agents,並可透過 Foundry Responses API 和同一套 OpenAI SDK 呼叫;驗證方式相同、端點相同、可觀測性亦相同。
現時提供的服務
現正開放預覽:Microsoft Foundry Model Catalog 中的 Hugging Face Collection,涵蓋各種模態的數千個模型,每週更新;可使用 NVIDIA A100、NVIDIA H100 或 AMD MI300X 加速器,在 Global 和 Data Zone 範圍部署至 Foundry Managed Compute。服務可透過統一 Foundry 端點存取,支援 Playground、原生 Azure Monitor 指標、每個部署的計費標籤,以及自動套用至部署項目的精選 runtime 升級和 CVE 修補程式。
未來規劃:擴大 Hugging Face 生態系統的涵蓋範圍、支援更多加速器系列,並提供 Bring Your Own Weights,讓微調和專有模型變體亦可沿用 Collection 模型相同的模板及治理方式部署。
Hugging Face 是發布和探索開放模型的平台;Microsoft Foundry 則讓企業將模型投入營運,採用託管於 Azure、經精選及授權與安全篩查的權重,以及由社羣建置並經 CVE 掃描的 runtime;再透過單一端點,提供企業身分識別、網絡、可觀測性和代理程式整合。這將開源生態系統的廣度,與 Microsoft 在底層營運的服務層結合起來。想深入瞭解 Foundry Managed Compute,包括定價、加速器 SKU、數據駐留、企業部署準備、可觀測性,以及完整的 Responses API + 記憶模式,請參閲Managed Compute 推出公告網誌。
來源:Hugging Face Blog · huggingface.co