Hugging Face 與 OpenRouter 合作,簡化開放權重模型的調用
Hugging Face and OpenRouter join forces to make open-weight models easy to run
Hugging Face 宣佈與 OpenRouter 合作,將 Inference Providers 的語言模型請求改由 OpenRouter 路由,按供應商即時價格、速度和可靠性選擇服務商,並在失敗時改由其他供應商重試。
文章説明語言模型路由如何按即時價格、速度和可靠性選擇供應商,並交代故障重試及自備 API key 不再適用的影響。
Hugging Face 與 OpenRouter 正合作,讓開放權重模型更容易執行。每個主要的開放權重模型版本現已在 Hugging Face Hub 上發布,而 OpenRouter 大規模提供這些模型服務,並根據各供應商的即時測量數據,將每項請求分流至 80 多個供應商。兩者合作後,Hub 上任何有供應商提供服務的開放權重模型,都可以透過同一個 API,使用你的 Hugging Face token 呼叫,並為每項請求選出最佳供應商。
今天,我們將 Inference Providers 從自家自訂路由器切換至 OpenRouter 的路由器。現在,發送至語言模型的請求都會經由 OpenRouter,由它根據即時價格、速度和可靠性,為每次呼叫選出最佳供應商;如果第一個供應商失敗,便會改由另一個供應商重試。你的程式碼毋須更改。
使用你現有的工具執行模型
無論聊天模型背後使用哪個供應商,路由器都支援 OpenAI 的 Chat Completions 和 Responses API,以及 Anthropic 的 Messages API。選擇你的編碼 Agent 或 SDK,以及一個模型,然後複製步驟;你也可以將整套設定複製為提示詞,交給你的 Agent:
Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的設定指南
同一個 Hugging Face token 亦可讓你使用 Storage Buckets 儲存資料、透過 Jobs 使用運算資源,以及使用專用推理服務 Inference Endpoints。PRO、Team 和 Enterprise 方案包括每月運算及推理額度。
開放權重模型的使用情況
在 OpenRouter 上,開放權重模型佔已提供服務的 token 比例,從 2025 年 10 月的 26.8% 上升至 2026 年 9 月底的 71.7%,並曾於 7 月升至 77.5%(OpenRouter,2026 年 10 月)。同期,開放權重模型的每週用量增長逾 60 倍,封閉模型則接近 10 倍。本週,OpenRouter 上使用量最高的模型是開放權重模型 DeepSeek V4.1 Flash 1017,使用量達 59.2 萬億個 token(排行榜)。
開放權重模型的平均成本約為封閉模型的四分之一:每百萬個輸入 token 為 $0.28,每百萬個輸出 token 為 $1.62;封閉模型則分別為 $1.27 和 $6.36。
在最嚴苛的基準測試中,最佳開放權重模型仍落後於最佳專有模型。在 Artificial Analysis Intelligence Index 上,最佳開放權重模型 Kimi K3.1 Pro 得分為 46,Claude Fable 5.2 則為 65;不過,每項任務的成本約為後者的七分之一($3.68 對 $26.54)。對不少工作負載而言,這種取捨值得。
由 OpenRouter 提供路由服務
OpenRouter 每月為超過 1,000 萬名用戶提供逾 800 萬億個 token 的服務,涵蓋 80 多個供應商的 600 多個模型。其路由會根據所有流量中各供應商的即時測量數據運作。
OpenRouter 最近重建了供應商路由系統:不再只考慮最低標價,而是將每項請求送往在價格、速度和可靠性方面組合最佳的供應商。
當供應商速度變慢或開始出現故障,流量便會轉移至其他供應商,直至其恢復;如果請求失敗,系統會在同一次呼叫中改由次佳供應商重試。根據 OpenRouter 的測量結果,新路由令容量錯誤減少 46%,首個 token 的輸出時間縮短 16.9%,吞吐量則提升 16.3%。
以前,Inference Providers 會為你的請求選擇一個供應商;如果該供應商處理失敗,便會傳回其錯誤。現在,系統會改為在另一個供應商重試請求。你仍可在模型 ID 加上後綴,以選擇政策或供應商:
zai-org/GLM-5.3 # default: best mix of price, speed and reliability
zai-org/GLM-5.3:fastest # highest throughput
zai-org/GLM-5.3:cheapest # lowest price
zai-org/GLM-5.3:novita # only Novita
路由亦會考慮快取:對話會留在保有其提示詞快取的供應商。要明確指定,請在 X-HF-Session-Id 標頭中,為每段對話傳送一個穩定的 UUID(請參閲提示詞快取指南)。
\n\t\n\t\n\t\t定價\n\t\n
定價不變:你只需按 Hugging Face 帳單上的供應商價格付款,Hugging Face 不會額外加價。PRO 用戶每月可獲 $2 額度,Team 和 Enterprise 組織則每個席位可獲 $2 額度。請參閲定價與帳單瞭解詳情。
\n\t\n\t\n\t\t圖像、影片及音訊生成\n\t\n
圖像、影片及音訊生成仍會如以往一樣運作,直接透過 Hugging Face Inference Providers 進行,不會經由 OpenRouter。你可以繼續使用相同的 token 和 API,並存取數以萬計的LoRAs。
\n\t\n\t\n\t\t查看請求的路由去向\n\t\n
在模型頁面上,你可以立即在小工具中與模型聊天。兩個新增分頁會顯示背後的資訊:Providers 會列出 OpenRouter 可將該模型路由至的所有供應商,以及各供應商過去 24 小時的輸入和輸出價格、速度及正常運作時間;Metrics 則會顯示當中最佳的價格、吞吐量、首個 token 所需時間、上下文長度及正常運作時間:
你的使用情況總覽會按每項請求所使用的供應商細分支出:
在設定中,你可以關閉不想使用的供應商,路由器便不會將你的請求傳送至該供應商。組織亦有相同設定,並適用於所有向該組織收費的請求。
\n\t\n\t\n\t\t重大變更:自訂供應商金鑰\n\t\n
現在,發送至語言模型的請求會經由 OpenRouter 處理,並向你的 Hugging Face 帳戶或組織收費,因此你不能再為這些模型使用自己的供應商 API 金鑰。你仍可在模型 ID 加上後綴(model:provider)來選擇供應商,或在設定中關閉供應商;你的程式碼則毋須改動。圖像及影片供應商的自訂金鑰仍可使用。
\n\t\n\t\n\t\t接下來\n\t\n
這是我們與 OpenRouter 合作的第一步。接下來:
- 將你的 OpenRouter 帳戶連結至 Hugging Face。
- 更多工作會透過 OpenRouter 路由。
試用一個模型,或閲讀Inference Providers 説明文件以開始使用。
來源:Hugging Face Blog · huggingface.co