Hugging Face Hub 整合 fal、Replicate、Sambanova 和 Together AI 的無伺服器推理服務
Welcome to Inference Providers on the Hub 🔥
Hugging Face 將 fal、Replicate、Sambanova 和 Together AI 四家無伺服器推理服務整合至 Hub 模型頁面及 JS、Python SDK。用户可使用自己的供應商 API key 直接呼叫並由供應商收費,也可透過 Hugging Face 路由請求,按供應商標準 API 價格計費且不加價。
四家無伺服器推理服務接入 Hub 模型頁面及 SDK,文章亦交代自帶供應商 API key 與 Hugging Face 路由的調用和計費差異,便於評估接入方式。
今天,我們在 Hub 的模型頁面上直接整合四款優秀的無伺服器 Inference Providers:fal、Replicate、Sambanova、Together AI。它們亦已無縫整合至我們的用戶端 SDK(JS 和 Python),讓你以前所未有的簡單方式,透過喜愛的 Provider 探索多種模型的無伺服器推論。

我們在 Hub 提供無伺服器 Inference API 已有多年(v1 於 2020 年夏天推出,時光飛逝 🤯)。這讓使用者能輕鬆探索及製作原型;與此同時,我們亦進一步聚焦核心價值,為社羣協作、儲存、版本管理和分享大型數據集及模型。無伺服器 Provider 同期亦蓬勃發展,因此 Hugging Face 正好推出優秀 Provider 組合,讓大家輕鬆統一地使用無伺服器推論。
正如我們與 AWS、Nvidia 等優秀夥伴合作,透過模型頁面的 Deploy 按鈕提供專用部署選項,我們亦自然會與新一代無伺服器推論 Provider 合作,提供以模型為核心的無伺服器推論。
以下以近期廣為人知的 DeepSeek-ai/DeepSeek-R1 為例,看看這項功能帶來甚麼:🔥
SambaNova 共同創辦人兼行政總裁 Rodrigo Liang:"我們很高興與 Hugging Face 合作,加快其 Inference API 的發展。Hugging Face 開發者現可使用多款最佳開放原始碼模型,並享有快得多的推論速度。"
Zeke Sikelianos,Replicate 創辦設計師:"Hugging Face 是開放原始碼模型權重的實際首選平台,並一直是令 AI 更普及的重要推手。我們在 Replicate 內部亦以 Hugging Face 作為首選權重登記庫,很榮幸成為首批參與此次發布的推論 Provider。"
這只是開始,我們會在未來數週與社羣攜手繼續完善!
運作方式
在網站介面中
- 在使用者帳戶設定中,你可以:
- 為已註冊的 Provider 設定自己的 API 金鑰。否則你仍可使用這些 Provider,但請求會經 HF 路由。
- 按偏好排列 Provider。此設定適用於模型頁面的元件和程式碼片段。

- 如前所述,呼叫 Inference API 時有兩種模式:
- 自訂金鑰(呼叫會使用你為相應 Inference Provider 設定的 API 金鑰,直接傳送至該 Provider);或
- 由 HF 路由(這種情況下,你毋須取得 Provider 的 Token,費用會直接記入你的 HF 帳戶,而非 Provider 帳戶)

- 模型頁面會顯示第三方推論 Provider(與目前模型相容者,並按使用者偏好排序)

使用用戶端 SDK
使用 Python 和 huggingface_hub
以下範例示範如何使用 Together AI 作為 Inference Provider,呼叫 DeepSeek-R1。你可以使用 Hugging Face Token,透過 Hugging Face 自動路由;如果你有 Together AI API 金鑰,也可以使用自己的金鑰。
安裝 v0.28.0 或更新版本的 huggingface_hub(版本説明)。
from huggingface_hub import InferenceClient
client = InferenceClient(
provider="together",
api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)
messages = [
{
"role": "user",
"content": "What is the capital of France?"
}
]
completion = client.chat.completions.create(
model="deepseek-ai/DeepSeek-R1",
messages=messages,
max_tokens=500
)
print(completion.choices[0].message)
注意:你亦可使用 OpenAI 用戶端函式庫呼叫 Inference Providers;請看這裏的 DeepSeek 模型範例。
以下示範如何使用文字提示生成圖像:模型 FLUX.1-dev 在 fal.ai 上運行:
from huggingface_hub import InferenceClient
client = InferenceClient(
provider="fal-ai",
api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)
# output is a PIL.Image object
image = client.text_to_image(
"Labrador in the style of Vermeer",
model="black-forest-labs/FLUX.1-dev"
)
如要改用其他 Provider,只需更改 Provider 名稱,其他內容保持不變:
from huggingface_hub import InferenceClient
client = InferenceClient(
- provider="fal-ai",
+ provider="replicate",
api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)
使用 JS 和 @huggingface/inference
import { HfInference } from "@huggingface/inference";
const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");
const chatCompletion = await client.chatCompletion({
model: "deepseek-ai/DeepSeek-R1",
messages: [
{
role: "user",
content: "What is the capital of France?"
}
],
provider: "together",
max_tokens: 500
});
console.log(chatCompletion.choices[0].message);
使用 HTTP 呼叫
我們在 huggingface.co 網域下直接提供 Routing proxy,你可以直接呼叫;例如,這對 OpenAI 相容 API 特別有用。只需把以下網址設為 base URL:https://router.huggingface.co/{:provider}。
以下示範如何透過 cURL,使用 Sambanova 作為 Inference Provider 呼叫 Llama-3.3-70B-Instruct。
curl 'https://router.huggingface.co/sambanova/v1/chat/completions' \
-H 'Authorization: Bearer xxxxxxxxxxxxxxxxxxxxxxxx' \
-H 'Content-Type: application/json' \
--data '{
"model": "Llama-3.3-70B-Instruct",
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
],
"max_tokens": 500,
"stream": false
}'
收費
對於直接請求,即使用 Inference Provider 的金鑰呼叫,你會由相應 Provider 收費。例如,若使用 Together AI 金鑰,費用便會記入你的 Together AI 帳戶。
對於路由請求,即透過 Hub 驗證的請求,你只需支付 Provider 的標準 API 費率。我們不會額外加價,只會直接轉收 Provider 費用。(未來我們可能會與 Provider 夥伴訂立收益分成協議。)
重要事項 ‼️ PRO 使用者每月可獲價值 $2 的 Inference 額度,可用於不同 Provider。🔥
訂閲 Hugging Face PRO 計劃,即可取得 Inference 額度、ZeroGPU、Spaces Dev Mode、20 倍使用上限等功能。
我們亦為已登入的免費使用者提供少量免費推論額度;如情況許可,歡迎升級至 PRO!
意見和後續計劃
我們很期待收到你的意見!你可以使用這個 Hub 討論區連結:https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49
來源:Hugging Face Blog · huggingface.co