跳到正文
Hugging Face Blog·· 2025-01-28精選AI 評分70

Hugging Face Hub 整合 fal、Replicate、Sambanova 和 Together AI 的無伺服器推理服務

Welcome to Inference Providers on the Hub 🔥

AI 導讀

Hugging Face 將 fal、Replicate、Sambanova 和 Together AI 四家無伺服器推理服務整合至 Hub 模型頁面及 JS、Python SDK。用户可使用自己的供應商 API key 直接呼叫並由供應商收費,也可透過 Hugging Face 路由請求,按供應商標準 API 價格計費且不加價。

推薦理由

四家無伺服器推理服務接入 Hub 模型頁面及 SDK,文章亦交代自帶供應商 API key 與 Hugging Face 路由的調用和計費差異,便於評估接入方式。

正文 · 繁體中文

今天,我們在 Hub 的模型頁面上直接整合四款優秀的無伺服器 Inference Providers:fal、Replicate、Sambanova、Together AI。它們亦已無縫整合至我們的用戶端 SDK(JS 和 Python),讓你以前所未有的簡單方式,透過喜愛的 Provider 探索多種模型的無伺服器推論。

Inference Providers

我們在 Hub 提供無伺服器 Inference API 已有多年(v1 於 2020 年夏天推出,時光飛逝 🤯)。這讓使用者能輕鬆探索及製作原型;與此同時,我們亦進一步聚焦核心價值,為社羣協作、儲存、版本管理和分享大型數據集及模型。無伺服器 Provider 同期亦蓬勃發展,因此 Hugging Face 正好推出優秀 Provider 組合,讓大家輕鬆統一地使用無伺服器推論。

正如我們與 AWS、Nvidia 等優秀夥伴合作,透過模型頁面的 Deploy 按鈕提供專用部署選項,我們亦自然會與新一代無伺服器推論 Provider 合作,提供以模型為核心的無伺服器推論。

以下以近期廣為人知的 DeepSeek-ai/DeepSeek-R1 為例,看看這項功能帶來甚麼:🔥

SambaNova 共同創辦人兼行政總裁 Rodrigo Liang:"我們很高興與 Hugging Face 合作,加快其 Inference API 的發展。Hugging Face 開發者現可使用多款最佳開放原始碼模型,並享有快得多的推論速度。"

Zeke Sikelianos,Replicate 創辦設計師:"Hugging Face 是開放原始碼模型權重的實際首選平台,並一直是令 AI 更普及的重要推手。我們在 Replicate 內部亦以 Hugging Face 作為首選權重登記庫,很榮幸成為首批參與此次發布的推論 Provider。"

這只是開始,我們會在未來數週與社羣攜手繼續完善!

運作方式

在網站介面中

  1. 在使用者帳戶設定中,你可以:
  • 為已註冊的 Provider 設定自己的 API 金鑰。否則你仍可使用這些 Provider,但請求會經 HF 路由。
  • 按偏好排列 Provider。此設定適用於模型頁面的元件和程式碼片段。

Inference Providers

  1. 如前所述,呼叫 Inference API 時有兩種模式:
  • 自訂金鑰(呼叫會使用你為相應 Inference Provider 設定的 API 金鑰,直接傳送至該 Provider);或
  • 由 HF 路由(這種情況下,你毋須取得 Provider 的 Token,費用會直接記入你的 HF 帳戶,而非 Provider 帳戶)

Inference Providers

  1. 模型頁面會顯示第三方推論 Provider(與目前模型相容者,並按使用者偏好排序)

Inference Providers

使用用戶端 SDK

使用 Python 和 huggingface_hub

以下範例示範如何使用 Together AI 作為 Inference Provider,呼叫 DeepSeek-R1。你可以使用 Hugging Face Token,透過 Hugging Face 自動路由;如果你有 Together AI API 金鑰,也可以使用自己的金鑰。

安裝 v0.28.0 或更新版本的 huggingface_hub(版本説明)。

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="together",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1", 
    messages=messages, 
    max_tokens=500
)

print(completion.choices[0].message)

注意:你亦可使用 OpenAI 用戶端函式庫呼叫 Inference Providers;請看這裏的 DeepSeek 模型範例。

以下示範如何使用文字提示生成圖像:模型 FLUX.1-dev 在 fal.ai 上運行:

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="fal-ai",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

# output is a PIL.Image object
image = client.text_to_image(
    "Labrador in the style of Vermeer",
    model="black-forest-labs/FLUX.1-dev"
)

如要改用其他 Provider,只需更改 Provider 名稱,其他內容保持不變:

from huggingface_hub import InferenceClient

client = InferenceClient(
-	provider="fal-ai",
+	provider="replicate",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

使用 JS 和 @huggingface/inference

import { HfInference } from "@huggingface/inference";

const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "together",
    max_tokens: 500
});

console.log(chatCompletion.choices[0].message);

使用 HTTP 呼叫

我們在 huggingface.co 網域下直接提供 Routing proxy,你可以直接呼叫;例如,這對 OpenAI 相容 API 特別有用。只需把以下網址設為 base URL:https://router.huggingface.co/{:provider}。

以下示範如何透過 cURL,使用 Sambanova 作為 Inference Provider 呼叫 Llama-3.3-70B-Instruct。

curl 'https://router.huggingface.co/sambanova/v1/chat/completions' \
-H 'Authorization: Bearer xxxxxxxxxxxxxxxxxxxxxxxx' \
-H 'Content-Type: application/json' \
--data '{
    "model": "Llama-3.3-70B-Instruct",
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ],
    "max_tokens": 500,
    "stream": false
}'

收費

對於直接請求,即使用 Inference Provider 的金鑰呼叫,你會由相應 Provider 收費。例如,若使用 Together AI 金鑰,費用便會記入你的 Together AI 帳戶。

對於路由請求,即透過 Hub 驗證的請求,你只需支付 Provider 的標準 API 費率。我們不會額外加價,只會直接轉收 Provider 費用。(未來我們可能會與 Provider 夥伴訂立收益分成協議。)

重要事項 ‼️ PRO 使用者每月可獲價值 $2 的 Inference 額度,可用於不同 Provider。🔥

訂閲 Hugging Face PRO 計劃,即可取得 Inference 額度、ZeroGPU、Spaces Dev Mode、20 倍使用上限等功能。

我們亦為已登入的免費使用者提供少量免費推論額度;如情況許可,歡迎升級至 PRO!

意見和後續計劃

我們很期待收到你的意見!你可以使用這個 Hub 討論區連結:https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49

來源:Hugging Face Blog · huggingface.co