跳到正文
原文
Hugging Face Blog·· 2026-06-26精選AI 評分68

用一條命令在 HF Jobs 上執行 vLLM 伺服器

Run a vLLM Server on HF Jobs in One Command

AI 導讀

Hugging Face Blog 示範用一條命令在 HF Jobs 上以 vLLM 啟動私有、OpenAI-compatible 的 LLM 端點。內容提供 curl 和 Python OpenAI client 呼叫範例,並示範以 SSH、Gradio 及 Pi 延伸使用;每次請求須附上具該 Job 讀取權限的 HF token。

推薦理由

文章把 HF Jobs、vLLM 與 OpenAI-compatible API 的部署、驗證和停止流程串成可複用命令,並説明私有端點的 token 權限與成本控制。

來源:Hugging Face Blog · huggingface.co