vLLM 官方博客· Ranran Haoran Zhang, Lik Xun Yuan, Chao Ju Chen, Eric Curtin, Michael Goin·2026-09-22 08:00· 15 天前AI 評分68

vllm-metal 宣佈推出 Apple Silicon 併發推理服務

Announcing vllm-metal: Concurrent Serving on Apple Silicon

摘要

vllm-metal 把 vLLM 的排程器、分頁 KV cache 和 OpenAI 相容伺服器帶到 Apple Silicon，並以 MLX 和 Metal 執行模型。

來源：vLLM 官方博客 · vllm.ai