跳到正文
Hugging Face Blog·· 2025-12-11精選AI 評分68

llama.cpp server 新增路由模式,支援無需重啟切換多個模型

New in llama.cpp: Model Management

AI 導讀

llama.cpp server 現已提供 router mode,可在不重啟的情況下動態載入、卸載及切換多個模型。它會從 llama.cpp 快取或指定的 --models-dir 尋找 GGUF,並在收到請求時載入模型;達到 --models-max 上限時按 LRU 卸載,預設最多同時載入 4 個模型。各模型以獨立程序運行,一個模型崩潰不會影響其他模型。

推薦理由

多進程隔離配合按需載入和 LRU 卸載,展示 llama.cpp 如何在同一服務中管理多個模型並限制同時載入數量。

正文 · 繁體中文

llama.cpp server 現已支援路由器模式,可動態載入、卸載及切換多個模型,無需重新啟動。

提醒:llama.cpp server 是輕量、兼容 OpenAI 的 HTTP 伺服器,可在本機執行 LLM。

這項功能是用戶熱門要求,希望為 llama.cpp 加入類似 Ollama 的模型管理。它採用多進程架構,每個模型各自在獨立進程中執行,因此一個模型崩潰時,其他模型不會受影響。

快速開始

啟動伺服器時不要指定模型,即可使用路由器模式:

llama-server

系統會自動從 llama.cpp 快取(LLAMA_CACHE 或 ~/.cache/llama.cpp)探索模型。如果你之前透過 llama-server -hf user/model 下載模型,它們便會自動可用。

你亦可以指定包含 GGUF 檔案的本機目錄:

llama-server --models-dir ./my-models

功能

  1. 自動探索:掃描 llama.cpp 快取(預設)或自訂的 --models-dir 資料夾,尋找 GGUF 檔案
  2. 按需載入:首次收到請求時自動載入模型
  3. LRU 淘汰:達到 --models-max(預設:4)時,卸載最近最少使用的模型
  4. 請求路由:請求中的 model 欄位會決定由哪個模型處理

範例

與指定模型對話

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ggml-org/gemma-3-4b-it-GGUF:Q4_K_M",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

首次提出請求時,伺服器會自動將模型載入記憶體(載入時間視乎模型大小)。由於模型已載入,其後對同一模型的請求會即時完成。

列出可用模型

curl http://localhost:8080/models

傳回所有已探索模型及其狀態(loaded、loading 或 unloaded)。

手動載入模型

curl -X POST http://localhost:8080/models/load \
  -H "Content-Type: application/json" \
  -d '{"model": "my-model.gguf"}'

卸載模型以釋放 VRAM

curl -X POST http://localhost:8080/models/unload \
  -H "Content-Type: application/json" \
  -d '{"model": "my-model.gguf"}'

主要選項

旗標 説明
--models-dir PATH 包含 GGUF 檔案的目錄
--models-max N 可同時載入的模型數量上限(預設:4)
--no-models-autoload 停用自動載入;必須明確呼叫 /models/load

所有模型執行個體會繼承路由器的設定:

llama-server --models-dir ./models -c 8192 -ngl 99

所有已載入模型均使用 8192 context 和完整 GPU offload。你亦可透過預設設定為個別模型設定參數:

llama-server --models-preset config.ini
[my-model]
model = /path/to/model.gguf
ctx-size = 65536
temp = 0.7

網頁介面亦支援

內置網頁介面亦支援切換模型。只需從下拉式選單選擇模型,系統便會自動載入。

加入討論

我們希望這項功能可讓你更輕鬆地 A/B 測試不同模型版本、執行多租戶部署,或在開發時切換模型而無需重新啟動伺服器。

有問題或意見嗎?請在下方留言,或到 GitHub 提交問題。

來源:Hugging Face Blog · huggingface.co