llama.cpp server 新增路由模式,支援無需重啟切換多個模型
New in llama.cpp: Model Management
llama.cpp server 現已提供 router mode,可在不重啟的情況下動態載入、卸載及切換多個模型。它會從 llama.cpp 快取或指定的 --models-dir 尋找 GGUF,並在收到請求時載入模型;達到 --models-max 上限時按 LRU 卸載,預設最多同時載入 4 個模型。各模型以獨立程序運行,一個模型崩潰不會影響其他模型。
多進程隔離配合按需載入和 LRU 卸載,展示 llama.cpp 如何在同一服務中管理多個模型並限制同時載入數量。
llama.cpp server 現已支援路由器模式,可動態載入、卸載及切換多個模型,無需重新啟動。
提醒:llama.cpp server 是輕量、兼容 OpenAI 的 HTTP 伺服器,可在本機執行 LLM。
這項功能是用戶熱門要求,希望為 llama.cpp 加入類似 Ollama 的模型管理。它採用多進程架構,每個模型各自在獨立進程中執行,因此一個模型崩潰時,其他模型不會受影響。
快速開始
啟動伺服器時不要指定模型,即可使用路由器模式:
llama-server
系統會自動從 llama.cpp 快取(LLAMA_CACHE 或 ~/.cache/llama.cpp)探索模型。如果你之前透過 llama-server -hf user/model 下載模型,它們便會自動可用。
你亦可以指定包含 GGUF 檔案的本機目錄:
llama-server --models-dir ./my-models
功能
- 自動探索:掃描 llama.cpp 快取(預設)或自訂的
--models-dir資料夾,尋找 GGUF 檔案 - 按需載入:首次收到請求時自動載入模型
- LRU 淘汰:達到
--models-max(預設:4)時,卸載最近最少使用的模型 - 請求路由:請求中的
model欄位會決定由哪個模型處理
範例
與指定模型對話
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "ggml-org/gemma-3-4b-it-GGUF:Q4_K_M",
"messages": [{"role": "user", "content": "Hello!"}]
}'
首次提出請求時,伺服器會自動將模型載入記憶體(載入時間視乎模型大小)。由於模型已載入,其後對同一模型的請求會即時完成。
列出可用模型
curl http://localhost:8080/models
傳回所有已探索模型及其狀態(loaded、loading 或 unloaded)。
手動載入模型
curl -X POST http://localhost:8080/models/load \
-H "Content-Type: application/json" \
-d '{"model": "my-model.gguf"}'
卸載模型以釋放 VRAM
curl -X POST http://localhost:8080/models/unload \
-H "Content-Type: application/json" \
-d '{"model": "my-model.gguf"}'
主要選項
| 旗標 | 説明 |
|---|---|
--models-dir PATH |
包含 GGUF 檔案的目錄 |
--models-max N |
可同時載入的模型數量上限(預設:4) |
--no-models-autoload |
停用自動載入;必須明確呼叫 /models/load |
所有模型執行個體會繼承路由器的設定:
llama-server --models-dir ./models -c 8192 -ngl 99
所有已載入模型均使用 8192 context 和完整 GPU offload。你亦可透過預設設定為個別模型設定參數:
llama-server --models-preset config.ini
[my-model]
model = /path/to/model.gguf
ctx-size = 65536
temp = 0.7
網頁介面亦支援
內置網頁介面亦支援切換模型。只需從下拉式選單選擇模型,系統便會自動載入。
加入討論
我們希望這項功能可讓你更輕鬆地 A/B 測試不同模型版本、執行多租戶部署,或在開發時切換模型而無需重新啟動伺服器。
有問題或意見嗎?請在下方留言,或到 GitHub 提交問題。
來源:Hugging Face Blog · huggingface.co