Mistral AI·· 2026-01-22精選AI 評分60
Mistral AI 分享 vLLM 記憶體洩漏的排查與修復過程
Heaps do lie: debugging a memory leak in vLLM.
AI 導讀
Mistral AI 團隊追查 vLLM 分離式服務的記憶體洩漏，定位到 UCX 的 mmap hook 與延後清理的記憶體池。問題只在使用 NIXL 的 Prefill/Decode 分離式設定中重現；設置 UCX_MEM_MMAP_HOOK_MODE=none 可解決洩漏，且在此 vLLM 用例中不影響效能。
推薦理由
這篇排查記錄示範如何從 RSS 與匿名映射的異常增長開始，逐步利用 BPFtrace 和 GDB 定位 UCX mmap hook，並整理 vLLM 分離式服務可用的修復設定。
來源：Mistral AI · mistral.ai