Edge0-145B、Edge0-120B 及推理框架開源,支援個人電腦本地部署
Edge0 開源 Edge0-145B、Edge0-120B,以及統一推理框架和部署工具,供開發者在個人電腦本地執行、評測或微調模型。Edge0-145B 有 145B 參數,文章報告其峯值記憶體為 29GB、解碼速度超過 80 tokens/s,並列出編碼、推理及指令遵循等基準成績。本地推理不產生相應的雲端模型 token 或 API 費用,資料可留在電腦,核心模型能力亦可離線使用。
推薦理由:文章拆解模型架構、訓練、載入與 CPU/GPU 排程如何配合推理框架,呈現大規模模型在個人電腦本地執行的設計方法。