FreeToken以系統RAM運行284B MoE模型

2026年11月6日，DEV Community 報道 FlashML-org 的 FreeToken，介紹它如何在個人硬件上運行大型 MoE 模型，以及相關 RAM 需求。FreeToken 以系統 RAM 存放 MoE 專家，並在 GPU 快取常用專家。報道提到，相關論文報告在遊戲桌面電腦上運行 284B 模型。作者估算，284B 模型的 NVFP4 權重約佔 160 GB，而相關消費級配置約需 192 GB RAM。報道特別指出，這兩項容量數字是作者估算，並非 FreeToken 公佈的數據。

AI 根據報道生成 · 1 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。