Transformers 如何在 32GB Mac 上推理 180B MoE 模型,解碼速度接近 Strata
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。
文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。
直接從 SSD 串流 MoE 專家,token 生成速度與 Strata 相差不到 6%。
我一直嘗試減少依賴網上模型,改為在本機執行更大型的模型。家中有一部配備兩張 RTX 4090 的 PC(姑且稱它為 Orthrus——希臘神話中的雙頭獵犬),工作時則使用配備 32G 統一記憶體的 MacBook M5。
Orthrus 執行 Windows 11,因為我的孩子經常玩遊戲。我曾設定 Windows 和 Ubuntu 雙重開機,但他們的遊戲最後佔用了兩 TB 磁碟空間的大部分。
我也非常喜歡 RMD(rooms moving development):在廚房喝一小時咖啡,在辦公室的書桌前工作兩小時,然後移到梳化上。固定放在某處的桌上型電腦不適合我。
我最初的實驗是在 Orthrus 上使用 Qwen 3.8 27B 和 llama.app,再透過 pi 在手提電腦上使用它。這個模型負責編寫程式碼,像 Opus 這類網上模型負責協調工作,而第二張 RTX 則在 Neovim 中執行 FIM 模型,提供自動完成。
我在社交網絡談到這件事時,收到不少強烈建議:使用 Strata 配合 Qwen3.8-Flash-Next。
Strata 是甚麼?
Strata 是一款適用於 Qwen 等 MoE 模型的推理引擎。只有熱門專家會留在 VRAM,其餘則放在 RAM,甚至磁碟上。專家佔 MoE 模型權重的 90% 以上,因此像這個 180B 模型,即使使用記憶體容量小得多的 GPU 也能執行。比如我的 RTX 4090!
手提電腦也能執行它,而我偶然發現這篇網誌文章正是採用這種做法:在配備 32 GB 記憶體的 Mac M4 上執行 Qwen3.8-Flash-Next,速度比 llama.cpp 快,達到 13.5 tok/s。
以我使用編碼 Agent 的方式來説,這速度太慢,但仍是個值得一試的有趣想法。各種 MoE 模型都無法放進 MacBook 的統一記憶體,但仍有機會以不錯的速度執行。
其他引擎如何卸載?
在決定採用 Strata 前,我查看了 llama.cpp、vLLM 和 Transformers 在 MoE 模型無法放入記憶體時會怎樣處理。三個問題很重要:專家存放在哪裏、專家矩陣乘法在哪裏執行,以及每個 token 會傳輸甚麼?
llama.cpp 使用 mmap 將 GGUF 檔案映射至記憶體,並可將專家留在 CPU 上(--cpu-moe、--n-cpu-moe N、-ot "exps=CPU",或使用 --fit on 讓系統替你選擇)。這些專家也會在 CPU 上進行計算,因此只有激活值會經 PCIe 傳輸,權重則不會。只要 RAM 容納得下專家,這種做法就很好;若容納不下,頁面快取便會頻繁抖動。GPU 專家快取(--moe-cache-mib)剛推出,但會令計算圖變得支離破碎(每個 token 的分割數由 2 增至 50),即使所有內容都能放得下,效能仍會下降約 10%。
vLLM 的 --cpu-offload-gb N 會將 N GB 權重放入已鎖定的 RAM,核心則透過 PCIe 直接讀取。對 MoE 層而言,這些權重只有路由選中的專家,但完全不會快取:熱門專家每個 token 都會再次經 PCIe 傳輸,而且沒有磁碟層。預設情況下,卸載的權重包括密集層,並且每個 token 都會讀取;--cpu-offload-params experts 則會將範圍限制為專家。這適合 vLLM 的大型批次,因為這類批次本來就幾乎會用到所有專家;但對單張 GPU 上的單一用戶而言,效果就沒那麼理想。
Transformers 透過 Accelerate 卸載(device_map="auto"、offload_folder),每次處理一個模組:掛鈎會在 forward 之前將該模組的權重複製到 GPU。對 MoE 而言,這個模組是某一層的整個專家庫,因此每個 token 都會複製每個已卸載層的所有專家,只為使用其中 8 或 10 個。沒有快取,也不會識別路由。在 Mac 上,CPU 和 GPU 共用同一片記憶體,因此「卸載至 CPU」不會釋放任何空間。
我在一張 A10G(24 GB)上用 Qwen3.6-35B-A3B 跑了所有項目,並配備充足 RAM;Harry Mellor 則使用更佳旗標重新執行 vLLM:
| 引擎 | 解碼(tok/s) |
|---|---|
| Strata,Q8_0 | 82 - 88 |
llama.cpp,Q8_0,--fit on |
63 - 64 |
llama.cpp,BF16,--fit on |
35 - 36 |
vLLM,FP8,--cpu-offload-gb 16 --cpu-offload-params experts |
20.1 |
vLLM,FP8,相同旗標,--enforce-eager |
14.7 |
vLLM,FP8,--cpu-offload-gb 16 |
9.7 |
vLLM,BF16,--cpu-offload-gb 50 --cpu-offload-params experts |
7.3 |
vLLM,BF16,--cpu-offload-gb 50 |
3.3 |
| Transformers + Accelerate | 0.16 |
只卸載專家便令 vLLM 的速度提升一倍,FP8 更可進一步加快速度(每個專家的位元組數減半,更多模型內容可放在 GPU 上)。vLLM 的另一個卸載後端會預先複製多組層,速度低於 1 tok/s。
如果專家放得進 RAM,llama.cpp 幾乎難以匹敵。如果放不下,就必須只串流路由器選中的專家,並透過有容量上限的快取,以足夠快的速度處理,令瓶頸落在 SSD 而非 Python;理想情況下,還要重用模型快速的專家核心。這就是在 32 GB Mac 上執行 Qwen3.8-Flash-Next 的情況,而 Transformers 開箱即用時做不到。
用 Transformers 讓 Qwen3.8-Flash-Next 在我的 32 GB Mac 上運作
Strata 在我的手提電腦上已經慢得無法接受,而 Transformers 短期內也不可能勝過它。不過,Accelerate 路徑的表現實在相差太遠,所以我想嘗試直接修正 Transformers 本身的卸載功能,以在手提電腦上執行大型模型為目標,雖然我知道它大概仍會慢得不符合我的使用方式。
所有程式碼均由 AI 編寫:Transformers 的 PR、模型專用套件,以及 Metal 核心。我負責選擇嘗試方向、閲讀效能分析結果,以及決定保留哪些內容。所有內容都放在一個 Space: tarekziade/moe-expert-streaming。
由小型模型開始
我先從 OLMoE-1B-7B 開始;它可放進記憶體,因此我可以逐個 token 與原版 Transformers 比較。
第一個版本:把專家放在磁碟上,在裝置上使用 LRU 快取,並用 Python 迴圈一次執行一個專家。所有專家都已在快取中時,速度為 10.1 tok/s。原版約為 32。I/O 沒問題,問題在於我的迴圈:原版使用 grouped_mm,可在單一核心運算中執行某一層的所有專家。
解決方法,也是這個項目的核心概念,是把快取改成槽位池:一個預先配置、供所有層共用的裝置張量,另加一張逐層建立、記錄專家 ID 對應槽位的表格。把路由器選出的專家 ID 重新映射至槽位後,這個槽位池看起來就像一般的專家庫,因此 grouped_mm 可直接在其上執行。無須自訂專家矩陣乘法。這樣速度達到 34.6 tok/s,原版則為 38.1。
experts_offload
之後,我把獨立載入器改為 from_pretrained 的一項選項,並提交至 huggingface/transformers#50717。
如要試用,請從該 PR 安裝 Transformers:
pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"
接着,從 OLMoE 轉向真正的目標 Qwen3.8-Flash-Next:
path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")
model = AutoModelForCausalLM.from_pretrained(
f"{path}/dense",
dtype=torch.bfloat16,
device_map={"": "mps", "experts.*": "disk"},
quantization_config=MetalConfig(bits=8),
experts_offload={
"cache_bytes": 12 << 30,
"quantized_experts": f"{path}/experts-q3",
},
)
該儲存庫 存有這個項目的轉換指令碼輸出: 密集權重、量化至 3 bits 的專家,以及 n-gram 表格。
映射至 "disk" 的專家會使用串流路徑,而非 Accelerate 的卸載功能:載入器會略過這些專家的張量,MoE 層則切換至卸載式實作。快取未命中時,由 8 條 I/O 執行緒讀取,每個專家進行一次連續讀取。接下來兩層的路由器會根據目前的隱藏狀態提早運作,推測要預先載入哪些專家。專家可以離線量化,令讀取量減少。這適用於採用標準專家佈局的 MoE 模型。
目前仍在與 Transformers 維護者討論 API。device_map 形式便是在討論中形成的;量化專家可能會採用 #50245 的逐層量化方案,而非另設選項。
在 32 GB Mac 上執行 121 GB 的專家模型
Qwen3.8-Flash-Next 有 48 層,每層 512 個專家(啟用 10 個),以 FP8 儲存時佔 121 GB。 光是串流傳送這些專家並不足夠:另外還有一個 51 GB 的 n-gram 嵌入表,需要使用獨立的磁碟路徑。因此:
- 專家量化至 3 bits:磁碟上佔 49 GB,裝置上快取 12 GiB
- 密集層使用 8 bits(相較 BF16,困惑度增加約 0.2%)
- n-gram 表留在磁碟上,需要時才讀取相應的列
轉換需時約 5 小時。載入後佔用約 18 GiB,而 6K 提示詞的峯值佔用為 25.4 GiB。這已差不多到上限:我必須關閉瀏覽器,否則 macOS 便會開始使用交換空間。
模型專用部分(n-gram 表、Metal 核心)放在一個小型套件 moe-expert-streaming 中, 以該 PR 為基礎。第一個版本的速度約為 10 tok/s。
之後,我在同一部 M5 上安裝 Strata,使用相同提示詞進行測試:
| Transformers | Strata | 差距 | |
|---|---|---|---|
| 解碼,200 個 token | 10.0 tok/s | 14.8 | 1.5x |
| 預填,4K 提示詞 | 68 tok/s | 220 | 3.2x |
| 解碼(6K 文件後) | 7.3 tok/s | 13.7 | 1.9x |
Strata 0.1.60 使用 IQ3_XXS 專家。兩者均以貪婪解碼模式執行,並關閉 thinking、MTP 和 speculative drafts,預填區塊大小為 1,024 個 token。完整設定和原始結果請見 Space 的 詳細資料頁面。
我也試用了 vllm-metal,這是透過 MLX 在 Apple GPU 上運行的 vLLM;它最近加入了專家卸載功能。它會像這個專案一樣,透過有上限的快取,從 MLX checkpoint 串流傳送經路由的專家。不過,由於上述 n-gram 問題,它無法在 32 GB 記憶體上執行 Qwen3.8-Flash-Next:只有專家會串流傳送,n-gram 表則留在記憶體中。 Hub 上的 MLX checkpoint 中,n-gram 表便佔 32 GB,還未計約 5 GB 的密集層和任何專家快取。
縮小差距
大部分時間並非花在專家上。以下是有效的做法:
- 提早提交 GPU 工作。 PyTorch 在 MPS 上會將小型核心暫存至下一次同步才執行,因此 GPU 會在 Python 運作期間閒置。每個區塊後強制提交,可帶來 +10% 提升。這問題其實應該由 PyTorch 修正。
- Metal 核心用於 macOS 上沒有快速路徑的部分:Gated DeltaNet 和 hyper-connections。
- Strata 自有權重。我改用 Strata 的 GGUF 權重,將密集權重流量由每個 token 5.4 GB 降至 3.9 GB,並將單個專家的大小由 2.15 MB 降至 1.75 MB,同時為每種專家大小設置獨立的快取池。
- 預填方面,我們透過加大區塊,並在計算目前層時讀取下一層的專家,將速度由 68 提升至約 228 tok/s。
- 長文件:只對索引器選出的區塊執行注意力運算,並使用原位增長的 KV 快取,避免每個 token 都複製一次。
- 未命中:Strata 不會把未命中隱藏起來;它和我一樣會等待,而且沒有哪種快取策略能比 LRU 好多少。有效的做法是在 SSD 閒置時,每層只讀取一個預測的專家。
現時執行時,單一 token 在一個 MoE 層中的流程如下:
在同一部 M5 上以相同提示詞執行這些最佳化後,最終結果如下:
| Transformers | Strata | 差距 | |
|---|---|---|---|
| 解碼,200 個 token | 13.9 tok/s | 14.8 | 1.06x |
| 預填,4K 提示詞 | 228 tok/s | 220 | 1.0x |
| 解碼(6K 文件後) | 12.4 tok/s | 13.7 | 1.1x |
短序列解碼速度約落後 Strata 6%,預填速度則稍快,而且全程使用 Transformers。
剩下的大部分時間都耗在主機往返上,每個 token 約 10 ms。每次同步後喚醒只佔其中約 1 ms。其餘時間,GPU 都在閒置,等待 Python 為下一層排入工作。Strata 會預先排入整個 token 的工作,GPU 則在每一層等待 Metal shared event,同時由主機讀取專家模型。PyTorch 沒有提供這項功能。我試過用一個不斷輪詢旗標的核心程式來模擬,旗標由 CPU 寫入,但 GPU 有時要等一秒才看到寫入,有時則永遠看不到。真正的解決方法是在 PyTorch 的 MPS stream 上實作原生操作,但有導致程式掛起的風險,所以我沒有實作。
結論
它的速度約為 14 tok/s,接近 Strata,但對我使用編碼 Agent 的方式來説仍然太慢。實際工作仍由 Orthrus 負責。
Transformers 的速度未能超越 Strata;要縮窄最後約 6% 的差距,便需要對技術堆疊作更深入的改動,首先要能控制每一層的同步,而 PyTorch 目前並未提供這項能力。有趣之處在於它如何做到如此接近:只串流路由到的專家、設置一個有界快取,讓 grouped_mm 可直接在其上運作,以及編寫幾個針對性的 Metal 核心程式。這個專案沒有 C++ 擴充模組,只有 Python、在執行階段使用 torch.mps.compile_shader 編譯的 Metal 核心程式,以及來自 Hub 的預先建置核心程式。這次實驗編寫的所有 Metal 核心程式現已發布到 Hub,而專案會從該處載入它們。
不過,超越 Strata 從來都不是唯一目標。從系統層面瞭解 MoE 和 LLM 的運作方式,是建構這個專案的一個好方法:路由實際上有多稀疏、專家快取能帶來多少效益、每個 token 的記憶體頻寬耗用在哪裏,以及主機和 GPU 互相等待會耗費多少時間。使用 Transformers,你可以輕易逐一檢視這些部分,一次處理一個模組。
通用的專家串流實作位於huggingface/transformers#50717,基準測試則在Space。歡迎提供對這個方法和 API 的意見。
感謝 Pedro、Lysandre 和 Arthur 提供寶貴意見,也感謝 Harry 協助測試 vLLM。
最後,感謝 Niko Veit 帶來Strata。Strata 為消費級硬件上的專家串流技術樹立了標竿,而有這些數字作為追趕目標,正是這項工作得以推進至此的動力。
來源:Hugging Face Blog · huggingface.co