跳到正文
Hugging Face Blog·· 2 天前精選AI 評分65

Transformers 如何在 32GB Mac 上推理 180B MoE 模型,解碼速度接近 Strata

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 導讀

Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。

推薦理由

文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。

正文 · 繁體中文

直接從 SSD 串流 MoE 專家,token 生成速度與 Strata 相差不到 6%。

我一直嘗試減少依賴網上模型,改為在本機執行更大型的模型。家中有一部配備兩張 RTX 4090 的 PC(姑且稱它為 Orthrus——希臘神話中的雙頭獵犬),工作時則使用配備 32G 統一記憶體的 MacBook M5。

Orthrus 執行 Windows 11,因為我的孩子經常玩遊戲。我曾設定 Windows 和 Ubuntu 雙重開機,但他們的遊戲最後佔用了兩 TB 磁碟空間的大部分。

我也非常喜歡 RMD(rooms moving development):在廚房喝一小時咖啡,在辦公室的書桌前工作兩小時,然後移到梳化上。固定放在某處的桌上型電腦不適合我。

我最初的實驗是在 Orthrus 上使用 Qwen 3.8 27B 和 llama.app,再透過 pi 在手提電腦上使用它。這個模型負責編寫程式碼,像 Opus 這類網上模型負責協調工作,而第二張 RTX 則在 Neovim 中執行 FIM 模型,提供自動完成。

我在社交網絡談到這件事時,收到不少強烈建議:使用 Strata 配合 Qwen3.8-Flash-Next。

Strata 是甚麼?

Strata 是一款適用於 Qwen 等 MoE 模型的推理引擎。只有熱門專家會留在 VRAM,其餘則放在 RAM,甚至磁碟上。專家佔 MoE 模型權重的 90% 以上,因此像這個 180B 模型,即使使用記憶體容量小得多的 GPU 也能執行。比如我的 RTX 4090!

手提電腦也能執行它,而我偶然發現這篇網誌文章正是採用這種做法:在配備 32 GB 記憶體的 Mac M4 上執行 Qwen3.8-Flash-Next,速度比 llama.cpp 快,達到 13.5 tok/s。

以我使用編碼 Agent 的方式來説,這速度太慢,但仍是個值得一試的有趣想法。各種 MoE 模型都無法放進 MacBook 的統一記憶體,但仍有機會以不錯的速度執行。

其他引擎如何卸載?

在決定採用 Strata 前,我查看了 llama.cpp、vLLM 和 Transformers 在 MoE 模型無法放入記憶體時會怎樣處理。三個問題很重要:專家存放在哪裏、專家矩陣乘法在哪裏執行,以及每個 token 會傳輸甚麼?

llama.cpp 使用 mmap 將 GGUF 檔案映射至記憶體,並可將專家留在 CPU 上(--cpu-moe、--n-cpu-moe N、-ot "exps=CPU",或使用 --fit on 讓系統替你選擇)。這些專家也會在 CPU 上進行計算,因此只有激活值會經 PCIe 傳輸,權重則不會。只要 RAM 容納得下專家,這種做法就很好;若容納不下,頁面快取便會頻繁抖動。GPU 專家快取(--moe-cache-mib)剛推出,但會令計算圖變得支離破碎(每個 token 的分割數由 2 增至 50),即使所有內容都能放得下,效能仍會下降約 10%。

vLLM 的 --cpu-offload-gb N 會將 N GB 權重放入已鎖定的 RAM,核心則透過 PCIe 直接讀取。對 MoE 層而言,這些權重只有路由選中的專家,但完全不會快取:熱門專家每個 token 都會再次經 PCIe 傳輸,而且沒有磁碟層。預設情況下,卸載的權重包括密集層,並且每個 token 都會讀取;--cpu-offload-params experts 則會將範圍限制為專家。這適合 vLLM 的大型批次,因為這類批次本來就幾乎會用到所有專家;但對單張 GPU 上的單一用戶而言,效果就沒那麼理想。

Transformers 透過 Accelerate 卸載(device_map="auto"、offload_folder),每次處理一個模組:掛鈎會在 forward 之前將該模組的權重複製到 GPU。對 MoE 而言,這個模組是某一層的整個專家庫,因此每個 token 都會複製每個已卸載層的所有專家,只為使用其中 8 或 10 個。沒有快取,也不會識別路由。在 Mac 上,CPU 和 GPU 共用同一片記憶體,因此「卸載至 CPU」不會釋放任何空間。

我在一張 A10G(24 GB)上用 Qwen3.6-35B-A3B 跑了所有項目,並配備充足 RAM;Harry Mellor 則使用更佳旗標重新執行 vLLM:

引擎 解碼(tok/s)
Strata,Q8_0 82 - 88
llama.cpp,Q8_0,--fit on 63 - 64
llama.cpp,BF16,--fit on 35 - 36
vLLM,FP8,--cpu-offload-gb 16 --cpu-offload-params experts 20.1
vLLM,FP8,相同旗標,--enforce-eager 14.7
vLLM,FP8,--cpu-offload-gb 16 9.7
vLLM,BF16,--cpu-offload-gb 50 --cpu-offload-params experts 7.3
vLLM,BF16,--cpu-offload-gb 50 3.3
Transformers + Accelerate 0.16

只卸載專家便令 vLLM 的速度提升一倍,FP8 更可進一步加快速度(每個專家的位元組數減半,更多模型內容可放在 GPU 上)。vLLM 的另一個卸載後端會預先複製多組層,速度低於 1 tok/s。

如果專家放得進 RAM,llama.cpp 幾乎難以匹敵。如果放不下,就必須只串流路由器選中的專家,並透過有容量上限的快取,以足夠快的速度處理,令瓶頸落在 SSD 而非 Python;理想情況下,還要重用模型快速的專家核心。這就是在 32 GB Mac 上執行 Qwen3.8-Flash-Next 的情況,而 Transformers 開箱即用時做不到。

用 Transformers 讓 Qwen3.8-Flash-Next 在我的 32 GB Mac 上運作

Strata 在我的手提電腦上已經慢得無法接受,而 Transformers 短期內也不可能勝過它。不過,Accelerate 路徑的表現實在相差太遠,所以我想嘗試直接修正 Transformers 本身的卸載功能,以在手提電腦上執行大型模型為目標,雖然我知道它大概仍會慢得不符合我的使用方式。

所有程式碼均由 AI 編寫:Transformers 的 PR、模型專用套件,以及 Metal 核心。我負責選擇嘗試方向、閲讀效能分析結果,以及決定保留哪些內容。所有內容都放在一個 Space: tarekziade/moe-expert-streaming。

由小型模型開始

我先從 OLMoE-1B-7B 開始;它可放進記憶體,因此我可以逐個 token 與原版 Transformers 比較。

第一個版本:把專家放在磁碟上,在裝置上使用 LRU 快取,並用 Python 迴圈一次執行一個專家。所有專家都已在快取中時,速度為 10.1 tok/s。原版約為 32。I/O 沒問題,問題在於我的迴圈:原版使用 grouped_mm,可在單一核心運算中執行某一層的所有專家。

解決方法,也是這個項目的核心概念,是把快取改成槽位池:一個預先配置、供所有層共用的裝置張量,另加一張逐層建立、記錄專家 ID 對應槽位的表格。把路由器選出的專家 ID 重新映射至槽位後,這個槽位池看起來就像一般的專家庫,因此 grouped_mm 可直接在其上執行。無須自訂專家矩陣乘法。這樣速度達到 34.6 tok/s,原版則為 38.1。

experts_offload

之後,我把獨立載入器改為 from_pretrained 的一項選項,並提交至 huggingface/transformers#50717。 如要試用,請從該 PR 安裝 Transformers:

pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"

接着,從 OLMoE 轉向真正的目標 Qwen3.8-Flash-Next:

path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")

model = AutoModelForCausalLM.from_pretrained(
    f"{path}/dense",
    dtype=torch.bfloat16,
    device_map={"": "mps", "experts.*": "disk"},
    quantization_config=MetalConfig(bits=8),
    experts_offload={
        "cache_bytes": 12 << 30,
        "quantized_experts": f"{path}/experts-q3",
    },
)

該儲存庫 存有這個項目的轉換指令碼輸出: 密集權重、量化至 3 bits 的專家,以及 n-gram 表格。

映射至 "disk" 的專家會使用串流路徑,而非 Accelerate 的卸載功能:載入器會略過這些專家的張量,MoE 層則切換至卸載式實作。快取未命中時,由 8 條 I/O 執行緒讀取,每個專家進行一次連續讀取。接下來兩層的路由器會根據目前的隱藏狀態提早運作,推測要預先載入哪些專家。專家可以離線量化,令讀取量減少。這適用於採用標準專家佈局的 MoE 模型。

目前仍在與 Transformers 維護者討論 API。device_map 形式便是在討論中形成的;量化專家可能會採用 #50245 的逐層量化方案,而非另設選項。

在 32 GB Mac 上執行 121 GB 的專家模型

Qwen3.8-Flash-Next 有 48 層,每層 512 個專家(啟用 10 個),以 FP8 儲存時佔 121 GB。 光是串流傳送這些專家並不足夠:另外還有一個 51 GB 的 n-gram 嵌入表,需要使用獨立的磁碟路徑。因此:

  • 專家量化至 3 bits:磁碟上佔 49 GB,裝置上快取 12 GiB
  • 密集層使用 8 bits(相較 BF16,困惑度增加約 0.2%)
  • n-gram 表留在磁碟上,需要時才讀取相應的列

轉換需時約 5 小時。載入後佔用約 18 GiB,而 6K 提示詞的峯值佔用為 25.4 GiB。這已差不多到上限:我必須關閉瀏覽器,否則 macOS 便會開始使用交換空間。

模型專用部分(n-gram 表、Metal 核心)放在一個小型套件 moe-expert-streaming 中, 以該 PR 為基礎。第一個版本的速度約為 10 tok/s。

之後,我在同一部 M5 上安裝 Strata,使用相同提示詞進行測試:

Transformers Strata 差距
解碼,200 個 token 10.0 tok/s 14.8 1.5x
預填,4K 提示詞 68 tok/s 220 3.2x
解碼(6K 文件後) 7.3 tok/s 13.7 1.9x

Strata 0.1.60 使用 IQ3_XXS 專家。兩者均以貪婪解碼模式執行,並關閉 thinking、MTP 和 speculative drafts,預填區塊大小為 1,024 個 token。完整設定和原始結果請見 Space 的 詳細資料頁面。

我也試用了 vllm-metal,這是透過 MLX 在 Apple GPU 上運行的 vLLM;它最近加入了專家卸載功能。它會像這個專案一樣,透過有上限的快取,從 MLX checkpoint 串流傳送經路由的專家。不過,由於上述 n-gram 問題,它無法在 32 GB 記憶體上執行 Qwen3.8-Flash-Next:只有專家會串流傳送,n-gram 表則留在記憶體中。 Hub 上的 MLX checkpoint 中,n-gram 表便佔 32 GB,還未計約 5 GB 的密集層和任何專家快取。

縮小差距

大部分時間並非花在專家上。以下是有效的做法:

  • 提早提交 GPU 工作。 PyTorch 在 MPS 上會將小型核心暫存至下一次同步才執行,因此 GPU 會在 Python 運作期間閒置。每個區塊後強制提交,可帶來 +10% 提升。這問題其實應該由 PyTorch 修正。
  • Metal 核心用於 macOS 上沒有快速路徑的部分:Gated DeltaNet 和 hyper-connections。
  • Strata 自有權重。我改用 Strata 的 GGUF 權重,將密集權重流量由每個 token 5.4 GB 降至 3.9 GB,並將單個專家的大小由 2.15 MB 降至 1.75 MB,同時為每種專家大小設置獨立的快取池。
  • 預填方面,我們透過加大區塊,並在計算目前層時讀取下一層的專家,將速度由 68 提升至約 228 tok/s。
  • 長文件:只對索引器選出的區塊執行注意力運算,並使用原位增長的 KV 快取,避免每個 token 都複製一次。
  • 未命中:Strata 不會把未命中隱藏起來;它和我一樣會等待,而且沒有哪種快取策略能比 LRU 好多少。有效的做法是在 SSD 閒置時,每層只讀取一個預測的專家。

現時執行時,單一 token 在一個 MoE 層中的流程如下:

For one layer and one token, the router picks 10 of 512 experts. Eight are already in the expert cache and two are read from the SSD into free cache slots. The experts then run on the GPU from the cache slots, while the SSD reads one guessed expert for the next layer, which enters the cache only if it's used.

在同一部 M5 上以相同提示詞執行這些最佳化後,最終結果如下:

Transformers Strata 差距
解碼,200 個 token 13.9 tok/s 14.8 1.06x
預填,4K 提示詞 228 tok/s 220 1.0x
解碼(6K 文件後) 12.4 tok/s 13.7 1.1x

短序列解碼速度約落後 Strata 6%,預填速度則稍快,而且全程使用 Transformers。

剩下的大部分時間都耗在主機往返上,每個 token 約 10 ms。每次同步後喚醒只佔其中約 1 ms。其餘時間,GPU 都在閒置,等待 Python 為下一層排入工作。Strata 會預先排入整個 token 的工作,GPU 則在每一層等待 Metal shared event,同時由主機讀取專家模型。PyTorch 沒有提供這項功能。我試過用一個不斷輪詢旗標的核心程式來模擬,旗標由 CPU 寫入,但 GPU 有時要等一秒才看到寫入,有時則永遠看不到。真正的解決方法是在 PyTorch 的 MPS stream 上實作原生操作,但有導致程式掛起的風險,所以我沒有實作。

結論

它的速度約為 14 tok/s,接近 Strata,但對我使用編碼 Agent 的方式來説仍然太慢。實際工作仍由 Orthrus 負責。

Transformers 的速度未能超越 Strata;要縮窄最後約 6% 的差距,便需要對技術堆疊作更深入的改動,首先要能控制每一層的同步,而 PyTorch 目前並未提供這項能力。有趣之處在於它如何做到如此接近:只串流路由到的專家、設置一個有界快取,讓 grouped_mm 可直接在其上運作,以及編寫幾個針對性的 Metal 核心程式。這個專案沒有 C++ 擴充模組,只有 Python、在執行階段使用 torch.mps.compile_shader 編譯的 Metal 核心程式,以及來自 Hub 的預先建置核心程式。這次實驗編寫的所有 Metal 核心程式現已發布到 Hub,而專案會從該處載入它們。

不過,超越 Strata 從來都不是唯一目標。從系統層面瞭解 MoE 和 LLM 的運作方式,是建構這個專案的一個好方法:路由實際上有多稀疏、專家快取能帶來多少效益、每個 token 的記憶體頻寬耗用在哪裏,以及主機和 GPU 互相等待會耗費多少時間。使用 Transformers,你可以輕易逐一檢視這些部分,一次處理一個模組。

通用的專家串流實作位於huggingface/transformers#50717,基準測試則在Space。歡迎提供對這個方法和 API 的意見。

感謝 Pedro、Lysandre 和 Arthur 提供寶貴意見,也感謝 Harry 協助測試 vLLM。

最後,感謝 Niko Veit 帶來Strata。Strata 為消費級硬件上的專家串流技術樹立了標竿,而有這些數字作為追趕目標,正是這項工作得以推進至此的動力。

來源:Hugging Face Blog · huggingface.co