Meta 開放 Muse Spark Open 權重,模型規模為 816B 參數
Muse Spark Open: 816B parámetros abiertos de Meta
Meta 公開 Muse Spark Open 的模型權重;這款 MoE 模型共有 816B 參數、每個 token 啟用 42B 參數,並設有 1 million tokens 的上下文窗口。
文章交代 Muse Spark Open 開放權重後的本地部署條件,並比較桌面硬件、資料中心 GPU 與雲端 API 三種使用方式。
Meta 剛剛公開 Muse Spark Open 的權重。這個模型有 8,160 億個參數,可在兩部配備 M5 Ultra 晶片的 Mac Studio 上完整執行,無須經過任何雲端伺服器。
這是 Meta Superintelligence Labs 數週前推出的系統之開放權重版本,並配備 100 萬個 token 的上下文視窗,適用於多步驟軟件工程及長時間的 Agent 工作。
重點摘要
- Meta 公開了 Muse Spark Open 的權重。這是一個 MoE 模型,共有 8,160 億個參數,其中每個 token 啟用 420 億個參數。- 上下文視窗長達 100 萬個 token,適用於長時間的軟件工程任務。- 透過每部裝置 512 GB 的統一記憶體,兩部配備 M5 Ultra 晶片的 Mac Studio 可配合 MLX 執行完整模型。- SGLang 中的 Helion 核心程式可令 Nvidia 及 AMD GPU 的推理速度提升 1,03 至 3,95 倍。- 模型可在 Hugging Face 下載,亦可透過 Together AI、Fireworks、Baseten、Groq、Modal、Nebius 及 OpenRouter 的 API 使用。
Muse Spark Open 是甚麼
Muse Spark Open 是由 Muse Spark 衍生的開放權重模型。Muse Spark 是 Meta 的多模態混合專家模型,總共有 8,160 億個參數,每個 token 啟用 420 億個參數,並配備 100 萬個 token 的上下文視窗,適用於編程及多步驟 Agent 工作。
這個模型原生支援多模態:它在同一個混合專家(MoE)架構中處理文字和圖像,而且每個 token 只啟用 8,160 億個參數中的 420 億個。這種部分啟用的特點正是 MoE 與密集模型的分別:每個 token 的運算成本接近小得多的模型,但儲存所有專家的記憶體需求仍與 8,160 億參數模型相同。
事件經過
Meta 的開放權重模型現已可在 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 及 Microsoft Foundry Models 下載。不想自行託管模型的用戶,可透過七個平台使用其 API:Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 及 Together AI。
Muse Spark Open 可在現時常用的推理引擎上運行,包括 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp 及 Unsloth,並針對 AMD、Apple、Intel 及 Nvidia 晶片作出優化。想按個人用途微調模型的用戶,可使用 PyTorch 和分散式訓練框架 TorchTitan。
自 2023 年起,用於在 Apple Silicon 上執行模型的 MLX 框架已開放原始碼。
背景與歷史
Meta Superintelligence Labs 數週前推出 Muse Spark 的封閉版本,作為該實驗室的首個模型。十月的消息重點並非模型本身,而是 Meta 決定公開其權重,並按 Meta 公告所述,稱之為美國迄今開發的能力最強開放權重模型。
這項決定令 Meta 的開放權重模型加入一場一直由中國帶動的競賽:Moonshot AI、Z.ai 或 DeepSeek 等公司的開放權重模型,數月來一直在 Artificial Analysis 等基準測試的開放權重排行榜上領先。Meta 以大型模型回應,但提出不同主張:模型可在桌上型硬件上運行,而至今沒有同等規模的競爭模型能做到這一點。
技術細節:兩部 Mac Studio 如何分配記憶體
兩部 Mac Studio 足以運行一個擁有 8,160 億個參數的模型,技術原因在於 Apple 的統一記憶體架構。每顆 M5 Ultra 晶片可讓整合式 GPU 使用最多 512 GB 記憶體,因此兩部電腦合計可提供 1 terabyte 記憶體,用來存放整個模型的權重。
頻寬是另一個關鍵因素。M5 Ultra 提供 1,2 TB/s 的記憶體頻寬,足以應付需求,因為 MoE 模型不需要在每一步都讀取全部 8,160 億個參數:路由器會選擇要啟用的專家,每個 token 只需讀取分配給它的 420 億個參數部分。MLX 負責把這部分分配到兩部機器,令它們在模型看來如同一部擁有雙倍記憶體的機器。
每顆 M5 Ultra 晶片的 CPU 和 GPU 共用最多 512 GB 統一記憶體。
flowchart TD
A["Agente Muse Code"] --> B["Router MoE del modelo"]
B --> C["Mac Studio 1: M5 Ultra, 512 GB"]
B --> D["Mac Studio 2: M5 Ultra, 512 GB"]
subgraph "Memoria unificada combinada: ~1 TB"
C
D
end
Meta 在本地硬件上進行了完整的 Agent 測試,完全沒有使用雲端:團隊使用其編程助理 Muse Code,在開放權重模型上對開源 iOS Mastodon 用戶端 Ice Cubes 作出實際修改,包括修正錯誤、加入新功能,並完成整個編譯流程。另一項測試中,模型全程操作 DaVinci Resolve,逐格檢視影片素材,找出最佳片段並裁切為直向格式。
對於在數據中心 GPU 上運行模型的用戶,Meta 則在 SGLang 中發布了名為 Helion 的自家 GPU kernels。這些可自動調校的 kernels 在 Nvidia 和 AMD GPU 上提供 1,03 至 3,95 倍的 kernel 層級速度,並在 AMD MI350 上帶來 3% 的端到端提升。
選項 何時使用 優點 限制
雲端 API(Together AI、Fireworks、Groq 等) 整合模型而毋須管理硬件 毋須預先投資,可自行擴展 視乎供應商的可用性和價格
在數據中心 GPU 上使用自有權重 適合高用量或使用 TorchTitan 微調 全面掌控,Helion kernels 可加快推理 需要高階 Nvidia 或 AMD GPU
在本地使用兩部 Mac Studio M5 Ultra 毋須雲端或伺服器 GPU,即可運行完整模型 保障私隱,毋須持續支付 API 費用 硬件成本約數千美元,而且需要自行維護
💡 提示:購買硬件前,可先透過 API 試用 Meta 的開放權重模型(例如使用 Together AI 或 OpenRouter),確認使用情境是否足以支持購買。
影響與分析
對開發團隊而言,實際差異不在於模型規模,而在於模型在哪裏運行。到了 2026 年,透過 API 提供一個擁有 8,160 億個參數的模型已不算新鮮事;不同之處在於,現在可以在辦公室內運行模型,而毋須讓原始碼或項目的影片素材離開本地網絡。對有保密承諾的團隊,或根本不能把敏感數據傳送給外部供應商的團隊而言,這一點十分重要。
授權條款也是考量因素之一。Meta 以 Muse Model License 發布模型,條款限制商業用途,但大部分開發者仍可免費使用;不過,嚴格來説這並非開源授權:用戶數超過特定門檻的企業通常不符合免費使用資格,Meta 之前在 Llama 系列也採用過相同做法。
📌 注意:開放權重不等於開源。Meta 的授權會按規模限制商業用途。在把 Meta 的開放權重模型整合到產品之前,宜先查看相關條款。
另一個考量是安全性。Meta 表示,已按照 Meta Superintelligence Scaling Framework 評估模型,並因其採用開放權重而額外進行安全訓練,因為權重一旦發布,就無法撤回,也無法遙距修補模型。
後續發展
Meta 承諾即將發布完整的評估報告,並已在 Hugging Face 上發布模型資料卡。公司亦邀請用戶在 Hugging Face 論壇分享使用模型建構的作品;Meta 通常會透過這個渠道衡量實際採用情況,再着手迭代下一個版本。
如果採用情況有所增長,接下來的發展很可能與 Llama 和中國開放權重模型經歷的相同:社羣針對特定任務進行微調,並在獨立基準測試中與 Kimi K3、GLM-5.2 或 Qwen3.8 比較效能。
📖 Telegram 摘要:查看摘要
如果你手上有兩部配備 M5 Ultra 晶片的 Mac Studio,最快的試用方法是安裝 MLX 適配器,然後直接從 Hugging Face 的 Muse Spark Open 收藏集下載權重。
常見問題
Muse Spark Open 是甚麼?由誰發布?
這是 Meta Superintelligence Labs 從其 Muse Spark 系統衍生的開放權重模型,總參數量為 8,160 億,每個 token 啟用 420 億個參數。
在家執行 Meta 的開放權重模型需要甚麼硬件?
根據 Meta 的公告,經驗證的配置是使用兩部配備 M5 Ultra 晶片的 Mac Studio,並透過 MLX 框架將模型分配到兩部電腦上。
Meta 的開放模型與封閉版本 Muse Spark 有何分別?
兩者採用相同架構,規模也相同,但開放版本會發布權重供下載和自行託管;封閉版本則只能透過 Meta 的產品使用。
Meta 的開放權重 MoE 採用甚麼授權?
模型以 Muse Model License 發布,條款限制商業用途,但大部分開發者可免費使用。
在哪裏可以試用 Meta Superintelligence Labs 的開放權重 AI?
可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 的 API 使用;亦可從 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 或 Microsoft Foundry Models 下載權重。
參考資料
- Meta AI Research:模型官方公告,包含基準測試和授權詳情。- Hugging Face:可下載模型權重的收藏集。- GitHub: ml-explore/mlx:用於在 Apple Silicon 上執行模型的 MLX 框架官方程式碼庫。- PyTorch:用於透過 TorchTitan 調整模型的框架。
📱 喜歡這些內容嗎? 加入我們的 Telegram 頻道 @programacion,我們每天都會發布科技、AI 及開發領域最重要的資訊。快速摘要,每天都有新內容。
來源:DEV Community · dev.to