Meta 公開 816B 參數 Muse Spark Open 模型權重

Meta 於 2026年10月15日發布 Muse Spark Open 的權重。這是一個原生多模態開放權重模型，總參數量為 816B、啟用參數量為 42B，上下文視窗為 1M tokens。Meta AI Research 稱，這是迄今能力最強的美國開放權重模型，專為程式編寫及 Agent 任務而設，例如長期任務、複雜軟件工程及多步驟推理。

架構與訓練資料

根據 Meta Superintelligence Labs 發布的模型卡，Muse Spark Open 採用混合專家（Mixture-of-Experts）Transformer，並配備 Perception Encoder。語言模型有 62 層，隱藏維度為 8192，設有 256 個專家，並透過 top-k 路由機制為每個 token 啟用其中 8 個。其注意力區塊採用帶閘控的注意力及 QK-norm，並設有 128 個查詢頭和 16 個鍵值頭，採用分組查詢配置；每個注意力頭的維度為 64。詞彙表大小為 202,048，輸入與輸出嵌入未綁定。Perception Encoder 有 1.8B 個參數，分佈於 50 層，隱藏維度為 1536，設有 16 個注意力頭，patch 大小為 14×14，輸出維度為 4096，並採用稀疏注意力，因子為四；按此設定，每四層中的一層及最後一層會使用完整注意力。

模型接受文字、圖片、影片及音訊輸入，並生成文字輸出。模型卡指出，訓練資料包括來自公開來源、網絡爬取、第三方、Meta 自家產品及服務，以及合成生成材料的文字、圖片、音訊和影片，涵蓋超過 100 種語言；資料整理過程包括清理、處理、去重及篩選。reasoning_effort 參數用來控制模型在回應前進行多少推理，設定包括 low、medium、high 和 xhigh，預設為 xhigh；使用任何其他值都會傳回錯誤。Meta 建議大部分部署採用 temperature 1.0、top_p 1.0，並停用 top_k；處理複雜問題、程式編寫及 Agent 任務時，則建議使用 high 或 xhigh 推理強度。

供應情況與 Apple Silicon 最佳化

Muse Spark Open 可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 等 API 平台使用；權重則可在 Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face 和 Microsoft Foundry Models 下載。模型可在 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp 和 Unsloth 等推理引擎上執行，並針對 AMD、Apple、Intel 和 NVIDIA 晶片作出最佳化；開發者亦可使用 PyTorch 的 TorchTitan 進一步微調模型。權重提供 BF16 和 NVFP4 版本；如要在本機執行，NVFP4 版本需要至少配備 700GB VRAM 的 GPU，BF16 版本則需要 2TB VRAM。

Meta 表示，Muse Spark Open 是同級首個可在桌面電腦上執行的模型，使用兩部 Apple M5 Ultra Mac Studio，並透過最新的 MLX 框架直接從 Hugging Face 載入權重。Apple 的統一記憶體架構讓 M5 Ultra 的內置 GPU 可在每部 Mac Studio 上使用最多 512GB 記憶體。Meta 表示，晶片的 1.2TB/s 記憶體頻寬讓兩部機器能夠容納整個模型，並以具備 1TB 統一記憶體的單一系統運作。

Meta 表示，該公司測試了完全在裝置端執行的 Agent 工作流程，使用由 Muse Spark Open 驅動的 Muse Code。在其中一項測試中，該配置為開源 Mastodon 用戶端 Ice Cubes 提交了實際 iOS 修改，涵蓋錯誤修正、新功能及完整建置；在另一項測試中，它從頭到尾操作 DaVinci Resolve，逐格檢視影片素材，挑選精彩片段並重新構圖，裁切成直向畫面。開放權重版本亦隨附 SGLang 中自訂且可自動調校的 Helion GPU kernels。Meta 報告指，這些 kernels 在 NVIDIA 和 AMD GPU 上帶來 1.03 至 3.95 倍的核心層級加速，並在 AMD MI350 上帶來 3% 的端到端加速。

Meta 報告的基準測試與安全結果

模型卡將以 xhigh 推理強度運行的 Muse Spark Open，與 Inkling、Nemotron 3 Ultra、Beam、Mistral Large 4、Qwen3.8-2.4T-A95B、GLM 5.3 及 Kimi K3 作比較。Meta 報告指，該模型在 Artificial Analysis Intelligence Index 的得分為 39；同一表格列出 GLM 5.3 得分為 45、Kimi K3 為 44、Qwen3.8-2.4T-A95B 為 40。在 Agent 評測中，Meta 報告指，該模型在 JobBench 得分為 61.8，在 MCP-Atlas 得分為 89.2，是模型卡表格所列模型在這兩項測試中的最高分。在知識與推理方面，Meta 報告指，該模型在不使用工具的 HLE-Diamond 得分為 26.1，在 AA Omniscience 得分為 25，在 GPQA Diamond 得分為 89.0；表格列出 Qwen3.8-2.4T-A95B 和 Kimi K3 在 GPQA Diamond 均得 93.5。

在編碼基準測試中，Meta 報告指，該模型在 Terminal-Bench 2.1 得分為 76.4；模型卡列出 Kimi K3 得分為 85.0、GLM 5.3 為 83.9。此外，該模型在 DeepSWE 1.1 得分為 60，在 SWE-Atlas-QnA 得分為 58；模型卡列出 Kimi K3 在這兩項測試的得分分別為 68 和 66。在工具輔助的多模態測試中，Meta 報告指，該模型在 ZeroBench 得分為 50.0，在 SimpleVQA 得分為 73.6，在 BabyVision 得分為 80.2，而表格列出 Kimi K3 得分為 85.7；該模型在 VideoMMEv2 得分為 61.5，而表格列出 Kimi K3 得分為 65.4。

Meta 表示，開放權重版本接受了額外的安全性後訓練，並按照 Meta Superintelligence Scaling Framework，在內容安全、Agent 風險、私隱及應對準備度方面接受評估，達到該框架規定的發布門檻。模型卡報告指，Muse Spark Open 在 Meta 內部網絡安全基準測試中拒絕了 99.2% 的越獄攻擊，在 PolyGuard 的網絡安全子集、RedCode 及 CyberBench 2024 的合併測試中拒絕了 94.8%；在相同設定下，模型卡列出 Kimi K3 的拒絕率分別為 75.5% 和 70.2%。

Meta 報告指，該模型在 SecureBio 的 BioTIER 基準測試中拒絕了超過 98% 的有害請求，在內部單輪化學基準測試中拒絕了超過 99% 的有害請求；此外，在內部多輪 Agent 基準測試中，該模型拒絕了超過 97% 的有害生物學請求及 98% 的有害化學請求。模型卡報告指，該模型在 MASK 基準測試的誠實率為 98.1%，在 Agentic Misalignment 基準測試的不當行為率為 0%，在 StrongREJECT v2 的得分為 0.5；該測試的分數越低越好。Meta 提醒，這些結果反映的是已發布檢查點在受測條件下的表現，下游修改可能降低安全性；Meta 建議在更完整的 AI 系統中部署該模型，並配備適合具體用途的防護措施。

授權條款及明示限制

模型權重根據日期為 2026 年 10 月 15 日的 Muse Model License 發佈。該授權允許免費使用、複製、修改（包括微調）、創作衍生作品、蒸餾及分發，但須遵守相關條件。被授權方必須在每項使用該軟件或其衍生版本的產品或服務用戶介面中，或在隨附文件、網站或設定選單中，顯著標示「採用 Muse Spark Open 建構」。

若被授權方提供人工智能模型即服務，且其與關聯公司的總收入在任何連續 12 個月期間超過 $20 million，則在將該軟件納入該業務前，必須通知 Meta 並簽訂獨立的書面協議。此條款不適用於內部使用、研究，或不屬於模型服務的其他商業活動，也不適用於將該軟件用作支援被授權方自有產品的組件。授權條款訂明，Meta 不會取得該軟件所生成輸出的所有權。

隨附的使用政策指出，該模型並非供未滿 18 歲人士使用，並禁止包括非法活動、製作惡意軟件、武器研發、操作關鍵基礎設施，以及欺詐、散播虛假資訊和冒充他人等蓄意欺騙行為。Meta 列出的限制包括：回應可能不準確、帶有偏見或令人反感；在新情境下進行多步推理時可能出錯；處理不屬於強力支援範圍的語言時，效能可能下降；量化推理的品質可能略有差異；以及對非常短或低解像度影片的理解並不可靠。Meta 表示，完整評估報告將於短期內公開。