Muse Spark 1.2 現已開放權重

Meta 今日發佈 Muse Spark Open 的權重；這是迄今美國能力最強的開放權重模型。現已可在 Hugging Face 取得，採用 Muse Model License。Muse Spark Open 已針對 SGLang 和 vLLM 推理引擎進行最佳化，並針對 NVIDIA、AMD 和 Intel 作出最佳化。

承接我們在 8 月發佈的版本，這個 Muse Spark 開放權重版本額外進行了安全性後訓練，讓它在沒有系統防護措施、作為獨立模型使用時，更能抵禦濫用。因此，這款模型是安全性方面的頂尖開源選擇。Muse Spark Open 的總參數量為 816B，啟用參數量為 42B，上下文視窗為 1M token。Muse Spark Open 專為編碼和代理式工作而設，原生支援多模態，並與 Muse Spark 1.3 共用相同的基礎模型。

Meta 熱衷於開源；作為 PyTorch 的創造者，我們致力回饋社羣，確保整個生態系統全面支援 Muse Spark Open。首先，我們已整合 Helion。這是我們全新推出的 PyTorch 原生高階 DSL，專為打造高效能且可移植的 ML 核函式而設，用以提供高效能運算操作。此外，TorchTitan 已開箱即支援 Muse Spark，可在開源環境中進行監督式微調和強化學習。我們期待看到 PyTorch 社羣能將它推進到甚麼程度！

Muse Spark Open

Muse Spark Open 是一款針對編碼最佳化的開放權重模型。它專為代理式編碼工作流程而訓練，在開發者實際使用的程式碼儲存庫中，首次嘗試的準確度更高、工具呼叫更可靠，亦能深入理解程式碼庫。你可以在我們之前發佈模型的網誌文章中閲讀更多。

更強的編碼能力

擅長程式碼生成、除錯和理解程式碼庫。模型接受過真實開發者工作流程的訓練，包括跨多個檔案的重構、除錯工作和長時間執行的任務，因此能配合你的實際工作方式。1M 上下文視窗讓模型可以處理整個專案，包括複雜的依賴關係、舊有程式碼和數千個檔案，無需將工作拆分成多個部分

多模態理解

Muse Spark Open 具備音訊和影音感知能力，亦能理解圖像和文件。作為推理模型，它能原生且可靠地處理圖像、音訊和文字輸入。

代理式

Muse Spark Open 從零開始打造為代理式模型。它會規劃步驟、採取行動、觀察並自行修正，持續處理長期任務，而不只是一次性的工具呼叫。模型接受過瀏覽網頁（包括多模態瀏覽）的訓練，並會使用代理式執行框架來：為可拆解的工作啟動並協調子代理；以及運用整合桌面、流動裝置和瀏覽器的電腦操作功能。模型接受過長期、多網站任務的訓練，並會生成獨立的説明內容，讓模型在採取行動前説明意圖，因此你隨時都能瞭解它正在做甚麼，以及原因。

為甚麼選用 Helion 核函式？

Helion 是一種 PyTorch 原生核心編寫語言，旨在為異構硬件平台編寫高效能核心。在開源生態系逐步獲得採用後，Helion 於 2026 年 4 月成為 PyTorch Foundation 的一部分。Muse Spark Open 隨附使用 Helion 編寫的 RoPE、RMSNorm、量化等操作，在 NVIDIA GB300 上，與使用硬件專用語言（例如 NVIDIA CUDA 和 CuTe DSL）編寫的自訂核心相比，速度提升 1.03 – 3.95x。同一批核心亦可直接移植至 AMD，在 AMD Mi350 上取得相若的效能提升，端到端吞吐量整體提升 3%。

此外，我們亦在 SGLang 為 Muse Spark Open 推出 Helion megakernels。這些核心完全使用 Helion 編寫，會將多項操作融合為單一持續執行的核心，以提升低延遲推理效能；同樣可以針對不同形狀和硬件進行自動調校。

用戶可進一步自動調校 Helion 核心，以配合更廣泛的硬件平台和工作負載，包括不同的加速器架構（NVIDIA、AMD、Google TPU 等）、量化格式、張量形狀和平行處理策略，而無須為每種設定分別維護手動調校的實作。這些功能結合起來，讓用戶更容易取得可移植的效能，同時降低開發和維護專用核心的成本。

使用 TorchTitan 進行後訓練

TorchTitan 是一個 PyTorch 原生平台，專為快速實驗及大規模訓練生成式 AI 模型而設。由今天起，TorchTitan 加入 Meta 的 Muse Spark Open 模型定義，讓開發者按需要對其進行調校。

TorchTitan 原生支援多輪 SFT 和 LoRA，亦提供強化學習功能（TitanRL），讓用戶微調 Muse Spark Open。

開始使用

我們分享這項工作，是希望所有人都能使用最優秀的 AI 模型。Muse Spark Open 隨附 SGLang 中自訂且可自動調校的 Helion GPU 核心，在 NVIDIA 和 AMD GPU 上帶來 1.03–3.95× 的核心層級速度提升，並在 AMD MI350 上帶來 3% 的端到端速度提升。你亦可以運用 PyTorch 的 TorchTitan 進一步調校模型，按自己的使用情境進行自訂。

立即開始開發： https://huggingface.co/meta-models/Muse-Spark-open-816B-A42B

Muse Spark 是我們模型系列中的全尺寸模型。我們之前推出了小型稠密模型 Muse Glimmer。立即透過 ExecuTorch 開始使用。

文章〈Muse Spark 1.2 現已開放權重〉最初刊載於 PyTorch。