跳到正文
Hacker News 熱門(buzzing.cc 中文翻譯)·· 1 小時前精選AI 評分85

Meta 發佈 Muse Spark Open 開放權重模型,支援在兩台 Apple M5 Ultra Mac Studio 上桌面運行

Muse Spark Open

AI 導讀

Meta 今日發佈 Muse Spark Open 的模型權重;這款原生多模態模型有 816B 總參數(42B active)及 1M-token 上下文窗口。

推薦理由

Muse Spark Open 同時公佈本機部署配置、託管 API 入口及 GPU 推理速度數據,呈現開放權重模型從桌面運行到託管服務的部署路徑。

正文 · 繁體中文

Muse Spark Open 今日推出,首次在 Apple M5 Ultra Mac Studios 上為桌面電腦帶來領先的智能代理能力。

今日,我們公開發布 Muse Spark Open 的模型權重。這是迄今能力最強的美國開放權重模型。Muse Spark Open 是原生多模態模型,總參數量為 816B(啟用參數為 42B),上下文視窗為 1M token。模型專為編碼及智能代理工作而設,在長時程任務、複雜軟件工程及多步推理方面表現出色。

我們相信未來屬於所有人,這也包括自由地在任何地方運行先進模型,包括在家中。Muse Spark Open 是同級首款可透過兩部 Apple M5 Ultra Mac Studios,配合最新 MLX 框架在桌面電腦上運行的模型。

Muse Spark Open 今日起可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 及 Together AI 等 API 平台使用。模型權重可在 Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face 及 Microsoft Foundry Models 下載。

模型可在 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp 及 Unsloth 等領先推理引擎上運行,並針對 AMD、Apple、Intel 及 NVIDIA 晶片進行最佳化。開發者亦可使用 PyTorch 框架輕鬆進一步自訂模型。

主要基準測試

如欲瞭解更多評估詳情,請參閲評估方法報告。

為 Apple Silicon 最佳化

Muse Spark Open 採用最新版本的 MLX 進行最佳化,可在配備 M5 Ultra 的 Mac Studio 上運行;兩者結合,是在個人桌面電腦上運行強大模型的最佳方式。

Apple 的統一記憶體架構讓 M5 Ultra 的整合式 GPU 可在每部 Mac Studio 上使用高達 512 GB 記憶體,因此兩部機器便能容納整個模型。晶片的記憶體頻寬達 1.2 TB/s,足以快速讀取每個 token 所需的少量資料。結果是,兩部 Mac Studios 的運作如同一部配備 1 TB 統一記憶體的超級電腦。

我們測試了一系列完全在裝置上運行的智能代理工作流程,使用由 Muse Spark Open 驅動的 Muse Code,包括為 Ice Cubes(一款開源 Mastodon 用戶端)推出實際的 iOS 修改——錯誤修正、新功能及完整建置——以及全程操作 DaVinci Resolve;模型會逐格檢視影片素材,找出最精彩的片段並垂直裁剪。

現已推出

我們分享這項成果,是因為希望所有人都能使用最佳模型。Muse Spark 的開放權重版本在 SGLang 中配備自訂且可自動調校的 Helion GPU 核心程式,在 NVIDIA 和 AMD GPU 上帶來 1.03-3.95× 的核心程式層級加速,並在 AMD MI350 上帶來 3% 的端對端加速。

安全與準備工作

發布開放權重模型,是讓所有人受惠於個人超級智能的方式之一,也是推動整個領域安全工作進展的一部分。

開放權重模型亦有其考量因素,因此 Muse Spark Open 經過額外的安全性後訓練。評估結果顯示,模型在所測量的各類風險中均具備強效防護措施。

我們按照Meta Superintelligence Scaling Framework 評估模型,涵蓋最嚴重的風險;模型達到框架規定的發布門檻。詳細結果載於Muse Spark Open 模型卡,完整評估報告即將推出。

授權條款

我們以 Muse Model License 發佈模型權重,授權附有限制性商業條款,讓許多開發者可免費使用模型。

開始使用

你可以運用 PyTorch 的 TorchTitan 進一步微調模型,按自己的用途自訂 Muse Spark Open。若要在 Apple 晶片上執行,請使用 MLX;它會直接從 Hugging Face 下載模型權重。

Muse Spark Open 現已可透過 Hugging Face 取得:https://huggingface.co/collections/meta-models/muse-spark-open

MLX Adapter,用於在 Mac Studio 上執行 Muse Spark Open。

託管推理合作夥伴:Together AI、Fireworks、Baseten、Modal、Groq、Nebius 和 OpenRouter。

有沒有使用 Muse Spark Open 建構或發佈作品?歡迎在 Hugging Face Forums 上與我們分享——我們很期待看看你創作的內容。

來源:Hacker News 熱門(buzzing.cc 中文翻譯) · research.meta.ai