跳到正文
DEV Community· Clydara·· 2 小時前精選AI 評分76

Reflection 開放 Beam 權重:每 token 啟用 23B,部署仍須容納 501B 參數

Reflection's Beam is open: 23B active, but you still have to fit 501B

AI 導讀

Reflection 於 2026 年 10 月 16 日開放 Beam 權重;這款 MoE 模型有 501.3B 參數、每 token 啟用 23.4B,採 Apache 2.0 授權。

推薦理由

文章釐清每 token 啟用 23B 並不代表只需容納 23B 權重,並列出不同精度的記憶體估算及 KV cache 成本,供評估自行部署時參考。

正文 · 繁體中文

Reflection 於 2026 年 10 月 16 日公開了 Beam 的權重。這是該實驗室首個開放權重模型:一款稀疏混合專家(MoE)模型,總參數量為 501B,每個 token 約有 23B 個參數處於啟用狀態,上下文視窗為 1M token,採用 Apache 2.0 授權。

大多數貼文只提到標題中的數字。如果你打算自行運行,真正重要的是「23B 個啟用參數」與「磁碟上有 501B 參數」之間的差距。以下介紹發布內容、人們關注的原因,以及報道未提及的部分。

發生了甚麼(事實)

  • 模型。總參數量為 501.3B,啟用參數量為 23.4B;共有 52 層(3 個稠密層 + 49 個 MoE 層),每個 MoE 層有 256 個專家,每個 token 會路由至 8 個;採用門控 GQA 和滑動視窗注意力;詞彙表有 152k 個詞;輸入及輸出均為文字,主要使用英文。知識截止日期:2026 年 6 月 30 日(模型卡)。
  • 檔案。提供指令微調檢查點,格式包括 BF16、FP8 和 NVFP4,另有一個推測解碼草稿模型。
  • 授權。Apache 2.0。模型卡指出,Reflection 不禁止蒸餾、使用模型輸出訓練其他模型、微調、量化或合併模型。
  • 首日支援。支援 Transformers、vLLM、SGLang、Unsloth、Axolotl、TokenSpeed 和 NVIDIA Dynamo;亦可透過 Reflection 的 API 和合作夥伴使用託管服務,合作夥伴包括 AWS、Google Cloud、Cloudflare、OpenRouter、Together AI 和 Vercel。
  • 執行框架。Reflection 亦開源了 Mirror CLI,這是與 Beam 一同訓練的編碼 Agent 執行框架:Python 前端會與 Rust Agent 核心通訊。

人們關注的原因

Apache 2.0 不設用途限制條款,是前沿級開放模型可以採用的最簡潔明確授權條款。相比之下,有些「開放權重」授權設有用戶數上限或可接受使用條款,需要逐條細讀。對 SaaS 團隊而言,Apache 2.0 意味着你可以微調、量化模型,並在產品內提供服務,無須另行簽訂商業協議。

另一個原因是每個 token 的成本。每個 token 只會運行約 23B 個參數,因此模型載入後,生成所需的運算量更接近中型稠密模型,而非 500B 模型。Reflection 亦聲稱,Beam 只需約三分之一的推理 token,便能達到與領先開放模型相若的質素。

可能帶來的改變(預測,並非事實)

如果 token 效率的説法經獨立測試證實,Beam 便有望成為編碼 Agent 的實用自架後端,因為長篇推理過程是這類 Agent 的主要成本。這只是預測。技術報告目前標示為「即將推出」,而模型卡上的基準測試表則是 Reflection 自行測試的結果(temperature 0.7,top_p 0.99)。

報道未提及的部分

1.「23B 個啟用參數」指的是運算量,不是記憶體用量。每個專家都必須載入記憶體,因為任何 token 都可能被路由至任何一個專家。以下是粗略的純權重估算;這是我們的估算,並非已公佈數字:

  • BF16(每個參數 2 bytes):約 1 TB
  • FP8(每個參數 1 byte):約 500 GB
  • NVFP4(連同 scale 約 4.5 bits):約 280 GB

以上尚未計入 KV cache,而 1M-token 上下文會令 KV cache 成為第二項主要開支。部分層採用滑動視窗注意力有助減低負擔,但應預留多 GPU 伺服器,而不是隻用一張卡。對大部分團隊而言,先透過託管端點試用會較實際。

2. 量化檢查點是官方版本。Reflection 並列發布了 BF16、FP8 和 NVFP4 的評分,在大多數基準測試中,彼此相差約一個百分點(SWE-bench Verified:81.6%、80.2%、80.7%)。這比沒有評測結果的社羣量化版本更有參考價值。

3. 目前的基準測試結果由官方自行報告。SWE-bench Verified 81.6%、Terminal Bench v2.1 80.1% 和 GPQA Diamond 90.6% 都是亮眼的數字,但這些結果來自 Reflection 自行進行的評測。在正式環境切換前,先等待第三方針對你的任務類型進行測試。

4. 聊天模板採用修改版 Harmony 格式。如果你的推理服務堆疊寫死了另一種模板,工具呼叫會最先出問題。請使用隨權重附上的模板。

自行託管 Beam 前

  1. 先用你的實際提示詞測試託管端點。
  2. 選擇記憶體能負擔的精度,再查看模型卡表格中對應的資料列。
  3. 按實際所需的上下文長度預留 KV 快取,而非按 1M 上限配置。
  4. 使用官方聊天模板,並及早測試工具呼叫。

來源

來源:DEV Community · dev.to