階躍 Step 5 Preview 開放模型權重，支援 100 萬 token 上下文窗口

IT之家 10 月 15 日消息，階躍今天正式釋放 Step5Preview 權重。本次開放：BF16 與 FP8 模型權重、技術博客、配套開源開發工具。

據官方介紹，Step 5 Preview 面向長程 Agent 任務而設計，採用稀疏 MoE 架構，總參數量 600B、每 token 激活參數僅 27B，支持 100 萬 token 上下文窗口，原生支持文本與視覺輸入，在 AI 編程、軟件工程、專業知識工作和金融等場景表現突出。近期，Step 5 Preview 在 OpenRouter 周調用量、日調用量榜單中均位居全球第二。

目前，模型權重已上線 Hugging Face 和 ModelScope，並提供面向多種芯片平台和推理框架的適配支持。開發者可以通過 vLLM 或 SGLang 部署兼容 OpenAI 接口的 API 服務，也可以使用 Transformers 進行離線推理，將模型接入自己的數據、工具和系統，構建智能體、應用、工作流與服務。

IT之家注意到，官方同步公開的技術博客，介紹了 Step 5 Preview 如何通過架構與訓練的協同優化，支持更長、更復雜的 Agent 任務。關鍵設計包括：

• 92 層窄深架構：為隱式多跳推理提供更深的計算路徑，同時控制參數規模與計算成本。

• Sparse GQA：通過塊級索引與稀疏計算合併，降低百萬 token 上下文的計算開銷。其中，8 token 塊級索引可將索引與 top-k 選擇開銷降至原來的 1/8。

• 更穩定的訓練：在關鍵狀態與參數上保留 FP32 精度，結合細粒度梯度裁剪，緩解深層網絡中的激活異常增長與梯度尖峯。

• 百萬級可驗證環境：覆蓋軟件工程、科學推理、機器學習研發和專業知識工作，並持續校準任務難度、多樣性與評估可靠性。

• 面向長程任務的強化學習：將上下文壓縮納入端到端策略訓練，讓 Agent 學習整理任務狀態、繼續執行；結合更精細的獎勵歸因，提升長軌跡的學習效果。