Ai2 / Allen Institute for AI·2026-10-01 16:00· 5 天前AI 評分57

Ai2 發佈 Olmo-core 3，提供可擴展的開放式 MoE 訓練基礎設施

Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

摘要

Ai2 發佈 Olmo-core 3，這套開放式 MoE 訓練基礎設施旨在擴展至萬億參數級，同時維持計算效率。一次基準測試將專家池由 8 擴至 128，每個 token 仍選 4 個專家，總參數容量由 4.6B 增至 47B，吞吐量下降少於 5%。