DoNews·· 1 小時前AI 評分45
摩爾線程開源萬卡級 MoE 訓練框架 Megatron-MUSA-Titan
摩尔线程开源万卡级MoE训练框架Megatron-MUSA-Titan 1小时前
AI 導讀
摩爾線程宣佈開源大模型訓練基礎設施項目 Megatron-MUSA-Titan，面向萬卡級集羣下的萬億參數 MoE 模型訓練。項目覆蓋預訓練與強化學習，已在實際萬卡集羣完成長期穩定訓練驗證，並支援 slime、miles、SGLang，以及 blockwise FP8 訓練、DeepEP 和 ACE 異步通信引擎。
正文
10月28日，摩尔线程宣布开源大模型训练基础设施项目Megatron-MUSA-Titan。该项目面向其全功能GPU，专为万卡级集群下的万亿参数MoE模型训练设计，覆盖预训练与强化学习两大场景。已在实际万卡集群中完成长期稳定训练验证，实现高MFU与长稳运行，并支持slime、miles等RL框架及SGLang样本生成。技术上集成blockwise FP8训练、DeepEP与ACE异步通信引擎，优化Token分发、专家并行与计算重叠，显著提升端到端效率。
免责声明：本文内容由开放的智能模型自动生成，仅供参考。
來源：DoNews · donews.com