Hugging Face Blog·· 2025-09-09精選AI 評分61
mmBERT 基於 ModernBERT 推出，訓練納入 1,833 種語言
mmBERT: ModernBERT goes Multilingual
AI 導讀
mmBERT 以 ModernBERT 為基礎推出，使用超過 3T tokens 的多語言文本訓練，並在最後階段納入 FineWeb2 的 1,833 種語言。
推薦理由
mmBERT 展示分階段擴充語言、逐步降低遮罩率的訓練設計，並報告在最後 100B tokens 才納入的低資源語言上取得明顯提升。
來源：Hugging Face Blog · huggingface.co