Hugging Face Blog·· 2024-12-19精選AI 評分74
Answer.AI 與 LightOn 發佈 ModernBERT，提供 8,192-token 上下文窗口
Finally, a Replacement for BERT: Introducing ModernBERT
AI 導讀
Answer.AI 與 LightOn 發佈 ModernBERT，提供 base（149M params）及 large（395M params）兩種僅編碼器版本。
推薦理由
文章將 ModernBERT 的架構、效率與訓練改動連結至長上下文檢索及程式碼檢索場景，呈現編碼器更新對實際應用的意義。
來源：Hugging Face Blog · huggingface.co