Hugging Face Blog·· 2024-07-16精選AI 評分64
Hugging Face 發佈 135M、360M 和 1.7B 三種 SmolLM 模型及 SmolLM-Corpus
SmolLM - blazingly fast and remarkably powerful
AI 導讀
Hugging Face 發佈 135M、360M 和 1.7B 三種 SmolLM 模型，並公開訓練語料 SmolLM-Corpus。語料包括 28B tokens 的 Cosmopedia v2、4B tokens 的 Python-Edu，以及 220B tokens 的 FineWeb-Edu；三款模型分別以 600B、600B 和 1T tokens 訓練。
推薦理由
文章梳理 SmolLM 的資料集整理流程、訓練配置與各參數級別的基準結果，並列出三種模型規模及本地運行選項，便於比較小型模型的訓練和部署取捨。
來源：Hugging Face Blog · huggingface.co