Hugging Face Blog·· 2025-12-18精選AI 評分65
Transformers v5 重設分詞器架構,提升透明度與模組化
Tokenization in Transformers v5: Simpler, Clearer, and More Modular
AI 導讀
Transformers v5 將分詞器架構與訓練所得的詞彙、合併規則分離,並在類別中明確呈現正規化器等組件。相較 v4 每個模型各有 slow/fast 兩套實作,v5 改為每個模型一個檔案,預設採用 Rust-based TokenizersBackend;分詞器類別亦可直接實例化並用自有語料訓練。
推薦理由
文章對照 v4 與 v5,説明分離分詞器架構和訓練詞彙後,如何更直接檢查組件,並沿用模型架構訓練自訂分詞器。
來源:Hugging Face Blog · huggingface.co