熱點事件持續更新
烏爾都語 token 數高於英語
1 篇報道1 個報道來源2 小時前更新
先了解這件事
AI 綜述
2026年11月5日，DEV Community刊出一項英語與烏爾都語 token 成本比較。作者以30組同義句測試三種 tokenizer，測得烏爾都語的 token 數比英語多2.72至5.39倍。以128,000-token context為例，GPT-2約可容納113,000個英文詞，相比之下，烏爾都語約可容納21,000個詞。作者提醒，測試樣本只有30組，而且句子屬正式語域，因此5.39倍應視為約五倍，而非精確倍率。
AI 根據報道生成 · 2 小時前更新
最新進展11月5日 05:16
作者指出，30組正式語域句子的測試中，5.39倍應視為約五倍。報道時間線
沿着報道，瞭解事件的不同側面。
11月5日
- DEV Community30 組同義句測試顯示，烏爾都語 token 成本比英語高 2.72–5.39 倍
作者用 30 組英語與烏爾都語同義句比較三種 tokenizer，測得烏爾都語的 token 數比英語高 2.72–5.39 倍。在 128,000-token context 下，GPT-2 約可容納 113,000 個英文詞，烏爾都語則約 21,000 個詞。作者提醒，測試僅有 30 組正式語域句子，5.39× 應視為約五倍，而非精確倍率。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。