模型 token 生成速度受記憶體頻寬限制

2026年10月23日，DEV Community 刊文探討模型每秒生成 token 數與記憶體頻寬的關係。作者在配備 Intel i5-2520M 處理器及 8 GB DDR3-1600 記憶體的電腦上，測得只讀頻寬約為 9.0 GB/s，並指出只需兩秒即可測量。報道解釋，dense 模型每生成一個 token，都須讀取整組權重；因此，生成速度受記憶體頻寬，以及每個 token 所需讀取的權重數據量限制。

AI 根據報道生成 · 1 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。