推測解碼以草稿模型加快生成

截至 2026 年 10 月 20 日，報道介紹推測解碼如何在不改變大型語言模型原本會產生的文字下加快生成。流程由小型草稿模型提出多個後續 token，再由大型目標模型一併核對；核對時保留相符的猜測，並由目標模型修正首個不符 token。報道指出，草稿模型愈準確，每輪可接受的 token 數量便愈多，節省的時間也愈多。報道以草稿、核對及修正流程説明推測解碼的運作，未交代其他進展。

AI 根據報道生成 · 1 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。