跳到正文
Google Research·· 2026-06-27精選AI 評分61

Google Research 為凍結權重的 Gemini Nano v3 加入 Multi-Token Prediction,加速 Pixel 端生成

Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction

AI 導讀

Google Research 已將 Multi-Token Prediction(MTP)架構部署至 Pixel 9 和 10 系列的 Gemini Nano v3,透過凍結主模型權重加快裝置端文字生成。

推薦理由

文章對照整合式 MTP head 與獨立草稿模型,説明直接利用主模型狀態如何提升候選 token 準確度,並改善 Pixel 端的速度與記憶體效率。

正文 · 繁體中文

有了 Gemini Nano 和 Gemma 等裝置端模型,強大的大型語言模型(LLM)如今已能放在你的口袋裡。這項技術讓手機可以提供日常功能,例如即時摘要大量通知,或校對重要短訊,而且毋須將你的私人資料傳送到裝置以外。不過,要令這些功能對日常用戶真正實用,就必須以極高效率運作。

要在流動裝置上達到這種速度,是一項重大挑戰。與龐大的伺服器環境不同,手機受嚴格的能源預算和硬性記憶體(RAM)限制所約束。此外,標準語言模型會以「自回歸」方式生成文字,即每次只處理並輸出一個字詞(或 Token)。這種逐步處理方式形成瓶頸,令手機的運算能力未獲充分利用,同時增加記憶體頻寬負擔,最終可能拖慢用戶體驗並耗盡電池。

為克服這個瓶頸,我們宣佈推出一種新架構,將多 Token 預測(MTP)改裝到現有、權重已「凍結」的 Gemini Nano v3 模型上。我們借鑑 EAGLE 架構及信心自適應語言建模(CALM)等既有方法,設計了新的架構元件,務求專為流動環境盡量提升效率。近期我們亦公佈了透過 MTP 加速 Gemma 4,並讓開發者使用。

本文探討邊緣運算獨有而極為嚴苛的限制。這種方法最近已推展至 Pixel 9 和 10 系列,可即時提升速度。對用戶來説,AI 通知摘要和 Proofread 等功能可更快生成文字,同時消耗更少能源。對開發者來説,這亦消除了主要障礙:毋須為每項新任務分別微調耗用大量記憶體的草稿模型,也能提供高速的裝置端 AI。

「延遲退出」策略

MTP 建基於推測解碼的演進。傳統設定下,生成 N 個 Token 需要大型模型進行 N 次前向傳遞。推測解碼將這個過程拆分為兩個部分:

  1. 草擬:較小、速度較快的近似模型(「草稿模型」)會生成一小段候選 Token 序列(例如 3 個 Token)。
  2. 驗證:大型模型(「驗證模型」)會平行處理這些候選 Token。如果候選內容與大型模型原本會作出的預測相符,就會予以接受;否則,系統會回退至首次出現分歧的位置。

不過,這種做法仍有一些效率問題。執行獨立的「單體」草稿模型(例如有 128M 個參數)會佔用有限的 RAM。此外,單體草稿模型無法讀取主模型豐富的內部狀態,只能根據文字歷史預測下一個 Token,缺少主模型已計算出的語意脈絡。MTP 透過由單體架構轉為整合式架構,解決這些效率問題。我們不再訓練另一個小型語言模型來草擬 Token,而是在主模型的最後幾層加上一個輕量級 Transformer 頭,即 MTP 頭。

這種採用深層退出層進行草擬的架構,會利用主模型骨幹已完成的運算。MTP 頭會取用主模型最後的高維度啟動值(隱藏狀態),並以自回歸方式據此預測一串後續 Token。

凍結骨幹的優勢

MTP 頭通常會與骨幹同步預先訓練,近期推出的 Gemma 4 模型便是如此;但若要利用已部署的裝置端基礎模型,這種做法並不可行。因此,我們的工作着重改裝草稿頭,令它可以獨立於預訓練流程運作。

我們以已完全訓練的 Gemini Nano v3 模型為基礎,凍結其權重,並在最後幾層接上一個密集 Transformer 堆疊,即 MTP 頭。我們只訓練這些參數,以減少對未來 Token 的預測誤差。骨幹保持凍結,令 MTP 嚴格限於提升效率,確保基礎模型的能力和安全對齊不會退化。

由於錯誤的草稿會在驗證期間被丟棄,最終輸出仍與主模型逐位元完全相同,因此我們可在完全向後相容的情況下推出效率更新。

零複製架構

標準 MTP 實作會透過主模型與草稿模型共用靜態參數(例如嵌入權重)來提升訓練效率,但裝置端推論面對更嚴峻的瓶頸:動態記憶體。即使權重共用,只要草稿模型獨立處理脈絡,就要自行建立和維護鍵值(KV)快取,令記憶體承受「雙重負擔」。流動裝置的記憶體有限,因此避免這種冗餘至關重要。

為瞭解決這個問題,我們設計了零複製架構,讓 MTP 頭有效利用主模型的狀態。MTP 頭不再自行維護歷史資料,而是直接對主模型凍結的 KV 快取進行交叉注意力運算。這樣草稿模型便可查詢骨幹已計算出的「記憶」和脈絡,毋須重複儲存。

這項設計帶來兩方面的效率提升。首先,它消除了草稿模型的預填充延遲:利用現有快取後,MTP 頭毋須額外花時間處理提示。其次,它減少了執行時的記憶體佔用。與單體草稿模型相比,我們每個實例節省了 130MB,原因是毋須保存草稿模型的嵌入查找表、預填充點積注意力變體,以及應用程式專用的調整參數。

解鎖更豐富的表徵

我們在實驗中發現,MTP 草稿模型持續作出更準確的 Token 預測;視乎任務而定,Pixel 9 裝置的速度因此提升 50% 或以上[aef552],優於參數數量相若的「單體草稿模型」。

這種效能差距源於 MTP 能取得更豐富的表徵。單體草稿模型將主模型視作黑盒,MTP 頭則會直接利用大型骨幹已處理的最終啟動值:

  • 遵循指示:在摘要或受複雜限制的改寫等任務中,MTP 的表現大幅優於經微調的單體草稿模型。
  • 可預測的文字結構:對於結構可預測性高的任務(例如智能回覆),MTP 頭能有效學會主模型的句法模式,令 Token 接受率最多提升 55%。

實際效益

為了在 Pixel 9 和 10 裝置上部署 MTP,我們重新設計了裝置端推論堆疊,以處理驗證與草擬階段之間複雜的相互依存關係。

結果證實了這些架構選擇的成效。在 AI 通知摘要和 Proofread 等生產工作負載中,MTP 每次推論平均可正確預測近兩個額外 Token。此外,驗證步驟減少,代表高耗能處理器啟動的時間縮短,從而降低能源消耗並延長電池續航力。

未來方向

我們期待在未來的 Pixel 裝置整合 MTP,並探索其他架構,包括平行解碼和不使用輔助頭的模式,在流動裝置的嚴格限制下進一步降低草擬延遲,並增加可同時驗證的 Token 數量。

我們亦正研究如何更有效處理語言生成本身的不確定性。標準推測解碼假設只有一條最佳的未來路徑;我們則正在開發可讓模型平行探索多種分支可能性的技術,務求即使在脈絡不確定時,也盡量提高接受長序列的機會。此外,我們亦在研究放寬驗證限制:針對特定用途,放寬草稿與驗證結果必須逐 Token 完全相符的要求,進一步提升邊緣裝置的效率。

鳴謝

這項工作是我們提升裝置端 LLM 效率的一部分,參與者包括 Filippo Galgani、Omri Homburger、Pooja Consul、Matthew Markwell 和 Vivek Kumar。部分內容建基於 Google DeepMind Gemini 團隊的成果,參與者包括 Tal Schuster、Ziwei ji、Ivan Korotkov 和 Ganesh Jawahar。我們亦衷心感謝 Nadav Bar、Utku Evci、Nir Shabat、Joe Zou,以及 Google Research、Google Deepmind 和 Platforms & Devices 團隊提供審閲、寶貴意見和支援。

來源:Google Research · research.google