Google DeepMind 發佈實驗模型 DiffusionGemma,專用 GPU 上文字生成最高快 4 倍
DiffusionGemma: 4x faster text generation
Google DeepMind 發佈實驗性開放模型 DiffusionGemma,透過文字擴散並行生成文字,在專用 GPU 上文字生成最高快 4 倍。
DiffusionGemma 的優勢集中於低至中等批次的單加速器推理,高 QPS 雲端服務則可能收益較小並增加服務成本。
2026 年 6 月 10 日
|
我們最新的開放實驗模型,在專用 GPU 上推論速度最高可快 4 倍,並讓開發者能探索對速度要求極高的互動式本地工作流程。
Brendan O'Donoghue
研究科學家
Sebastian Flennerhag
研究科學家
今天,我們推出 DiffusionGemma,這是一款探索文字擴散技術的開放實驗模型。文字擴散是一種極高速的文字生成方法。模型以 Apache 2.0 授權發布,是 26B 參數的專家混合模型(MoE),突破一般自回歸大型語言模型(LLM)逐個 token 順序處理的限制,改為同時生成整段文字,在 GPU 上生成文字的速度最高可快 4 倍。
DiffusionGemma 建基於 Gemma 4 系列業界領先的每參數智能,並融合尖端的Gemini Diffusion 研究,加入專為提升生成速度而設的全新擴散頭。標準自回歸 Gemma 4 模型仍是高品質生產輸出的首選;DiffusionGemma 則面向研究人員和開發者,支援探索對速度要求極高的互動式本地工作流程,例如行內編輯、快速迭代和生成非線性文字結構。
為開發者開拓新價值
開發即時互動式 AI 應用程式時,開發者往往受本地推論的延遲瓶頸所限。DiffusionGemma 直接應對這些挑戰,但也帶來一些取捨:
- 極速推論:把解碼瓶頸由記憶體頻寬轉移至運算後,DiffusionGemma 在專用 GPU 上生成 token 的速度最高可快 4 倍。(單張 NVIDIA H100 每秒超過 1000 個 tokens;NVIDIA GeForce RTX 5090 每秒超過 700 個 tokens。) 1
- 硬件需求親民:這款 MoE 模型總參數量為 26B,推論時只會啟用 3.8B 參數;量化後可輕鬆在高階專用消費級 GPU 的 18GB VRAM 記憶體限制內運行。
- 雙向注意力:每次前向傳遞可並行生成 256 個 tokens,讓每個 token 都能參照其他所有 tokens。這對行內編輯、程式碼填補、氨基酸序列或數學圖等非線性領域特別有利。
- 智能自我修正:模型會反覆改進自己的輸出,一次評估整個文字區塊,並即時修正錯誤。
- 實驗階段和生產環境建議:DiffusionGemma 優先考慮速度和平行版面生成,因此整體輸出品質低於標準 Gemma 4。對品質要求最高的應用程式,我們建議部署標準 Gemma 4。
你可透過微調改善 DiffusionGemma 在特定任務上的表現。在以下示例中,Unsloth微調 DiffusionGemma 來玩數獨;自回歸模型因每個 token 取決於後續 tokens 而難以處理這項任務。DiffusionGemma 的雙向注意力令任務容易得多。
微調後的 DiffusionGemma 正在解數獨。
為何對文字使用擴散?
AI 研究社羣多年來一直探索基於擴散的文字生成,但要應用於大型模型仍具挑戰。DiffusionGemma 透過改變模型使用硬件的方式,突破這項限制。
傳統模型的取捨
大部分語言模型就像打字機,由左至右逐個 token 生成文字。在雲端環境中,伺服器可把數以千計的用戶請求批次處理,共用硬件負載,因此效率很高。但本地只供一位用戶使用時,逐字生成會令專用 GPU 或 TPU 未獲充分利用,大部分時間都在等待下一次「按鍵」。
DiffusionGemma 扭轉了這種低效率做法。它不會逐字預測,而是同時起草整段 256-token 文字。一次向電腦處理器交付更多工作,便能充分運用硬件。模型推論不再像逐個字輸出的打字機,而像一次印完整個文字區塊的大型印刷機。
Hugging Face 的 DiffusionGemma 文字轉 3D SVG 示範,展示逐步生成過程。
因此,DiffusionGemma 的加速優勢主要適用於本地和低並行度推論。在高 QPS 雲端服務中,自回歸模型可透過有效佈署充分利用運算能力,因此 DiffusionGemma 的平行解碼效益遞減,甚至可能增加服務成本。單一加速器在低至中等批次大小時,吞吐量優勢最為明顯。
文字擴散的運作原理
文字擴散的做法類似 AI 圖片生成器:它們先從視覺雜訊開始,逐步改進,直到生成清晰圖片;DiffusionGemma 則把這種方式應用於文字:
- 畫布:模型先建立一個由隨機佔位 tokens 組成的畫布。
- 反覆改進:模型多次處理,確定正確 tokens,並把它們作為上下文線索,逐步改進其餘內容。
- 最後潤飾:文字逐漸收斂,形成高品質輸出。
模型可在生成時處理整段文字,因而解鎖全新行為模式,例如準確閉合複雜 Markdown 格式,或近乎即時生成和呈現程式碼。
立即開始
- 下載模型權重:現可在 Hugging Face 取得以寬鬆 Apache 2.0 授權發布的實驗模型權重。
- 整合與瞭解:請參閲我們的DiffusionGemma 開發者指南瞭解詳情,或深入閲讀DiffusionGemma 視覺化指南,瞭解其運作原理。
- 使用偏好的開發工具:你可透過 MLX、vLLM(由 Red Hat支援整合)及 Hugging Face Transformers高效提供模型服務。為方便快速實驗,我們推出使用 Hackable Diffusion的微調教學。這套模組化 JAX 工具包專為組合應用而設。你亦可使用 Unsloth和 NVIDIA NeMo探索微調。官方 llama.cpp 支援亦即將推出。
- 體驗最佳化效能:我們與 NVIDIA合作,針對其整個硬件堆疊進行最佳化,兼容消費級配置(為 GeForce RTX 5090 和 4090 GPU 量化),並在企業系統上提供高效能(使用進階 NVFP4 核心的 Hopper 和 Blackwell),亦支援本地桌邊部署的 NVIDIA DGX Spark 和 DGX Station,以及面向 AI 專業人士的 RTX PRO。原生支援 NVFP4(4 位元浮點數),可加快運算吞吐量,令模型運行速度更快,同時準確度幾乎無損。
- 按你的方式體驗:可在桌上型專用 GPU 上運行,或透過 Gemini Enterprise Agent Platform Model Garden或 NVIDIA NIM在雲端使用。
來源:Google DeepMind · deepmind.google