Google DeepMind 發佈 Gemma 4 12B 統一免編碼器多模態模型
Introducing Gemma 4 12B: a unified, encoder-free multimodal model
Google DeepMind 發佈 Gemma 4 12B,定位為可在筆記型電腦本機運行的多模態模型,並為中型模型加入原生音訊輸入。它採用免多模態編碼器架構,將視覺和音訊輸入直接整合至 LLM backbone;標準基準表現接近 26B MoE,總記憶體佔用不足其一半。Gemma 4 12B 以 Apache 2.0 授權釋出,可透過 LM Studio、Ollama 等工具試用。
Gemma 4 12B 的免編碼器設計、接近 26B MoE 的基準表現與較低記憶體佔用,提供比較中型多模態模型架構和本機部署定位的具體依據。
2026 年六月 03 日
|
Gemma 4 12B 專為筆記型電腦設計,結合以行動裝置為先的效率與進階推理能力,直接帶來高效能多模態智能。
Olivier Lacombe
Google DeepMind 產品管理總監
Gus Martins
Google DeepMind 產品經理
收聽文章
[[duration]] 分鐘
此內容由 Google AI 生成。生成式 AI 仍屬實驗性技術。
今天我們推出 Gemma 4 12B,這款模型專為在筆記型電腦上直接提供智能體多模態智能而設。它填補了適合邊緣裝置的 E4B 和更先進的 26B 混合專家模型(MoE)之間的空隙;Gemma 4 12B 以較小的記憶體佔用提供強大功能。它亦是我們首款原生支援音訊輸入的中型模型。
有賴開發者社羣,Gemma 4 模型的下載量現已突破 150 百萬次。你們打造了各式各樣的應用,從用於身體協助的穿戴式機械手臂,到企業級 AI 保安。我們期待看到你們用這項最新產品創作甚麼。
Gemma 4 12B 的特色包括:
- 全新統一架構:毋須多模態編碼器,視覺和音訊輸入會直接流入 LLM 主幹。
- 進階推理:基準測試表現接近 26B 模型,可進行強大的多步驟推理及智能體工作流程。
- 適合筆記型電腦:只需 16GB VRAM 或統一記憶體,即可在本機運行。
- 開放易用:採用 Apache 2.0 授權發佈,並獲開發者生態系廣泛支援。
- 支援草稿模型:Gemma 4 12B 配備 Multi-Token Prediction(MTP)草稿模型,以降低延遲。
這些功能讓日常硬件具備先進多模態能力,同時不犧牲速度或推理表現。以下會深入探討 Gemma 4 12B 如何實現這些功能。
在本機運行頂尖智能體
在標準基準測試中,Gemma 4 12B 的表現接近更大型的 26B MoE 模型,記憶體佔用卻不到一半。它小巧得足以在配備 16GB RAM 的一般消費級筆記型電腦上本機運行,讓你的電腦直接支援強大的多模態及智能體體驗。
體驗高效率的獨特統一架構
Gemma 4 12B 的特色在於以精簡方式處理視覺和音訊輸入。傳統多模態模型通常依賴個別編碼器先轉換圖片和音訊,再把表示傳送至語言模型。這些分拆的編碼器會增加延遲和記憶體用量,因此我們以免編碼器架構訓練 Gemma 4 12B,讓音訊和視覺輸入直接整合。
Gemma 4 12B 以原生方式處理多模態輸入的方法如下:
- 視覺:我們以輕量嵌入模組取代 Gemma 4 的視覺編碼器;模組只由一次矩陣乘法、位置嵌入和正規化組成,讓 LLM 主幹負責視覺處理。
- 音訊:我們進一步簡化音訊處理,完全移除音訊編碼器,並把原始音訊訊號投影至與文字 tokens 相同的維度空間。
如想了解技術細節,請參閲配套的 Gemma 4 12B開發者指南。
立即開始
- 立即試用:只需點擊幾下,即可透過 LM Studio、Ollama、Google AI Edge Gallery App、Google AI Edge Eloquent App 和 LiteRT-LM CLI 試驗模型。
- 下載權重:直接從 Hugging Face 和 Kaggle 下載預訓練及指令微調檢查點。
- 整合和學習:參閲開發者文件和快速入門筆記簿。
- 使用你喜愛的開發工具:透過 Hugging Face Transformers、llama.cpp、MLX、SGLang 和 vLLM 建立本機推理流程,亦可使用 Unsloth 高效率微調。
- 使用 Gemma Skills 開發智能體:為協助智能體運用 Gemma 的最新進展進行開發,我們正推出官方 Skills Repository。這是一套專為協助智能體使用 Gemma 模型而設的技能程式庫。
- 按你的方式部署:使用 Google Cloud 建立生產環境端點。你可透過 Gemini Enterprise Agent Platform Model Garden、Cloud Run 和 GKE 部署。
來源:Google DeepMind · deepmind.google