Google DeepMind 發佈 Gemma 4 多模態模型系列,五種尺寸登陸 Hugging Face
Welcome Gemma 4: Frontier multimodal intelligence on device
Google DeepMind 的 Gemma 4 多模態模型系列已登陸 Hugging Face,提供五種尺寸,支援圖像、文字及部分型號的音訊輸入。模型採 Apache 2 授權,最大上下文窗口為 256K;31B 和 26B A4B 的 text-only LMArena 估算分數分別為 1452 和 1441,後者有 4B 啟用參數。
文章列出五種 Gemma 4 規格、上下文窗口和音訊支援差異,並整理多個推理與微調框架的接入方式,可供比較型號特點及部署路徑。
Google DeepMind 的 Gemma 4 多模態模型系列現已登陸 Hugging Face,支援你喜愛的代理、推論引擎和微調程式庫 🤗
這些模型實力非凡:採用 Apache 2 授權,真正開放;品質出色,在 Pareto 前沿競技場取得高分;支援音訊等多模態;而且尺寸選擇多元,無處不在都能使用,包括裝置端。Gemma 4 建基於之前系列的進展,並將各項能力整合得恰到好處。在預發布檢查點的測試中,其能力令我們印象深刻,甚至因為模型開箱即用便表現太好,難以找到合適的微調範例。
我們與 Google 及社羣合作,讓模型能在各處使用:Transformers、llama.cpp、MLX、WebGPU、Rust,應有盡有。本文會示範如何使用你喜愛的工具進行開發,歡迎分享你的想法!
目錄
- Gemma 4 有哪些新功能?
- 能力與架構概覽
- 多模態能力
- 隨處部署
- 多 Token 預測輔助模型
- DiffusionGemma:以擴散方式生成文字
- 微調與示範
- 試用 Gemma 4
- 基準測試結果
- 鳴謝
Gemma 4 有哪些新功能?
與 Gemma-3n 類似,Gemma 4 支援圖片、文字和音訊輸入,並生成文字回應。文字解碼器以 Gemma 模型為基礎,支援長上下文窗口。圖片編碼器與 Gemma 3 的相似,但有兩項關鍵改進:可變長寬比,以及可設定圖片 token 輸入數量,讓用戶在速度、記憶體和品質之間找到合適平衡。所有模型都支援圖片(或影片)和文字輸入;小型版本(E2B、E4B)及 12B Unified 模型亦支援音訊。
Gemma 4 有 5 種尺寸,全部均提供 base 和指令微調版本:
| 模型 | 參數規模 | 上下文窗口 | 檢查點 |
|---|---|---|---|
| Gemma 4 E2B | 有效參數 2.3B,連同嵌入為 5.1B | 128k | base、IT |
| Gemma 4 E4B | 有效參數 4.5B,連同嵌入為 8B | 128k | base、IT |
| Gemma 4 12B Unified | 11.95B dense,無 encoder | 256K | base、IT |
| Gemma 4 31B | 31B dense 模型 | 256K | base、IT |
| Gemma 4 26B A4B | 混合專家模型,啟用 4B/總計 26B 參數 | 256K | base、IT |
能力與架構概覽
Gemma 4 採用了多項先前 Gemma 版本及其他開放模型使用的架構組件,並省略 Altup 等複雜或效果未明的功能。這套組合經過設計,能在不同程式庫和裝置間保持高度相容,有效率地支援長上下文和代理應用,同時亦適合量化。
如上方基準測試所示,這套功能組合(連同訓練資料和流程)讓 31B dense 模型估計取得 1452 的 LMArena 分數(純文字);26B MoE 則只啟用 4B 參數便達到 1441 🤯。稍後會看到,在非正式和主觀測試中,多模態操作表現與文字生成相若。
Gemma 4 的主要架構特點如下:
- 交替使用局部滑動窗口和全域完整上下文注意力層。較小的 dense 模型使用 512 token 滑動窗口,較大的模型則使用 1024 token。
- 雙 RoPE 設定:滑動層使用標準 RoPE,全域層使用剪枝 RoPE,以支援更長上下文。
- 逐層嵌入(PLE):第二個嵌入表會向每個解碼器層輸入微小的殘差訊號。
- 共用 KV 快取:模型最後 N 層會重用較早層的鍵值狀態,消除重複的 KV 投影。
- 視覺編碼器(12B 除外):使用學習到的 2D 位置和多維 RoPE。保留原始長寬比,並可將圖片編碼為數種 token 預算(70、140、280、560、1120)。
- 音訊編碼器(E2B、E4B):採用 USM 風格 conformer,基礎架構與 Gemma-3n 相同。
- 統一式無編碼器多模態架構(僅 12B):12B Unified 版本移除獨立視覺和音訊編碼器,直接將原始圖片區塊和音訊波形投影至 LLM 的嵌入空間。請參閲統一多模態(12B)。
逐層嵌入(PLE)
小型 Gemma 4 模型最具特色的功能之一是逐層嵌入(PLE),此前已在 Gemma-3n 引入。標準 Transformer 中,每個 token 在輸入時只會取得一個嵌入向量,而所有層的殘差串流都以同一初始表徵為基礎,迫使嵌入層預先承載模型可能需要的一切資訊。PLE 在主要殘差串流旁加入平行、維度較低的條件化路徑。每個 token 都會透過兩種訊號組合,為每一層產生專屬的小型向量:一種是 token 身分組件(來自嵌入查找),另一種是具上下文資訊的組件(來自主嵌入的學習投影)。之後,每個解碼器層會使用對應向量,在注意力和前饋層之後透過輕量殘差區塊調節隱藏狀態。這讓每一層都有自己的通道,只在 token 專屬資訊變得相關時才接收,而不必一開始全塞進單一嵌入。由於 PLE 維度遠小於主隱藏層大小,能以適度參數成本帶來有意義的逐層專門化。對於多模態輸入(圖片、音訊、影片),PLE 會在軟 token 合併至嵌入序列前計算,因為多模態特徵取代佔位符後,token ID 便會消失,而 PLE 依賴 token ID。多模態位置使用 pad token ID,因此收到的逐層訊號實際上是中性的。
共用 KV 快取
共用 KV 快取是一種效率最佳化,可在推論期間同時減少運算和記憶體用量。模型最後 num_kv_shared_layers 層不會自行計算鍵和值投影,而是重用同一注意力類型(滑動或完整)的最後一個非共用層所產生的 K 和 V 張量。
實際上,這對品質的影響極小,卻能在長上下文生成和裝置端使用時,大幅提高效率(同時節省記憶體和運算)。
統一多模態(12B)
Gemma 4 12B Unified 模型沒有獨立視覺或音訊編碼器,而是透過輕量線性層,將原始圖片區塊和音訊波形直接投影至 LLM 嵌入空間,所有模態都流入單一 decoder-only Transformer。這可降低多模態延遲,並讓整個模型能在單次流程中微調。檢查點大小亦方便在消費級硬件上部署。
多模態能力
我們在測試中發現,Gemma 4 開箱即支援全面的多模態能力。我們不清楚訓練資料組合,但成功使用它處理 OCR、語音轉文字、物件偵測和指向等任務。它亦支援純文字和多模態函式呼叫、推理、程式碼補全與修正。
以下展示不同模型尺寸的推論範例。你可使用這份 notebook輕鬆執行。歡迎試用示範,並在本文下方分享結果!
多模態輸入順序
Gemma 4 訓練時採用特定慣例,交錯排列不同模態的輸入:
- 提示中的圖片內容要放在文字之前。
- 提示中的音訊內容要放在文字之後。
具體而言,以下片段可正確準備輸入,供聊天範本使用:
image_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
audio_url = "instructions.m4a" # A recording of "describe this image"
messages = [
{
"role": "user",
"content": [
{"type": "image", "image": image_url},
{"type": "text", "text": "Answer in French."},
{"type": "audio", "audio": audio_url},
]
}
]
# Cette image montre un personnage anthropomorphe ressemblant à un lapin, vêtu d'un manteau bleu et d'un pantalon beige, se tenant sur un chemin de terre dans un paysage rural idyllique ...
本文中的音訊推論片段沒有遵守此慣例,因為編寫時尚未確認這項指引。為了讓結果表格可重現,我們保留原始寫法。你編寫自己的程式碼時,請優先採用上述順序。
\n \n \n 物件偵測與指向\n \n
\n \n \n GUI 偵測\n \n
我們測試 Gemma 4 不同尺寸的 GUI 元素偵測和指向能力,使用以下圖片和文字提示:「圖片中『查看食譜』元素的邊界框在哪裏?」
使用此提示時,模型會直接以 JSON 格式回應偵測到的邊界框,無須特別指示或限制生成文法。我們發現座標是以 1000x1000 圖片為基準,並相對於輸入尺寸表示。
以下將輸出視覺化,方便你查看。我們會從回傳的 JSON 解析邊界框:json\n[\n {"box_2d": [171, 75, 245, 308], "label": "view recipe element"}\n]\n
| E2B | E4B |
|---|---|
![]() |
![]() |
| 26/A4B | 31B |
![]() |
![]() |
\n \n \n 物件偵測\n \n
我們測試模型偵測日常物件,請它們找出單車,並比較不同模型輸出。與上一個例子一樣,我們會解析 JSON 中的邊界框,並轉換為圖片座標。
| E2B | E4B | 26B/A3B | 31B |
|---|---|---|---|
![]() |
![]() |
![]() |
![]() |
多模態推理與函式呼叫
我們請 Gemma 4 編寫 HTML,重建我們使用 Gemini 3 製作的頁面。以下提供相關程式碼,會啟用推理模式,並要求每個模型最多生成 4000 個新 token,確保結果完整。
| Gemini 生成的網站(參考) | Gemini 重建的圖片 |
|---|---|
![]() |
![]() |
推論程式碼
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/landing_page.png",
},
{"type": "text", "text": "Write HTML code for this page."},
],
}
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
enable_thinking=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=4000)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])
| E2B | E4B |
|---|---|
![]() |
![]() |
| 31B | 26/A4B |
|---|---|
![]() |
![]() |
影片理解
較小的 Gemma 4 模型可接收含音訊的影片,較大的模型則可接收不含音訊的影片。雖然模型並未明確針對影片進行後訓練,仍能理解有聲和無聲影片。模型在音訊方面尤其出色
推論程式碼
messages = [
{
"role": "user",
"content": [
{"type": "video", "url": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/concert.mp4"},
{"type": "text", "text": "What is happening in the video? What is the song about?"},
],
},
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
load_audio_from_video=True, # disable this for larger models
).to(model.device)
output = model.generate(**inputs, max_new_tokens=200)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
print(result["content"])
| 模型 | 輸出 |
|---|---|
| E2B(對音訊產生幻覺) | 根據提供的影片,分析如下:影片中發生了甚麼事?影片拍攝了一場現場音樂演出,可能是在大型戶外音樂節或演唱會。 * 場地:畫面是一個戶外大型舞台,從大量燈光設備、巨型揚聲器,以及前景可見的觀眾可見一斑。 * 表演者:台上有數名樂手。焦點似乎是一位穿藍色上衣和白色長褲的主唱/結他手,正彈奏木結他或電結他並投入演出。背景亦可見其他樂手,包括鼓手和低音結他手。 * 氣氛:氣氛熱烈而富戲劇性,舞台燈光明亮,藍白色聚光燈強烈,並有大量舞台霧氣/煙霧,營造演唱會氛圍。 * 觀眾:前景滿是觀眾的背影,可見他們靠近舞台並專注觀看演出。歌曲在唱甚麼?影片下方提供的歌詞如下: >「I don't care 'bout street > From what I cherish > Could it's time to protest |
| E4B ✅ | 影片拍攝了一支樂隊在舞台上現場演出,四周有明亮燈光和煙霧效果,觀眾環繞舞台。樂隊一邊演奏一邊向觀眾唱歌。歌曲似乎描寫現代生活的掙扎和幻滅,尤其是困在原地,以及在混亂而令人喘不過氣的世界中難以找到自己的位置。歌詞提到「混凝土街道」、「破碎承諾」、「當日風暴」等主題,以及在社會壓力下難以找到自我。 |
| 26/A4B(無音訊)✅ | 影片展示一場夜間戶外演唱會或音樂節的現場音樂演出。中央焦點是一位穿藍色上衣和白色長褲的男歌手。他在大型燈光舞台上彈奏木結他,並對着咪高峯唱歌。樂隊亦參與演出,包括鼓手和其他可在背景及大型影片屏幕上看到的樂手。舞台上有藍色氣氛燈、煙霧和明亮聚光燈。影片從不同角度拍攝,包括觀眾仰望舞台,以及大型屏幕上投影表演者特寫的畫面。前景可見觀眾觀看演出。其中一個屏幕亦顯示「Estrella Damm」品牌名稱。 |
| 31B(無音訊)✅ | 一位音樂家正在舞台上表演,彈奏木結他並對着咪高峯唱歌。他穿着藍色上衣和白色長褲。舞台煙霧瀰漫,並由明亮的藍白燈光照亮。台上亦可見其他樂隊成員,包括鼓手和鍵盤手。影片以觀眾視角拍攝音樂家,部分鏡頭聚焦他本人,另一些則展示舞台側邊的大型屏幕,上面播放表演者和觀眾的特寫。 |
圖片説明
我們測試了所有模型的圖片説明能力,各檢查點表現都很好,能準確捕捉複雜情境中的細節。 以下是我們使用的圖片及提示:「為此圖片撰寫一段詳細説明。」
推論程式碼
messages = [
{
"role": "user",
"content": [
{"type": "image", "url": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/bird.png"},
{"type": "text", "text": "Write single detailed caption for this image."},
],
},
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=512)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])
| 模型 | 輸出 |
|---|---|
| E2B ✅ | 中景拍到一隻飽經風霜的海鷗停在石製基座頂端,背景似乎是熱鬧的歐洲廣場。畫面右側是一座雄偉的古典風格建築,飾有華麗的柱子和建築細節。中景橫跨一座低矮的淺色建築,兩旁有一些綠色植物,還可見其他建築物,包括陶土瓦頂的屋舍。前景可見現代巴士站或候車亭的一部分,標示牌列出路線。整個場景沐浴在明亮日光下,天空呈淡色。 |
| E4B ✅ | 一隻海鷗獨自停在灰色石基座頂端,身處熱鬧的歐洲廣場。畫面右側是一座氣派的歷史古典建築,與明亮朦朧天空下背景較現代的低層建築形成對比。 |
| 26B/A4B ✅ | 全景拍到一隻白啡色海鷗停在意大利威尼斯的一根灰色柱子上。海鷗面向左方,鳥喙朝向畫面邊緣。牠身後是一座淺灰色兩層建築,設有數扇深色長方形窗戶。海鷗右方是一座大型白色建築,帶有柱子和精細雕刻。天空晴朗、呈淺藍色。光線明亮而均勻,應是白天。 |
| 31B ✅ | 高角度中景拍到一隻白灰色海鷗停在意大利威尼斯的灰色混凝土柱上。海鷗面向左方,身體稍稍朝向鏡頭。牠白色的頭、頸和胸部與灰色翅膀及背部形成對比。橙色鳥喙微微張開。柱子是表面斑駁的淺灰色混凝土圓柱。背景有幾座建築:左邊是一座低矮而狹長的白色建築,排列着一系列小型長方形窗戶;中央是一片綠樹;右邊是一座紅色建築,鋪有瓦頂並設有幾扇小型長方形窗戶。更右方是一座大型華麗白色石造建築,有多根柱子和雕像。天空淡藍,光線明亮清晰。左下角有一輛黃色巴士,車身以黑字印着「Ferrovia」。背景中有幾個行人,但體積細小且失焦。 |
音訊問答
這些模型經訓練後可回答音訊語音相關問題。音樂和非語音聲音並非訓練資料的一部分。
推論程式碼
messages = [
{
"role": "user",
"content": [
{"type": "audio", "url": "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/obama_first_45_secs.mp3"},
{"type": "text", "text": "Can you describe this audio in detail?"},
],
},
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
).to(model.device)
output = model.generate(
**inputs,
max_new_tokens=1000,
do_sample=False,
)
print(processor.decode(output[0], skip_special_tokens=True))
| 模型 | 輸出 |
|---|---|
| E2B | 這段音訊是一段個人回顧。講者談到自己在芝加哥向全國發表最後告別演説。他感謝曾與美國民眾交談;雖然他們從未面對面見過,甚至未曾互相打招呼,但在客廳、學校、農場、工廠、餐館和偏遠軍事哨站等不同地方的交流,一直是支持他繼續前行的力量。 |
| E4B | 這段音訊是講者在芝加哥向全國發表告別演説的節錄。講者回顧任內時光,感謝曾在客廳、學校、農場、工廠、餐館和偏遠軍事哨站等不同地方與美國民眾交流。語氣帶有反思和感激,突顯這些互動在其政治歷程中的重要性。 |
以下示範如何進行轉錄:
推論程式碼
messages = [
{
"role": "user",
"content": [
{"type": "audio", "url": "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/obama_first_45_secs.mp3"},
{"type": "text", "text": "Transcribe the audio?"},
],
},
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
).to(model.device)
output = model.generate(
**inputs,
max_new_tokens=1000,
do_sample=False,
)
print(processor.decode(output[0], skip_special_tokens=True))
| 模型 | 輸出 |
|---|---|
| E2B | 本週我前往芝加哥,按照前任總統的傳統,向全國發表最後的告別演説。這是一次致謝的機會。無論我們是否曾意見一致,或幾乎從未達成共識,我與你們這些美國民眾在客廳、學校、農場、工廠、餐館和遙遠軍事哨站的所有對話,都是令我保持坦誠的原因 |
| E4B | 本週我前往芝加哥,按照前任總統的傳統,向全國發表最後的告別演説。這是一次致謝的機會。無論我們是否曾意見一致,或幾乎從未達成共識,我與你們這些美國民眾在客廳、學校、農場、工廠、餐館和遙遠軍事哨站的所有對話,都是令我保持坦誠的原因。 |
多模態函式呼叫
我們請模型查看圖片中的地點,並查詢當地天氣,以此測試它。
推論程式碼
import re
WEATHER_TOOL = {
"type": "function",
"function": {
"name": "get_weather",
"description": "Gets the current weather for a specific location.",
"parameters": {
"type": "object",
"properties": {
"city": {"type": "string", "description": "The city name"},
},
"required": ["city"],
},
},
}
tools = [WEATHER_TOOL]
messages = [
{"role": "user", "content": [
{"type": "text", "text": "What is the city in this image? Check the weather there right now."},
{"type": "image", "image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/thailand.jpg"},
]},
]
inputs = processor.apply_chat_template(
messages,
tools=[WEATHER_TOOL],
tokenize=True,
return_dict=True,
return_tensors="pt",
add_generation_prompt=True,
enable_thinking=True,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=1000)
input_len = inputs.input_ids.shape[-1]
generated_text_ids = output[0][input_len:]
generated_text = processor.decode(generated_text_ids, skip_special_tokens=True)
result = processor.parse_response(generated_text)
print(result["content"])
| 模型 | 輸出 |
|---|---|
| E2B | 分析請求:用戶提供了一張圖片,並提出兩個問題:\n *「圖片中的城市是哪裏?」 *「查詢當地目前天氣。」\n\n2. 分析圖片:圖片中有一座大型、華麗而高聳的建築,具有寺廟建築特色,可能位於東南亞(從建築風格判斷)。這似乎是一處著名地標。 3. 辨認地標/位置(內部知識/視覺線索):該建築很像泰國部分地區的佛塔,例如曼谷的鄭王廟或類似建築。\n\n4. 判斷城市:根據視覺證據,地點很可能是泰國曼谷。\n\n5. 檢查可用工具:可用工具是 get_weather(city: STRING)。 6. **制定計劃:**\n * 步驟 1:從圖片辨認城市(曼谷)。\n * 步驟 2:使用已辨認的城市呼叫 get_weather 工具。\n\n7. 建立工具呼叫:get_weather(city="Bangkok")\n\n8. 生成回應:模型應先説明辨認出的城市,再呼叫工具取得天氣。(自我修正:若需要外部資訊,模型必須以正確格式呼叫工具。)call:get_weather{city:Bangkok} |
| E4B | '1. 分析請求:用戶提供了一張圖片,並提出兩個問題:\n a. 辨認圖片中的城市。\n b. 查詢該城市目前的天氣。\n\n2. 分析圖片:圖片中有一座極具特色的華麗塔樓/尖塔,具有泰國建築風格(具體而言是佛塔或 prang)。\n\n3. 判斷城市(內部知識/視覺辨認):從建築風格看,該建築很像泰國著名寺廟,例如曼谷的鄭王廟。\n\n4. 評估工具:我有一個可用工具:get_weather(city: STRING)。此工具需要城市名稱作輸入。\n\n5. **制定計劃:**\n a. 我需要城市名稱才能使用 get_weather 工具。\n b. 我必須先從圖片辨認城市。\n c. 我的內部知識顯示可能是曼谷,因此會以此為假設,但必須承認單憑圖片無法確切證明地點。\n\n6. 執行步驟 1(辨認城市):根據建築的視覺線索,假設城市是曼谷。\n\n7. 執行步驟 2(生成工具呼叫):呼叫 get_weather 工具,並以「Bangkok」作為 city 參數。\n\n8. 建立回應:以 JSON 格式生成適當的工具呼叫。', 'answer': '<|tool_call>call:get_weather{city:<|"|>Bangkok<|"|>}<tool_call|> |
| 31B | 用戶想知道圖片中的城市,以及當地目前天氣。1. 分析圖片:圖片展示具有泰國寺廟建築特色的華麗尖塔狀建築。具體而言,這些尖塔看來像泰國曼谷的玉佛寺或卧佛寺。這種風格是曼谷皇家寺廟建築羣的鮮明特色。2. 辨認城市:根據建築風格,城市是曼谷。3. 查詢天氣:我需要呼叫 get_weather 工具,並以 city="Bangkok" 作為參數。call:get_weather{city:Bangkok} |
| 26/A4B | 圖片中有幾座高聳華麗的塔樓(prang),是泰國佛教寺廟建築的典型特色。具體而言,它們看來像曼谷大皇宮或玉佛寺內的建築。泰式風格十分鮮明。我會再查看塔樓細節以確認,這些是非常具代表性的建築。\n2. 確認位置:圖片顯示曼谷大皇宮建築羣的部分景觀。\n3. 取得天氣資訊:確認城市是曼谷後,我會呼叫 get_weather 工具,並以 city='Bangkok' 作為參數。call:get_weather{city:Bangkok} |
隨處部署
Gemma 4 從 day-0 起便支援多種開源推論引擎,非常適合函式呼叫和代理!我們亦發布了可在多種硬件後端執行的 ONNX 檢查點,支援邊緣裝置或瀏覽器等使用情境。
transformers
Gemma 4 推出時便有一級 transformers 支援 🤗。這項整合可讓模型搭配 bitsandbytes、PEFT 和 TRL 等其他程式庫。請務必安裝最新版 transformers。
pip install -U transformers
使用小型 Gemma 4 模型進行推論,最簡單的方法是透過 any-to-any pipeline。可按以下方式初始化。
from transformers import pipeline
pipe = pipeline("any-to-any", model="google/gemma-4-e2b-it")
接着可按以下方式傳入圖片和文字。
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/thailand.jpg",
},
{"type": "text", "text": "Do you have travel advice going to here?"},
],
}
]
output = pipe(messages, max_new_tokens=100, return_full_text=False)
output[0]["generated_text"]
# Based on the image, which appears to show a magnificent, ornate **Buddhist temple or pagoda**, likely in Southeast Asia (such as Thailand, Myanmar, or Cambodia), here is some general travel advice..
對影片進行推論時,可使用 load_audio_from_video 參數一併載入音軌。
messages = [
{
"role": "user",
"content": [
{
"type": "video",
"image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/rockets.mp4",
},
{"type": "text", "text": "What is happening in this video?"},
],
}
]
pipe(messages, load_audio_from_video=True)
再深入一層,可使用 AutoModelForMultimodalLM 類別載入 Gemma 4,特別適合微調。內置聊天範本會正確格式化輸入;手動編寫提示時,請務必使用它,以免出現不易察覺的錯誤。
推論程式碼
from transformers import AutoModelForMultimodalLM, AutoProcessor
model = AutoModelForMultimodalLM.from_pretrained("google/gemma-4-E2B-it", device_map="auto")
processor = AutoProcessor.from_pretrained("google/gemma-4-E2B-it")
messages = [
{
"role": "user",
"content": [
{
"type": "video",
"image": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/rockets.mp4",
},
{"type": "text", "text": "What is happening in this video?"},
],
}
]
inputs = processor.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt"
).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)
Llama.cpp
Gemma 4 模型從推出起便支援 llama.cpp 的圖片與文字輸入!因此可在你喜愛的本機應用程式中使用 Gemma 4:llama-cpp server、lmstudio、Jan,以及 Pi 等程式碼代理;並支援 Metal 和 CUDA 等多種後端。
可按以下方式安裝 llama-cpp。
curl -LsSf https://llama.app/install.sh | sh
接着可啟動相容 OpenAI API 的伺服器。將指令結尾的量化方案替換為你所選的精度。
llama serve -hf ggml-org/gemma-4-E2B-it-GGUF
如欲查看更多將 llama.cpp 與不同程式碼代理及本機應用程式搭配使用的選項,請查看此連結。所有 GGUF 檢查點均收錄於此係列。
連接本機代理
我們已確保新模型可在本機搭配 openclaw、hermes、pi 和 open code 等代理使用,全賴 llama.cpp!執行以下內容即可立即試用 Gemma 4。
首先啟動本機伺服器:
llama serve -hf ggml-org/gemma-4-26b-a4b-it-GGUF:Q4_K_M
適用於 hermes:
hermes model
適用於 openclaw:
openclaw onboard
對於 pi,請定義 ~/.pi/agent/models.json:
{
"providers": {
"llama-cpp": {
"baseUrl": "http://localhost:8080/v1",
"api": "openai-completions",
"apiKey": "none",
"models": [
{
"id": "ggml-org-gemma-4-26b-4b-gguf"
}
]
}
}
}
對於 open code,請定義 ~/.config/opencode/opencode.json:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"llama.cpp": {
"npm": "@ai-sdk/openai-compatible",
"name": "llama server (local)",
"options": {
"baseURL": "http://127.0.0.1:8080/v1"
},
"models": {
"gemma-4-26b-4b-it": {
"name": "Gemma 4 (local)",
"limit": {
"context": 128000,
"output": 8192
}
}
}
}
}
}
transformers.js
transformers.js 讓你可直接在瀏覽器中執行 Gemma 4。模型卡此處詳細示範純文字、圖片與文字、音訊與文字推論。我們亦發布了示範供你試用模型。
MLX
開源的 mlx-vlm 程式庫提供完整 Gemma 4 多模態支援。以下示範如何請模型描述圖片:
pip install -U mlx-vlm
mlx_vlm.generate \
--model google/gemma-4-E4B-it \
--image https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg \
--prompt "Describe this image in detail"
mlx-vlm 支援 TurboQuant,在活動記憶體減少約 4 倍、端到端執行速度大幅提升的同時,仍能維持與未壓縮基準相同的準確度。這讓 Apple Silicon 上的長上下文推論變得實用,且不會犧牲品質。使用方式如下:
mlx_vlm.generate \
--model "mlx-community/gemma-4-26b-a4b-it-4bit" \
--prompt "Your prompt here" \
--kv-bits 3.5 \
--kv-quant-scheme turboquant
音訊範例和更多詳情請參閲MLX 系列。
Mistral.rs
mistral.rs 是原生 Rust 推論引擎,從 day-0 起便支援 Gemma 4 的所有模態(文字、圖片、影片、音訊),並內置工具呼叫和代理功能。安裝 mistral.rs:
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh # Linux/macOS
irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex # Windows
接着可啟動相容 OpenAI 的 HTTP 伺服器:
mistralrs serve mistralrs-community/gemma-4-E4B-it-UQFF --from-uqff 8
或者使用互動模式:
mistralrs run -m google/gemma-4-E4B-it --isq 8 --image image.png -i "Describe this image in detail."
mistralrs run -m google/gemma-4-E4B-it --isq 8 --audio audio.mp3 -i "Transcribe this fully."
多 Token 預測輔助模型
Google 已為 Gemma 4 系列發布多 Token 預測(MTP)輔助模型:小型輔助模型,可透過推測式解碼加快推論。輔助模型一次提出多個後續 token,再由目標模型透過一次前向傳播驗證。輸出與目標模型相同,只是速度更快,不會降低品質,也不會改變推理行為。視硬件、批次大小和工作負載而定,據報端到端加速最高約 3 倍。
所有 4 種 Gemma 4 尺寸(E2B、E4B、26B A4B、31B)都有輔助模型。它們會與目標模型共用 KV 快取,避免重複計算上下文;較小的邊緣版本另使用嵌入器羣集技巧,以降低裝置端記憶體和運算需求。
檢查點可在Gemma 4 系列和mlx-community 系列找到。
DiffusionGemma:以擴散方式生成文字
除了自回歸 Gemma 4 系列,Google DeepMind 亦發布 DiffusionGemma。這款多模態模型使用離散擴散而非逐 token 自回歸來生成文字。它建基於相同的 26B A4B 混合專家基礎架構(總計 25.2B/啟用 3.8B 參數,128 個專家中啟用 8 個,另加 1 個共用專家),可接收文字和圖片輸入、生成文字,並支援最高 256K 上下文;同樣採用 Apache 2.0 授權。
標準因果語言模型一次輸出一個 token;DiffusionGemma 則平行對整個 token 區塊進行去噪。其架構採用 encoder-decoder:自回歸 encoder 先填入提示並建立 KV 快取,decoder 則對包含 256 個 token 的「畫布」套用雙向注意力。在多畫布抽樣期間,模型使用擴散抽樣器反覆對整個畫布去噪;畫布定稿後會編碼並附加至 KV 快取,再開始下一個畫布。這種區塊自回歸方式可提高生成速度。
主要優勢是處理量:平行去噪每次前向傳播約生成 15–20 個 token;在低批次大小(H100、FP8)下,每位用戶的生成速度可超過每秒 1100 個 token。推論運算亦具適應性:較簡單的提示和程式碼等結構化任務所需去噪步數較少,因此每秒 token 數會隨任務複雜度調整。它保留 Gemma 4 的完整工具組:思考模式、函式呼叫、長上下文、原生系統提示,以及不同長寬比和解析度下的圖片理解(OCR、文件解析、物件偵測、指向)。
基準測試顯示速度與評估指標之間存在預期取捨:DiffusionGemma 在大多數任務上落後於自回歸 26B A4B(例如 MMLU Pro 為 77.6% 對 82.6%、AIME 2026 為 69.1% 對 88.3%、GPQA Diamond 為 73.2% 對 82.3%),換取大幅速度優勢;但在少數項目上略勝(HLE no tools 為 11.0% 對 8.7%)。
與其他 Gemma 4 型號一樣,可透過專用擴散類別開始使用:
from transformers import DiffusionGemmaForBlockDiffusion, AutoProcessor
MODEL_ID = "google/diffusiongemma-26B-A4B-it"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = DiffusionGemmaForBlockDiffusion.from_pretrained(
MODEL_ID,
dtype="auto",
device_map="auto",
)
message = [{"role": "user", "content": "Why is the sky blue?"}]
input_ids = processor.apply_chat_template(
message,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
output = model.generate(**input_ids, max_new_tokens=512)
text = processor.decode(output[0], skip_special_tokens=False)
Google 建議使用熵界限(EB)抽樣器並啟用自適應停止,以取得最佳結果(最多 48 個去噪步驟、温度由 0.8 遞減至 0.4,以及 token 選擇的熵界限 0.1)。與 Gemma 4 一樣,請將提示中的圖片內容放在文字之前,並使用 <|think|> 控制 token 切換推理功能。
人人都能微調
Gemma 4 模型適合使用你喜愛的工具、平台和任何預算進行微調。
使用 TRL 微調
TRL 完整支援微調 Gemma 4。為此,TRL 加入了與環境互動時的多模態工具回應支援,模型現在可在訓練期間從工具接收圖片,而不只是文字。
為展示此功能,我們建立了一個訓練範例腳本,讓 Gemma 4 學習在 CARLA 模擬器中駕駛。模型透過攝影機觀察道路、決定如何行動,並從結果中學習。訓練後,它會持續變換車道以避開行人。同一方法適用於任何需要模型觀察並採取行動的任務,例如機械人、網頁瀏覽或其他互動環境。
開始使用:
# pip install git+https://github.com/huggingface/trl.git
python examples/grpo_carla/carla_vlm_gemma.py \
--env-urls https://sergiopaniego-carla-env.hf.space \
https://sergiopaniego-carla-env-2.hf.space \
--model google/gemma-4-E2B-it
範例見此。
在 Vertex AI 上使用 TRL 微調
此外,我們準備了一個使用 SFT 在 Vertex AI 上透過 TRL 微調 Gemma 4 的範例,展示如何擴展函式呼叫能力,同時凍結視覺和音訊塔。範例涵蓋如何在 Google Cloud 上建立自訂 Docker 容器,內含最新版 Transformers、TRL 等及 CUDA 支援,以及如何透過 Vertex AI Serverless Training Jobs 執行。
# pip install google-cloud-aiplatform --upgrade --quiet
from google.cloud import aiplatform
aiplatform.init(
project="<PROJECT_ID>",
location="<LOCATION>",
staging_bucket="<BUCKET_URI>",
)
job = aiplatform.CustomContainerTrainingJob(
display_name="gemma-4-fine-tuning",
container_uri="<CONTAINER_URI>",
command=["python", "/gcs/gemma-4-fine-tuning/train.py"],
)
job = job.submit(
replica_count=1,
machine_type="a3-highgpu-1g",
accelerator_type="NVIDIA_H100_80GB",
accelerator_count=1,
base_output_dir="<BUCKET_URI>/output-dir",
environment_variables={
"MODEL_ID": "google/gemma-4-E2B-it",
"HF_TOKEN": <HF_TOKEN>,
},
boot_disk_size_gb=500,
)
完整範例可在「Hugging Face on Google Cloud」文件中的此處找到。
使用 Unsloth Studio 微調
如果你想在圖形介面中微調和執行 Gemma 4 模型,可以試用 Unsloth Studio。它可在本機或 Google Colab 執行。首先安裝並啟動應用程式:
# install unsloth studio on MacOS, Linux, WSL
curl -fsSL https://unsloth.ai/install.sh | sh
# install unsloth studio on Windows
irm https://unsloth.ai/install.ps1 | iex
# launch unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Search for for a Gemma 4 model like google/gemma-4-E2B-it
然後從 Hub 選取任何 Gemma 4 模型。
試用 Gemma 4
我們發布了多款示範,供你試用不同 Gemma 4 模型。Transformers 實作的示範包括 E4B、12B Unified、26B/A4B MoE 和 31B dense。另有採用 transformers.js 的 WebGPU 示範 🚀
基準測試結果
Gemma 4 模型在多種基準測試中表現出色,涵蓋推理、程式設計、視覺和長上下文任務。下圖比較模型效能與尺寸,Gemma 4 模型構成令人印象深刻的 Pareto 前沿:
來源:Google(blog.google)
以下是指令微調模型的詳細基準測試結果:
| 基準測試 | Gemma 4 31B | Gemma 4 26B A4B | Gemma 4 12B Unified | Gemma 4 E4B | Gemma 4 E2B | Gemma 3 27B(無思考模式) |
|---|---|---|---|---|---|---|
| 推理與知識 | ||||||
| MMLU Pro | 85.2% | 82.6% | 77.2% | 69.4% | 60.0% | 67.6% |
| AIME 2026(無工具) | 89.2% | 88.3% | 77.5% | 42.5% | 37.5% | 20.8% |
| GPQA Diamond | 84.3% | 82.3% | 78.8% | 58.6% | 43.4% | 42.4% |
| Tau2(3 次平均) | 76.9% | 68.2% | 69.0% | 42.2% | 24.5% | 16.2% |
| BigBench Extra Hard | 74.4% | 64.8% | 53.0% | 33.1% | 21.9% | 19.3% |
| MMMLU | 88.4% | 86.3% | 83.4% | 76.6% | 67.4% | 70.7% |
| 程式設計 | ||||||
| LiveCodeBench v6 | 80.0% | 77.1% | 72.0% | 52.0% | 44.0% | 29.1% |
| Codeforces ELO | 2150 | 1718 | 1659 | 940 | 633 | 110 |
| HLE(無工具) | 19.5% | 8.7% | 5.2% | - | - | - |
| HLE(使用搜尋) | 26.5% | 17.2% | - | - | - | - |
| 視覺 | ||||||
| MMMU Pro | 76.9% | 73.8% | 69.1% | 52.6% | 44.2% | 49.7% |
| OmniDocBench 1.5(編輯距離) | 0.131 | 0.149 | 0.164 | 0.181 | 0.290 | 0.365 |
| MATH-Vision | 85.6% | 82.4% | 79.7% | 59.5% | 52.4% | 46.0% |
| MedXPertQA MM | 61.3% | 58.1% | 48.7% | 28.7% | 23.5% | - |
| 音訊 | ||||||
| CoVoST | - | - | 38.5* | 35.54 | 33.47 | - |
| FLEURS(數值越低越好) | - | - | 0.069* | 0.08 | 0.09 | - |
| 長上下文 | ||||||
| MRCR v2 8 needle 128k(平均) | 66.4% | 44.1% | 43.4% | 25.4% | 19.1% | 13.5% |
*不包括中文。
鳴謝
若沒有 Google 對模型產物的大力貢獻,以及協助將模型整合至 transformers、推動標準化的巨大努力,這項工作便不可能完成。開源生態系統現已更加完整,新增了一款能力出眾、採用自由授權的開源模型。 Gemma 4 的 transformers 整合由 Cyril、Raushan、Eustache、Arthur 和 Lysandre 負責。感謝 Joshua 貢獻 transformers.js 整合和示範、Eric 貢獻 mistral.rs 整合、Son 貢獻 Llama.cpp、Prince 貢獻 MLX、Quentin、Albert 和 Kashif 貢獻 TRL、Adarsh 貢獻 SGLang transformers 後端,以及 Toshihiro 製作多個示範。
來源:Hugging Face Blog · huggingface.co
















