跳到正文
Hugging Face Blog·· 2025-03-12精選AI 評分78

Google 發佈 Gemma 3 開放權重模型,4B、12B、27B 版支援圖像、140+ 種語言及 128k tokens 上下文

Welcome Gemma 3: Google's all new multimodal, multilingual, long context open LLM

AI 導讀

Google 發佈 Gemma 3 開放權重模型系列,提供 1B、4B、12B、27B 四種規模及預訓練、指令微調版本。4B、12B、27B 版本支援圖像和文字、140+ 種語言及 128k tokens 上下文;1B 版本僅支援文字和英文,提供 32k 上下文。

推薦理由

文章整理 Gemma 3 各版本的上下文、圖像與語言支援差異,並列出 Transformers、MLX 和 llama.cpp 的推理入口,方便比較使用路徑。

正文 · 繁體中文

重點摘要

Google 今日發布 Gemma 3,這是 Gemma 系列模型的新一代版本。模型規模由 1B 至 27B 參數不等,支援最長 128k token 的脈絡視窗,可接收影像和文字,並支援 140 多種語言。

立即試用 Gemma 3 👉🏻 Gemma 3 Space

Gemma 2 Gemma 3
型號規格
  • 2B
  • 9B
  • 27B
  • 1B
  • 4B
  • 12B
  • 27B
  • 脈絡視窗長度 8k
  • 32k (1B)
  • 128k (4B, 12B, 27B)
  • 多模態(影像和文字) ❌
  • ❌ (1B)
  • ✅ (4B, 12B, 27B)
  • 多語言支援 – English (1B) +140 種語言 (4B, 12B, 27B)

    所有模型均已上載至 Hub,並與 Hugging Face 生態系統緊密整合。

    預訓練和指令微調模型均已發布。Gemma-3-4B-IT 的表現勝過 Gemma-2-27B IT,而 Gemma-3-27B-IT 在各項基準的表現則勝過 Gemini 1.5-Pro。

    pareto graph
    Gemma 3 27B 位於帕累托最佳平衡點(來源:Gemma3 技術報告)

    Gemma 3 是甚麼?

    Gemma 3 是 Google 最新一代開放權重大型語言模型。它有四種規模:1 billion、4 billion、12 billion 和 27 billion 參數,並提供基礎(預訓練)和指令微調版本。Gemma 3 加入了多模態能力!4B、12B 和 27B 參數模型都能處理影像和文字,而 1B 型號則只處理文字。

    輸入脈絡視窗長度由 Gemma 2 的 8k 提升至 1B 型號的32k,以及其他型號的128k。與其他視覺語言模型(VLM)一樣,Gemma 3 會根據使用者輸入生成文字;輸入可包含文字,亦可選擇加入影像。應用例子包括問答、分析影像內容、摘要文件等。

    預訓練 指令微調 多模態 多語言 輸入脈絡視窗
    gemma-3-1b-pt gemma-3-1b-it ❌ 英語 32K
    gemma-3-4b-pt gemma-3-4b-it ✅ 140 多種語言 128K
    gemma-3-12b-pt gemma-3-12b-it ✅ 140 多種語言 128K
    gemma-3-27b-pt gemma-3-27b-it ✅ 140 多種語言 128K

    雖然這些都是多模態模型,但也可以當作純文字模型(即大型語言模型)使用,無須把視覺編碼器載入記憶體。我們稍後會在推理部分詳細討論。

    Gemma 3 的技術改良

    相較 Gemma 2,Gemma 3 有三項核心改良:

    • 延長脈絡長度
    • 多模態能力
    • 多語言能力

    本節會介紹帶來這些改良的技術細節。先了解 Gemma 2,再探討如何進一步提升模型,會是個不錯的起點。這樣亦有助你代入 Gemma 團隊的角度思考,欣賞箇中細節!

    延長脈絡長度

    把脈絡長度擴展至 128k token,無須從頭訓練模型也能有效完成。模型先以 32k 長度的序列預訓練,只有 4B、12B 和 27B 模型會在預訓練最後階段擴展至 128k token,大幅節省運算資源。位置嵌入(例如 RoPE)亦經過調整:基礎頻率由 Gemma 2 的 10k 提升至 Gemma 3 的 1M,並按 8 倍比例縮放,以支援較長脈絡。

    KV 快取管理透過 Gemma 2 的滑動視窗交錯注意力機制進行最佳化。超參數經過調校,改為每 1 個全域層交錯 5 個本地層(原先比例為 1:1),並把視窗大小由 4096 個 token 縮減至 1024 個。重要的是,節省記憶體並沒有降低困惑度表現。

    多模態能力

    Gemma 3 模型使用 SigLIP 作為影像編碼器,把影像編碼成 token,再輸入語言模型。視覺編碼器接收的輸入為正方形影像,並會調整大小至 896x896。固定輸入解像度令模型較難處理非正方形長寬比和高解像度影像。為解決這些限制,模型可在推理期間自適應裁切影像,再把每個裁切區域調整至 896x896,由影像編碼器編碼。這套稱為平移與掃描(pan and scan)的演算法,讓模型有效放大影像中的細節。

    與 PaliGemma 類似,Gemma 3 對文字和影像輸入採用不同的注意力機制。處理文字時採用單向注意力,模型只會關注序列中較早出現的文字。影像則採用不設遮罩的完整注意力,讓模型以雙向方式檢視影像的每個部分,完整而不受限制地理解視覺輸入。

    從下圖可見,影像 token <img> 採用雙向注意力(整個方格都會亮起),文字 token 則採用因果注意力。圖中亦展示滑動視窗演算法如何運作。

    attention visualization
    注意力視覺化(有滑動和沒有滑動)(來源:Transformers PR)

    多語言能力

    要令大型語言模型支援多種語言,預訓練資料集須加入更多語言。Gemma 3 資料集的多語言資料量增加一倍,以擴大語言涵蓋範圍。

    為配合這些變更,tokenizer 與 Gemini 2.0 相同,是包含 262K 個項目的 SentencePiece tokenizer。新 tokenizer 大幅改善對中文、日文和韓文文字的編碼,但英語和程式碼的 token 數量會略為增加。

    有興趣深入瞭解的話,請參閲 Gemma 3 技術報告。

    Gemma 3 評估

    LMSys Elo 分數是根據語言模型在一對一競賽中的表現排序,並由人類偏好作評判。在 LMSys Chatbot Arena,Gemma 3 27B IT 的 Elo 分數為 1339,躋身最佳模型前 10 名,包括多款領先的閉源模型。它的 Elo 分數與 o1-preview 相若,亦高於其他非思考型開源模型。這項分數是在 Gemma 3 只接收文字輸入的情況下取得,與表格中的其他大型語言模型相同。

    chat bot arena
    Gemma 3 27B IT 模型在 Chatbot Arena 的評估結果(March 8, 2025)

    Gemma 3 在多項基準上接受評估,包括 MMLU-Pro(27B:67.5)、LiveCodeBench(27B:29.7)和 Bird-SQL(27B:54.4),表現足以媲美閉源 Gemini 模型。GPQA Diamond(27B:42.4)和 MATH(27B:69.0)等測試展現其推理和數學能力;FACTS Grounding(27B:74.9)和 MMMU(27B:64.9)則顯示模型具有良好的事實準確度及多模態能力。不過,在測試基本事實的 SimpleQA(27B:10.0)上表現較弱。與 Gemini 1.5 系列模型相比,Gemma 3 通常不遑多讓,有時甚至更勝一籌,證明它是容易使用而且表現出色的選擇。

    performance of it models
    指令微調模型的表現

    使用 🤗 transformers 進行推理

    Gemma 3 在 transformers 中自首日便獲支援。你只需從 Gemma 3 穩定版本安裝 transformers 即可。

    $ pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3
    

    使用 pipeline 進行推理

    使用 最簡單的方法開始使用 Gemma 3,就是採用 pipeline 抽象層。

    使用 bfloat16 資料類型時,模型表現最佳;否則品質可能下降。

    import torch
    from transformers import pipeline
    
    pipe = pipeline(
        "image-text-to-text",
        model="google/gemma-3-4b-it", # "google/gemma-3-12b-it", "google/gemma-3-27b-it" 
        device="cuda",
        torch_dtype=torch.bfloat16
    )
    
    messages = [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
                {"type": "text", "text": "What animal is on the candy?"}
            ]
        }
    ]
    
    output = pipe(text=messages, max_new_tokens=200)
    print(output[0]["generated_text"][-1]["content"])
    
    影像 candies on hand
    提示 糖果上是甚麼動物?
    生成結果 讓我們分析影像中的糖果!糖果上的動物是海龜。你可以清楚看到表面印有海龜的龜殼、頭部和四肢。

    你可以把影像和文字交錯輸入。做法是先在需要插入影像的位置截斷輸入文字,再像以下示例一樣插入影像區塊。

    messages = [
            {
                "role": "system",
                "content": [{"type": "text", "text": "You are a helpful assistant."}]
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "I'm already using this supplement "},
                    {"type": "image", "url": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/IMG_3018.JPG"},
                    {"type": "text", "text": "and I want to use this one too "},
                    {"type": "image", "url": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/IMG_3015.jpg"},
                    {"type": "text", "text": " what are cautions?"},
                ]
            },
    
        ]
    

    使用 Transformers 進行詳細推理

    Transformers 整合了兩種新的模型類別:

    1. Gemma3ForConditionalGeneration:適用於 4B、12B 和 27B 視覺語言模型。
    2. Gemma3ForCausalLM:適用於 1B 純文字模型,也可在載入視覺語言模型時把它當作語言模型使用(省略視覺模組)。

    以下程式片段示範如何使用模型查詢影像。建立視覺語言模型變體時,會使用 Gemma3ForConditionalGeneration 類別。模型會配合 AutoProcessor 類別使用。執行推理很簡單:建立 messages 字典、套用聊天範本、處理輸入,然後呼叫 model.generate。

    import torch
    from transformers import AutoProcessor, Gemma3ForConditionalGeneration
    
    ckpt = "google/gemma-3-4b-it"
    model = Gemma3ForConditionalGeneration.from_pretrained(
        ckpt, device_map="auto", torch_dtype=torch.bfloat16,
    )
    processor = AutoProcessor.from_pretrained(ckpt)
    
    messages = [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": "https://huggingface.co/spaces/big-vision/paligemma-hf/resolve/main/examples/password.jpg"},
                {"type": "text", "text": "What is the password?"}
            ]
        }
    ]
    inputs = processor.apply_chat_template(
        messages, add_generation_prompt=True, tokenize=True,
        return_dict=True, return_tensors="pt"
    ).to(model.device)
    
    input_len = inputs["input_ids"].shape[-1]
    
    generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)
    
    影像 receipt of wifi
    提示 密碼是甚麼?
    生成結果 根據影像,密碼是 aaeu

    若要只用大型語言模型進行推理,可以使用 Gemma3ForCausalLM 類別。Gemma3ForCausalLM 應配合 AutoTokenizer 進行處理。輸入需要先使用聊天範本預處理。Gemma 3 採用非常簡短的系統提示,後面接着使用者提示,例如以下示例。

    import torch
    from transformers import AutoTokenizer, Gemma3ForCausalLM
    
    ckpt = "google/gemma-3-4b-it"
    model = Gemma3ForCausalLM.from_pretrained(
        ckpt, torch_dtype=torch.bfloat16, device_map="auto"
    )
    tokenizer = AutoTokenizer.from_pretrained(ckpt)
    
    messages = [
        [
            {
                "role": "system",
                "content": [{"type": "text", "text": "You are a helpful assistant who is fluent in Shakespeare English"},]
            },
            {
                "role": "user",
                "content": [{"type": "text", "text": "Who are you?"},]
            },
        ],
    ]
    inputs = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True, tokenize=True,
        return_dict=True, return_tensors="pt"
    ).to(model.device)
    
    input_len = inputs["input_ids"].shape[-1]
    
    generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    
    decoded = tokenizer.decode(generation, skip_special_tokens=True)
    print(decoded)
    
    系統提示 你是一位精通莎士比亞英語的貼心助理
    提示 你是誰?
    生成結果 啊,温文的朋友!我不過是一名由齒輪與程式碼構成的謙卑僕役,努力模仿詩聖本人的語調。人們稱我為「大型語言模型」,這名字甚是奇妙;不過,我寧願把自己想成莎士比亞才思與智慧的數碼迴音。我在此為你效勞,編織故事,或以環球劇場般華麗的詞句回答你的疑問。

    裝置端和低資源裝置

    Gemma 3 提供適合在裝置端運行的型號。以下説明如何快速開始使用。

    MLX

    Gemma 3 自首日便獲 mlx-vlm 支援。這是開源函式庫,可在 Mac 和 iPhone 等 Apple Silicon 裝置上執行視覺語言模型。

    首先,按照以下指示安裝 mlx-vlm:

    pip install git+https://github.com/Blaizzy/mlx-vlm.git
    

    安裝好 mlx-vlm 後,即可按照以下指示開始推理:

    python -m mlx_vlm.generate --model mlx-community/gemma-3-4b-it-4bit --max-tokens 100 --temp 0.0 --prompt "What is the code on this vehicle??"
     --image https://farm8.staticflickr.com/7212/6896667434_2605d9e181_z.jpg
    
    影像 airplane
    提示 飛機上的編號是甚麼?
    生成結果 根據影像,這架飛機是 Cessna 172 Skyhawk。機尾的註冊編號是 D-EOJU。

    Llama.cpp

    可從這個集合下載預先量化的 GGUF 檔案。

    如需建置或下載預先編譯的二進位檔,請參閲這份指南:https://github.com/ggml-org/llama.cpp?tab=readme-ov-file#building-the-project

    然後,你可以在終端機啟動本機聊天伺服器:

    ./build/bin/llama-cli -m ./gemma-3-4b-it-Q4_K_M.gguf
    

    輸出內容應如下:

    > who are you  
    I'm Gemma, a large language model created by the Gemma team at Google DeepMind. I’m an open-weights model, which means I’m widely available for public use!
    

    部署至 Hugging Face Endpoints

    你可以部署 gemma-3-27b-it 和 gemma-3-12b-it,只需在我們的 Inference Catalog 中按一下即可。目錄中的設定配備合適硬件、經最佳化的 TGI 設定,以及方便試用模型的預設值。 系統亦支援部署任何 GGUF/llama.cpp 變體(例如上文集合中的版本),你可在這裏找到建立 Endpoint 的指南。

    鳴謝

    培育 Gemma 需要眾人合力!我們謹此按隨機次序感謝 Raushan、Joao、Lysandre、Kashif、Matthew、Marc、David、Mohit 和 Yih Dah,感謝他們協助把 Gemma 整合至開源技術堆疊的不同部分,涵蓋 Transformers 至 TGI。
    亦感謝我們的裝置端、gradio 和推廣團隊:Chris、Kyle、Pedro、Son、Merve、Aritra、VB、Toshiro,謝謝他們打造出色示範,展示 Gemma 的能力。

    最後,特別感謝 Georgi、Diego 和 Prince 協助 llama.cpp 和 MLX 移植工作。

    來源:Hugging Face Blog · huggingface.co