Google 發佈開放式大語言模型 Gemma 2
Welcome Gemma 2 - Google’s new open LLM
Google 發佈 Gemma 2,提供 9B 和 27B 兩種參數規模的基礎版與指令微調版,合共四個開放權重模型。Gemma 2 每隔一層採用滑動窗口注意力,其餘層使用全局注意力;9B 模型採用知識蒸餾預訓練。Hugging Face Hub 已提供四個模型,並介紹 Transformers 整合、Inference Endpoints 部署及 TRL 微調示例。
文章並列 Gemma 2 9B 與 Mistral 7B、Llama 3 8B 等模型在 MMLU、GSM8K 等基準的成績,提供小型開放模型效能比較的具體參照。
Google 發佈了 Gemma 2,為其頂尖開放式 LLM 系列增添最新成員。我們很高興與 Google 合作,確保它能在 Hugging Face 生態系統中獲得最佳整合。你可在 Hub 找到 4 款開放權重模型(2 款基礎模型及 2 款微調模型)。此次發佈的功能和整合包括:
- Hub 上的模型
- Hugging Face Transformers 整合
- 整合 Google Cloud 和 Inference Endpoints
目錄
- 甚麼是 Gemma 2?
- Gemma 2 的技術改進
- Gemma 2 評估
- 如何提示 Gemma 2
- 示範
- 使用 Hugging Face Transformers
- 整合 Google Cloud
- 整合 Inference Endpoints
- 使用 🤗 TRL 微調
- 其他資源
- 致謝
甚麼是 Gemma 2?
Gemma 2 是 Google 最新一代的開放式 LLM,提供兩種規模,分別為 9 billion 和 27 billion 個參數,並有基礎(預訓練)和指令微調版本。Gemma 以 Google DeepMind 的 Gemini 為基礎,上下文長度為 8K token:
- gemma-2-9b:9B 基礎模型。
- gemma-2-9b-it:以 9B 基礎模型進行指令微調的版本。
- gemma-2-27b:27B 基礎模型。
- gemma-2-27b-it:以 27B 基礎模型進行指令微調的版本。
Gemma 2 模型的訓練資料量約為第一代的 2 倍:27B 版本使用了總計 13 trillion 個 token,9B 版本則使用 8 trillion 個 token。資料包括網絡資料(主要為英文)、程式碼和數學內容。我們不知道訓練資料組合的確切詳情,只能推測更大規模且更仔細的資料整理,是效能提升的重要因素。
Gemma 2 採用與第一代相同的授權條款。這是一種寬鬆授權,容許再散佈、微調、商業用途及製作衍生作品。
Gemma 2 的技術改進
Gemma 2 與第一代有不少相似之處:上下文長度為 8192 token,並採用旋轉位置嵌入(RoPE)。與原版 Gemma 相比,Gemma 2 有四項主要改進:
- 滑動視窗注意力:交替使用滑動視窗和完整二次方注意力,以生成高品質內容。
- Logit soft-capping:將 logits 縮放至固定範圍,避免數值過度增大,從而改善訓練。
- 知識蒸餾:利用較大型的教師模型訓練較小型模型(用於 9B 模型)。
- 模型合併:將兩個或以上的 LLM 合併成一個全新模型。
Gemma 2 使用 Google Cloud TPU 訓練(27B 使用 v5p,9B 使用 TPU v4),並採用 JAX 和 ML Pathways。Gemma 2 Instruct 專為對話應用程式最佳化,並以合成及人類生成的提示詞與回應組合進行訓練,所用方法包括監督式微調(SFT)、從大型模型蒸餾、使用更着重對話能力的獎勵模型進行人類回饋強化學習(RLHF),以及利用 WARP 合併模型,以提升整體效能。
與預訓練資料組合相似,團隊沒有公開微調資料集詳情,亦沒有提供 SFT 和 RLHF 的相關超參數。
滑動視窗注意力
滑動視窗注意力是一種降低 transformer 模型注意力運算所需記憶體和時間的方法,Mistral 等模型亦有採用此方法。Gemma 2 的新穎之處,在於每隔一層便套用滑動視窗(本地範圍為 4096 個 token),中間的層則繼續使用完整二次方的全域注意力(8192 個 token)。我們推測,這樣做可在長上下文情況下提升品質(半數層仍會注意所有 token),同時部分保留滑動注意力的優點。
Soft-capping 與注意力實作
Soft capping 是一種避免 logits 過度增大、但不會將其截斷的技術。方法是先將 logits 除以最大值閾值(soft_cap),再通過 tanh 層(確保數值落在 (-1, 1) 範圍),最後再次乘以該閾值。這可確保最終數值落在 (-soft_cap, +soft_cap) 區間,既不會損失太多資訊,又能穩定訓練。
綜合以上步驟,logits 的計算方式如下:logits ← soft_cap ∗ tanh(logits/soft_cap)
Gemma 2 在最後一層和每個注意力層均採用 soft capping。注意力 logits 的上限為 50.0,最後一層 logits 的上限則為 30.0。
發佈時,soft-capping 尚不相容於 Flash Attention / SDPA,但推理時仍可使用兩者,以達到最高效率。Gemma 2 團隊觀察到,推理時移除 soft-capping 只會造成非常輕微的差異。
注意:如要穩定進行微調,仍須啟用 soft-capping,因此我們建議使用 eager attention,而非 SDPA 進行微調。
知識蒸餾
知識蒸餾是一種常用技術,透過訓練較小的學生模型模仿較大、效能更好的教師模型。這個方法會在 LLM 的下一個 token 預測任務中加入教師模型(例如 GPT-4、Claude 或 Gemini)提供的 token 機率分佈,讓學生模型取得更豐富的學習訊號。
根據 Gemma 2 技術報告,9B 模型的預訓練採用了知識蒸餾,而 27B 模型則從頭開始預訓練。
在後訓練階段,Gemma 2 團隊從教師模型生成多樣化的完成內容(報告沒有説明教師模型是哪一款,但推測是 Gemini Ultra),再以這些合成資料透過 SFT 訓練學生模型。許多開放模型也採用此方法,例如 Zephyr 和 OpenHermes,它們完全以大型 LLM 生成的合成資料訓練。
雖然這種方法有效,但亦有缺點:學生模型與教師模型的容量不匹配,可能造成訓練與推理不匹配,即學生模型在推理時生成的文字,與訓練期間看過的內容分佈不同。
為瞭解決這個問題,Gemma 2 團隊使用了「on-policy distillation」:學生模型根據 SFT 提示詞生成完成內容,然後利用這些內容計算教師與學生模型 logits 之間的 KL 散度。透過在整個訓練過程中降低 KL 散度,學生模型既能準確學習教師模型的行為,也能減少訓練與推理不匹配。
這個方法相當有趣;我們在社羣中看到,online DPO 等 on-policy 方法能產生更強的模型。on-policy distillation 的一項優點是隻需要教師模型的 logits,因此毋須依賴獎勵模型或「以 LLM 作評審」來改善模型。期待這種方法在未來幾個月於微調社羣中愈來愈普及!
模型合併
模型合併是一種將兩個或以上 LLM 合併成單一新模型的技術。這項技術相對較新,仍屬實驗性質,而且無需加速器也可使用。Mergekit 是一套常用的開源 LLM 合併工具,支援線性、SLERP、TIES、DARE 等合併技術。
根據技術報告,Gemma 2 使用了Warp,一種分三個不同階段合併模型的新技術:
- 指數移動平均(EMA):在強化學習(RL)微調過程中套用。
- 球面線性插值(SLERP):在多個策略完成 RL 微調後套用。
- 朝初始化方向線性插值(LITI):在 SLERP 階段之後套用。
Gemma 2 評估
Gemma 模型表現如何?以下根據技術報告和新版 open LLM Leaderboard,比較它們與其他開放模型的效能。
技術報告結果
Gemma 2 技術報告使用舊版 Open LLM Leaderboard 基準測試,比較不同開放式 LLM 的效能。
| Llama 3(70B) | Qwen 1.5(32B) | Gemma 2(27B) | |
|---|---|---|---|
| MMLU | 79.2 | 74.3 | 75.2 |
| GSM8K | 76.9 | 61.1 | 75.1 |
| ARC-c | 68.8 | 63.6 | 71.4 |
| HellaSwag | 88.0 | 85.0 | 86.4 |
| Winogrande | 85.3 | 81.5 | 83.7 |
報告亦比較了小型語言模型的效能。
| 基準測試 | Mistral(7B) | Llama 3(8B) | Gemma(8B) | Gemma 2(9B) |
|---|---|---|---|---|
| MMLU | 62.5 | 66.6 | 64.4 | 71.3 |
| GSM8K | 34.5 | 45.7 | 50.9 | 62.3 |
| ARC-C | 60.5 | 59.2 | 61.1 | 68.4 |
| HellaSwag | 83.0 | 82.0 | 82.3 | 81.9 |
| Winogrande | 78.5 | 78.5 | 79.0 | 80.6 |
Open LLM Leaderboard 結果
注意:我們目前正根據新版 Open LLM Leaderboard 基準測試,獨立評估 Google Gemma 2,並會於今天稍後更新本節內容。
如何提示 Gemma 2
基礎模型沒有提示詞格式。與其他基礎模型一樣,它們可用來延續輸入序列,生成合理的後續內容,亦可用於 zero-shot 或 few-shot 推理。Instruct 版本採用非常簡單的對話結構:
<start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
LaMDA<end_of_turn>
<start_of_turn>model
LaMDA who?<end_of_turn><eos>
要有效使用,必須準確重現這個格式。稍後我們會示範如何透過 transformers 提供的聊天範本,輕鬆重現指令提示詞。
示範
你可以在 Hugging Chat 與 Gemma 27B Instruct 模型對話!請到此查看:https://huggingface.co/chat/models/google/gemma-2-27b-it。
使用 Hugging Face Transformers
使用 Transformers 4.42 版本,即可使用 Gemma,並運用 Hugging Face 生態系統中的所有工具。要透過 transformers 使用 Gemma 模型,請確保安裝最新的 transformers 版本:
pip install "transformers>=4.42.3" --upgrade
以下程式碼示範如何使用 gemma-2-9b-it 和 transformers。它需要約 18 GB RAM,適合許多消費級 GPU。同一段程式碼亦適用於 gemma-2-27b-it;該模型需要 56GB RAM,因此很適合用於正式環境。以 8-bit 或 4-bit 模式載入,可進一步減少記憶體用量。
from transformers import pipeline
import torch
pipe = pipeline(
"text-generation",
model="google/gemma-2-9b-it",
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
messages,
max_new_tokens=256,
do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)
喂,老友!我只係一艘載着文字的小船,在數碼海洋上航行。大家叫我 Gemma,由 Google DeepMind 的一班能人創造。我曾在堆積如山的文字寶藏中受訓,學識像真正的海盜一樣説話和寫作。
儘管向我發問吧,我會盡力回答,呀! 🦜📚
我們使用 bfloat16,因為這是指令微調模型的參考精度。在你的硬件上,使用 float16 可能會較快,而 9B 模型的結果應該相若。不過請注意,27B 指令微調模型使用 float16 時會產生不穩定輸出:此模型權重必須使用 bfloat16。
你亦可自動量化模型,以 8-bit 甚至 4-bit 模式載入。大型 27B 版本以 4-bit 載入後,運行約需 18 GB 記憶體,因此適用於不少消費級顯示卡和 Google Colab GPU。以下示範如何以 4-bit 載入生成流程:
pipeline = pipeline(
"text-generation",
model=model,
model_kwargs={
"torch_dtype": torch.bfloat16,
"quantization_config": {"load_in_4bit": True}
},
)
如需瞭解更多使用 transformers 操作模型的詳情,請參閲模型卡。
整合 Google Cloud
注意:我們目前正為 GKE 和 Vertex AI 開發新容器,以高效運行 Google Gemma 2。容器推出後,我們會盡快更新本節內容。
使用 🤗 TRL 微調
訓練 LLM 在技術和運算方面均具挑戰性。本節會介紹 Hugging Face 生態系統中可用的工具,讓你在消費級 GPU 上有效率地訓練 Gemma。
以下提供一個範例指令,示範如何使用 OpenAssistant 的聊天資料集微調 Gemma。我們使用 4-bit 量化及 QLoRA 節省記憶體,並以所有注意力區塊的線性層為目標。請注意,與密集型 transformers 不同,MLP 層是稀疏的,且與 PEFT 配合不佳,因此不應將它們設為目標。
首先,安裝 🤗 TRL nightly 版本,並複製程式碼庫以取得訓練程式:
pip install "transformers>=4.42.3" --upgrade
pip install --upgrade bitsandbytes
pip install --ugprade peft
pip install git+https://github.com/huggingface/trl
git clone https://github.com/huggingface/trl
cd trl
然後即可執行程式:
# peft tuning; single GPU; https://wandb.ai/costa-huang/huggingface/runs/l1l53cst
python \
trl/scripts/sft.py \
--model_name google/gemma-2-27b \
--dataset_name OpenAssistant/oasst_top1_2023-08-25 \
--dataset_text_field="text" \
--per_device_train_batch_size 1 \
--per_device_eval_batch_size 1 \
--gradient_accumulation_steps 4 \
--learning_rate 2e-4 \
--report_to wandb \
--bf16 \
--max_seq_length 1024 \
--lora_r 16 --lora_alpha 32 \
--lora_target_modules q_proj k_proj v_proj o_proj \
--load_in_4bit \
--use_peft \
--attn_implementation eager \
--logging_steps=10 \
--gradient_checkpointing \
--output_dir models/gemma2
如果你有更多 GPU 可用,可使用 DeepSpeed 和 ZeRO Stage 3 執行訓練:
accelerate launch --config_file=examples/accelerate_configs/deepspeed_zero3.yaml \
trl/scripts/sft.py \
--model_name google/gemma-2-27b \
--dataset_name OpenAssistant/oasst_top1_2023-08-25 \
--dataset_text_field="text" \
--per_device_train_batch_size 1 \
--per_device_eval_batch_size 1 \
--gradient_accumulation_steps 4 \
--learning_rate 2e-5 \
--report_to wandb \
--bf16 \
--max_seq_length 1024 \
--attn_implementation eager \
--logging_steps=10 \
--gradient_checkpointing \
--output_dir models/gemma2
整合 Inference Endpoints
你可以在 Hugging Face 的 Inference Endpoints 部署 Gemma 2,並以 Text Generation Inference 作為後端。Text Generation Inference 是 Hugging Face 開發、適合正式環境使用的推理容器,令大型語言模型更容易部署。它具備連續批次處理、token 串流、多 GPU 快速推理所需的張量並行,以及適用於正式環境的日誌和追蹤功能。
要部署 Gemma 2 模型,請前往模型頁面,並按一下 Deploy -> Inference Endpoints 小工具。Inference Endpoints 支援與 OpenAI 相容的 Messages API;只需更改 URL,即可由其他封閉模型切換至開放模型。
from openai import OpenAI
# initialize the client but point it to TGI
client = OpenAI(
base_url="<ENDPOINT_URL>" + "/v1/", # replace with your endpoint url
api_key="<HF_API_TOKEN>", # replace with your token
)
chat_completion = client.chat.completions.create(
model="tgi",
messages=[
{"role": "user", "content": "Why is open-source software important?"},
],
stream=True,
max_tokens=500
)
# iterate and print stream
for message in chat_completion:
print(message.choices[0].delta.content, end="")
其他資源
- Hub 上的模型
- Open LLM Leaderboard
- Hugging Chat 對話示範
- Google Blog
- Google Notebook 即將推出
- Vertex AI model garden 即將推出
致謝
若沒有多位社羣成員的貢獻,我們便無法在生態系統中發佈這些模型、提供支援及進行評估。感謝參與 LLM 評估的 Clémentine 和 Nathan;支援 Text Generation Inference 的 Nicolas;Arthur、Sanchit、Joao 和 Lysandre for 協助將 Gemma 2 整合至 transformers;以及讓 Gemma 2 能在 Hugging Chat 使用的 Nathan 和 Victor。
也要感謝 Google 團隊發佈 Gemma 2,並將它帶給開源 AI 社羣!
來源:Hugging Face Blog · huggingface.co