跳到正文
Hugging Face Blog·· 2024-04-09精選AI 評分64

Google 發佈程式碼大語言模型 CodeGemma

CodeGemma - an official Google release for code LLMs

AI 導讀

Google 發佈面向程式碼的大語言模型家族 CodeGemma,推出 2B base、7B base 和 7B instruct 三種版本。模型以 Gemma checkpoint 為基礎,額外訓練 500 billion tokens,三款模型均採用 8K token 上下文窗口。

推薦理由

文章交代 CodeGemma 三種版本的用途,並列出 HumanEval 表現及 Hugging Face 的部署與量化整合,方便比較版本定位、基準表現和使用路徑。

正文 · 繁體中文

CodeGemma 是一系列專為程式碼而設、可開放取用的 Gemma 版本。我們很高興與 Google 合作推出此模型,盡可能令更多人可以使用。🤗

CodeGemma 提供三種版本:

  • 專為填補程式碼和開放式生成而設的 2B 基礎模型。
  • 以程式碼填補和自然語言資料訓練的 7B 基礎模型。
  • 可供用戶就程式碼進行對話的 7B 指示模型。

我們與 Google 合作,確保模型能最佳整合至 Hugging Face 生態系統。三款可開放取用的模型已在 Hub 上準備就緒,可供使用。此次推出的功能和整合包括:

  • Hub 上的模型,附有模型卡和授權條款。當中包括供 transformers 程式庫使用的版本、可配合 Google 原始程式碼庫使用的檢查點,以及社羣可進行量化的全精度 GGUF 檔案。
  • Transformers 整合
  • 與 Google Cloud 整合
  • 與 Inference Endpoints 整合
  • 程式碼基準測試

目錄

甚麼是 CodeGemma?

CodeGemma 是 Google 推出的程式碼專用大型語言模型系列,建基於預訓練的 2B 和 7B Gemma 檢查點。CodeGemma 進一步以額外 500 billion 個 Token 訓練,資料主要包括英文、數學和程式碼,以提升邏輯和數學推理能力,適用於程式碼補全和生成。

CodeGemma 2B 專門以程式碼填補資料訓練,適合快速補全和生成程式碼,尤其適用於延遲和/或私隱至關重要的情境。CodeGemma 7B 的訓練資料混合了程式碼填補資料(80%)和自然語言,可用於程式碼補全,以及程式碼和語言理解與生成。CodeGemma 7B Instruct 則在 CodeGemma 7B 基礎上經指示遵循微調,適用於對話,尤其是程式碼、編程或數學推理相關主題。所有模型的 Token 脈絡長度都與前代相同,為 8K。

The CodeGemma family

此圖片來自原始報告

評估結果

在熱門程式碼模型基準測試 HumanEval(以 Python 評估程式碼模型)上,CodeGemma-7B 的表現優於相若規模的 7B 模型,DeepSeek-Coder-7B 除外。MultiPL-E 是 HumanEval 的翻譯版本,用於評估 Java、JavaScript 和 C++ 等其他程式語言,結果亦相同。根據技術報告,在 7B 模型中,該模型於 GSM8K 表現最佳。指示版本 CodeGemma-7B-it 在 HumanEval 和 MBPP 的最常見程式語言評估中都取得提升(參見論文表 5)。詳情可查看 BigCode 排行榜或以下部分指標。

模型 預訓練規模[Token 數量] Python JavaScript
10B+ 模型
StarCoder 2 15B 4,000B+ 44.15 44.24
Code Llama 13B 2,500B 35.07 38.26
7B 模型
DeepSeek Coder 7B 2,000B 45.83 45.9
CodeGemma 7B 額外訓練 500B 40.13 43.06
Code Llama 7B 2,500B 29.98 31.8
StarCoder 2 7B 3,500B+ 34.09 35.35
StarCoderBase 7B 3,000B+ 28.37 27.35
<3B 模型
CodeGemma 2B 額外訓練 500B 27.28 29.94
Stable Code 3B 1,300B 30.72 28.75
StarCoder 2 3B 3,000B+ 31.44 35.37
模型 預訓練規模[Token 數量] Python JavaScript
10B+ 模型
Code Llama 13B 2,620B 50.6 40.92
Code Llama 13B 2,620B 42.89 40.66
7B 模型
CodeGemma 7B 500B 52.74 47.71
Code Llama 7B 2,620B 40.48 36.34
Code Llama 7B 2,620B 25.65 33.11

以下是原始報告中按語言分類的表格。

CodeGemma quality across languages

提示格式

CodeGemma 2B 和 CodeGemma 7B 使用程式碼填補(程式碼、註解、文件字串、匯入陳述式)來完成程式碼。CodeGemma 透過填補中間部分(FIM)目標訓練此任務:提供前綴和後綴作為待補全內容的脈絡。以下 Token 用來分隔輸入的不同部分:

  • <|fim_prefix|> 表示待補全內容之前的脈絡。
  • <|fim_suffix|> 表示後綴。必須將此 Token 放在編輯器中游標所在的準確位置,因為模型會從該處開始補全程式碼。
  • <|fim_middle|> 是提示模型開始生成的 Token。

此外還有 <|file_separator|>,可提供多檔案脈絡。我們會在使用 transformers一節示範如何使用。

CodeGemma 7B Instruct 使用與 Gemma 指示微調基礎版本相同的提示格式,採用以下對話結構:

<bos><start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
LaMDA<end_of_turn>
<start_of_turn>model
LaMDA who?<end_of_turn>

與 Gemma 一樣,重現這種格式最簡單的方法,是使用 transformers 中提供的聊天模板。

使用 CodeGemma

示範

你可以在 這個 Space 輕鬆試用 CodeGemma 模型(70 億個參數!),或使用下方嵌入的聊天機械人:

這個示範平台在幕後使用 Transformers 實作。你亦可複製 Space 自行使用;它是自包含的,因此你可以檢視原始碼並按需要修改!

使用 Transformers

在 Transformers 4.39 版中,你可以使用 CodeGemma,並善用 Hugging Face 生態系統中的各種工具,例如:

  • 訓練和推論指令碼及範例
  • 安全檔案格式(safetensors)
  • 與 bitsandbytes(4-bit 量化)、PEFT(參數高效微調)和 Flash Attention 2 等工具整合
  • 使用模型執行生成的工具和輔助函式
  • 匯出模型以供部署的機制

與 Gemma 模型一樣,CodeGemma 亦相容於 torch.compile(),可大幅加快推論。

額外福利:我們為你準備了 Colab 筆記本,只需按一下按鈕便可試用模型,按此查看。

如要在 transformers 中使用 CodeGemma,請確保使用最新 版本:

pip install --upgrade transformers

以下程式碼片段示範如何使用 codegemma-2b 配合 transformers 補全程式碼。以 float16 精度運行約需 6 GB RAM,非常適合消費級 GPU 和裝置端應用。

from transformers import GemmaTokenizer, AutoModelForCausalLM
import torch

model_id = "google/codegemma-2b"
tokenizer = GemmaTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16
).to("cuda:0")

prompt = '''\
<|fim_prefix|>import datetime
def calculate_age(birth_year):
    """Calculates a person's age based on their birth year."""
    current_year = datetime.date.today().year
    <|fim_suffix|>
    return age<|fim_middle|>\
'''

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
prompt_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0][prompt_len:]))

請留意,<|fim_suffix|> Token 會放在編輯器中的遊標位置,標示生成內容的起點。<|fim_prefix|> 提供遊標之前的脈絡,而直至 <|fim_middle|> 之前的部分則提供遊標之後的額外脈絡。如果遊標位於檔案開首或結尾,其中一部分可以留空。

前述程式碼可能會返回類似以下內容:

age = current_year - birth_year<|file_separator|>test_calculate_age.py
<|fim_suffix|>
    assert calculate_age(1990) == 33
    assert calculate_age(1980) == 43
    assert calculate_age(1970) == 53
    assert calculate_age(1960) == 63
    assert calculate_age(1950) == 73

請注意,正確補全內容後可能還有額外文字。CodeGemma 7B 尤其如此;它較冗長,完成補全後往往會再提供程式碼或註解。程式碼填補時,必須忽略 FIM Token 或 EOS Token 之後出現的所有內容。使用 transformers 時,可像以下例子一樣向 generate 函式提供終止符清單,提早停止生成:

FIM_PREFIX = '<|fim_prefix|>'
FIM_SUFFIX = '<|fim_suffix|>'
FIM_MIDDLE = '<|fim_middle|>'
FIM_FILE_SEPARATOR = '<|file_separator|>'

terminators = tokenizer.convert_tokens_to_ids(
    [FIM_PREFIX, FIM_MIDDLE, FIM_SUFFIX, FIM_FILE_SEPARATOR]
)
terminators += [tokenizer.eos_token_id]

outputs = model.generate(
  **inputs,
  max_new_tokens=100,
  eos_token_id=terminators,
)

此設定下,一旦找到第一個分隔符便會停止生成:

age = current_year - birth_year<|file_separator|>

精度説明

原始 CodeGemma 檢查點以 bfloat16 精度發布。如果載入模型時未指定 torch_dtype,PyTorch 會將它們升級為 float32。使用 float16 精度完全沒有問題,而且在某些硬件上速度可能比 bfloat16 快得多。如要達到最高精度,我們建議使用 bfloat16,而非 float32。

你亦可自動量化模型,以 8-bit 或 4-bit 模式載入。CodeGemma 7B 以 4-bit 載入時,運行約需 9 GB 記憶體,因此適用於許多消費級顯示卡和 Google Colab 的所有 GPU。以下示範如何以 4-bit 載入生成管道:

pipeline = pipeline(
    "text-generation",
    model=model,
    model_kwargs={
        "torch_dtype": torch.float16,
        "quantization_config": {"load_in_4bit": True}
    },
)

與 Google Cloud 整合

你可以透過 Vertex AI 或 Google Kubernetes Engine(GKE),使用 Text Generation Inference 和 Transformers,在 Google Cloud 上部署及訓練 Gemma。

如要從 Hugging Face 部署 CodeGemma 模型,請前往 模型頁面 並按下部署 -> Google Cloud。接着會開啟 Google Cloud Console,你可以一鍵在 Vertex AI 或 GKE 部署 CodeGemma,並以 Text Generation Inference 為後端。

你亦可直接透過 Vertex AI Model Garden 使用 CodeGemma。

GCP Integration

與 Inference Endpoints 整合

你可以在 Hugging Face 的 Inference Endpoints 部署 CodeGemma,並以 Text Generation Inference 作為後端。Text Generation Inference 是 Hugging Face 開發、可供生產環境使用的推論容器,方便部署大型語言模型。它具備連續批次處理、Token 串流、支援多張 GPU 快速推論的張量平行處理、生產級日誌和追蹤等功能,並以 Apache 2 授權發布。

如要部署 CodeGemma 模型,請前往 模型頁面 並按下 部署 -> Inference Endpoints 小工具。如欲瞭解更多,請參閲之前的網誌文章:使用 Hugging Face Inference Endpoints 部署 LLM。請注意,T4 不支援 bfloat16 格式,因此你需要選用其他 GPU。

from huggingface_hub import InferenceClient

client = InferenceClient(model=IE_ENDPOINT)

prompt = """\
<|fim_prefix|>import <|fim_suffix|>

if __name__ == '__main__':
  sys.exit(0)<|fim_middle|>\
"""

client.text_generation(prompt=prompt)

其他資源

來源:Hugging Face Blog · huggingface.co