跳到正文
Hugging Face Blog·· 2024-04-18精選AI 評分86

Meta 發佈 Llama 3 開源大語言模型,提供 8B 和 70B 版本

Welcome Llama 3 - Meta's new open LLM

AI 導讀

Meta 發佈開源大語言模型 Llama 3,提供 8B、70B 兩種參數規模,各有 base 與指令微調版本。模型上下文窗口為 8K tokens,另有以 Llama 3 8B 微調的 Llama Guard 2;授權允許再分發、微調和衍生作品,並要求衍生模型名稱以 Llama 3 開頭,衍生作品或服務標示 Built with Meta Llama 3。

推薦理由

文章梳理了 Llama 3 的型號、授權要求,以及 Hugging Face 上的推理部署和微調入口,呈現從模型取得到實際使用的主要路徑。

正文 · 繁體中文

簡介

Meta 的 Llama 3 是開放存取 Llama 系列的最新一代模型,現已發布並可在 Hugging Face 取得。很高興看到 Meta 繼續履行推動開放 AI 的承諾,我們亦很期待透過 Hugging Face 生態系統的全面整合,全力支援這次發布。

Llama 3 提供兩種規模:8B 適合在消費級 GPU 上高效部署和開發,70B 則適用於大規模原生 AI 應用。兩種規模均提供基礎版和指令微調版。除了這 4 個模型,Meta 亦以 Llama 3 8B 微調新版 Llama Guard,並以 Llama Guard 2(安全微調版)發布。

我們與 Meta 合作,確保模型能最佳整合至 Hugging Face 生態系統。Hub 上共有 5 個開放存取模型(2 個基礎模型、2 個微調模型,以及 Llama Guard)。此次發布的功能和整合包括:

  • Hub 上的模型,附有模型卡和授權條款
  • 🤗 Transformers 整合
  • Hugging Chat 整合 Meta Llama 3 70b
  • 整合至 Inference Endpoints、Google Cloud 和 Amazon SageMaker
  • 使用 🤗 TRL 在單一 GPU 上微調 Llama 3 8B 的示例

目錄

Llama 3 有甚麼新功能?

Meta 發布 Llama 3,推出 4 款以 Llama 2 架構為基礎的全新開放大型語言模型,分為 8B 和 70B 兩種參數規模,每種均有基礎(預訓練)版和指令微調版。所有型號都能在各類消費級硬件上運行,脈絡長度為 8K token。

除了這 4 個基礎模型,Meta 亦發布 Llama Guard 2。它以 Llama 3 8B 微調,是 Llama Guard 系列的最新版本。Llama Guard 2 為實際應用而設,旨在分類大型語言模型輸入(提示)及回應,以偵測風險分類體系中視為不安全的內容。

Llama 3 相較 Llama 2 的一大改動,是採用新的 tokenizer,把詞彙表大小由上一版本的 32K token 擴大至 128,256。更大的詞彙表可更有效率地編碼文字(包括輸入和輸出),亦可能提升多語言能力,但代價是輸入和輸出嵌入矩陣變大,這是小型模型參數量增加的重要原因之一:Llama 2 為 7B,Llama 3 則增至 8B。此外,模型的 8B 版本現已採用分組查詢注意力(GQA),這種高效表示方法有助處理較長脈絡。

Llama 3 模型使用的訓練資料量約為以往的 8 倍,超過 15 trillion token,來源是兩個各配備 24,000 張 GPU 的叢集上可公開取得的線上資料新組合。我們不知道訓練資料的確切細節,只能推測更大量、經過更仔細整理的資料,是模型表現改善的重要因素。Llama 3 Instruct 針對對話應用最佳化,使用超過 10 Million 個由人類標註的資料樣本訓練,結合監督式微調(SFT)、拒絕取樣、近端策略最佳化(PPO)和直接偏好最佳化(DPO)。

在授權條款方面,Llama 3 採用寬鬆授權,允許再散佈、微調和創作衍生作品。Llama 3 授權新增明確署名要求,Llama 2 則沒有這項規定。例如,衍生模型的名稱開首必須包含「Llama 3」,而衍生作品或服務亦須註明「Built with Meta Llama 3」。完整詳情請務必閲讀官方授權條款。

Llama 3 評估

以下列出各模型及其在Open LLM Leaderboard上的分數。這並非完整名單,建議你查看完整排行榜。請注意,LLM Leaderboard 特別適合評估預訓練模型,因為對話模型另有專門的基準。

模型 授權 預訓練長度 [token] 排行榜分數
MPT-7B Apache 2.0 1,000B 5.98
Falcon-7B Apache 2.0 1,500B 5.1
Llama-2-7B Llama 2 授權 2T 8.72
Qwen 2 7B Apache 2.0 ? 23.66
Llama-3-8B Llama 3 授權 15T 13.41
Llama-2-13B Llama 2 授權 2T 10.99
Falcon-40B Apache 2.0 1,000B 11.33
Falcon-40B Apache 2.0 1,000B 11.33
Llama-2-70B Llama 2 授權 2T 18.25
Llama-3-70B Llama 3 授權 15T 26.37
Mixtral 8x22B Apache 2 ? 25.49

如何向 Llama 3 提示

基礎模型沒有提示格式。與其他基礎模型一樣,它們可用來根據輸入序列續寫合理內容,或進行零樣本/少樣本推理;亦非常適合作為微調模型以配合你自身應用的起點。指令版本採用以下對話結構:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{{ system_prompt }}<|eot_id|><|start_header_id|>user<|end_header_id|>

{{ user_msg_1 }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{{ model_answer_1 }}<|eot_id|>

要有效使用,必須完全照樣重現這種格式。稍後我們會示範如何利用 transformers 提供的聊天範本,輕鬆重現指令提示。

示範

你可以在 Hugging Chat 與 Llama 3 70B 指令版聊天!請查看這裏的連結:https://huggingface.co/chat/models/meta-llama/Meta-Llama-3-70B-instruct

使用 🤗 Transformers

透過 Transformers 4.40 版本,你可以使用 Llama 3,並運用 Hugging Face 生態系統內的各種工具,例如:

  • 訓練和推理程式碼及示例
  • 安全檔案格式(safetensors)
  • 與 bitsandbytes(4-bit 量化)、PEFT(參數高效微調)和 Flash Attention 2 等工具整合
  • 使用模型執行生成的工具和輔助程式
  • 匯出模型以供部署的機制

此外,Llama 3 模型支援搭配 CUDA graphs 使用 torch.compile(),推理速度可提升約 4 倍!

要透過 transformers 使用 Llama 3 模型,請確保安裝較新版本的 transformers:

pip install --upgrade transformers

以下程式片段示範如何透過 transformers 使用 Llama-3-8b-instruct。它需要約 16 GB RAM,可在 3090 或 4090 等消費級 GPU 上運行。

from transformers import pipeline
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipe = pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

terminators = [
    pipe.tokenizer.eos_token_id,
    pipe.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipe(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)

啊,夥計!吾名 Captain Chat,是航行七海最狡黠的海盜聊天機械人!我將用可靠的回應,替你清掃心靈甲板,明白嗎?我已準備好升起海盜旗,展開刺激的航程,朋友!究竟是甚麼風把你帶到這片海域?

有幾點需要留意:

  • 我們以 bfloat16 載入模型。這是 Meta 發布的原始檢查點所用的類型,建議使用它以確保精度最佳或進行評估。實際使用時,亦可安全地使用 float16;視乎硬件而定,速度可能更快。
  • 助理回應可能以特殊 token <|eot_id|> 結束,但如果找到一般 EOS token,我們也必須停止生成。只要在 eos_token_id 參數提供終止標記清單,就能提早停止生成。
  • 我們採用原始 Meta 程式碼庫中的預設取樣參數(temperature 和 top_p)。我們還未有時間進行廣泛測試,歡迎自行探索!

你也可以自動量化模型,以 8-bit 甚至 4-bit 模式載入。4-bit 載入約需 7 GB 記憶體,適用於許多消費級顯示卡和 Google Colab 的所有 GPU。以下示範如何以 4-bit 載入生成管線:

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={
        "torch_dtype": torch.float16,
        "quantization_config": {"load_in_4bit": True},
        "low_cpu_mem_usage": True,
    },
)

如需瞭解透過 transformers 使用模型的詳情,請參閲模型卡。

推理整合

本節會介紹執行 Llama 3 模型推理的不同方法。使用這些模型前,請先向官方 Meta Llama 3 儲存庫申請存取權。

整合至 Inference Endpoints

你可以在 Hugging Face 的 Inference Endpoints 部署 Llama 3,後端使用 Text Generation Inference。Text Generation Inference 是 Hugging Face 開發的即時可用推理容器,方便部署大型語言模型。它具備連續批次處理、token 串流、多 GPU 快速推理的張量平行處理,以及適用於正式環境的日誌和追蹤等功能。

要部署 Llama 3,請前往模型頁面,並按一下Deploy -> Inference Endpoints 小工具。你可以在較早的一篇網誌瞭解如何透過 Hugging Face Inference Endpoints 部署大型語言模型。Inference Endpoints 透過 Text Generation Inference 支援 Messages API,只需更改 URL,便可從其他閉源模型切換至開放模型。

from openai import OpenAI

# initialize the client but point it to TGI
client = OpenAI(
    base_url="<ENDPOINT_URL>" + "/v1/",  # replace with your endpoint url
    api_key="<HF_API_TOKEN>",  # replace with your token
)
chat_completion = client.chat.completions.create(
    model="tgi",
    messages=[
        {"role": "user", "content": "Why is open-source software important?"},
    ],
    stream=True,
    max_tokens=500
)

# iterate and print stream
for message in chat_completion:
    print(message.choices[0].delta.content, end="")

整合至 Google Cloud

你可以透過 Vertex AI 或 Google Kubernetes Engine(GKE),在 Google Cloud 使用 Text Generation Inference 部署 Llama 3。

要從 Hugging Face 部署 Llama 3 模型,請前往 模型頁面,再按一下 Deploy -> Google Cloud.。系統會帶你前往 Google Cloud Console,你可在那裏按 1 次便部署 Llama 3 至 Vertex AI 或 GKE。

整合至 Amazon SageMaker

你可以透過 AWS Jumpstart,或使用 Hugging Face LLM Container,在 Amazon SageMaker 部署及訓練 Llama 3。

要從 Hugging Face 部署 Llama 3 模型,請前往 模型頁面,再按一下 Deploy -> Amazon SageMaker.。系統會顯示一段程式碼,你可以複製到自己的環境執行。Amazon SageMaker 隨即會建立專用推理端點,供你傳送請求。

使用 🤗 TRL 進行微調

訓練大型語言模型在技術和運算方面都頗具挑戰。本節會介紹如何運用 Hugging Face 生態系統中的工具,在消費級 GPU 上有效率地訓練 Llama 3。以下示範一條命令,使用 No Robots 資料集微調 Llama 3。我們會使用 4-bit 量化;QLoRA 和 TRL 的 SFTTrainer 會自動把資料集整理為 chatml 格式。現在開始吧!

首先,安裝最新版 🤗 TRL。

pip install -U transformers trl accelerate

如果你只想在終端機與模型聊天,可以使用 TRL CLI 的 chat 命令(詳情請參閲文件):

trl chat \
--model_name_or_path meta-llama/Meta-Llama-3-8B-Instruct \
--device cuda \
--eos_tokens "<|end_of_text|>,<|eod_id|>"

你也可以使用 TRL CLI,在自己的自訂資料集上監督式微調(SFT)Llama 3。使用 trl sft 命令,並以 CLI 參數傳入訓練設定。請確認已登入並有權存取 Llama 3 檢查點。你可以使用 huggingface-cli login 登入。

trl sft \
--model_name_or_path meta-llama/Meta-Llama-3-8B \
--dataset_name HuggingFaceH4/no_robots \
--learning_rate 0.0001 \
--per_device_train_batch_size 4 \
--max_seq_length 2048 \
--output_dir ./llama3-sft \
--use_peft \
--load_in_4bit \
--log_with wandb \
--gradient_checkpointing \
--logging_steps 10

這會在終端機執行微調;在單張 A10G 上訓練約需 4 小時。只要把 --num_processes 調整為可用 GPU 數量,即可輕鬆平行處理。

注意:你亦可用 yaml 檔案代替 CLI 參數。請在這裏瞭解更多 TRL CLI 資訊。

其他資源

鳴謝

要發布這類模型,並在生態系統中提供支援和評估,少不了許多社羣成員的貢獻,包括:

感謝 Meta 團隊發布 Llama 3,並讓開源 AI 社羣能夠使用!

來源:Hugging Face Blog · huggingface.co