Meta 發佈 Llama 3 開源大語言模型,提供 8B 和 70B 版本
Welcome Llama 3 - Meta's new open LLM
Meta 發佈開源大語言模型 Llama 3,提供 8B、70B 兩種參數規模,各有 base 與指令微調版本。模型上下文窗口為 8K tokens,另有以 Llama 3 8B 微調的 Llama Guard 2;授權允許再分發、微調和衍生作品,並要求衍生模型名稱以 Llama 3 開頭,衍生作品或服務標示 Built with Meta Llama 3。
文章梳理了 Llama 3 的型號、授權要求,以及 Hugging Face 上的推理部署和微調入口,呈現從模型取得到實際使用的主要路徑。
簡介
Meta 的 Llama 3 是開放存取 Llama 系列的最新一代模型,現已發布並可在 Hugging Face 取得。很高興看到 Meta 繼續履行推動開放 AI 的承諾,我們亦很期待透過 Hugging Face 生態系統的全面整合,全力支援這次發布。
Llama 3 提供兩種規模:8B 適合在消費級 GPU 上高效部署和開發,70B 則適用於大規模原生 AI 應用。兩種規模均提供基礎版和指令微調版。除了這 4 個模型,Meta 亦以 Llama 3 8B 微調新版 Llama Guard,並以 Llama Guard 2(安全微調版)發布。
我們與 Meta 合作,確保模型能最佳整合至 Hugging Face 生態系統。Hub 上共有 5 個開放存取模型(2 個基礎模型、2 個微調模型,以及 Llama Guard)。此次發布的功能和整合包括:
- Hub 上的模型,附有模型卡和授權條款
- 🤗 Transformers 整合
- Hugging Chat 整合 Meta Llama 3 70b
- 整合至 Inference Endpoints、Google Cloud 和 Amazon SageMaker
- 使用 🤗 TRL 在單一 GPU 上微調 Llama 3 8B 的示例
目錄
Llama 3 有甚麼新功能?
Meta 發布 Llama 3,推出 4 款以 Llama 2 架構為基礎的全新開放大型語言模型,分為 8B 和 70B 兩種參數規模,每種均有基礎(預訓練)版和指令微調版。所有型號都能在各類消費級硬件上運行,脈絡長度為 8K token。
- Meta-Llama-3-8b:8B 基礎模型
- Meta-Llama-3-8b-instruct:基礎 8b 模型的指令微調版本
- Meta-Llama-3-70b:70B 基礎模型
- Meta-Llama-3-70b-instruct:基礎 70b 模型的指令微調版本
除了這 4 個基礎模型,Meta 亦發布 Llama Guard 2。它以 Llama 3 8B 微調,是 Llama Guard 系列的最新版本。Llama Guard 2 為實際應用而設,旨在分類大型語言模型輸入(提示)及回應,以偵測風險分類體系中視為不安全的內容。
Llama 3 相較 Llama 2 的一大改動,是採用新的 tokenizer,把詞彙表大小由上一版本的 32K token 擴大至 128,256。更大的詞彙表可更有效率地編碼文字(包括輸入和輸出),亦可能提升多語言能力,但代價是輸入和輸出嵌入矩陣變大,這是小型模型參數量增加的重要原因之一:Llama 2 為 7B,Llama 3 則增至 8B。此外,模型的 8B 版本現已採用分組查詢注意力(GQA),這種高效表示方法有助處理較長脈絡。
Llama 3 模型使用的訓練資料量約為以往的 8 倍,超過 15 trillion token,來源是兩個各配備 24,000 張 GPU 的叢集上可公開取得的線上資料新組合。我們不知道訓練資料的確切細節,只能推測更大量、經過更仔細整理的資料,是模型表現改善的重要因素。Llama 3 Instruct 針對對話應用最佳化,使用超過 10 Million 個由人類標註的資料樣本訓練,結合監督式微調(SFT)、拒絕取樣、近端策略最佳化(PPO)和直接偏好最佳化(DPO)。
在授權條款方面,Llama 3 採用寬鬆授權,允許再散佈、微調和創作衍生作品。Llama 3 授權新增明確署名要求,Llama 2 則沒有這項規定。例如,衍生模型的名稱開首必須包含「Llama 3」,而衍生作品或服務亦須註明「Built with Meta Llama 3」。完整詳情請務必閲讀官方授權條款。
Llama 3 評估
以下列出各模型及其在Open LLM Leaderboard上的分數。這並非完整名單,建議你查看完整排行榜。請注意,LLM Leaderboard 特別適合評估預訓練模型,因為對話模型另有專門的基準。
| 模型 | 授權 | 預訓練長度 [token] | 排行榜分數 |
|---|---|---|---|
| MPT-7B | Apache 2.0 | 1,000B | 5.98 |
| Falcon-7B | Apache 2.0 | 1,500B | 5.1 |
| Llama-2-7B | Llama 2 授權 | 2T | 8.72 |
| Qwen 2 7B | Apache 2.0 | ? | 23.66 |
| Llama-3-8B | Llama 3 授權 | 15T | 13.41 |
| Llama-2-13B | Llama 2 授權 | 2T | 10.99 |
| Falcon-40B | Apache 2.0 | 1,000B | 11.33 |
| Falcon-40B | Apache 2.0 | 1,000B | 11.33 |
| Llama-2-70B | Llama 2 授權 | 2T | 18.25 |
| Llama-3-70B | Llama 3 授權 | 15T | 26.37 |
| Mixtral 8x22B | Apache 2 | ? | 25.49 |
如何向 Llama 3 提示
基礎模型沒有提示格式。與其他基礎模型一樣,它們可用來根據輸入序列續寫合理內容,或進行零樣本/少樣本推理;亦非常適合作為微調模型以配合你自身應用的起點。指令版本採用以下對話結構:
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
{{ system_prompt }}<|eot_id|><|start_header_id|>user<|end_header_id|>
{{ user_msg_1 }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
{{ model_answer_1 }}<|eot_id|>
要有效使用,必須完全照樣重現這種格式。稍後我們會示範如何利用 transformers 提供的聊天範本,輕鬆重現指令提示。
示範
你可以在 Hugging Chat 與 Llama 3 70B 指令版聊天!請查看這裏的連結:https://huggingface.co/chat/models/meta-llama/Meta-Llama-3-70B-instruct
使用 🤗 Transformers
透過 Transformers 4.40 版本,你可以使用 Llama 3,並運用 Hugging Face 生態系統內的各種工具,例如:
- 訓練和推理程式碼及示例
- 安全檔案格式(
safetensors) - 與 bitsandbytes(4-bit 量化)、PEFT(參數高效微調)和 Flash Attention 2 等工具整合
- 使用模型執行生成的工具和輔助程式
- 匯出模型以供部署的機制
此外,Llama 3 模型支援搭配 CUDA graphs 使用 torch.compile(),推理速度可提升約 4 倍!
要透過 transformers 使用 Llama 3 模型,請確保安裝較新版本的 transformers:
pip install --upgrade transformers
以下程式片段示範如何透過 transformers 使用 Llama-3-8b-instruct。它需要約 16 GB RAM,可在 3090 或 4090 等消費級 GPU 上運行。
from transformers import pipeline
import torch
model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
pipe = pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]
terminators = [
pipe.tokenizer.eos_token_id,
pipe.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipe(
messages,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)
啊,夥計!吾名 Captain Chat,是航行七海最狡黠的海盜聊天機械人!我將用可靠的回應,替你清掃心靈甲板,明白嗎?我已準備好升起海盜旗,展開刺激的航程,朋友!究竟是甚麼風把你帶到這片海域?
有幾點需要留意:
- 我們以
bfloat16載入模型。這是 Meta 發布的原始檢查點所用的類型,建議使用它以確保精度最佳或進行評估。實際使用時,亦可安全地使用float16;視乎硬件而定,速度可能更快。 - 助理回應可能以特殊 token
<|eot_id|>結束,但如果找到一般 EOS token,我們也必須停止生成。只要在eos_token_id參數提供終止標記清單,就能提早停止生成。 - 我們採用原始 Meta 程式碼庫中的預設取樣參數(
temperature和top_p)。我們還未有時間進行廣泛測試,歡迎自行探索!
你也可以自動量化模型,以 8-bit 甚至 4-bit 模式載入。4-bit 載入約需 7 GB 記憶體,適用於許多消費級顯示卡和 Google Colab 的所有 GPU。以下示範如何以 4-bit 載入生成管線:
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={
"torch_dtype": torch.float16,
"quantization_config": {"load_in_4bit": True},
"low_cpu_mem_usage": True,
},
)
如需瞭解透過 transformers 使用模型的詳情,請參閲模型卡。
推理整合
本節會介紹執行 Llama 3 模型推理的不同方法。使用這些模型前,請先向官方 Meta Llama 3 儲存庫申請存取權。
整合至 Inference Endpoints
你可以在 Hugging Face 的 Inference Endpoints 部署 Llama 3,後端使用 Text Generation Inference。Text Generation Inference 是 Hugging Face 開發的即時可用推理容器,方便部署大型語言模型。它具備連續批次處理、token 串流、多 GPU 快速推理的張量平行處理,以及適用於正式環境的日誌和追蹤等功能。
要部署 Llama 3,請前往模型頁面,並按一下Deploy -> Inference Endpoints 小工具。你可以在較早的一篇網誌瞭解如何透過 Hugging Face Inference Endpoints 部署大型語言模型。Inference Endpoints 透過 Text Generation Inference 支援 Messages API,只需更改 URL,便可從其他閉源模型切換至開放模型。
from openai import OpenAI
# initialize the client but point it to TGI
client = OpenAI(
base_url="<ENDPOINT_URL>" + "/v1/", # replace with your endpoint url
api_key="<HF_API_TOKEN>", # replace with your token
)
chat_completion = client.chat.completions.create(
model="tgi",
messages=[
{"role": "user", "content": "Why is open-source software important?"},
],
stream=True,
max_tokens=500
)
# iterate and print stream
for message in chat_completion:
print(message.choices[0].delta.content, end="")
整合至 Google Cloud
你可以透過 Vertex AI 或 Google Kubernetes Engine(GKE),在 Google Cloud 使用 Text Generation Inference 部署 Llama 3。
要從 Hugging Face 部署 Llama 3 模型,請前往 模型頁面,再按一下 Deploy -> Google Cloud.。系統會帶你前往 Google Cloud Console,你可在那裏按 1 次便部署 Llama 3 至 Vertex AI 或 GKE。
整合至 Amazon SageMaker
你可以透過 AWS Jumpstart,或使用 Hugging Face LLM Container,在 Amazon SageMaker 部署及訓練 Llama 3。
要從 Hugging Face 部署 Llama 3 模型,請前往 模型頁面,再按一下 Deploy -> Amazon SageMaker.。系統會顯示一段程式碼,你可以複製到自己的環境執行。Amazon SageMaker 隨即會建立專用推理端點,供你傳送請求。
使用 🤗 TRL 進行微調
訓練大型語言模型在技術和運算方面都頗具挑戰。本節會介紹如何運用 Hugging Face 生態系統中的工具,在消費級 GPU 上有效率地訓練 Llama 3。以下示範一條命令,使用 No Robots 資料集微調 Llama 3。我們會使用 4-bit 量化;QLoRA 和 TRL 的 SFTTrainer 會自動把資料集整理為 chatml 格式。現在開始吧!
首先,安裝最新版 🤗 TRL。
pip install -U transformers trl accelerate
如果你只想在終端機與模型聊天,可以使用 TRL CLI 的 chat 命令(詳情請參閲文件):
trl chat \
--model_name_or_path meta-llama/Meta-Llama-3-8B-Instruct \
--device cuda \
--eos_tokens "<|end_of_text|>,<|eod_id|>"
你也可以使用 TRL CLI,在自己的自訂資料集上監督式微調(SFT)Llama 3。使用 trl sft 命令,並以 CLI 參數傳入訓練設定。請確認已登入並有權存取 Llama 3 檢查點。你可以使用 huggingface-cli login 登入。
trl sft \
--model_name_or_path meta-llama/Meta-Llama-3-8B \
--dataset_name HuggingFaceH4/no_robots \
--learning_rate 0.0001 \
--per_device_train_batch_size 4 \
--max_seq_length 2048 \
--output_dir ./llama3-sft \
--use_peft \
--load_in_4bit \
--log_with wandb \
--gradient_checkpointing \
--logging_steps 10
這會在終端機執行微調;在單張 A10G 上訓練約需 4 小時。只要把 --num_processes 調整為可用 GPU 數量,即可輕鬆平行處理。
注意:你亦可用 yaml 檔案代替 CLI 參數。請在這裏瞭解更多 TRL CLI 資訊。
其他資源
鳴謝
要發布這類模型,並在生態系統中提供支援和評估,少不了許多社羣成員的貢獻,包括:
- Clémentine Fourrier、Nathan Habib,以及 Eleuther Evaluation Harness,協助進行大型語言模型評估
- Olivier Dehaene 和 Nicolas Patry,協助提供 Text Generation Inference 支援
- Arthur Zucker 和 Lysandre Debut,協助在 transformers 和 tokenizers 加入 Llama 3 支援
- Nathan Sarrazin、Victor Mustar 和 Kevin Cathaly,協助讓 Llama 3 在 Hugging Chat 上架。
- Yuvraj Sharma,協助製作 Gradio 示範。
- Xenova 和 Vaibhav Srivastav,協助除錯及試驗量化和提示範本。
- Brigitte Tousignant、Florent Daudens、Morgan Funtowicz 和 Simon Brandeis,協助處理發布期間的各項工作!
- 感謝 Meta 團隊所有成員,包括 Samuel Selvan、Eleonora Presani、Hamid Shojanazeri、Azadeh Yazdan、Aiman Farooq、Ruan Silva、Ashley Gabriel、Eissa Jamil、Binh Tang、Matthias Reso、Lovish Madaan、Joe Spisak 和 Sergey Edunov。
感謝 Meta 團隊發布 Llama 3,並讓開源 AI 社羣能夠使用!
來源:Hugging Face Blog · huggingface.co