跳到正文
Hugging Face Blog·· 2023-02-10精選AI 評分72

使用 🤗 PEFT 進行參數高效微調

Parameter-Efficient Fine-Tuning using 🤗 PEFT

AI 導讀

Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。

推薦理由

文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。

正文 · 繁體中文

動機

基於 Transformer 架構的大型語言模型(LLM),例如 GPT、T5 和 BERT,在多種自然語言處理(NLP)任務中取得了最先進的成果。它們亦開始應用於其他領域,例如電腦視覺(CV)(ViT、Stable Diffusion、LayoutLM)和音訊(Whisper、XLS-R)。傳統做法是先使用通用網絡規模的資料進行大規模預訓練,再針對下游任務微調。與直接使用預訓練 LLM(例如零樣本推論)相比,使用下游資料集微調這些模型可大幅提升效能。

然而,模型愈來愈大,在消費級硬件上進行全參數微調已變得不可行。此外,為每項下游任務分別儲存及部署微調模型的成本亦非常高昂,因為微調後的模型與原始預訓練模型大小相同。參數高效微調(PEFT)方法正是為瞭解決這兩個問題而設!

PEFT 方法只微調少量(額外)模型參數,同時凍結預訓練 LLM 的大部分參數,因此可大幅降低運算和儲存成本。這亦能解決災難性遺忘問題;這種現象會在 LLM 全參數微調期間出現。相較於全參數微調,PEFT 方法在低資料量情況下表現更佳,在領域外情境中的泛化能力亦更強。它亦可應用於不同模態,例如圖像分類和Stable Diffusion DreamBooth。

PEFT 亦有助提升模型的可攜性:使用者可透過 PEFT 方法微調模型,取得只有數 MB 的小型檢查點,相較之下,全參數微調的檢查點十分龐大。例如,bigscience/mt0-xxl佔用 40GB 儲存空間;若採用全參數微調,每個下游資料集都會產生 40GB 的檢查點,而使用 PEFT 時,每個資料集只需數 MB,同時仍可達到與全參數微調相若的效能。PEFT 訓練所得的小型權重會加到預訓練 LLM 上。因此,同一個 LLM 可透過加入小型權重執行多項任務,無須替換整個模型。

簡而言之,PEFT 方法只需少量可訓練參數,就能達到與全參數微調相若的效能。

今天,我們很高興推出 🤗 PEFT程式庫,提供最新的參數高效微調技術,並與 🤗 Transformers 及 🤗 Accelerate 無縫整合。這讓你能使用 Transformers 中最受歡迎、效能最佳的模型,同時享有 Accelerate 的簡便性和可擴展性。以下列出目前支援的 PEFT 方法,日後還會加入更多:

  1. LoRA:大型語言模型的低秩適配
  2. Prefix Tuning:P-Tuning v2:提示調優在不同規模和任務上均可媲美微調
  3. Prompt Tuning:參數高效提示調優的規模效應
  4. P-Tuning:GPT 也懂

應用案例

我們在這裏介紹了多種有趣的應用案例,以下是其中一些最值得一提的例子:

  1. 使用 🤗 PEFT LoRA,在只有 11GB RAM 的消費級硬件上微調 bigscience/T0_3B模型(30 億個參數),例如 Nvidia GeForce RTX 2080 Ti、Nvidia GeForce RTX 3080 等,並使用 🤗 Accelerate 的 DeepSpeed 整合:peft_lora_seq2seq_accelerate_ds_zero3_offload.py。這表示你可以在 Google Colab 上微調這類大型 LLM。

  2. 在上述例子上再進一步,使用 🤗 PEFT LoRA 對 OPT-6.7b模型(67 億個參數)進行 INT8 微調,並在 Google Colab 使用 bitsandbytes:Open In Colab

  3. 使用 🤗 PEFT 在只有 11GB RAM 的消費級硬件上訓練 Stable Diffusion DreamBooth,例如 Nvidia GeForce RTX 2080 Ti、Nvidia GeForce RTX 3080 等。試用 Space 示範,它應可在 T4 執行個體(16GB GPU)上順暢運行:smangrul/peft-lora-sd-dreambooth。

peft lora dreambooth gradio space
PEFT LoRA DreamBooth Gradio Space

使用 🤗 PEFT 訓練模型

以使用 LoRA 微調 bigscience/mt0-large為例。

  1. 先匯入所需項目
  from transformers import AutoModelForSeq2SeqLM
+ from peft import get_peft_model, LoraConfig, TaskType
  model_name_or_path = "bigscience/mt0-large"
  tokenizer_name_or_path = "bigscience/mt0-large"
  1. 建立對應 PEFT 方法的設定
peft_config = LoraConfig(
    task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1
)
  1. 呼叫 get_peft_model包裝基礎 🤗 Transformers 模型
  model = AutoModelForSeq2SeqLM.from_pretrained(model_name_or_path)
+ model = get_peft_model(model, peft_config)
+ model.print_trainable_parameters()
# output: trainable params: 2359296 || all params: 1231940608 || trainable%: 0.19151053100118282

完成!訓練迴圈其餘部分維持不變。端對端範例請參閲 peft_lora_seq2seq.ipynb。

  1. 準備好儲存模型以供推論時,只需執行以下操作。
model.save_pretrained("output_dir") 
# model.push_to_hub("my_awesome_peft_model") also works

這只會儲存經過訓練的 PEFT 增量權重。例如,你可以在這裏找到使用 LoRA 微調 bigscience/T0_3B,並採用 twitter_complaints raft 資料集的模型:smangrul/twitter_complaints_bigscience_T0_3B_LORA_SEQ_2_SEQ_LM。請留意,它只包含兩個檔案:adapter_config.json 和 adapter_model.bin,後者只有 19MB。

  1. 如要載入模型進行推論,請參考以下程式碼片段:
  from transformers import AutoModelForSeq2SeqLM
+ from peft import PeftModel, PeftConfig

  peft_model_id = "smangrul/twitter_complaints_bigscience_T0_3B_LORA_SEQ_2_SEQ_LM"
  config = PeftConfig.from_pretrained(peft_model_id)
  model = AutoModelForSeq2SeqLM.from_pretrained(config.base_model_name_or_path)
+ model = PeftModel.from_pretrained(model, peft_model_id)
  tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path)

  model = model.to(device)
  model.eval()
  inputs = tokenizer("Tweet text : @HondaCustSvc Your customer service has been horrible during the recall process. I will never purchase a Honda again. Label :", return_tensors="pt")

  with torch.no_grad():
      outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"), max_new_tokens=10)
      print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0])
# 'complaint'

後續發展

我們推出 PEFT,提供一種高效的 LLM 下游任務和領域微調方法,在達到與全參數微調相若效能的同時,大幅節省運算和儲存資源。未來數月,我們會探索更多 PEFT 方法,例如 (IA)3 和瓶頸適配器。我們亦會聚焦新應用案例,例如在 Google Colab 上對 whisper-large模型進行 INT8 訓練,以及使用 PEFT 方法微調 RLHF 元件,例如策略模型和排序器。

與此同時,我們期待業界人士將 PEFT 應用於各種案例;如有問題或意見,歡迎在我們的GitHub 專案提出 issue 🤗。

祝你參數高效微調愉快!

來源:Hugging Face Blog · huggingface.co