使用 🤗 PEFT 進行參數高效微調
Parameter-Efficient Fine-Tuning using 🤗 PEFT
Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。
文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。
動機
基於 Transformer 架構的大型語言模型(LLM),例如 GPT、T5 和 BERT,在多種自然語言處理(NLP)任務中取得了最先進的成果。它們亦開始應用於其他領域,例如電腦視覺(CV)(ViT、Stable Diffusion、LayoutLM)和音訊(Whisper、XLS-R)。傳統做法是先使用通用網絡規模的資料進行大規模預訓練,再針對下游任務微調。與直接使用預訓練 LLM(例如零樣本推論)相比,使用下游資料集微調這些模型可大幅提升效能。
然而,模型愈來愈大,在消費級硬件上進行全參數微調已變得不可行。此外,為每項下游任務分別儲存及部署微調模型的成本亦非常高昂,因為微調後的模型與原始預訓練模型大小相同。參數高效微調(PEFT)方法正是為瞭解決這兩個問題而設!
PEFT 方法只微調少量(額外)模型參數,同時凍結預訓練 LLM 的大部分參數,因此可大幅降低運算和儲存成本。這亦能解決災難性遺忘問題;這種現象會在 LLM 全參數微調期間出現。相較於全參數微調,PEFT 方法在低資料量情況下表現更佳,在領域外情境中的泛化能力亦更強。它亦可應用於不同模態,例如圖像分類和Stable Diffusion DreamBooth。
PEFT 亦有助提升模型的可攜性:使用者可透過 PEFT 方法微調模型,取得只有數 MB 的小型檢查點,相較之下,全參數微調的檢查點十分龐大。例如,bigscience/mt0-xxl佔用 40GB 儲存空間;若採用全參數微調,每個下游資料集都會產生 40GB 的檢查點,而使用 PEFT 時,每個資料集只需數 MB,同時仍可達到與全參數微調相若的效能。PEFT 訓練所得的小型權重會加到預訓練 LLM 上。因此,同一個 LLM 可透過加入小型權重執行多項任務,無須替換整個模型。
簡而言之,PEFT 方法只需少量可訓練參數,就能達到與全參數微調相若的效能。
今天,我們很高興推出 🤗 PEFT程式庫,提供最新的參數高效微調技術,並與 🤗 Transformers 及 🤗 Accelerate 無縫整合。這讓你能使用 Transformers 中最受歡迎、效能最佳的模型,同時享有 Accelerate 的簡便性和可擴展性。以下列出目前支援的 PEFT 方法,日後還會加入更多:
- LoRA:大型語言模型的低秩適配
- Prefix Tuning:P-Tuning v2:提示調優在不同規模和任務上均可媲美微調
- Prompt Tuning:參數高效提示調優的規模效應
- P-Tuning:GPT 也懂
應用案例
我們在這裏介紹了多種有趣的應用案例,以下是其中一些最值得一提的例子:
使用 🤗 PEFT LoRA,在只有 11GB RAM 的消費級硬件上微調
bigscience/T0_3B模型(30 億個參數),例如 Nvidia GeForce RTX 2080 Ti、Nvidia GeForce RTX 3080 等,並使用 🤗 Accelerate 的 DeepSpeed 整合:peft_lora_seq2seq_accelerate_ds_zero3_offload.py。這表示你可以在 Google Colab 上微調這類大型 LLM。在上述例子上再進一步,使用 🤗 PEFT LoRA 對
OPT-6.7b模型(67 億個參數)進行 INT8 微調,並在 Google Colab 使用 bitsandbytes:使用 🤗 PEFT 在只有 11GB RAM 的消費級硬件上訓練 Stable Diffusion DreamBooth,例如 Nvidia GeForce RTX 2080 Ti、Nvidia GeForce RTX 3080 等。試用 Space 示範,它應可在 T4 執行個體(16GB GPU)上順暢運行:smangrul/peft-lora-sd-dreambooth。

PEFT LoRA DreamBooth Gradio Space
使用 🤗 PEFT 訓練模型
以使用 LoRA 微調 bigscience/mt0-large為例。
- 先匯入所需項目
from transformers import AutoModelForSeq2SeqLM
+ from peft import get_peft_model, LoraConfig, TaskType
model_name_or_path = "bigscience/mt0-large"
tokenizer_name_or_path = "bigscience/mt0-large"
- 建立對應 PEFT 方法的設定
peft_config = LoraConfig(
task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1
)
- 呼叫
get_peft_model包裝基礎 🤗 Transformers 模型
model = AutoModelForSeq2SeqLM.from_pretrained(model_name_or_path)
+ model = get_peft_model(model, peft_config)
+ model.print_trainable_parameters()
# output: trainable params: 2359296 || all params: 1231940608 || trainable%: 0.19151053100118282
完成!訓練迴圈其餘部分維持不變。端對端範例請參閲 peft_lora_seq2seq.ipynb。
- 準備好儲存模型以供推論時,只需執行以下操作。
model.save_pretrained("output_dir")
# model.push_to_hub("my_awesome_peft_model") also works
這只會儲存經過訓練的 PEFT 增量權重。例如,你可以在這裏找到使用 LoRA 微調 bigscience/T0_3B,並採用 twitter_complaints raft 資料集的模型:smangrul/twitter_complaints_bigscience_T0_3B_LORA_SEQ_2_SEQ_LM。請留意,它只包含兩個檔案:adapter_config.json 和 adapter_model.bin,後者只有 19MB。
- 如要載入模型進行推論,請參考以下程式碼片段:
from transformers import AutoModelForSeq2SeqLM
+ from peft import PeftModel, PeftConfig
peft_model_id = "smangrul/twitter_complaints_bigscience_T0_3B_LORA_SEQ_2_SEQ_LM"
config = PeftConfig.from_pretrained(peft_model_id)
model = AutoModelForSeq2SeqLM.from_pretrained(config.base_model_name_or_path)
+ model = PeftModel.from_pretrained(model, peft_model_id)
tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path)
model = model.to(device)
model.eval()
inputs = tokenizer("Tweet text : @HondaCustSvc Your customer service has been horrible during the recall process. I will never purchase a Honda again. Label :", return_tensors="pt")
with torch.no_grad():
outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"), max_new_tokens=10)
print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0])
# 'complaint'
後續發展
我們推出 PEFT,提供一種高效的 LLM 下游任務和領域微調方法,在達到與全參數微調相若效能的同時,大幅節省運算和儲存資源。未來數月,我們會探索更多 PEFT 方法,例如 (IA)3 和瓶頸適配器。我們亦會聚焦新應用案例,例如在 Google Colab 上對 whisper-large模型進行 INT8 訓練,以及使用 PEFT 方法微調 RLHF 元件,例如策略模型和排序器。
與此同時,我們期待業界人士將 PEFT 應用於各種案例;如有問題或意見,歡迎在我們的GitHub 專案提出 issue 🤗。
祝你參數高效微調愉快!
來源:Hugging Face Blog · huggingface.co