使用 🤗 PEFT 進行參數高效微調

Hugging Face 推出 🤗 PEFT 函式庫，整合 🤗 Transformers 與 🤗 Accelerate，支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數，只訓練少量參數並保存增量權重，以降低計算和儲存成本，同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。