Hugging Face 介紹 SetFit:無需提示詞的高效少樣本學習框架
SetFit: Efficient Few-Shot Learning Without Prompts
Hugging Face 與 Intel Labs、UKP Lab 共同介紹 SetFit,這是一套無需提示詞、以少量標註資料微調 Sentence Transformers 的少樣本學習框架。
文章比較 SetFit 與其他少樣本方法在 RAFT 等基準的表現,並列出訓練時間與成本,提供分類效能和訓練效率的直接參照。
SetFit 的樣本效率和抗噪能力,均顯著優於標準微調。
預訓練語言模型的少樣本學習,已成為解決每位數據科學家噩夢的理想方案:資料標籤很少,甚至完全沒有 😱。
Hugging Face 與 Intel Labs和UKP Lab的研究夥伴攜手,很高興推出 SetFit:一個用於少樣本微調 Sentence Transformers 的高效框架。SetFit 只需少量標註資料便能達到高準確度;例如,在 Customer Reviews(CR)情感數據集上每類只用 8 個標註範例,SetFit 的表現便可媲美使用完整 3k 範例訓練集微調 RoBERTa Large 🤯!
與其他少樣本學習方法相比,SetFit 有幾項獨特優勢:
🗣 不需提示或轉述器:現有少樣本微調技術需要手工設計提示或轉述器,將範例轉成適合底層語言模型的格式。SetFit 完全毋須提示,直接從少量已標註文字範例生成豐富嵌入向量。
🏎 訓練速度快:SetFit 不需要 T0 或 GPT-3 等大型模型,也能達到高準確度。因此,它的訓練和推論速度通常快一個數量級,甚至更多。
🌎 支援多語言:SetFit 可配合 Hub 上任何 Sentence Transformer 使用,因此只需微調多語言 checkpoint,便可分類多種語言的文字。
詳情請參閲我們的論文、資料和程式碼。本文會介紹 SetFit 的運作方式,以及如何訓練自己的模型。一起看看吧!
它如何運作?
SetFit 以效率和簡單易用為設計重點。首先,它會使用少量已標註範例微調 Sentence Transformer 模型(通常每類 8 或 16 個),然後再以微調模型生成的嵌入向量訓練分類器頭部。
SetFit 的兩階段訓練流程
SetFit 利用 Sentence Transformers 根據句子配對生成稠密嵌入向量的能力。在初始微調階段,它透過對比式訓練運用有限的標註輸入資料,從同類和不同類中選取正負配對。Sentence Transformer 模型接著以這些配對(或三元組)訓練,為每個範例生成稠密向量。第二步則由分類器頭部使用編碼後的嵌入向量及相應類別標籤進行訓練。推論時,未見過的範例會經過微調後的 Sentence Transformer 生成嵌入向量,再輸入分類器頭部,輸出預測類別標籤。
只需把基礎 Sentence Transformer 模型換成多語言模型,SetFit 便可在多語言環境中順暢運作。在實驗中,SetFit 在德語、日語、普通話、法語和西班牙語分類任務中,無論同語言或跨語言設定,均展現出良好表現。
SetFit 基準測試
SetFit 使用的模型遠小於現有少樣本方法,但在多項基準測試中的表現仍可媲美甚至勝過最先進的少樣本方法。在少樣本分類基準 RAFT 上,SetFit Roberta 使用 all-roberta-large-v1 模型,擁有 355 million 個參數,表現勝過 PET 和 GPT-3。它的成績僅略低於人類平均水平及擁有 11 billion 參數的 T-few;後者的規模是 SetFit Roberta 的 30 倍。SetFit 在 11 項 RAFT 任務中的 7 項,表現亦勝過人類基準。
| 排名 | 方法 | 準確度 | 模型大小 |
|---|---|---|---|
| 2 | T-Few | 75.8 | 11B |
| 4 | 人類基準 | 73.5 | 不適用 |
| 6 | SetFit(Roberta Large) | 71.3 | 355M |
| 9 | PET | 69.6 | 235M |
| 11 | SetFit(MP-Net) | 66.9 | 110M |
| 12 | GPT-3 | 62.7 | 175 B |
截至 2022 年 9 月 RAFT 排行榜上的主要方法
SetFit 在其他數據集上亦展現出不同任務的穩健表現。如以下圖表所示,每類只用 8 個範例時,SetFit 通常勝過 PERFECT、ADAPET 和經微調的原生 transformers。儘管毋須提示,SetFit 的表現仍可媲美 T-Few 3B,模型規模更小 27 倍。
比較 SetFit 在 3 個分類數據集上與其他方法的表現。
快速訓練和推論
比較 T-Few 3B 和 SetFit(MPNet)的訓練成本與平均表現,每類使用 8 個標註範例。
SetFit 使用相對較小的模型,仍能達到高準確度,因此訓練速度極快,成本亦低得多。例如,在 NVIDIA V100 上以 8 個標註範例訓練 SetFit 只需 30 秒,成本為 $0.025。相比之下,以 NVIDIA A100 訓練 T-Few 3B 需時 11 分鐘,同一實驗成本約為 $0.7,是 SetFit 的 28 倍。事實上,SetFit 可在 Google Colab 常見的單一 GPU 上執行,甚至只用 CPU 也能在數分鐘內完成訓練!如上圖所示,SetFit 加快速度的同時,模型表現仍然相若。推論亦有類似提升;蒸餾 SetFit 模型更可令速度提升 123 倍 🤯。
訓練自己的模型
為了讓社羣都能使用 SetFit,我們建立了一個小型 setfit函式庫,只需幾行程式碼便可訓練自己的模型。第一步是執行以下指令安裝:
pip install setfit
接下來,匯入 SetFitModel 和 SetFitTrainer 兩個核心類別,簡化 SetFit 訓練流程:
from datasets import load_dataset
from sentence_transformers.losses import CosineSimilarityLoss
from setfit import SetFitModel, SetFitTrainer
現在,從 Hugging Face Hub 下載文字分類數據集。我們會使用 SentEval-CR 數據集,其中包含客戶評價:
dataset = load_dataset("SetFit/SentEval-CR")
為了模擬只有少量標註範例的真實場景,我們會從訓練集中為每類抽取 8 個範例:
# Select N examples per class (8 in this case)
train_ds = dataset["train"].shuffle(seed=42).select(range(8 * 2))
test_ds = dataset["test"]
有了數據集後,下一步是從 Hub 載入預訓練 Sentence Transformer 模型並建立 SetFitTrainer。此處我們使用 paraphrase-mpnet-base-v2 模型,因為我們發現它在多種數據集上都能取得理想結果:
# Load SetFit model from Hub
model = SetFitModel.from_pretrained("sentence-transformers/paraphrase-mpnet-base-v2")
# Create trainer
trainer = SetFitTrainer(
model=model,
train_dataset=train_ds,
eval_dataset=test_ds,
loss_class=CosineSimilarityLoss,
batch_size=16,
num_iterations=20, # Number of text pairs to generate for contrastive learning
num_epochs=1 # Number of epochs to use for contrastive learning
)
最後一步是訓練並評估模型:
# Train and evaluate!
trainer.train()
metrics = trainer.evaluate()
就是這樣!你已成功訓練第一個 SetFit 模型。記得把訓練好的模型推送到 Hub :)
# Push model to the Hub
# Make sure you're logged in with huggingface-cli login first
trainer.push_to_hub("my-awesome-setfit-model")
這個範例展示瞭如何使用一種特定類型的基礎模型;其實你也可換用任何 Sentence Transformer,以配合不同效能需求和任務。例如,使用多語言 Sentence Transformer 主體,可把少樣本分類擴展至多語言場景。
下一步
我們已展示 SetFit 是執行少樣本分類任務的有效方法。未來數月,我們會探索此方法在自然語言推論和 Token 分類等任務上的泛化能力。同時,我們期待業界人士把 SetFit 應用於各自場景。如有問題或意見,歡迎在我們的GitHub 儲存庫提出 issue 🤗。
祝少樣本學習愉快!
來源:Hugging Face Blog · huggingface.co