使用 Sentence Transformers 訓練及微調嵌入模型
Training and Finetuning Embedding Models with Sentence Transformers
Sentence Transformers 指南示範如何微調嵌入模型以配合特定任務,並説明亦可從頭訓練新模型。內容講解資料集、損失函數、訓練參數、評估器與 Trainer,並示範從 Hugging Face Hub 或本機載入資料及多資料集訓練。文中 AllNLI 三元組範例以餘弦相似度計算,開發集及測試集準確率分別為 90.04% 和 91.5%;訓練前基礎模型的開發集準確率為 68.32%。
文章拆解資料集格式、損失函數、訓練參數、評估器與 Trainer 的配合,並展示多資料集搭配不同損失函數的訓練方式,方便轉用於不同嵌入任務。
Sentence Transformers 是一個 Python 程式庫,讓你可以使用及訓練嵌入模型,應用範圍廣泛,例如檢索增強生成、語義搜尋、語義文本相似度、改述挖掘等。這篇網誌會示範如何微調 Sentence Transformer 模型,以提升它們在特定任務上的表現;你亦可以用這個方法從頭訓練新的 Sentence Transformer 模型。
微調 Sentence Transformers 涉及多個部分,包括資料集、損失函數、訓練參數、評估器,以及訓練器本身。我會逐一詳細介紹這些部分,並提供如何用它們訓練有效模型的例子。
目錄
為何要微調?
微調 Sentence Transformer 模型可以大幅提升它們在特定任務上的表現,因為每項任務對相似度都有獨特的定義。先以兩則新聞標題為例:
- 「Apple 推出新款 iPad」
- 「NVIDIA 正準備迎接下一代 GPU」
視乎用途,我們可能希望這些文本的嵌入彼此相似,也可能希望它們不相似。例如,新聞分類模型可能會把兩段文本視為相似,因為它們同屬「科技」類別。相反,語義文本相似度模型或檢索模型則應把它們視為不相似,因為兩者的意思截然不同。
訓練組件
訓練 Sentence Transformer 模型涉及以下組件:
- 資料集:用於訓練和評估的資料。
- 損失函數:量化模型表現並引導最佳化過程的函數。
- 訓練參數(可選):會影響訓練效能及追蹤/除錯的參數。
- 評估器(可選):在訓練前、期間或之後評估模型的工具。
- 訓練器:把模型、資料集、損失函數及其他組件整合起來進行訓練。
現在讓我們逐一深入瞭解這些組件。
資料集
SentenceTransformerTrainer 使用 datasets.Dataset 或 datasets.DatasetDict 實例進行訓練和評估。你可以從 Hugging Face Datasets Hub 載入資料,亦可使用 CSV、JSON、Parquet、Arrow 或 SQL 等不同格式的本機資料。
注意:許多可直接配合 Sentence Transformers 使用的 Hugging Face 資料集都標記了 sentence-transformers,你只要瀏覽 https://huggingface.co/datasets?other=sentence-transformers 就能輕鬆找到它們。我們強烈建議你瀏覽這些資料集,找出可能適合你任務的訓練資料集。
Hugging Face Hub 上的資料
若要從 Hugging Face Hub 的資料集載入資料,可使用 load_dataset 函數:
from datasets import load_dataset
train_dataset = load_dataset("sentence-transformers/all-nli", "pair-class", split="train")
eval_dataset = load_dataset("sentence-transformers/all-nli", "pair-class", split="dev")
print(train_dataset)
"""
Dataset({
features: ['premise', 'hypothesis', 'label'],
num_rows: 942069
})
"""
部分資料集(例如 sentence-transformers/all-nli)有多個採用不同資料格式的子集。你需要同時指定子集名稱和資料集名稱。
本機資料(CSV、JSON、Parquet、Arrow、SQL)
如果你有常見檔案格式的本機資料,也可以輕鬆使用 load_dataset 載入:
from datasets import load_dataset
dataset = load_dataset("csv", data_files="my_file.csv")
# or
dataset = load_dataset("json", data_files="my_file.json")
需要預處理的本機資料
如果本機資料需要預處理,可以使用 datasets.Dataset.from_dict,以列表字典初始化資料集:
from datasets import Dataset
anchors = []
positives = []
# Open a file, perform preprocessing, filtering, cleaning, etc.
# and append to the lists
dataset = Dataset.from_dict({
"anchor": anchors,
"positive": positives,
})
字典中的每個鍵都會成為結果資料集中的一個欄位。
資料集格式
確保資料集格式符合你選用的損失函數至關重要。你需要檢查兩件事:
- 如果損失函數需要 標籤(如 損失概覽表所示),資料集就必須有名為 "label" 或 "score" 的欄位。
- 除了 "label" 或 "score" 以外的欄位都會視為輸入(如 損失概覽表所示)。這些欄位的數量必須符合所選損失函數所需的有效輸入數量。欄位名稱並不重要,只有欄位次序重要。
例如,如果損失函數接受 (anchor, positive, negative) triplets,資料集的第一、第二和第三個欄位便分別對應 anchor、positive 和 negative。這表示第一個和第二個欄位應包含嵌入後彼此接近的文本,而第一個和第三個欄位則應包含嵌入後相距較遠的文本。因此,欄位次序是否正確要視乎你使用的損失函數。
假設資料集的欄位為 ["text1", "text2", "label"],其中 "label" 欄位包含浮點數相似度分數。這個資料集可用於 CoSENTLoss、AnglELoss 和 CosineSimilarityLoss,原因如下:
- 資料集有一個這些損失函數所需的 "label" 欄位。
- 資料集有 2 個非標籤欄位,數量符合這些損失函數所需的輸入數量。
如果資料集欄位的次序不正確,可使用 Dataset.select_columns 重新排列。此外,也要移除多餘欄位(例如 sample_id、metadata、source、type);可使用 Dataset.remove_columns,否則它們也會被當作輸入。
損失函數
損失函數用來衡量模型在一個資料批次上的表現,並引導最佳化過程。損失函數的選擇取決於你擁有的資料及目標任務。完整選項請參閲 損失概覽。
大部分損失函數只需使用你正在訓練的 SentenceTransformer model 即可初始化:
from datasets import load_dataset
from sentence_transformers import SentenceTransformer
from sentence_transformers.losses import CoSENTLoss
# Load a model to train/finetune
model = SentenceTransformer("FacebookAI/xlm-roberta-base")
# Initialize the CoSENTLoss
# This loss requires pairs of text and a floating point similarity score as a label
loss = CoSENTLoss(model)
# Load an example training dataset that works with our loss function:
train_dataset = load_dataset("sentence-transformers/all-nli", "pair-score", split="train")
"""
Dataset({
features: ['sentence1', 'sentence2', 'label'],
num_rows: 942069
})
"""
訓練參數
SentenceTransformersTrainingArguments 類別讓你指定會影響訓練效能及追蹤/除錯的參數。雖然這些參數並非必需,但嘗試調整它們有助提升訓練效率,並深入瞭解訓練過程。
我已在 Sentence Transformers 文件中整理一些最實用的訓練參數,建議你閲讀訓練概覽 > 訓練參數。
以下是初始化 SentenceTransformersTrainingArguments 的例子:
from sentence_transformers.training_args import SentenceTransformerTrainingArguments
args = SentenceTransformerTrainingArguments(
# Required parameter:
output_dir="models/mpnet-base-all-nli-triplet",
# Optional training parameters:
num_train_epochs=1,
per_device_train_batch_size=16,
per_device_eval_batch_size=16,
warmup_ratio=0.1,
fp16=True, # Set to False if your GPU can't handle FP16
bf16=False, # Set to True if your GPU supports BF16
batch_sampler=BatchSamplers.NO_DUPLICATES, # Losses using "in-batch negatives" benefit from no duplicates
# Optional tracking/debugging parameters:
eval_strategy="steps",
eval_steps=100,
save_strategy="steps",
save_steps=100,
save_total_limit=2,
logging_steps=100,
run_name="mpnet-base-all-nli-triplet", # Used in W&B if `wandb` is installed
)
請注意,eval_strategy 在 transformers 版本 4.41.0 引入。較早版本應改用 evaluation_strategy。
評估器
你可以向 SentenceTransformerTrainer 提供 eval_dataset,以取得訓練期間的評估損失;不過,訓練期間取得更具體的指標也可能很有用。為此,你可以使用評估器,在訓練前、期間或之後以實用指標評估模型表現。你可以同時提供 eval_dataset 和評估器,只提供其中一項,或兩者皆不提供。它們會根據 eval_strategy 和 eval_steps 訓練參數進行評估。
Sentence Transformers 隨附的評估器如下:
| 評估器 | 所需資料 |
|---|---|
BinaryClassificationEvaluator |
帶有類別標籤的文本對 |
EmbeddingSimilarityEvaluator |
帶有相似度分數的文本對 |
InformationRetrievalEvaluator |
查詢(qid => 問題)、語料庫(cid => 文件),以及相關文件(qid => set[cid]) |
MSEEvaluator |
要用教師模型嵌入的來源句子,以及要用學生模型嵌入的目標句子;兩者可以是相同文本。 |
ParaphraseMiningEvaluator |
將 ID 對應至句子的映射,以及附有重複句子 ID 的配對。 |
RerankingEvaluator |
由 {'query': '..', 'positive': [...], 'negative': [...]} 字典組成的列表。 |
TranslationEvaluator |
兩種不同語言的句子配對。 |
TripletEvaluator |
(anchor, positive, negative) 配對。 |
此外,你可以使用 SequentialEvaluator 把多個評估器合併成一個,再傳給 SentenceTransformerTrainer。
如果你沒有所需的評估資料,但仍想追蹤模型在常見基準上的表現,可以配合 Hugging Face 的資料使用以下評估器:
使用 STSb 的 EmbeddingSimilarityEvaluator
STS Benchmark(簡稱 STSb)是常用的基準資料集,用來衡量模型對短文本語義相似度的理解,例如「一名年長男子在餐廳把一隻老鼠餵給一條蛇。」
歡迎到 Hugging Face 瀏覽 sentence-transformers/stsb 資料集。
from datasets import load_dataset
from sentence_transformers.evaluation import EmbeddingSimilarityEvaluator, SimilarityFunction
# Load the STSB dataset
eval_dataset = load_dataset("sentence-transformers/stsb", split="validation")
# Initialize the evaluator
dev_evaluator = EmbeddingSimilarityEvaluator(
sentences1=eval_dataset["sentence1"],
sentences2=eval_dataset["sentence2"],
scores=eval_dataset["score"],
main_similarity=SimilarityFunction.COSINE,
name="sts-dev",
)
# Run evaluation manually:
# print(dev_evaluator(model))
# Later, you can provide this evaluator to the trainer to get results during training
使用 AllNLI 的 TripletEvaluator
AllNLI 是 SNLI 和 MultiNLI 資料集的合併版本,兩者都是自然語言推論資料集。這項任務傳統上用於判斷兩段文本之間是藴涵、矛盾,還是兩者皆非。後來它亦被用於訓練嵌入模型,因為互相藴涵和互相矛盾的句子可組成有用的 (anchor, positive, negative) 三元組,這是訓練嵌入模型的常見格式。
在這段程式碼中,AllNLI 用來評估模型把錨點文本與藴涵文本判為比錨點文本與矛盾文本更相似的頻率。例句:「一名年長男子在餐廳喝橙汁。」
歡迎到 Hugging Face 瀏覽 sentence-transformers/all-nli 資料集。
from datasets import load_dataset
from sentence_transformers.evaluation import TripletEvaluator, SimilarityFunction
# Load triplets from the AllNLI dataset
max_samples = 1000
eval_dataset = load_dataset("sentence-transformers/all-nli", "triplet", split=f"dev[:{max_samples}]")
# Initialize the evaluator
dev_evaluator = TripletEvaluator(
anchors=eval_dataset["anchor"],
positives=eval_dataset["positive"],
negatives=eval_dataset["negative"],
main_distance_function=SimilarityFunction.COSINE,
name=f"all-nli-{max_samples}-dev",
)
# Run evaluation manually:
# print(dev_evaluator(model))
# Later, you can provide this evaluator to the trainer to get results during training
訓練器
SentenceTransformerTrainer 把模型、資料集、損失函數及其他組件整合起來進行訓練:
from datasets import load_dataset
from sentence_transformers import (
SentenceTransformer,
SentenceTransformerTrainer,
SentenceTransformerTrainingArguments,
SentenceTransformerModelCardData,
)
from sentence_transformers.losses import MultipleNegativesRankingLoss
from sentence_transformers.training_args import BatchSamplers
from sentence_transformers.evaluation import TripletEvaluator
# 1. Load a model to finetune with 2. (Optional) model card data
model = SentenceTransformer(
"microsoft/mpnet-base",
model_card_data=SentenceTransformerModelCardData(
language="en",
license="apache-2.0",
model_name="MPNet base trained on AllNLI triplets",
)
)
# 3. Load a dataset to finetune on
dataset = load_dataset("sentence-transformers/all-nli", "triplet")
train_dataset = dataset["train"].select(range(100_000))
eval_dataset = dataset["dev"]
test_dataset = dataset["test"]
# 4. Define a loss function
loss = MultipleNegativesRankingLoss(model)
# 5. (Optional) Specify training arguments
args = SentenceTransformerTrainingArguments(
# Required parameter:
output_dir="models/mpnet-base-all-nli-triplet",
# Optional training parameters:
num_train_epochs=1,
per_device_train_batch_size=16,
per_device_eval_batch_size=16,
warmup_ratio=0.1,
fp16=True, # Set to False if GPU can't handle FP16
bf16=False, # Set to True if GPU supports BF16
batch_sampler=BatchSamplers.NO_DUPLICATES, # MultipleNegativesRankingLoss benefits from no duplicates
# Optional tracking/debugging parameters:
eval_strategy="steps",
eval_steps=100,
save_strategy="steps",
save_steps=100,
save_total_limit=2,
logging_steps=100,
run_name="mpnet-base-all-nli-triplet", # Used in W&B if `wandb` is installed
)
# 6. (Optional) Create an evaluator & evaluate the base model
dev_evaluator = TripletEvaluator(
anchors=eval_dataset["anchor"],
positives=eval_dataset["positive"],
negatives=eval_dataset["negative"],
name="all-nli-dev",
)
dev_evaluator(model)
# 7. Create a trainer & train
trainer = SentenceTransformerTrainer(
model=model,
args=args,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
loss=loss,
evaluator=dev_evaluator,
)
trainer.train()
# (Optional) Evaluate the trained model on the test set, after training completes
test_evaluator = TripletEvaluator(
anchors=test_dataset["anchor"],
positives=test_dataset["positive"],
negatives=test_dataset["negative"],
name="all-nli-test",
)
test_evaluator(model)
# 8. Save the trained model
model.save_pretrained("models/mpnet-base-all-nli-triplet/final")
# 9. (Optional) Push it to the Hugging Face Hub
model.push_to_hub("mpnet-base-all-nli-triplet")
在這個例子中,我從 microsoft/mpnet-base 微調模型;這是一個尚未成為 Sentence Transformer 模型的基礎模型。相比微調現有的 Sentence Transformer 模型(例如 all-mpnet-base-v2),這種做法需要更多訓練資料。
執行這段指令碼後,tomaarsen/mpnet-base-all-nli-triplet 模型便替我上載了。以餘弦相似度計算的三元組準確率,即 cosine_similarity(anchor, positive) > cosine_similarity(anchor, negative) 成立的比例,在開發集為 90.04%,在測試集為 91.5%!作為參考,microsoft/mpnet-base 模型在訓練前的開發集分數只有 68.32%。
以上資料都會儲存在自動產生的模型卡中,包括基礎模型、語言、授權、評估結果、訓練和評估資料集資訊、超參數、訓練記錄等。你上載的模型無需額外操作,便應包含潛在用戶判斷模型是否適合自己的所有資訊。
回呼
Sentence Transformers 訓練器支援多種 transformers.TrainerCallback 子類別,包括:
WandbCallback:若已安裝wandb,可用來把訓練指標記錄至 W&BTensorBoardCallback:若可使用tensorboard,可用來把訓練指標記錄至 TensorBoardCodeCarbonCallback:若已安裝codecarbon,可用來追蹤訓練期間的碳排放
只要安裝了所需依賴項,這些回呼就會自動使用,無須你指定任何設定。
如要進一步瞭解這些回呼及如何建立自己的回呼,請參閲 Transformers 回呼文件。
多資料集訓練
表現最佳的模型通常會同時使用多個資料集進行訓練。SentenceTransformerTrainer 讓你無須把多個資料集轉換成相同格式,就能用它們訓練,簡化了這個過程。你甚至可以為每個資料集套用不同的損失函數。多資料集訓練步驟如下:
- 使用
datasets.Dataset實例字典(或datasets.DatasetDict)作為train_dataset和eval_dataset。 - (可選)如果你想為不同資料集使用不同損失函數,可使用字典把資料集名稱映射至相應的損失函數。
每個訓練/評估批次只會包含其中一個資料集的樣本。多個資料集的批次抽樣次序由 MultiDatasetBatchSamplers 列舉類別決定;你可以把它傳給 SentenceTransformersTrainingArguments,並透過 multi_dataset_batch_sampler 指定。有效選項如下:
MultiDatasetBatchSamplers.ROUND_ROBIN:以輪替方式從每個資料集抽樣,直至其中一個資料集耗盡。這種策略可能不會使用每個資料集的所有樣本,但可確保每個資料集的抽樣數量相同。MultiDatasetBatchSamplers.PROPORTIONAL(預設):按各資料集的大小比例抽樣。這種策略會確保使用每個資料集的所有樣本,而較大的資料集會更頻繁地被抽樣。
多任務訓練已證明非常有效。例如,Huang 等人於 2024 年發表的研究使用 MultipleNegativesRankingLoss、CoSENTLoss,以及一種不使用批次內負例、只使用困難負例的 MultipleNegativesRankingLoss 變體,在中文任務上達到最先進的表現。他們亦套用了 MatryoshkaLoss,讓模型能產生 Matryoshka 嵌入。
以下是多資料集訓練的例子:
from datasets import load_dataset
from sentence_transformers import SentenceTransformer, SentenceTransformerTrainer
from sentence_transformers.losses import CoSENTLoss, MultipleNegativesRankingLoss, SoftmaxLoss
# 1. Load a model to finetune
model = SentenceTransformer("bert-base-uncased")
# 2. Loadseveral Datasets to train with
# (anchor, positive)
all_nli_pair_train = load_dataset("sentence-transformers/all-nli", "pair", split="train[:10000]")
# (premise, hypothesis) + label
all_nli_pair_class_train = load_dataset("sentence-transformers/all-nli", "pair-class", split="train[:10000]")
# (sentence1, sentence2) + score
all_nli_pair_score_train = load_dataset("sentence-transformers/all-nli", "pair-score", split="train[:10000]")
# (anchor, positive, negative)
all_nli_triplet_train = load_dataset("sentence-transformers/all-nli", "triplet", split="train[:10000]")
# (sentence1, sentence2) + score
stsb_pair_score_train = load_dataset("sentence-transformers/stsb", split="train[:10000]")
# (anchor, positive)
quora_pair_train = load_dataset("sentence-transformers/quora-duplicates", "pair", split="train[:10000]")
# (query, answer)
natural_questions_train = load_dataset("sentence-transformers/natural-questions", split="train[:10000]")
# Combine all datasets into a dictionary with dataset names to datasets
train_dataset = {
"all-nli-pair": all_nli_pair_train,
"all-nli-pair-class": all_nli_pair_class_train,
"all-nli-pair-score": all_nli_pair_score_train,
"all-nli-triplet": all_nli_triplet_train,
"stsb": stsb_pair_score_train,
"quora": quora_pair_train,
"natural-questions": natural_questions_train,
}
# 3. Load several Datasets to evaluate with
# (anchor, positive, negative)
all_nli_triplet_dev = load_dataset("sentence-transformers/all-nli", "triplet", split="dev")
# (sentence1, sentence2, score)
stsb_pair_score_dev = load_dataset("sentence-transformers/stsb", split="validation")
# (anchor, positive)
quora_pair_dev = load_dataset("sentence-transformers/quora-duplicates", "pair", split="train[10000:11000]")
# (query, answer)
natural_questions_dev = load_dataset("sentence-transformers/natural-questions", split="train[10000:11000]")
# Use a dictionary for the evaluation dataset too, or just use one dataset or none at all
eval_dataset = {
"all-nli-triplet": all_nli_triplet_dev,
"stsb": stsb_pair_score_dev,
"quora": quora_pair_dev,
"natural-questions": natural_questions_dev,
}
# 4. Load several loss functions to train with
# (anchor, positive), (anchor, positive, negative)
mnrl_loss = MultipleNegativesRankingLoss(model)
# (sentence_A, sentence_B) + class
softmax_loss = SoftmaxLoss(model)
# (sentence_A, sentence_B) + score
cosent_loss = CoSENTLoss(model)
# Create a mapping with dataset names to loss functions, so the trainer knows which loss to apply where
# Note: You can also just use one loss if all your training/evaluation datasets use the same loss
losses = {
"all-nli-pair": mnrl_loss,
"all-nli-pair-class": softmax_loss,
"all-nli-pair-score": cosent_loss,
"all-nli-triplet": mnrl_loss,
"stsb": cosent_loss,
"quora": mnrl_loss,
"natural-questions": mnrl_loss,
}
# 5. Define a simple trainer, although it's recommended to use one with args & evaluators
trainer = SentenceTransformerTrainer(
model=model,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
loss=losses,
)
trainer.train()
# 6. Save the trained model and optionally push it to the Hugging Face Hub
model.save_pretrained("bert-base-all-nli-stsb-quora-nq")
model.push_to_hub("bert-base-all-nli-stsb-quora-nq")
棄用
在 Sentence Transformer v3 推出之前,所有模型都會使用 SentenceTransformer.fit 方法訓練。我們不會棄用這個方法;從 v3.0 起,它會在幕後使用 SentenceTransformerTrainer。因此,你原有的訓練程式碼仍應能正常運作,並且可以升級使用多 GPU 訓練、損失記錄等新功能。不過,新的訓練方法功能強大得多,因此建議撰寫新的訓練指令碼時採用新方法。
其他資源
訓練範例
以下頁麪包含訓練範例及説明,並附有程式碼連結。我們建議你瀏覽這些內容,熟悉訓練迴圈:
文件
此外,以下頁面或有助你進一步瞭解 Sentence Transformers:
最後,以下是一些你可能感興趣的進階頁面:
相關網誌
如要訓練其他類型的 Sentence Transformers 模型,或採用以密集嵌入為基礎的技術,請參閲:
- 使用 Sentence Transformers 訓練及微調重排序模型:Cross Encoder(重排序器)模型的對應指南。
- 使用 Sentence Transformers 訓練及微調稀疏嵌入模型:訓練 SPLADE 及其他稀疏編碼器。
- 使用 Sentence Transformers 建立多模態嵌入及重排序模型:在推論時使用文本、圖像、音訊和影片模型。
- 使用 Sentence Transformers 訓練及微調多模態嵌入及重排序模型:多模態模型的對應指南,包括視覺文件檢索示範。
- 🪆 Matryoshka 嵌入模型簡介:產生可截短至較小維度、而品質損失極低的嵌入。
- 使用 Sentence Transformers 以快 400 倍的速度訓練靜態嵌入模型:適合 CPU 使用、無需注意力機制的嵌入模型。
- 二元及純量嵌入量化,讓檢索大幅提速並降低成本:在訓練後縮減嵌入,以減少儲存空間並加快搜尋。
來源:Hugging Face Blog · huggingface.co