跳到正文
Hugging Face Blog·· 9 天前精選AI 評分61

多向量嵌入模型的 Token Pooling 感知訓練方法

Token Pooling-Aware Training for Multi-Vector Embedding Models

AI 導讀

文章示範如何用 Sentence Transformers 為多向量嵌入模型加入 Token Pooling 感知訓練,令模型同時以原始及壓縮後的文件向量進行檢索訓練。

推薦理由

文章將壓縮後的檢索目標納入訓練損失,並在相同儲存預算下比較一般訓練與池化感知訓練的檢索品質保留差異。

正文 · 繁體中文

多向量嵌入模型讓查詢中的每個詞元都能各自尋找與文件匹配的內容。這令它們在搜尋方面具備出色的表達能力,但文件向量的數量很快便會累積起來。擁有數百萬份文件的語料庫,向量數量可達數億個!

詞元池化會合併相似的詞元向量,令這些表示更精簡。不過,壓縮得越多,就越容易遺失有用資訊。池化感知訓練會教導編碼器保留向量合併後仍然重要的資訊,助你在相同儲存預算下提升檢索效果。

本文會解釋池化的運作方式,使用 Sentence Transformers 訓練一個用於壓縮檢索的模型,並探討由此帶來的品質與儲存空間取捨。使用 pool_factor=4 時,我以一般方式訓練的模型保留了未池化 NanoBEIR nDCG@10 評分的 94.6%,同時將文件向量數量減少 4 倍。詞元池化感知訓練則在相同儲存預算下,將保留率提升至 97.8%!讓我們看看做法。

本文以 Stefan Josef 的《學習池化》及LightOn 的池化正則化研究中探討的池化感知訓練為基礎;該研究亦探討了針對性訓練和自適應預算。本文會聚焦於理解這種方法,並透過一個簡短且可重現的 Sentence Transformers 範例實際應用。

目錄

多向量檢索為何需要如此多向量

單向量嵌入模型會將整份文件壓縮成一個向量。多向量模型(例如 ColBERT)則會保留一組具上下文資訊的詞元向量,讓查詢中的不同部分可以分別匹配文件中的不同部分。

例如,搜尋電池續航時間長的手提電腦時,查詢可以在文件的一部分找到有關手提電腦的證據,並在另一部分找到有關電池續航力的資訊。使用 MaxSim 評分時,每個查詢向量都會選取與之最匹配的文件向量,再將這些分數相加:

MaxSim⁡(Q,D)=∑q∈Qmax⁡d∈Dq⊤d \operatorname{MaxSim}(Q, D) = \sum_{q \in Q} \max_{d \in D} q^\top d

即使使用 Fast-PLAID 支援的 2-bit 或 4-bit 殘差量化,每份文件儲存數百個向量,所需空間仍會迅速增加。每個殘差座標使用 4 bits 時,200 個 128 維向量每份文件需要 12.8 KB 的量化殘差;一百萬份文件則需要 12.8 GB。將每份文件池化至 50 個向量,可將所需空間減至 3.2 GB,維度和精度則保持不變。

一個重要觀察是,許多文件向量可能彼此相似。多個詞元可能描述密切相關的概念,因此有機會將它們合併表示。

詞元池化

HierarchicalTokenPooling 會使用 Ward 階層式分羣,將相似的 token 嵌入向量分組。起初每個 token 向量各自成組,之後反覆合併兩個羣組,使羣組內向量分散程度的增幅最小。這種分散程度以每個向量與其所屬羣組平均值之間距離的平方和衡量,因此 Ward 方法偏好由相似向量組成的緊密羣組。

這些合併會建立由小至大的羣組階層,讓我們選擇符合預算的壓縮程度。接着以平均值代表每個羣組,並再次將所得向量正規化,以供 MaxSim 評分。

你可以令壓縮比例與文件長度成正比:

from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling

pooling = HierarchicalTokenPooling(pool_factor=4)

使用 pool_factor=4 時,文件會保留約四分之一的原始向量,因此較長的文件可按比例保留較多容量。預設情況下,第一個 token 不會合併,而池化只會套用於文件嵌入向量,查詢嵌入向量則維持不變。

選擇池化預算

HierarchicalTokenPooling提供三種替代控制方式:

設定 表示的內容
max_tokens=16 每份文件最多 16 個向量,包括受保護的 token。
pool_factor=4 每份文件原始向量的約四分之一。
distance_threshold=... 共用的 Ward 合併距離閾值,向量數量會因嵌入向量的幾何結構而異。

文件長度不一時,這項區別很重要。使用 pool_factor=4 時,較長的文件可保留約四分之一的向量,令其表示隨內容增加而擴展。使用 distance_threshold 時,若需要保留更多彼此不同的嵌入向量,向量數量便可增加。

校準自適應池化

自適應池化使用共用距離閾值,更積極地合併相似的嵌入向量,同時為內容各異的文件保留較多向量。任何多向量模型均可使用此方法,包括未經池化感知目標函數訓練的模型。

你可以校準閾值,令平均向量數量達到目標,而毋須手動選擇閾值。只需在 calibration_documents 中提供語料庫的代表性樣本:

from sentence_transformers import MultiVectorEncoder
from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling

model = MultiVectorEncoder("lightonai/LateOn")
calibration_embeddings = model.encode_document(calibration_documents)
threshold = HierarchicalTokenPooling.calibrate_distance_threshold(calibration_embeddings, target_tokens=16)
pooling = HierarchicalTokenPooling(distance_threshold=threshold)

# Apply pooling, targeting an average of 16 vectors per document
document_embeddings = model.encode_document(documents_to_index, token_pooling=pooling)

校準只需要文件嵌入向量,並會傳回一個閾值,供你在建立索引時重用。目標是平均值,因此個別文件所得的向量數量可能多於或少於 16。換用另一個語料庫時,實際達到的平均值亦可能不同。

Token 池化感知訓練

池化在一般多向量模型上已經很有用。問題在於,當文件包含對檢索很重要的區別時,合併其向量會令這些區別更難還原。原有的訓練目標從未要求模型處理這些壓縮表示。不過,你可以訓練模型做到這一點。

如果你用過 Matryoshka 嵌入向量,這種訓練原理會令你感到熟悉。Matryoshka 會在多種嵌入維度上套用檢索目標,令較短的前綴仍然有用。池化感知訓練則會將此目標套用於 token 向量較少的表示。

以我的例子來説,每個訓練批次會計入兩項損失:

  1. 使用原始文件嵌入向量進行檢索。
  2. 將文件壓縮至約保留四分之一原始向量後進行檢索。

我將兩者取平均:

L=12Lunpooled+12Lpooled \mathcal{L} = \tfrac{1}{2}\mathcal{L}_{\mathrm{unpooled}} + \tfrac{1}{2}\mathcal{L}_{\mathrm{pooled}}

第一項損失會教導模型使用完整表示進行檢索。第二項則教導模型調整詞元嵌入,令有用的匹配結果在池化後仍能保留。兩個目標都會更新同一個編碼器,讓它從壓縮前後的檢索結果中獲得回饋。

Ward 聚類會以離散方式決定哪些詞元歸為一組。訓練期間,HierarchicalTokenPooling會使用直通估計器,將梯度從池化向量傳回其所屬詞元,而不對羣集指派求導。這樣,編碼器便能根據使用池化表示時產生的檢索錯誤進行學習。

Sentence Transformers 中的損失包裝器

MultiVectorTokenPoolingLoss會包裝現有的多向量檢索損失,並使用你選擇的池化器套用該損失:

from sentence_transformers import MultiVectorEncoder
from sentence_transformers.multi_vector_encoder.losses import (
    CachedMultiVectorMultipleNegativesRankingLoss,
    MultiVectorTokenPoolingLoss,
)
from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling

model = MultiVectorEncoder("answerdotai/ModernBERT-base", similarity_fn_name="maxsim")
pooling = HierarchicalTokenPooling(pool_factor=4)

base_loss = CachedMultiVectorMultipleNegativesRankingLoss(model, mini_batch_size=64)
loss = MultiVectorTokenPoolingLoss(
    model,
    base_loss,
    token_poolings=[None, pooling],
    weights=[0.5, 0.5],
)

CachedMultiVectorMultipleNegativesRankingLoss提供檢索目標,教導每個查詢對相關文件的評分高於批次中的負例文件。預設情況下,它會使用model.similarity,並採用模型的相似度設定(此例中為 MaxSim)及 kernel 設定。若模型設定為similarity_fn_name="meanmaxsim",訓練期間也會使用 MeanMaxSim。

梯度快取讓編碼器可以處理較小的 mini-batch,同時保留較多批次內負例。我的訓練指令碼使用大小為 64 的 mini-batch,訓練批次大小則為 256。

MultiVectorTokenPoolingLoss會加入壓縮目標。此處,None代表其中一個變體使用原始嵌入,而pooling則提供 factor-4 變體。兩個權重會對各自的損失取平均。池化變體會重用已計算的詞元嵌入,因此每增加一個池化器,只會增加聚類及評分工作,毋須為該變體另行執行編碼器。

池化器也可以是自訂的BaseTokenPooling實作,並保留梯度經輸入嵌入傳播。你可以按計劃部署的表示方式調整訓練目標。

將 factor-4 池化器替換為你選擇的部署設定,或加入多個池化器,並為各自的損失選擇權重。

完整的訓練指令碼包含數據集、訓練器、驗證損失,以及訓練期間進行的小型檢索評估。在存放庫的本機工作副本中,使用 uv 執行兩個變體:

uv run examples/multi_vector_encoder/training/token_pooling/training_cached_contrastive.py --baseline
uv run examples/multi_vector_encoder/training/token_pooling/training_cached_contrastive.py

指令碼已列明訓練及 kernel 依賴項,因此 uv 會為你安裝。系統會自動啟用相容的 kernels。

你也可以使用 Hugging Face Jobs 在雲端 GPU 上訓練。安裝 CLI,並使用可執行 Jobs 及上載模型的 token 登入:

pip install -U huggingface_hub
hf auth login

hf jobs uv run \
    --flavor a10g-small \
    --timeout 4h \
    --secrets HF_TOKEN \
    -- https://raw.githubusercontent.com/huggingface/sentence-transformers/main/examples/multi_vector_encoder/training/token_pooling/training_cached_contrastive.py

這會在 A10G GPU 上執行具備池化感知能力的變體,時限為四小時。以機密形式傳入HF_TOKEN,可讓指令碼在訓練完成後將訓練好的模型上載至你的 Hub 帳戶。如要一併執行一般損失基線,請在指令碼網址後加入--baseline,並再次執行指令。

選用 Kernel 加速

你可以使用 kernels 加速 MaxSim 評分、Ward 聚類及受支援的主幹網絡操作。安裝訓練及 kernel 依賴項:

pip install -U "sentence-transformers[train,kernels]"

在上方的訓練範例中,請在建立損失之前替換模型及池化器的初始化設定:

model = MultiVectorEncoder(
    "answerdotai/ModernBERT-base",
    device="cuda",
    similarity_fn_name="maxsim",
    use_kernels=True,
)
pooling = HierarchicalTokenPooling(pool_factor=4)

階層式池化器預設會沿用模型的 kernel 設定,因此只需在模型上啟用 kernels。

Sentence Transformers 會為你的設定選取相容的 kernels,並在沒有可用替代方案時沿用現有實作。例如,預設 MaxSim kernel會計算查詢與文件之間的分數,毋須在記憶體中建立完整的詞元相似度矩陣,但需要 CUDA 和 Triton。

預設的 Ward 分羣核心 會改用 CUDA 而非 CPU 執行,大幅加快階層式分羣速度。視乎設定,速度可比 SciPy 快 30-150 倍。

使用已訓練模型

載入具池化感知能力的模型,並使用壓縮後的文件嵌入向量進行檢索。核心設定不會隨模型儲存,因此如果你也想在推理時使用這些設定,載入時請加入 use_kernels=True:

from sentence_transformers import MultiVectorEncoder
from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling

model = MultiVectorEncoder("tomaarsen/mve-ModernBERT-base-token-pooling")
pooling = HierarchicalTokenPooling(pool_factor=4)

queries = ["Which planet is known as the Red Planet?"]
documents = [
    "Venus is often called Earth's twin because of its similar size and proximity.",
    "Mars, known for its reddish appearance, is often referred to as the Red Planet.",
    "Jupiter, the largest planet in our solar system, has a prominent red spot.",
]

query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents, token_pooling=pooling)

print([len(embedding) for embedding in document_embeddings])
# [5, 6, 5]
print(model.similarity(query_embeddings, document_embeddings))
# tensor([[16.0037, 25.9879, 22.8159]], device='cuda:0')

# For comparison, the same model without token pooling:
# [18, 21, 19]
# tensor([[16.6115, 27.6060, 24.1766]], device='cuda:0')

池化器會在編碼器的前向傳播流程完成後,壓縮文件嵌入向量,將總數由 58 個減至 16 個,同時保持查詢嵌入向量不變。Mars 仍然獲得最高的相似度分數,其次是 Jupiter 和 Venus,因此即使儲存的文件向量大幅減少,排名仍然維持不變。

你可以在推理時更改 pool_factor,使用同一個已訓練模型探索不同的儲存用量。若要重複使用,也可以在初始化 MultiVectorEncoder 時傳入 token_pooling=pooling,將其設為執行時的預設值。池化器的 tasks 仍會控制哪些輸入會被壓縮(例如只壓縮文件)。

評估結果

為了進一步探究,我從 answerdotai/ModernBERT-base 訓練了兩個模型,各自使用全新、128 維的 token 投影:

兩次訓練都使用相同的 120,000 個 MS MARCO 三元組訓練一個 epoch,採用 seed 42,並使用相同的初始化和最佳化設定。訓練時的 token 上限為 300,短查詢會擴展至至少 32 個 token 位置,以提供更多具上下文資訊的查詢向量。兩個實驗之間只有損失函數不同,而且我沒有進行超參數搜尋。

我在 NanoBEIR@13 上評估兩個模型,並報告平均 nDCG@10(%)。圖中比較一般訓練與具池化感知能力的訓練,涵蓋池化因子 2、3、4 和 6,以及未池化檢索。表格亦列出固定上限和自適應閾值,展示訓練帶來的效益如何延伸至其他池化設定。

Mean NanoBEIR nDCG@10 versus stored document vectors for pool factors 2, 3, 4, and 6 and unpooled retrieval, comparing ordinary and pooling-aware training.

推理時池化 平均向量 一般模型 具池化感知能力的模型 增幅(百分點)
未池化 193.22 51.84 52.39 +0.55
pool_factor=2 96.86 50.10 51.74 +1.64
pool_factor=3 64.74 49.70 51.45 +1.76
pool_factor=4 48.68 49.03 51.23 +2.20
pool_factor=5 39.04 48.13 50.28 +2.15
pool_factor=6 32.62 47.07 49.85 +2.78
max_tokens=64 54.76 49.27 50.89 +1.63
max_tokens=32 29.58 48.25 50.12 +1.87
max_tokens=16 15.60 46.61 49.26 +2.65
max_tokens=8 7.99 43.12 46.61 +3.48
max_tokens=4 4.00 37.22 43.00 +5.78
distance_threshold(經校準) 54.76 50.10 51.24 +1.14
distance_threshold(經校準) 29.58 48.38 50.96 +2.58
distance_threshold(經校準) 15.60 47.23 49.63 +2.41

對於自適應池化,我為每個編碼器和 NanoBEIR 語料集分別校準閾值,並使用其未池化文件嵌入向量,使平均向量數符合 64、32 和 16 的上限。短文件會令平均向量數低於各自的上限。

在訓練時使用的 pool_factor=4 下,nDCG@10 由 49.03 提升至 51.23,同時比未池化檢索少儲存 74.8% 的文件向量。分數保留率由 94.6% 提升至 97.8%;保留率的計算方式是池化後的平均 nDCG@10 除以各模型本身未池化時的平均值。未池化檢索的表現亦有提升,由 51.84 升至 52.39。

即使訓練只使用完整表示和按比例池化,提升亦見於固定上限和自適應池化設定。在每份文件平均使用 29.58 個向量時,自適應池化可保留具池化感知能力模型未池化分數的 97.3%,同時少儲存 84.7% 的文件向量。一般訓練的模型在相同用量下則保留 93.3% 的分數。

結合壓縮技術

如果你最關注索引大小,我會按以下次序採用這些方法:

  1. 將嵌入向量量化至 4、2 或 1 位元,例如使用 Fast-PLAID,以減少每個座標所需的儲存空間。
  2. 以詞元池化減少文件向量數量,亦可如這篇網誌所示,進行池化感知微調。
  3. 使用 Matryoshka 詞元嵌入降低每個詞元向量的維度;亦可進行微調,以在較低維度下維持檢索品質。

如果模型的預設維度大於 128,我也會較早考慮採用 Matryoshka 截斷和微調。這些方法可以結合使用,因此請使用你的搜尋引擎和語料庫,評估所得索引大小及檢索品質。

MultiVectorMatryoshkaLoss會訓練詞元嵌入,使其在截斷後仍然有用。你可以配合 MultiVectorTokenPoolingLoss,同時針對較低維度和較少的文件向量進行訓練,並在不同壓縮設定下重用編碼器的嵌入。

試用完整訓練範例,選擇適合你應用程式的預算,並與設定相同、採用一般損失函數的訓練結果比較。隨附的評估指令碼會測量未池化檢索、向量數上限為 64、32、16、8 和 4 的情況,以及池化因子為 2 至 6 的情況,讓你可以為自己的模型繪製品質與儲存空間之間的取捨圖表。

只需在訓練目標中多加幾行,模型便會主動學習如何使用較小的文件表示形式。這為提升多向量檢索的實用性帶來很大空間!

參考資料

程式碼與模型

來源:Hugging Face Blog · huggingface.co