Hugging Face Inference Endpoints、Jobs 和 Buckets 如何支撐 Papers with Code 搜尋
How Hugging Face Inference Endpoints, Jobs, and Buckets Power Search on Papers with Code
Hugging Face 以 Inference Endpoints、Jobs 和 Storage Buckets 建立 Papers with Code 混合搜尋系統,為來自 arXiv 和 Daily Papers 的超過 110,000 篇論文維護嵌入向量。
文章拆解離線批次建向量與線上查詢的分工,並説明端點冷啟動時如何回退全文檢索,呈現混合搜尋進入生產環境的工程取捨。
3 個月前,我們重啟了 Papers with Code(另見公告帖文)。目標是讓所有人都能輕鬆接觸和理解開放 AI 研究,方便大家找到論文相關資源、搜尋 AI 不同領域的最先進技術(SOTA)、分享有趣研究,並在彼此成果上繼續開發。換言之,這個平台旨在推動研究浪潮,催生下一個 Transformer。
要讓 AI 研究更容易取得,必須有強大的搜尋引擎,讓人和智能體都能透過網站或 pwc search CLI 命令,快速找到相關及類似研究;智能體亦可透過Skill使用此命令。
要注意,搜尋研究與一般文字搜尋並不完全相同。實用的論文搜尋引擎應能找到完全相符的標題或 arXiv 編號,也應能理解「用於程式碼生成的小型語言模型」等查詢,即使論文沒有把這些字詞放在一起。引擎亦要辨認「最初的 BERT 論文」是導覽式查詢、容忍不完整標題或錯字,並在模型服務冷啟動或暫時無法使用時快速回應。
我們為 Papers with Code 建立了一套混合式搜尋系統。這亦基於我們在 ML6 的過往經驗;我們曾為客戶開發以 RAG 為基礎的系統。實踐證明,混合式搜尋通常勝過關鍵字或向量搜尋,因為它結合兩者所長(詳情亦可參閲這篇網誌)。關鍵字搜尋可找到完全相符的字詞,向量搜尋則可找到較模糊、語意相近的字詞。另請注意,重新排序器(又稱 cross-encoder)可進一步改善結果,不過也會增加額外開銷和延遲。
Papers with Code 使用 PostgreSQL 資料庫,因此可利用其全文搜尋功能作為快速的詞彙搜尋基準。至於密集嵌入,我們使用 pgvector 加入語意召回,再以倒數排名融合(RRF)演算法合併兩者。我們使用 Hugging Face 的三項服務產生密集嵌入:
- Hugging Face Jobs 為論文語料庫產生嵌入提供可彈性擴充的 GPU 運算資源。
- Hugging Face Storage Buckets 為資料庫、實驗和 Jobs 提供可靠的資料交接空間。
- Hugging Face Inference Endpoints 為即時查詢和增量更新提供低延遲嵌入服務。
目前系統為超過 110,000 篇現有論文維護嵌入,資料來自 arXiv 和 Daily Papers。本文會介紹系統架構、背後的設計決策,以及我們將系統投入正式運作時汲取的經驗。
重點摘要
我們刻意把搜尋分為離線語料庫建置和線上搜尋服務:
耗時且著重吞吐量的工作交由 Jobs 執行;持久化成果存放在 Bucket。只有小型的查詢嵌入步驟會留在請求路徑中,並透過受保護的 Inference Endpoint 支援線上搜尋。如果端點處於冷啟動、繁忙或不健康狀態,搜尋便會立即退回全文檢索。這種分工令系統既強大又快速。
先訂立嚴謹的嵌入規格
嵌入管線常因細微問題失效:模型版本變更、混淆查詢和文件提示、向量截斷方式不一致,或摘要更新後不再符合已儲存的向量。
我們把嵌入格式視為有版本控制的 API,藉此避免這些問題。每篇論文都會編碼為:
normalized title + "\n\n" + normalized abstract
每次產生向量時,我們都會記錄:
- 模型儲存庫及確切版本;
- 輸出維度;
- 輸入格式版本;
- 輸入是查詢還是文件;
- 正規化方法;
- 來源標題和摘要的內容雜湊。
我們的正式環境以 Qwen/Qwen3-Embedding-0.6B 產生向量,並固定使用確切版本;輸出為 256 維、經 L2 正規化的向量。我們參考MTEB 排行榜選擇模型;這是比較嵌入模型的首選基準。請注意,Qwen3 等較新的嵌入模型支援 2 項新功能:
- 可以指定動態嵌入大小,在品質與速度/儲存成本之間取捨。Qwen 模型把這項功能稱為「MRL」,即Matryoshka Representation Learning。詳情請參閲此處。我們選擇 256 維嵌入,以加快搜尋。
- 可以提供指令提示。Qwen 嵌入模型支援
document提示(我們用來嵌入論文),即時搜尋則使用query提示(用來嵌入使用者查詢)。
這份規格貫穿整個流程:由匯出、GPU 推理、寫入 PostgreSQL,直至線上檢索。
Jobs 把資料庫快照轉成向量語料庫
為整個語料庫產生嵌入是典型的批次工作:短時間內需要 GPU、受惠於高吞吐量,而且兩次執行之間不應佔用資源。Hugging Face Jobs 非常適合這種工作:你可以指定命令和硬件規格,亦可選擇指定 Docker 映像,並執行依賴項目直接列明的 uv 指令碼。
建置語料庫時,我們先從可重複讀取的 PostgreSQL 快照匯出每篇論文的最新版本。匯出程式會串流讀取資料列,而非把整個目錄載入記憶體;它會寫入大小受控的 JSONL 分片,並建立包含資料列數量和 SHA-256 校驗和的清單。
我們把不可變的執行目錄同步至私人 Storage Bucket,再把 Bucket 直接掛載(使用 hf-mount)至 l4x1 Job。它使用 NVIDIA L4 GPU,配備 24GB VRAM。從工作節點的角度看,這就只是一個檔案系統:
hf jobs uv run \
--flavor l4x1 \
--timeout 6h \
--volume hf://buckets/OWNER/pwc-paper-embeddings:/bucket \
embed_papers_job.py \
--input /bucket/runs/RUN_ID/input \
--output /bucket/runs/RUN_ID/output \
--model Qwen/Qwen3-Embedding-0.6B \
--revision MODEL_REVISION \
--dimensions 256 \
--allow-matryoshka
工作節點會:
- 驗證輸入清單及每個分片的校驗和;
- 載入已固定版本的模型;
- 按文字長度排序,減少填充;
- 分批呼叫
encode_document(詳見模型卡); - GPU 記憶體不足時自動縮小批次大小;
- 把 Matryoshka 表示截斷至 256 維並進行正規化;
- 以原子方式寫入 float16 Parquet 分片;以及
- 記錄吞吐量、套件版本、硬件、VRAM 峯值、資料列數量和輸出校驗和。
每個已完成分片都有自己的標記,因此重新啟動 Job 後可略過已驗證的工作。這對大型語料庫很有用:重試時只需接續工作,而非覆寫現有嵌入。
在包含 5,000 篇論文的試驗中,Qwen Job 在 L4 GPU 上以 1024 維編碼,每秒約處理 75 篇論文。同一輪推理亦可確定性地產生 512 維和 256 維版本,讓我們無需支付額外推理費用,便能比較儲存和檢索方面的取捨。
Buckets 是系統的連接樞紐
Storage Buckets 是 Hub 上類似 S3、可變更的物件儲存空間,專為 AI 工作負載最佳化。你可以透過 hf://buckets/... 路徑存取,亦可在 Jobs 中以掛載方式讀寫,無需另外建置儲存整合。
對我們來説,Bucket 不只是存放向量的地方,也是三個生命週期不同系統之間的交接邊界:
- 正式環境資料庫匯出來源記錄;
- 臨時 Jobs 使用這些記錄並產生向量;
- 匯入程式驗證結果後,才會更新搜尋索引。
我們把產物整理在不可變的執行路徑下:
runs/<run-id>/
├── input/
│ ├── manifest.json
│ └── papers-*.jsonl
└── output/
├── manifest.json
├── embeddings-*.parquet
└── embeddings-*.complete.json
Bucket 本身刻意設計成可變更,因此不可變性是應用程式層級的規則:執行 ID 絕不覆寫,而且每項產物都納入清單和校驗和管理。
這樣有幾項好處:
- 可重現:我們可以追溯資料庫版本所依據的確切語料庫快照、模型版本和產物。
- 安全重試:Jobs 可以從同一執行路徑中已完成的分片接續工作。
- 低成本實驗:多個模型或維度可以共用一份已驗證輸入快照。
- 受控推出:匯入某個版本不會自動啟用它。我們會先驗證涵蓋範圍並建立索引。
- 簡單回復:在證明新版本穩定之前,舊版本及其產物會一直保留。
只有匯入程式再次核對結構描述、校驗和、維度、正規化、論文 ID 唯一性,以及現有內容雜湊後,我們才會把向量載入 PostgreSQL。接着,我們為新版本另建 HNSW 索引,並只在所有符合資格的現有論文都已涵蓋時,才以原子方式標記為啟用(HNSW 是支援快速向量搜尋的圖形演算法)。
Inference Endpoints 讓語意搜尋進入請求路徑
批次嵌入解決了檢索中的文件端問題。使用者查詢仍須在收到請求時,使用相同模型規格產生嵌入。
我們把固定版本的模型部署為經驗證的 Inference Endpoint,並使用 Text Embeddings Inference(TEI)作為後端。端點接收查詢文字,並使用模型的 query 提示回傳經正規化的 256 維向量。這裏亦可以使用 vLLM 或 SGLang。
接着,API 會在目前啟用的 pgvector 版本中,按 cosine distance 搜尋:
SELECT paper_id,
embedding <=> CAST(:query_vector AS halfvec(256)) AS distance
FROM paper_embeddings
WHERE generation_id = :active_generation
ORDER BY embedding <=> CAST(:query_vector AS halfvec(256))
LIMIT 50;
HNSW 索引令查詢保持快速。在包含 5,000 篇論文的試驗中,256 維 Qwen 索引相較精確搜尋,Recall@20 達 0.9955;HNSW 查詢延遲 p50 為 1.31 ms,p95 為 2.21 ms。與 1024 維版本相比,其資料表和索引合計只佔約 27% 儲存空間,而該測試中的近似最近鄰召回率幾乎相同。
端點最多設定為一個副本,閒置時可以縮至零副本。這有助控制成本,因為無人使用時便無需付費。不過,這也代表應用程式設計必須考慮冷啟動,而不能把它當成例外事件,因為端點需要時間啟動並開始服務請求。
因此,我們的查詢用戶端刻意採用嚴格設定:
- 正式環境逾時上限為一秒;
- 非阻塞式並行限制;
- 驗證回應的維度、有限性和範數;
- 以查詢和嵌入版本為鍵的短期快取;
- 連續失敗後啟動斷路器;以及
- 日誌不記錄原始查詢文字,只保存標準化指紋。
如果端點正在擴展、逾時、回傳格式錯誤的向量,或沒有並行容量,我們會立即略過語意搜尋分支。使用者仍會收到詞彙搜尋結果,毋須等待不可靠的相依服務。
Inference Endpoints 運作相當可靠,而且提供清晰的儀錶板,方便快速查看重要分析數據。
混合檢索比單獨使用任一分支更強
每次查詢時,詞彙分支會透過加權 PostgreSQL 全文搜尋擷取最多 50 個候選結果;語意分支則透過 pgvector 擷取最多 50 個候選結果。
我們使用加權倒數排名融合(RRF)合併兩邊排名:
score(d)=∑r ∈ {lexical, semantic}wrk+rankr(d) \text{score}(d) = \sum_{r \,\in\, \{\text{lexical},\, \text{semantic}\}} \frac{w_r}{k + \text{rank}_r(d)}
RRF 簡單而穩健,因為它融合的是排名,而非來自兩個不同尺度系統的分數。簡單來説,如果某篇論文在詞彙分支和語意分支都排得很高,它便更有機會在混合搜尋中排名靠前。目前我們為兩個分支設定相同權重,並使用 (k=60)(k 是 RRF 演算法的「排名常數」,即超參數)。
密集檢索能提升概念型查詢的召回率;全文檢索則仍擅長搜尋精確術語、識別碼和罕見名稱。我們亦會在融合排名上保留確定性的識別行為:
- 完全相符的標題和 arXiv ID 一律置頂;
- 方法分類法可辨認「最初的 BERT 論文」等導覽式搜尋;
- 不完整標題和有限度拼字錯誤會採用保守的 trigram 候選結果;以及
- 模糊查詢若有歧義,便不強行提供錯誤結果。
注意:混合搜尋並非總是最佳選擇。建議先使用便宜快速的關鍵字搜尋作為基準,只有在語意搜尋及/或混合搜尋確實能合理提升檢索品質時,才加入這些方法。亦可在關鍵字、語意或混合檢索之後加入 Qwen3-Reranker 等模型重新排序,進一步改善搜尋。
同一端點,兩種更新路徑
大型初始語料庫會透過 Jobs 產生嵌入,但 Papers with Code 會持續變動:新論文不斷加入、摘要會更正,arXiv 新版本亦會成為最新版本。
若只為少量變更資料列啟動 GPU Job,會增加不必要的啟動和協調開銷。我們改用每小時執行的增量流程,找出缺少嵌入或內容已變更的論文,再把數量有限的增量資料傳送至同一個 TEI Endpoint,這次使用 document 提示。
每次最多處理 500 篇論文,每批 16 篇。寫入嵌入前,會鎖定來源資料列並再次核對內容雜湊。如果論文在推理期間有變更,該向量便會丟棄,留待下次流程處理。
這樣便能清楚分工:
- Jobs 負責完整重建、新模型版本和大規模補算。
- Inference Endpoints 負責互動式查詢嵌入和小型增量文件更新。
- Buckets 保存大型建置產物,讓建置可接續並可供審計。
每小時執行的流程令啟用索引緊貼即時目錄更新,又不會把線上端點變成無上限的批次處理器。
線上取得相關論文推薦幾乎不費成本
同一組文件嵌入亦用於每篇論文頁面上的相關論文推薦。
由於來源論文已有已儲存向量,請求時檢索相關論文無需呼叫模型,只需在目前啟用的版本中執行一次最近鄰查詢。如果向量暫時缺失,應用程式可使用較早的 arXiv 版本,或以現有的任務和引用回退結果補足。我們透過 Semantic Scholar API 取得引用資料,亦建立了 s2-cli 命令列介面,用來查詢其引用圖譜。位於 https://paperswithcode.co/chat 的智能體會使用後者。
我們的心得
1. 把吞吐量工作和延遲敏感工作分開
語料庫嵌入和查詢嵌入使用相同模型,但屬於不同的基礎設施問題。Jobs 著重吞吐量和控制成本;Inference Endpoints 則著重可用性和請求延遲。
2. 把儲存設定為運算和正式環境之間的明確契約
Buckets 在運算和正式環境之間提供明確交接。具校驗和的產物,令資料進入正式索引前有可供審查的邊界。
3. 固定的不只是模型名稱
版本、維度、提示、正規化和輸入格式器都會影響檢索。請一併儲存這些資訊,並在每個階段驗證。
4. 為冷啟動做好設計
流量間歇時,縮至零副本很有價值,但前提是產品具備快速回退方法。混合搜尋自然地提供了這種回退:單獨使用詞彙搜尋也一直有用。
5. 較小向量也能改善整體系統
Matryoshka 嵌入讓我們可以在同一個取捨中評估品質、記憶體、索引大小和延遲。在試驗中,256 維向量保留了近似最近鄰召回率,同時比 1024 維版本大幅減少儲存空間。
6. 啟用流程應簡單可靠
新版本會匯入至目前版本旁邊,獨立建立索引,檢查涵蓋範圍是否完整且資料是否最新,然後才啟用。回復只需變更設定,毋須緊急重新計算。
歡迎到 https://paperswithcode.co 試用搜尋,或到 https://paperswithcode.co/chat 使用聊天介面。期待收到你的意見!
來源:Hugging Face Blog · huggingface.co