跳到正文
Hugging Face Blog·· 2026-08-21精選AI 評分63

Hugging Face Inference Endpoints、Jobs 和 Buckets 如何支撐 Papers with Code 搜尋

How Hugging Face Inference Endpoints, Jobs, and Buckets Power Search on Papers with Code

AI 導讀

Hugging Face 以 Inference Endpoints、Jobs 和 Storage Buckets 建立 Papers with Code 混合搜尋系統,為來自 arXiv 和 Daily Papers 的超過 110,000 篇論文維護嵌入向量。

推薦理由

文章拆解離線批次建向量與線上查詢的分工,並説明端點冷啟動時如何回退全文檢索,呈現混合搜尋進入生產環境的工程取捨。

正文 · 繁體中文

3 個月前,我們重啟了 Papers with Code(另見公告帖文)。目標是讓所有人都能輕鬆接觸和理解開放 AI 研究,方便大家找到論文相關資源、搜尋 AI 不同領域的最先進技術(SOTA)、分享有趣研究,並在彼此成果上繼續開發。換言之,這個平台旨在推動研究浪潮,催生下一個 Transformer。

要讓 AI 研究更容易取得,必須有強大的搜尋引擎,讓人和智能體都能透過網站或 pwc search CLI 命令,快速找到相關及類似研究;智能體亦可透過Skill使用此命令。

要注意,搜尋研究與一般文字搜尋並不完全相同。實用的論文搜尋引擎應能找到完全相符的標題或 arXiv 編號,也應能理解「用於程式碼生成的小型語言模型」等查詢,即使論文沒有把這些字詞放在一起。引擎亦要辨認「最初的 BERT 論文」是導覽式查詢、容忍不完整標題或錯字,並在模型服務冷啟動或暫時無法使用時快速回應。

Papers with Code search results for the query 'DINO'
在 Papers with Code 搜尋 DINO 的結果。

我們為 Papers with Code 建立了一套混合式搜尋系統。這亦基於我們在 ML6 的過往經驗;我們曾為客戶開發以 RAG 為基礎的系統。實踐證明,混合式搜尋通常勝過關鍵字或向量搜尋,因為它結合兩者所長(詳情亦可參閲這篇網誌)。關鍵字搜尋可找到完全相符的字詞,向量搜尋則可找到較模糊、語意相近的字詞。另請注意,重新排序器(又稱 cross-encoder)可進一步改善結果,不過也會增加額外開銷和延遲。

Chart showing hybrid retrieval outperforming vector-only and keyword search
混合檢索勝過單獨使用關鍵字或向量搜尋。圖片取自 Microsoft 的Azure AI Search:透過混合檢索與重新排序超越向量搜尋(2023)。

Papers with Code 使用 PostgreSQL 資料庫,因此可利用其全文搜尋功能作為快速的詞彙搜尋基準。至於密集嵌入,我們使用 pgvector 加入語意召回,再以倒數排名融合(RRF)演算法合併兩者。我們使用 Hugging Face 的三項服務產生密集嵌入:

目前系統為超過 110,000 篇現有論文維護嵌入,資料來自 arXiv 和 Daily Papers。本文會介紹系統架構、背後的設計決策,以及我們將系統投入正式運作時汲取的經驗。

重點摘要

我們刻意把搜尋分為離線語料庫建置和線上搜尋服務:

Architecture diagram of the offline corpus build and online hybrid search pipeline
離線語料庫建置和線上混合搜尋管線的架構。

耗時且著重吞吐量的工作交由 Jobs 執行;持久化成果存放在 Bucket。只有小型的查詢嵌入步驟會留在請求路徑中,並透過受保護的 Inference Endpoint 支援線上搜尋。如果端點處於冷啟動、繁忙或不健康狀態,搜尋便會立即退回全文檢索。這種分工令系統既強大又快速。

先訂立嚴謹的嵌入規格

嵌入管線常因細微問題失效:模型版本變更、混淆查詢和文件提示、向量截斷方式不一致,或摘要更新後不再符合已儲存的向量。

我們把嵌入格式視為有版本控制的 API,藉此避免這些問題。每篇論文都會編碼為:

normalized title + "\n\n" + normalized abstract

每次產生向量時,我們都會記錄:

  • 模型儲存庫及確切版本;
  • 輸出維度;
  • 輸入格式版本;
  • 輸入是查詢還是文件;
  • 正規化方法;
  • 來源標題和摘要的內容雜湊。

我們的正式環境以 Qwen/Qwen3-Embedding-0.6B 產生向量,並固定使用確切版本;輸出為 256 維、經 L2 正規化的向量。我們參考MTEB 排行榜選擇模型;這是比較嵌入模型的首選基準。請注意,Qwen3 等較新的嵌入模型支援 2 項新功能:

  • 可以指定動態嵌入大小,在品質與速度/儲存成本之間取捨。Qwen 模型把這項功能稱為「MRL」,即Matryoshka Representation Learning。詳情請參閲此處。我們選擇 256 維嵌入,以加快搜尋。
  • 可以提供指令提示。Qwen 嵌入模型支援 document 提示(我們用來嵌入論文),即時搜尋則使用 query 提示(用來嵌入使用者查詢)。

這份規格貫穿整個流程:由匯出、GPU 推理、寫入 PostgreSQL,直至線上檢索。

Jobs 把資料庫快照轉成向量語料庫

為整個語料庫產生嵌入是典型的批次工作:短時間內需要 GPU、受惠於高吞吐量,而且兩次執行之間不應佔用資源。Hugging Face Jobs 非常適合這種工作:你可以指定命令和硬件規格,亦可選擇指定 Docker 映像,並執行依賴項目直接列明的 uv 指令碼。

建置語料庫時,我們先從可重複讀取的 PostgreSQL 快照匯出每篇論文的最新版本。匯出程式會串流讀取資料列,而非把整個目錄載入記憶體;它會寫入大小受控的 JSONL 分片,並建立包含資料列數量和 SHA-256 校驗和的清單。

我們把不可變的執行目錄同步至私人 Storage Bucket,再把 Bucket 直接掛載(使用 hf-mount)至 l4x1 Job。它使用 NVIDIA L4 GPU,配備 24GB VRAM。從工作節點的角度看,這就只是一個檔案系統:

hf jobs uv run \
  --flavor l4x1 \
  --timeout 6h \
  --volume hf://buckets/OWNER/pwc-paper-embeddings:/bucket \
  embed_papers_job.py \
  --input /bucket/runs/RUN_ID/input \
  --output /bucket/runs/RUN_ID/output \
  --model Qwen/Qwen3-Embedding-0.6B \
  --revision MODEL_REVISION \
  --dimensions 256 \
  --allow-matryoshka

工作節點會:

  1. 驗證輸入清單及每個分片的校驗和;
  2. 載入已固定版本的模型;
  3. 按文字長度排序,減少填充;
  4. 分批呼叫 encode_document(詳見模型卡);
  5. GPU 記憶體不足時自動縮小批次大小;
  6. 把 Matryoshka 表示截斷至 256 維並進行正規化;
  7. 以原子方式寫入 float16 Parquet 分片;以及
  8. 記錄吞吐量、套件版本、硬件、VRAM 峯值、資料列數量和輸出校驗和。

每個已完成分片都有自己的標記,因此重新啟動 Job 後可略過已驗證的工作。這對大型語料庫很有用:重試時只需接續工作,而非覆寫現有嵌入。

在包含 5,000 篇論文的試驗中,Qwen Job 在 L4 GPU 上以 1024 維編碼,每秒約處理 75 篇論文。同一輪推理亦可確定性地產生 512 維和 256 維版本,讓我們無需支付額外推理費用,便能比較儲存和檢索方面的取捨。

Buckets 是系統的連接樞紐

Storage Buckets 是 Hub 上類似 S3、可變更的物件儲存空間,專為 AI 工作負載最佳化。你可以透過 hf://buckets/... 路徑存取,亦可在 Jobs 中以掛載方式讀寫,無需另外建置儲存整合。

對我們來説,Bucket 不只是存放向量的地方,也是三個生命週期不同系統之間的交接邊界:

  • 正式環境資料庫匯出來源記錄;
  • 臨時 Jobs 使用這些記錄並產生向量;
  • 匯入程式驗證結果後,才會更新搜尋索引。

我們把產物整理在不可變的執行路徑下:

runs/<run-id>/
├── input/
│   ├── manifest.json
│   └── papers-*.jsonl
└── output/
    ├── manifest.json
    ├── embeddings-*.parquet
    └── embeddings-*.complete.json

Bucket 本身刻意設計成可變更,因此不可變性是應用程式層級的規則:執行 ID 絕不覆寫,而且每項產物都納入清單和校驗和管理。

這樣有幾項好處:

  • 可重現:我們可以追溯資料庫版本所依據的確切語料庫快照、模型版本和產物。
  • 安全重試:Jobs 可以從同一執行路徑中已完成的分片接續工作。
  • 低成本實驗:多個模型或維度可以共用一份已驗證輸入快照。
  • 受控推出:匯入某個版本不會自動啟用它。我們會先驗證涵蓋範圍並建立索引。
  • 簡單回復:在證明新版本穩定之前,舊版本及其產物會一直保留。

只有匯入程式再次核對結構描述、校驗和、維度、正規化、論文 ID 唯一性,以及現有內容雜湊後,我們才會把向量載入 PostgreSQL。接着,我們為新版本另建 HNSW 索引,並只在所有符合資格的現有論文都已涵蓋時,才以原子方式標記為啟用(HNSW 是支援快速向量搜尋的圖形演算法)。

Inference Endpoints 讓語意搜尋進入請求路徑

批次嵌入解決了檢索中的文件端問題。使用者查詢仍須在收到請求時,使用相同模型規格產生嵌入。

我們把固定版本的模型部署為經驗證的 Inference Endpoint,並使用 Text Embeddings Inference(TEI)作為後端。端點接收查詢文字,並使用模型的 query 提示回傳經正規化的 256 維向量。這裏亦可以使用 vLLM 或 SGLang。

Hugging Face Inference Endpoint overview for the Papers with Code query embedding model
Papers with Code 查詢嵌入模型使用的 Hugging Face Inference Endpoint。

接着,API 會在目前啟用的 pgvector 版本中,按 cosine distance 搜尋:

SELECT paper_id,
       embedding <=> CAST(:query_vector AS halfvec(256)) AS distance
FROM paper_embeddings
WHERE generation_id = :active_generation
ORDER BY embedding <=> CAST(:query_vector AS halfvec(256))
LIMIT 50;

HNSW 索引令查詢保持快速。在包含 5,000 篇論文的試驗中,256 維 Qwen 索引相較精確搜尋,Recall@20 達 0.9955;HNSW 查詢延遲 p50 為 1.31 ms,p95 為 2.21 ms。與 1024 維版本相比,其資料表和索引合計只佔約 27% 儲存空間,而該測試中的近似最近鄰召回率幾乎相同。

端點最多設定為一個副本,閒置時可以縮至零副本。這有助控制成本,因為無人使用時便無需付費。不過,這也代表應用程式設計必須考慮冷啟動,而不能把它當成例外事件,因為端點需要時間啟動並開始服務請求。

因此,我們的查詢用戶端刻意採用嚴格設定:

  • 正式環境逾時上限為一秒;
  • 非阻塞式並行限制;
  • 驗證回應的維度、有限性和範數;
  • 以查詢和嵌入版本為鍵的短期快取;
  • 連續失敗後啟動斷路器;以及
  • 日誌不記錄原始查詢文字,只保存標準化指紋。

如果端點正在擴展、逾時、回傳格式錯誤的向量,或沒有並行容量,我們會立即略過語意搜尋分支。使用者仍會收到詞彙搜尋結果,毋須等待不可靠的相依服務。

Inference Endpoints 運作相當可靠,而且提供清晰的儀錶板,方便快速查看重要分析數據。

Hugging Face Inference Endpoint analytics dashboard showing request volume, errors, latency, and replica state
Inference Endpoint 分析儀錶板,顯示請求量、錯誤、延遲和副本狀態。

混合檢索比單獨使用任一分支更強

每次查詢時,詞彙分支會透過加權 PostgreSQL 全文搜尋擷取最多 50 個候選結果;語意分支則透過 pgvector 擷取最多 50 個候選結果。

我們使用加權倒數排名融合(RRF)合併兩邊排名:

score(d)=∑r ∈ {lexical, semantic}wrk+rankr(d) \text{score}(d) = \sum_{r \,\in\, \{\text{lexical},\, \text{semantic}\}} \frac{w_r}{k + \text{rank}_r(d)}

RRF 簡單而穩健,因為它融合的是排名,而非來自兩個不同尺度系統的分數。簡單來説,如果某篇論文在詞彙分支和語意分支都排得很高,它便更有機會在混合搜尋中排名靠前。目前我們為兩個分支設定相同權重,並使用 (k=60)(k 是 RRF 演算法的「排名常數」,即超參數)。

密集檢索能提升概念型查詢的召回率;全文檢索則仍擅長搜尋精確術語、識別碼和罕見名稱。我們亦會在融合排名上保留確定性的識別行為:

  • 完全相符的標題和 arXiv ID 一律置頂;
  • 方法分類法可辨認「最初的 BERT 論文」等導覽式搜尋;
  • 不完整標題和有限度拼字錯誤會採用保守的 trigram 候選結果;以及
  • 模糊查詢若有歧義,便不強行提供錯誤結果。

注意:混合搜尋並非總是最佳選擇。建議先使用便宜快速的關鍵字搜尋作為基準,只有在語意搜尋及/或混合搜尋確實能合理提升檢索品質時,才加入這些方法。亦可在關鍵字、語意或混合檢索之後加入 Qwen3-Reranker 等模型重新排序,進一步改善搜尋。

同一端點,兩種更新路徑

大型初始語料庫會透過 Jobs 產生嵌入,但 Papers with Code 會持續變動:新論文不斷加入、摘要會更正,arXiv 新版本亦會成為最新版本。

若只為少量變更資料列啟動 GPU Job,會增加不必要的啟動和協調開銷。我們改用每小時執行的增量流程,找出缺少嵌入或內容已變更的論文,再把數量有限的增量資料傳送至同一個 TEI Endpoint,這次使用 document 提示。

每次最多處理 500 篇論文,每批 16 篇。寫入嵌入前,會鎖定來源資料列並再次核對內容雜湊。如果論文在推理期間有變更,該向量便會丟棄,留待下次流程處理。

這樣便能清楚分工:

  • Jobs 負責完整重建、新模型版本和大規模補算。
  • Inference Endpoints 負責互動式查詢嵌入和小型增量文件更新。
  • Buckets 保存大型建置產物,讓建置可接續並可供審計。

每小時執行的流程令啟用索引緊貼即時目錄更新,又不會把線上端點變成無上限的批次處理器。

線上取得相關論文推薦幾乎不費成本

同一組文件嵌入亦用於每篇論文頁面上的相關論文推薦。

Related papers feature
SenseNova-U1 的相關論文。

由於來源論文已有已儲存向量,請求時檢索相關論文無需呼叫模型,只需在目前啟用的版本中執行一次最近鄰查詢。如果向量暫時缺失,應用程式可使用較早的 arXiv 版本,或以現有的任務和引用回退結果補足。我們透過 Semantic Scholar API 取得引用資料,亦建立了 s2-cli 命令列介面,用來查詢其引用圖譜。位於 https://paperswithcode.co/chat 的智能體會使用後者。

我們的心得

1. 把吞吐量工作和延遲敏感工作分開

語料庫嵌入和查詢嵌入使用相同模型,但屬於不同的基礎設施問題。Jobs 著重吞吐量和控制成本;Inference Endpoints 則著重可用性和請求延遲。

2. 把儲存設定為運算和正式環境之間的明確契約

Buckets 在運算和正式環境之間提供明確交接。具校驗和的產物,令資料進入正式索引前有可供審查的邊界。

3. 固定的不只是模型名稱

版本、維度、提示、正規化和輸入格式器都會影響檢索。請一併儲存這些資訊,並在每個階段驗證。

4. 為冷啟動做好設計

流量間歇時,縮至零副本很有價值,但前提是產品具備快速回退方法。混合搜尋自然地提供了這種回退:單獨使用詞彙搜尋也一直有用。

5. 較小向量也能改善整體系統

Matryoshka 嵌入讓我們可以在同一個取捨中評估品質、記憶體、索引大小和延遲。在試驗中,256 維向量保留了近似最近鄰召回率,同時比 1024 維版本大幅減少儲存空間。

6. 啟用流程應簡單可靠

新版本會匯入至目前版本旁邊,獨立建立索引,檢查涵蓋範圍是否完整且資料是否最新,然後才啟用。回復只需變更設定,毋須緊急重新計算。

歡迎到 https://paperswithcode.co 試用搜尋,或到 https://paperswithcode.co/chat 使用聊天介面。期待收到你的意見!

來源:Hugging Face Blog · huggingface.co