跳到正文
Hugging Face Blog·· 2025-02-13精選AI 評分60

分類、文本嵌入與視覺嵌入處理 1B 筆輸入的成本與延遲評測

1 Billion Classifications

AI 導讀

這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置,估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4($0.8/hr)上,三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51;測試程式碼見 https://github.com/datavistics/encoder-analysis。

推薦理由

三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響,並提供可替換模型與硬件重跑的流程,供讀者估算自有配置處理 1B 筆輸入的開支。

正文 · 繁體中文

你已把模型最佳化,整條 pipeline 也運作順暢;但現在雲端帳單卻急劇飆升。每日執行超過 10 億次分類或嵌入,不只是技術挑戰,更是財務挑戰。怎樣才能在這種規模下處理資料而不超出預算?無論你要執行大規模文件分類,還是為檢索增強生成(RAG)建立大量嵌入流程,都需要具成本效益、高吞吐量的推論才可實行,而這有賴充分最佳化的設定。

這些任務通常會使用編碼器模型,它們比現代 LLM 小得多;但當推論請求規模達到 10 億以上時,仍然絕非易事。説得清楚一點,這相當於把英文維基百科處理 144 遍。我未見太多資料討論如何以成本為考量處理這件事,所以想深入探討。本文會拆解如何計算大規模分類及嵌入的成本與延遲。我們會分析不同模型架構,比較不同硬件選擇的成本,並提供一套清晰框架,讓你最佳化自己的設定。此外,即使你不打算親自走完整個流程,也可以藉此建立一些直觀認識。

你可能有幾個問題:

  • 要處理 10 億筆輸入,我的任務最便宜的設定是甚麼?(批次推論)
  • 如何同時考慮延遲?(高負載使用)

以下是實現方法的程式碼:https://github.com/datavistics/encoder-analysis

TL;我不打算逐項重現,直接告訴我你的發現;DR

採用這個價格後,我得出以下成本:

用途 分類 嵌入 視覺嵌入
模型 lxyuan/distilbert-base-multilingual-cased-sentiments-student Alibaba-NLP/gte-modernbert-base vidore/colqwen2-v1.0-merged
資料 tyqiangz/multilingual-sentiments sentence-transformers/trivia-qa-triplet openbmb/RLAIF-V-Dataset
硬件類型 nvidia-L4($0.8/小時) nvidia-L4($0.8/小時) nvidia-L4($0.8/小時)
處理 10 億筆輸入的成本 $253.82 $409.44 $44,496.51

方法

要評估成本和延遲,我們需要 4 個主要組成部分:

  • 硬件選項:多種硬件供比較成本
  • 部署工具:讓我們以自選設定部署模型的方法
  • 負載測試:發送請求並量度效能的方法
  • 推論伺服器:讓模型在選定硬件上高效運作的方法

我會採用 Inference Endpoints 作為我的硬件選項,因為它讓我從多種硬件中選擇。請注意,你可以改用自己選擇或考慮中的 GPU。至於部署工具,我會使用非常實用的 Hugging Face Hub Library,以便透過程式輕鬆部署模型。

至於推論伺服器,我也會使用 Infinity;這是用來服務編碼器模型(現在還支援更多模型!)的優秀程式庫。我之前已撰文介紹另一個出色的程式庫 TEI。選擇方案時確實應考慮 TEI,不過本文着重方法論,而非比較框架。Infinity 有多項主要優勢,例如提供多模態嵌入服務、支援不同硬件(AMD、Nvidia、CPU 和 Inferentia),以及執行任何包含遠端程式碼、尚未整合至 huggingface transformer 程式庫的新模型。對我來説,其中最重要的是大部分模型預設都相容。

負載測試方面,我會使用 Grafana 的 k6。它是以 Go 編寫、附有 JavaScript 介面的開源負載測試工具,容易設定、效能高,而且開銷低。它內置了許多非常實用的執行器,也會預先配置虛擬使用者(VU);與自行拼湊測試相比,這樣做可以更貼近實際情況。

我會探討 3 種用途,涵蓋多個值得注意的面向:

用途 模型 基礎架構 參數量 關注點
分類(文字) lxyuan/distilbert-base-multilingual-cased-sentiments-student DistilBertForSequenceClassification 135M 蒸餾後的架構體積小、速度快,適合部分用途。
嵌入 Alibaba-NLP/gte-modernbert-base ModernBertModel 149M 採用 ModernBERT,速度可以非常快,也可擴展以處理長上下文。
視覺嵌入 vidore/colqwen2-v1.0-merged ColQwen2 2.21B ColQwen2 可為 VLM 的 ColBERT 風格檢索提供獨特洞見

最佳化

最佳化是個棘手問題,需要考慮很多因素。概括而言,我想針對重要的負載測試參數進行掃描,找出單張 GPU 的最佳設定,因為大部分編碼器模型都能放進單張 GPU。取得單張 GPU 的基準成本後,便可增加副本 GPU數目,以水平擴展 GPU 數量及吞吐量。

設定

以下是我會為每種用途採用的概略流程:

既然你已有程式碼,歡迎按以下各項調整任何部分:

  • GPU
  • 部署流程
  • 實驗框架
  • 等等

我不會介意的。

負載測試參數

VU 和批次大小很重要,因為它們會影響我們如何善用 GPU 上所有可用的運算資源。批次大小足夠大,才能確保充分利用串流多處理器和 VRAM。有時 VRAM 尚有餘裕,但頻寬成本會阻止吞吐量進一步增加,因此實驗可以幫上忙。VU 則讓我們確保目前的批次大小已充分使用。
以下是我會測試的主要參數:

  • INFINITY_BATCH_SIZE
    • 這是模型在一個批次中進行前向傳遞的文件數目
    • 太低就無法充分利用 GPU
    • 太高則 GPU 可能無法處理大型輸入
  • VUs
    • 這是模擬並行用戶端請求、並傳送至 K6 的虛擬使用者數目
    • 要模擬大量使用者可能不容易,而且每部機器的情況都不同。
  • GPU
    • Inference Endpoints 提供多種 GPU
    • 我優先選用效能/成本比最佳的硬件
  • CPU
    • 我沒有納入這些選項,因為 Nvidia-T4 價格很低,經簡單測試後,CPU 看來不太吸引。我有留下部分測試程式碼,讓有興趣的用戶可自行測試!

視乎你的模型,可能還要考慮:

  • 你使用的 Docker 映像。['michaelf34/infinity:0.0.75-trt-onnx', 'michaelf34/infinity:0.0.75']
    • 有多種 Infinity 映像可支援不同後端。你應考慮哪些映像最適合你的硬件/模型/設定。
  • INFINITY_COMPILE 是否要使用 torch.compile(),請參閲文件
  • INFINITY_BETTERTRANSFORMER 是否要讓 torch 使用Better Transformer

K6

K6 很實用,因為它可預先配置 VU,避免一些隱蔽的錯誤。它在發送請求方面相當靈活,而我決定採用一種特定方式。

執行 k6 實驗時,我主要想知道請求的吞吐量和平均延遲,並對所選負載測試參數作幾項合理性檢查。我也想進行掃描,即跑多次實驗。

我使用 shared-iterations 執行器(文件),即 K6 會在各個 VU 之間分配迭代。k6 執行完所有迭代後,測試便會結束。這讓我可以設定合理的逾時時間,同時發送足夠請求,對掃描中各項負載測試參數的選擇有相當把握。與其他執行器相比,這種方式讓我確信自己正模擬每個 VU 盡可能努力工作的用戶端,從而找出最便宜的選項。

我會發送 10_000 個請求†,並把每次實驗時間上限定為 1 min。因此,如果 1 分鐘內未能完成 10_000 個請求,該次實驗便會結束。

export const options = {
    scenarios: {
        shared_load_test: {
            executor: 'shared-iterations',
            vus: {{ pre_allocated_vus }}, 
            iterations: 10000, 
            maxDuration: '1m',
        },
    },
};

統計數據

  • P95†† 和平均延遲
  • 吞吐量

合理性檢查

  • 準確率(只適用於分類)
  • 測試時間
  • 成功請求
  • 格式驗證

† 視覺嵌入的吞吐量低,而且圖像體積較大,所以我採用較少的最大請求數目。
†† P95 表示 95% 的請求會在此時間內完成,代表大部分用戶會遇到的最差延遲。

流程編排

你可以在此找到整合最佳化流程的 3 個 Notebook:

主要目的是定義實驗、以正確參數啟動正確的 Inference Endpoint,並以正確參數啟動 k6 來測試端點。

我作了幾項設計選擇,你或許也可以想一想是否適合自己:

  • 我會先以指數方式增加 VU 數目,再用二分搜尋找出最佳值
  • 我不會把結果視為完全可重現
    • 多次執行同一測試,結果會略有不同
    • 我把改善門檻設為 2%,以決定是否繼續搜尋

分類

引言

文字分類在很多大規模場景中都有不同用途,例如電郵過濾、預訓練資料集中的有害內容偵測等。經典的早期架構是 BERT,之後很快便出現許多其他架構。請注意,與流行的解碼器模型不同,使用這些模型前必須先針對你的任務進行微調。我認為目前以下架構†最值得留意:

  • DistilBERT
    • 任務效能良好,工程效能出色
    • 它在 OG BERT 基礎上作出了一些架構改動,而且無法透過 TEI 作分類
  • DeBERTa-v3
    • 任務效能出色
    • 工程效能††很慢,因為其獨特的注意力機制難以最佳化
  • ModernBERT
    • 使用 Sequence Packing 和 Flash-Attention-2
    • 任務效能及工程效能††均出色

† 請注意,這些模型通常需要先在你的資料上微調,才能有良好表現
†† 我用「工程效能」指預期的延遲/吞吐量

實驗

類別 數值
模型 lxyuan/distilbert-base-multilingual-cased-sentiments-student
模型架構 DistilBERT
資料 tyqiangz/multilingual-sentiments(text 欄)平均 100 個 token(最少 50 個),涵蓋多種語言
硬件 nvidia-L4($0.8/hr) nvidia-t4($0.5/hr)
Infinity 映像 trt-onnx 對比 default
batch_size [16, 32, 64, 128, 256, 512, 1024]
vus 32+

我選擇以 DistilBERT 為重點,因為它是很多應用都適用的輕量型方案。我比較了 2 款 GPU:nvidia-t4 和 nvidia-l4,以及 2 款 Infinity Docker 映像。

結果

你可以在此以互動形式查看結果,或在下方「分析」部分嵌入的 Space 查看。以下是我執行的實驗中成本最低的設定:

類別 最佳值
處理 10 億筆輸入的成本 $253.82
硬件類型 nvidia-L4($0.8/hr)
Infinity 映像 default
batch_size 64
vus 448

嵌入

引言

文字嵌入泛指把文字輸入投射至語義空間的任務;在這個空間中,距離接近的點代表意思相似,距離較遠的點則代表意思不同(如下例)。RAG 大量使用這項技術,也是 AI 搜尋的重要一環(有些人是它的愛好者)。

有大量相容的架構;你可以在 MTEB 排行榜查看效能最佳的模型。

實驗

自 2020 年 DeBERTa 推出後,ModernBERT 是最令人期待的編碼器更新。它把所有咳現代技巧都加入舊而熟悉的架構中。它很適合用作實驗模型,因為相較其他架構,它仍未經充分探索,而且潛力更大。它在速度和效能方面有多項改進;對用戶來説,最值得留意的可能是 8k 上下文視窗。若想深入瞭解,請參閲這篇網誌。

請注意,由於運算能力要求,Flash Attention 2 只適用於較新的 GPU,因此我選擇跳過 T4,改用 L4。對於高負載類別,H100 在這裏也會很合適。

類別 數值
模型 Alibaba-NLP/gte-modernbert-base
模型架構 ModernBERT
資料 sentence-transformers/trivia-qa-triplet(positive 欄),平均 144 個 token,標準差為 14。
硬件 nvidia-L4($0.8/hr)
Infinity 映像 default
batch_size [16, 32, 64, 128, 256, 512, 1024]
vus 32+

結果

你可以在此以互動形式查看結果。以下是我執行的實驗中成本最低的設定:

類別 最佳值
處理 10 億筆輸入的成本 $409.44
硬件類型 nvidia-L4($0.8/hr)
Infinity 映像 default
batch_size 32
vus 256

視覺嵌入

引言

ColQwen2 是視覺檢索器,以 Qwen2-VL-2B-Instruct 為基礎,並使用 ColBERT 風格的文字及圖像多向量表示。與上述編碼器相比,它的架構複雜得多。

電商搜尋、多模態推薦、企業多模態 RAG 等多種用途,都可能受惠於大規模採用這項技術。

ColBERT 風格與前述嵌入用途不同:它會把輸入拆成多個 token,並為每個 token 回傳一個向量,而不是為整個輸入只回傳 1 個向量。Jina AI 在此處提供了出色的教學。這種方式可帶來更佳的語義編碼及檢索效果,但速度較慢,成本也較高。

我很期待這次實驗,因為它會探討 2 個較少人熟悉的概念:視覺嵌入和 ColBERT 風格嵌入†。關於 ColQwen2/VLM,有幾點值得注意:

  • 2B 比本文討論的其他模型大約大 15 倍
  • ColQwen2 的架構複雜,包含多個模型,其中包括比編碼器更慢的解碼器
  • 圖像很容易佔用大量 token
  • API 成本:
    • 透過 API 傳送圖像比傳送文字慢。
    • 如果你使用雲端服務,還會遇到更高的輸出流量費用

† 如果你覺得這個題目新鮮有趣,請參閲這篇更深入的網誌。

實驗

我想試用像 nvidia-l4 這樣較小而較新的 GPU,因為它應該容得下 2B 參數模型,而且價格低,應該也容易擴展。與另一個嵌入模型一樣,我會調整 batch_size 和 vus。

類別 數值
模型 vidore/colqwen2-v1.0-merged
模型架構 ColQwen2
資料 openbmb/RLAIF-V-Dataset(image 欄),大部分圖像約為 600x400,檔案大小 4MB
硬件 nvidia-L4($0.8/hr)
Infinity 映像 default
batch_size [1, 2, 4, 8, 16]
vus 1+

結果

你可以在此以互動形式查看結果。以下是我執行的實驗中成本最低的設定:

類別 最佳值
處理 10 億筆輸入的成本 $44,496.51
硬件類型 nvidia-l4
Infinity 映像 default
batch_size 4
vus 4

分析

請到這個 Space 查看詳細分析:derek-thomas/classification-analysis(要查看圖表,請隱藏側邊欄並向下捲動):

結論

每日處理 10 億以上的分類或嵌入並非易事,但只要採用合適的最佳化方法,就可以兼顧成本效益。從我的實驗中可見幾個主要模式:

  • 硬件很重要:NVIDIA L4($0.80/hr)一直能在效能與成本之間取得最佳平衡,因此在現代工作負載中是比 T4 更理想的選擇。CPU 在大規模情況下缺乏競爭力。
  • 批次大小是關鍵:批次大小的最佳值因任務而異,但整體而言,在不觸及 GPU 記憶體和頻寬上限的前提下,盡量提高批次大小是提升效率的關鍵。分類的最佳批次大小是 64;嵌入則是 32。
  • 並行處理是關鍵:找出合適的虛擬使用者(VU)數目,確保 GPU 得以充分使用。先按指數方式增加數目,再進行二分搜尋,有助有效收斂至最佳 VU 設定。
  • ColBERT 風格的視覺嵌入成本高昂:每 10 億個嵌入的成本超過 $44,000;以圖像為基礎的檢索成本,比文字任務高兩個數量級。

你的資料、硬件、模型等或會不同,但希望你能從本文提供的方法和程式碼中有所收穫。取得估算的最佳方法,是在自己的任務上使用自己的設定執行。一起探索吧!

特別感謝 andrewrreed/auto-bench 帶來靈感,以及 Michael Feil 建立了 Infinity。也感謝 Pedro Cuenca、Erik Kaunismaki 和 Tom Aarsen 協助審閲。

參考資料

附錄

合理性檢查

複雜度提高時,合理性檢查也應相應擴展。由於我們使用 subprocess 和 jinja 再呼叫 k6,我覺得自己離實際測試很遠,所以加入了幾項檢查。

任務效能

任務效能檢查的目標,是確保特定設定下的表現符合預期。不同任務對任務效能的定義各異。分類方面我選擇準確率;嵌入方面則略過這項指標。我們也可以查看平均相似度等類似指標。ColBERT 風格的情況則稍為複雜,因為每個請求會取得多個向量。

即使 58% 對某些 3 類分類任務而言不算差,這個數字本身也無關緊要。重點是確保任務效能符合預期。若出現顯著變化(上升或下降),就應提高警覺並瞭解原因。

以下是分類用途的一個好例子:分佈非常集中,只有一個離羣值。進一步調查後發現,這個離羣值是因為發送的請求數量太少。

你可以在 nbviewer 查看互動式結果圖表:

失敗請求檢查

Inference Endpoints 設有佇列處理額外請求,因此預期不會出現失敗請求。這適用於全部 3 種用途:分類、嵌入和視覺嵌入。

sum(df.total_requests - df.successful_requests) 可用來查看是否有任何失敗請求。

單調遞增序列:VU 數目是否已足夠?

如上所述,我們採用先按指數增加、再用二分搜尋找出最佳 VU 數目的策略。但怎樣知道已測試足夠多的 VU?如果提高 VU 數目後,吞吐量仍然增加呢?若是如此,VU 數目與吞吐量之間會呈單調遞增關係,我們便需要再跑更多測試。

你可以在 nbviewer 查看互動式結果圖表:

嵌入大小檢查

提出嵌入請求時,理應每次都取得模型類型所指定大小的嵌入。你可以在以下位置查看檢查:

ColBERT 嵌入數量

我們在視覺嵌入中使用 ColBERT 風格模型,因此每張圖像應會產生多個向量。瞭解這些數值的分佈很有意思,有助檢查異常情況並認識資料。為此,我儲存了 min_num_vectors、avg_num_vectors 和 max_num_vectors,並記錄在實驗中。

3 個數值都應有一定差異,但不同實驗中 min_num_vectors 和 max_num_vectors 的值相同也沒有問題。

你可以在此查看檢查:

成本分析

以下是簡短説明;你也可以到這個 Space 體驗更詳盡的互動內容:derek-thomas/classification-analysis

按成本節省選出最佳映像

分類用途方面,我們比較了 2 款不同的 Infinity 映像:default 和 trt-onnx。哪一款較好?最好在相同設定(GPU、batch_size、VU)下比較。我們只需按這些設定將結果分組,再查看哪一種成本較低即可。

成本與延遲

這是一張關鍵圖表,因為許多用途都有用戶可接受的延遲上限。通常容許延遲增加,就能提高吞吐量,形成取捨關係。我在此查看的所有用途都是如此。繪製 Pareto 曲線有助呈現取捨的位置。

成本與 VU 數目及批次大小的等高線圖

最後,重要的是建立直覺,理解調整不同設定時發生甚麼事。我們會否得到理想化的漂亮圖表?會否看到意料之外的梯度?某個區域是否需要進一步探索?設定方面會否有問題,例如環境未有隔離?這些都是值得思考、但有時不容易回答的問題。

等高線圖會在由 3 個維度定義的空間中,透過內插中間點建立。以下幾種現象值得了解:

  • 顏色漸變:顯示成本水平,顏色較深代表成本較高,顏色較淺則代表成本較低。
  • 等高線:代表成本水平,有助找出具成本效益的區域。
  • 密集羣組(等高線)表示批次大小或 VU 數目略作調整,成本便會快速變化。

分類用途的複雜等高線圖中,可以看到一些有趣結果:

以下是視覺嵌入任務中清晰得多的圖:

Infinity 用戶端

實際使用時,請考慮使用 infinity client。基準測試時,使用 k6 瞭解可能的效能是良好做法。實際使用時,則應採用官方程式庫或類似工具,原因包括:

  • Base64 可讓 payload 更小(速度更快、成本更低)
  • 使用受維護的程式庫可令開發更整潔、更容易
  • 內置相容性有助加快開發

Infinity 後端也可選擇相容 OpenAI 程式庫。

例如,你可以像這樣存取視覺嵌入:

pip install infinity_client && python -c "from infinity_client.vision_client import InfinityVisionAPI"  

其他心得

  • 我曾嘗試在同一張 GPU 上部署多個模型,但即使仍有剩餘 VRAM 和 GPU 運算能力,效能也沒有顯著改善;這可能是因為處理大型批次時的頻寬成本所致。
  • 我一直覺得要讓 K6 處理圖像很麻煩,直到我瞭解到 SharedArrays。
  • 圖像資料可能非常難以處理
  • 產生指令碼時,除錯 K6 的關鍵是手動執行 K6 並查看輸出。

未來改進方向

  • 讓測試並行執行,同時管理全域 VUs 上限,將可節省不少時間
  • 查看更多不同類型的資料集,並觀察它們對數字有何影響

來源:Hugging Face Blog · huggingface.co