分類、文本嵌入與視覺嵌入處理 1B 筆輸入的成本與延遲評測
1 Billion Classifications
這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置,估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4($0.8/hr)上,三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51;測試程式碼見 https://github.com/datavistics/encoder-analysis。
三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響,並提供可替換模型與硬件重跑的流程,供讀者估算自有配置處理 1B 筆輸入的開支。
你已把模型最佳化,整條 pipeline 也運作順暢;但現在雲端帳單卻急劇飆升。每日執行超過 10 億次分類或嵌入,不只是技術挑戰,更是財務挑戰。怎樣才能在這種規模下處理資料而不超出預算?無論你要執行大規模文件分類,還是為檢索增強生成(RAG)建立大量嵌入流程,都需要具成本效益、高吞吐量的推論才可實行,而這有賴充分最佳化的設定。
這些任務通常會使用編碼器模型,它們比現代 LLM 小得多;但當推論請求規模達到 10 億以上時,仍然絕非易事。説得清楚一點,這相當於把英文維基百科處理 144 遍。我未見太多資料討論如何以成本為考量處理這件事,所以想深入探討。本文會拆解如何計算大規模分類及嵌入的成本與延遲。我們會分析不同模型架構,比較不同硬件選擇的成本,並提供一套清晰框架,讓你最佳化自己的設定。此外,即使你不打算親自走完整個流程,也可以藉此建立一些直觀認識。
你可能有幾個問題:
- 要處理 10 億筆輸入,我的任務最便宜的設定是甚麼?(批次推論)
- 如何同時考慮延遲?(高負載使用)
以下是實現方法的程式碼:https://github.com/datavistics/encoder-analysis
TL;我不打算逐項重現,直接告訴我你的發現;DR
採用這個價格後,我得出以下成本:
| 用途 | 分類 | 嵌入 | 視覺嵌入 |
|---|---|---|---|
| 模型 | lxyuan/distilbert-base-multilingual-cased-sentiments-student | Alibaba-NLP/gte-modernbert-base | vidore/colqwen2-v1.0-merged |
| 資料 | tyqiangz/multilingual-sentiments | sentence-transformers/trivia-qa-triplet | openbmb/RLAIF-V-Dataset |
| 硬件類型 | nvidia-L4($0.8/小時) |
nvidia-L4($0.8/小時) |
nvidia-L4($0.8/小時) |
| 處理 10 億筆輸入的成本 | $253.82 | $409.44 | $44,496.51 |
方法
要評估成本和延遲,我們需要 4 個主要組成部分:
- 硬件選項:多種硬件供比較成本
- 部署工具:讓我們以自選設定部署模型的方法
- 負載測試:發送請求並量度效能的方法
- 推論伺服器:讓模型在選定硬件上高效運作的方法
我會採用 Inference Endpoints 作為我的硬件選項,因為它讓我從多種硬件中選擇。請注意,你可以改用自己選擇或考慮中的 GPU。至於部署工具,我會使用非常實用的 Hugging Face Hub Library,以便透過程式輕鬆部署模型。
至於推論伺服器,我也會使用 Infinity;這是用來服務編碼器模型(現在還支援更多模型!)的優秀程式庫。我之前已撰文介紹另一個出色的程式庫 TEI。選擇方案時確實應考慮 TEI,不過本文着重方法論,而非比較框架。Infinity 有多項主要優勢,例如提供多模態嵌入服務、支援不同硬件(AMD、Nvidia、CPU 和 Inferentia),以及執行任何包含遠端程式碼、尚未整合至 huggingface transformer 程式庫的新模型。對我來説,其中最重要的是大部分模型預設都相容。
負載測試方面,我會使用 Grafana 的 k6。它是以 Go 編寫、附有 JavaScript 介面的開源負載測試工具,容易設定、效能高,而且開銷低。它內置了許多非常實用的執行器,也會預先配置虛擬使用者(VU);與自行拼湊測試相比,這樣做可以更貼近實際情況。
我會探討 3 種用途,涵蓋多個值得注意的面向:
| 用途 | 模型 | 基礎架構 | 參數量 | 關注點 |
|---|---|---|---|---|
| 分類(文字) | lxyuan/distilbert-base-multilingual-cased-sentiments-student | DistilBertForSequenceClassification | 135M | 蒸餾後的架構體積小、速度快,適合部分用途。 |
| 嵌入 | Alibaba-NLP/gte-modernbert-base | ModernBertModel | 149M | 採用 ModernBERT,速度可以非常快,也可擴展以處理長上下文。 |
| 視覺嵌入 | vidore/colqwen2-v1.0-merged | ColQwen2 | 2.21B | ColQwen2 可為 VLM 的 ColBERT 風格檢索提供獨特洞見 |
最佳化
最佳化是個棘手問題,需要考慮很多因素。概括而言,我想針對重要的負載測試參數進行掃描,找出單張 GPU 的最佳設定,因為大部分編碼器模型都能放進單張 GPU。取得單張 GPU 的基準成本後,便可增加副本 GPU數目,以水平擴展 GPU 數量及吞吐量。
設定
既然你已有程式碼,歡迎按以下各項調整任何部分:
- GPU
- 部署流程
- 實驗框架
- 等等
我不會介意的。
負載測試參數
VU 和批次大小很重要,因為它們會影響我們如何善用 GPU 上所有可用的運算資源。批次大小足夠大,才能確保充分利用串流多處理器和 VRAM。有時 VRAM 尚有餘裕,但頻寬成本會阻止吞吐量進一步增加,因此實驗可以幫上忙。VU 則讓我們確保目前的批次大小已充分使用。
以下是我會測試的主要參數:
INFINITY_BATCH_SIZE- 這是模型在一個批次中進行前向傳遞的文件數目
- 太低就無法充分利用 GPU
- 太高則 GPU 可能無法處理大型輸入
VUs- 這是模擬並行用戶端請求、並傳送至 K6 的虛擬使用者數目
- 要模擬大量使用者可能不容易,而且每部機器的情況都不同。
- GPU
- Inference Endpoints 提供多種 GPU
- 我優先選用效能/成本比最佳的硬件
- CPU
- 我沒有納入這些選項,因為 Nvidia-T4 價格很低,經簡單測試後,CPU 看來不太吸引。我有留下部分測試程式碼,讓有興趣的用戶可自行測試!
視乎你的模型,可能還要考慮:
- 你使用的 Docker 映像。[
'michaelf34/infinity:0.0.75-trt-onnx','michaelf34/infinity:0.0.75']- 有多種 Infinity 映像可支援不同後端。你應考慮哪些映像最適合你的硬件/模型/設定。
INFINITY_COMPILE是否要使用torch.compile(),請參閲文件INFINITY_BETTERTRANSFORMER是否要讓 torch 使用Better Transformer
K6
K6 很實用,因為它可預先配置 VU,避免一些隱蔽的錯誤。它在發送請求方面相當靈活,而我決定採用一種特定方式。
執行 k6 實驗時,我主要想知道請求的吞吐量和平均延遲,並對所選負載測試參數作幾項合理性檢查。我也想進行掃描,即跑多次實驗。
我使用 shared-iterations 執行器(文件),即 K6 會在各個 VU 之間分配迭代。k6 執行完所有迭代後,測試便會結束。這讓我可以設定合理的逾時時間,同時發送足夠請求,對掃描中各項負載測試參數的選擇有相當把握。與其他執行器相比,這種方式讓我確信自己正模擬每個 VU 盡可能努力工作的用戶端,從而找出最便宜的選項。
我會發送 10_000 個請求†,並把每次實驗時間上限定為 1 min。因此,如果 1 分鐘內未能完成 10_000 個請求,該次實驗便會結束。
export const options = {
scenarios: {
shared_load_test: {
executor: 'shared-iterations',
vus: {{ pre_allocated_vus }},
iterations: 10000,
maxDuration: '1m',
},
},
};
統計數據
- P95†† 和平均延遲
- 吞吐量
合理性檢查
- 準確率(只適用於分類)
- 測試時間
- 成功請求
- 格式驗證
† 視覺嵌入的吞吐量低,而且圖像體積較大,所以我採用較少的最大請求數目。
†† P95 表示 95% 的請求會在此時間內完成,代表大部分用戶會遇到的最差延遲。
流程編排
你可以在此找到整合最佳化流程的 3 個 Notebook:
主要目的是定義實驗、以正確參數啟動正確的 Inference Endpoint,並以正確參數啟動 k6 來測試端點。
我作了幾項設計選擇,你或許也可以想一想是否適合自己:
- 我會先以指數方式增加 VU 數目,再用二分搜尋找出最佳值
- 我不會把結果視為完全可重現
- 多次執行同一測試,結果會略有不同
- 我把改善門檻設為 2%,以決定是否繼續搜尋
分類
引言
文字分類在很多大規模場景中都有不同用途,例如電郵過濾、預訓練資料集中的有害內容偵測等。經典的早期架構是 BERT,之後很快便出現許多其他架構。請注意,與流行的解碼器模型不同,使用這些模型前必須先針對你的任務進行微調。我認為目前以下架構†最值得留意:
- DistilBERT
- 任務效能良好,工程效能出色
- 它在 OG BERT 基礎上作出了一些架構改動,而且無法透過 TEI 作分類
- DeBERTa-v3
- 任務效能出色
- 工程效能††很慢,因為其獨特的注意力機制難以最佳化
- ModernBERT
- 使用 Sequence Packing 和 Flash-Attention-2
- 任務效能及工程效能††均出色
† 請注意,這些模型通常需要先在你的資料上微調,才能有良好表現
†† 我用「工程效能」指預期的延遲/吞吐量
實驗
| 類別 | 數值 |
|---|---|
| 模型 | lxyuan/distilbert-base-multilingual-cased-sentiments-student |
| 模型架構 | DistilBERT |
| 資料 | tyqiangz/multilingual-sentiments(text 欄)平均 100 個 token(最少 50 個),涵蓋多種語言 |
| 硬件 | nvidia-L4($0.8/hr) nvidia-t4($0.5/hr) |
| Infinity 映像 | trt-onnx 對比 default |
batch_size |
[16, 32, 64, 128, 256, 512, 1024] |
vus |
32+ |
我選擇以 DistilBERT 為重點,因為它是很多應用都適用的輕量型方案。我比較了 2 款 GPU:nvidia-t4 和 nvidia-l4,以及 2 款 Infinity Docker 映像。
結果
你可以在此以互動形式查看結果,或在下方「分析」部分嵌入的 Space 查看。以下是我執行的實驗中成本最低的設定:
| 類別 | 最佳值 |
|---|---|
| 處理 10 億筆輸入的成本 | $253.82 |
| 硬件類型 | nvidia-L4($0.8/hr) |
| Infinity 映像 | default |
batch_size |
64 |
vus |
448 |
嵌入
引言
文字嵌入泛指把文字輸入投射至語義空間的任務;在這個空間中,距離接近的點代表意思相似,距離較遠的點則代表意思不同(如下例)。RAG 大量使用這項技術,也是 AI 搜尋的重要一環(有些人是它的愛好者)。
有大量相容的架構;你可以在 MTEB 排行榜查看效能最佳的模型。
實驗
自 2020 年 DeBERTa 推出後,ModernBERT 是最令人期待的編碼器更新。它把所有咳現代技巧都加入舊而熟悉的架構中。它很適合用作實驗模型,因為相較其他架構,它仍未經充分探索,而且潛力更大。它在速度和效能方面有多項改進;對用戶來説,最值得留意的可能是 8k 上下文視窗。若想深入瞭解,請參閲這篇網誌。
請注意,由於運算能力要求,Flash Attention 2 只適用於較新的 GPU,因此我選擇跳過 T4,改用 L4。對於高負載類別,H100 在這裏也會很合適。
| 類別 | 數值 |
|---|---|
| 模型 | Alibaba-NLP/gte-modernbert-base |
| 模型架構 | ModernBERT |
| 資料 | sentence-transformers/trivia-qa-triplet(positive 欄),平均 144 個 token,標準差為 14。 |
| 硬件 | nvidia-L4($0.8/hr) |
| Infinity 映像 | default |
batch_size |
[16, 32, 64, 128, 256, 512, 1024] |
vus |
32+ |
結果
你可以在此以互動形式查看結果。以下是我執行的實驗中成本最低的設定:
| 類別 | 最佳值 |
|---|---|
| 處理 10 億筆輸入的成本 | $409.44 |
| 硬件類型 | nvidia-L4($0.8/hr) |
| Infinity 映像 | default |
batch_size |
32 |
vus |
256 |
視覺嵌入
引言
ColQwen2 是視覺檢索器,以 Qwen2-VL-2B-Instruct 為基礎,並使用 ColBERT 風格的文字及圖像多向量表示。與上述編碼器相比,它的架構複雜得多。
電商搜尋、多模態推薦、企業多模態 RAG 等多種用途,都可能受惠於大規模採用這項技術。
ColBERT 風格與前述嵌入用途不同:它會把輸入拆成多個 token,並為每個 token 回傳一個向量,而不是為整個輸入只回傳 1 個向量。Jina AI 在此處提供了出色的教學。這種方式可帶來更佳的語義編碼及檢索效果,但速度較慢,成本也較高。
我很期待這次實驗,因為它會探討 2 個較少人熟悉的概念:視覺嵌入和 ColBERT 風格嵌入†。關於 ColQwen2/VLM,有幾點值得注意:
- 2B 比本文討論的其他模型大約大 15 倍
- ColQwen2 的架構複雜,包含多個模型,其中包括比編碼器更慢的解碼器
- 圖像很容易佔用大量 token
- API 成本:
- 透過 API 傳送圖像比傳送文字慢。
- 如果你使用雲端服務,還會遇到更高的輸出流量費用
† 如果你覺得這個題目新鮮有趣,請參閲這篇更深入的網誌。
實驗
我想試用像 nvidia-l4 這樣較小而較新的 GPU,因為它應該容得下 2B 參數模型,而且價格低,應該也容易擴展。與另一個嵌入模型一樣,我會調整 batch_size 和 vus。
| 類別 | 數值 |
|---|---|
| 模型 | vidore/colqwen2-v1.0-merged |
| 模型架構 | ColQwen2 |
| 資料 | openbmb/RLAIF-V-Dataset(image 欄),大部分圖像約為 600x400,檔案大小 4MB |
| 硬件 | nvidia-L4($0.8/hr) |
| Infinity 映像 | default |
batch_size |
[1, 2, 4, 8, 16] |
vus |
1+ |
結果
你可以在此以互動形式查看結果。以下是我執行的實驗中成本最低的設定:
| 類別 | 最佳值 |
|---|---|
| 處理 10 億筆輸入的成本 | $44,496.51 |
| 硬件類型 | nvidia-l4 |
| Infinity 映像 | default |
batch_size |
4 |
vus |
4 |
分析
請到這個 Space 查看詳細分析:derek-thomas/classification-analysis(要查看圖表,請隱藏側邊欄並向下捲動):
結論
每日處理 10 億以上的分類或嵌入並非易事,但只要採用合適的最佳化方法,就可以兼顧成本效益。從我的實驗中可見幾個主要模式:
- 硬件很重要:NVIDIA L4($0.80/hr)一直能在效能與成本之間取得最佳平衡,因此在現代工作負載中是比 T4 更理想的選擇。CPU 在大規模情況下缺乏競爭力。
- 批次大小是關鍵:批次大小的最佳值因任務而異,但整體而言,在不觸及 GPU 記憶體和頻寬上限的前提下,盡量提高批次大小是提升效率的關鍵。分類的最佳批次大小是 64;嵌入則是 32。
- 並行處理是關鍵:找出合適的虛擬使用者(VU)數目,確保 GPU 得以充分使用。先按指數方式增加數目,再進行二分搜尋,有助有效收斂至最佳 VU 設定。
- ColBERT 風格的視覺嵌入成本高昂:每 10 億個嵌入的成本超過 $44,000;以圖像為基礎的檢索成本,比文字任務高兩個數量級。
你的資料、硬件、模型等或會不同,但希望你能從本文提供的方法和程式碼中有所收穫。取得估算的最佳方法,是在自己的任務上使用自己的設定執行。一起探索吧!
特別感謝 andrewrreed/auto-bench 帶來靈感,以及 Michael Feil 建立了 Infinity。也感謝 Pedro Cuenca、Erik Kaunismaki 和 Tom Aarsen 協助審閲。
參考資料
- https://towardsdatascience.com/exploring-the-power-of-embeddings-in-machine-learning-18a601238d6b
- https://yellow-apartment-148.notion.site/AI-Search-The-Bitter-er-Lesson-44c11acd27294f4495c3de778cd09c8d
- https://jina.ai/news/what-is-colbert-and-late-interaction-and-why-they-matter-in-search/
附錄
合理性檢查
複雜度提高時,合理性檢查也應相應擴展。由於我們使用 subprocess 和 jinja 再呼叫 k6,我覺得自己離實際測試很遠,所以加入了幾項檢查。
任務效能
任務效能檢查的目標,是確保特定設定下的表現符合預期。不同任務對任務效能的定義各異。分類方面我選擇準確率;嵌入方面則略過這項指標。我們也可以查看平均相似度等類似指標。ColBERT 風格的情況則稍為複雜,因為每個請求會取得多個向量。
即使 58% 對某些 3 類分類任務而言不算差,這個數字本身也無關緊要。重點是確保任務效能符合預期。若出現顯著變化(上升或下降),就應提高警覺並瞭解原因。
以下是分類用途的一個好例子:分佈非常集中,只有一個離羣值。進一步調查後發現,這個離羣值是因為發送的請求數量太少。

你可以在 nbviewer 查看互動式結果圖表:
失敗請求檢查
Inference Endpoints 設有佇列處理額外請求,因此預期不會出現失敗請求。這適用於全部 3 種用途:分類、嵌入和視覺嵌入。
sum(df.total_requests - df.successful_requests) 可用來查看是否有任何失敗請求。
單調遞增序列:VU 數目是否已足夠?
如上所述,我們採用先按指數增加、再用二分搜尋找出最佳 VU 數目的策略。但怎樣知道已測試足夠多的 VU?如果提高 VU 數目後,吞吐量仍然增加呢?若是如此,VU 數目與吞吐量之間會呈單調遞增關係,我們便需要再跑更多測試。
你可以在 nbviewer 查看互動式結果圖表:
嵌入大小檢查
提出嵌入請求時,理應每次都取得模型類型所指定大小的嵌入。你可以在以下位置查看檢查:
ColBERT 嵌入數量
我們在視覺嵌入中使用 ColBERT 風格模型,因此每張圖像應會產生多個向量。瞭解這些數值的分佈很有意思,有助檢查異常情況並認識資料。為此,我儲存了 min_num_vectors、avg_num_vectors 和 max_num_vectors,並記錄在實驗中。
3 個數值都應有一定差異,但不同實驗中 min_num_vectors 和 max_num_vectors 的值相同也沒有問題。
你可以在此查看檢查:
成本分析
以下是簡短説明;你也可以到這個 Space 體驗更詳盡的互動內容:derek-thomas/classification-analysis
按成本節省選出最佳映像
分類用途方面,我們比較了 2 款不同的 Infinity 映像:default 和 trt-onnx。哪一款較好?最好在相同設定(GPU、batch_size、VU)下比較。我們只需按這些設定將結果分組,再查看哪一種成本較低即可。
成本與延遲
這是一張關鍵圖表,因為許多用途都有用戶可接受的延遲上限。通常容許延遲增加,就能提高吞吐量,形成取捨關係。我在此查看的所有用途都是如此。繪製 Pareto 曲線有助呈現取捨的位置。
成本與 VU 數目及批次大小的等高線圖
最後,重要的是建立直覺,理解調整不同設定時發生甚麼事。我們會否得到理想化的漂亮圖表?會否看到意料之外的梯度?某個區域是否需要進一步探索?設定方面會否有問題,例如環境未有隔離?這些都是值得思考、但有時不容易回答的問題。
等高線圖會在由 3 個維度定義的空間中,透過內插中間點建立。以下幾種現象值得了解:
- 顏色漸變:顯示成本水平,顏色較深代表成本較高,顏色較淺則代表成本較低。
- 等高線:代表成本水平,有助找出具成本效益的區域。
- 密集羣組(等高線)表示批次大小或 VU 數目略作調整,成本便會快速變化。
分類用途的複雜等高線圖中,可以看到一些有趣結果:
以下是視覺嵌入任務中清晰得多的圖:
Infinity 用戶端
實際使用時,請考慮使用 infinity client。基準測試時,使用 k6 瞭解可能的效能是良好做法。實際使用時,則應採用官方程式庫或類似工具,原因包括:
- Base64 可讓 payload 更小(速度更快、成本更低)
- 使用受維護的程式庫可令開發更整潔、更容易
- 內置相容性有助加快開發
Infinity 後端也可選擇相容 OpenAI 程式庫。
例如,你可以像這樣存取視覺嵌入:
pip install infinity_client && python -c "from infinity_client.vision_client import InfinityVisionAPI"
其他心得
- 我曾嘗試在同一張 GPU 上部署多個模型,但即使仍有剩餘 VRAM 和 GPU 運算能力,效能也沒有顯著改善;這可能是因為處理大型批次時的頻寬成本所致。
- 我一直覺得要讓 K6 處理圖像很麻煩,直到我瞭解到 SharedArrays。
- 圖像資料可能非常難以處理
- 產生指令碼時,除錯 K6 的關鍵是手動執行 K6 並查看輸出。
未來改進方向
- 讓測試並行執行,同時管理全域
VUs上限,將可節省不少時間 - 查看更多不同類型的資料集,並觀察它們對數字有何影響
來源:Hugging Face Blog · huggingface.co



