BLOOM 推理優化實錄:延遲降低 5x、吞吐量提升 50x
Optimization story: Bloom inference
Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程,稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後,延遲由 300ms/token 降至 91ms/token,吞吐量升至 10RPS;其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。
文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨,呈現大型模型推理優化中如何平衡延遲與吞吐量。
本文將帶你瞭解我們如何從幕後打造一部高效推論伺服器,為 bloom 提供運算能力。 inference server that powers https://huggingface.co/bigscience/bloom.
數星期內,我們將延遲降低 5 倍(吞吐量增加 50 倍)。我們想分享為了達成這些速度提升,經歷過的各種難關和重大成果。
不同階段有很多人參與,因此本文未能涵蓋所有內容。也請多多包涵,部分內容可能已過時,甚至完全錯誤,因為我們仍在學習如何最佳化超大型模型,而新硬件功能和相關資訊亦不斷推出。
如果沒有談及或描述不當你最喜歡的最佳化方法,請見諒,歡迎告訴我們;我們很樂意試用新方法並修正錯誤。
建立 BLOOM
這點不言而喻:若一開始無法使用大型模型,就沒有真正理由去最佳化它的推論。這是許多人共同投入、令人驚嘆的成果。
為了在訓練時盡量善用 GPU,我們探討了多種方案,最後選用 Megatron-Deepspeed 訓練最終模型。這代表原有程式碼未必能直接與 transformers 程式庫相容。
移植至 transformers
由於原始訓練程式碼的緣故,我們決定做一件常做的事:把現有模型移植到 transformers。目標是從訓練程式碼抽出相關部分,並在 transformers 中實作。這項工作由 Younes 負責。這絕非小工程,花了近一個月及 200 次提交才完成。
有幾點值得注意,稍後還會再談:
我們需要較小的模型:bigscience/bigscience-small-testing 和 bigscience/bloom-560m。這點極為重要,因為模型較小,使用時所有事情都會更快。
首先,你必須放棄逐位元完全重現 logits 的希望。PyTorch 版本可能更改核心並引入細微差異,不同硬件亦可能因架構不同而產生不同結果(考慮成本,你大概也不想一直在 A100 GPU 上開發)。
為所有模型建立良好而嚴格的測試套件非常重要
我們發現最好的測試方法,是固定一組提示。提示內容已知,完成內容亦已知,而且要具確定性,因此採用 greedy decoding。如果兩次生成結果完全相同,便可基本忽略 logits 的細微差異。只要出現偏移,就必須調查:可能是程式沒有按預期運作,亦可能是輸入已超出模型適用範圍,令模型更容易受雜訊影響。使用多個夠長的提示,便較不容易讓所有提示偶然觸發此問題。提示愈多、愈長愈好。
第一款模型(small-testing)和大型 bloom 一樣使用 bfloat16,理應非常相似,但它訓練不足或效能欠佳,輸出波動很大,令生成測試出現問題。第二款模型較穩定,但以 float16 而非 bfloat16 訓練及儲存,兩者之間因此多了一個誤差來源。
公平地説,在推論模式下,bfloat16 -> float16 的轉換似乎沒有問題(bfloat16 主要用來處理大型梯度,而推論時並不存在這些梯度)。
這個階段發現並實作了一項重要取捨。由於 bloom 在分散式環境訓練,部分程式會在線性層進行 Tensor 平行處理,因此在單一 GPU 上執行相同運算,結果會有所不同。我們花了一段時間才找出原因,最後必須在 100% 相容但速度慢很多,與生成結果略有差異但速度快很多、程式碼亦簡單得多之間取捨。我們選擇提供可設定的旗標。
首次推論(PP + Accelerate)
Note: Pipeline Parallelism (PP) means in this context that each GPU will own
some layers so each GPU will work on a given chunk of data before handing
it off to the next GPU.
現在我們有一個可用、乾淨的 transformers 版本,便開始嘗試執行。
Bloom 模型大小為 352GB(bf16 下 176B 參數),至少需要同等容量的 GPU RAM 才能載入。我們曾短暫嘗試在較小型機器上卸載至 CPU,但推論速度慢了數個數量級,因此放棄此方案。
接著,我們想直接使用 pipeline。這樣可實際試用自家產品,而 API 一直以來亦在底層使用這套工具。
不過,pipelines 並不支援分散式處理(這也不是它們的目標)。簡短討論可行方案後,我們決定使用 accelerate 新推出的 device_map="auto" 管理模型分片。我們修正了幾個錯誤,亦微調 transformers 程式碼,協助 accelerate 正確執行。
它會將 transformers 的不同層分拆,分配部分模型給各個 GPU。GPU0 先運算,再交給 GPU1,如此類推。
最後,在上面加上一個小型 HTTP 伺服器後,我們便能開始提供 bloom(大型模型)服務了!!
起點
不過,我們甚至還未開始討論最佳化!
實際上,整個流程相當脆弱。最佳化期間會修改底層程式碼,因此額外確認沒有以任何方式破壞模型非常重要,而且比你想像中容易做到。
現在進入最佳化的第一步:開始量度並持續量度效能。因此要先想清楚我們重視甚麼。對支援多種選項的開放式推論伺服器,我們預期使用者會以不同參數發送大量查詢,而我們關心的是:
可同時服務多少使用者(吞吐量) 一般使用者需要等多久才獲得服務(延遲)
我們使用 locust 編寫了以下測試指令碼:
from locust import HttpUser, between, task
from random import randrange, random
class QuickstartUser(HttpUser):
wait_time = between(1, 5)
@task
def bloom_small(self):
sentence = "Translate to chinese. EN: I like soup. CN: "
self.client.post(
"/generate",
json={
"inputs": sentence[: randrange(1, len(sentence))],
"parameters": {"max_new_tokens": 20, "seed": random()},
},
)
@task
def bloom_small(self):
sentence = "Translate to chinese. EN: I like soup. CN: "
self.client.post(
"/generate",
json={
"inputs": sentence[: randrange(1, len(sentence))],
"parameters": {
"max_new_tokens": 20,
"do_sample": True,
"top_p": 0.9,
"seed": random(),
},
},
)
**注意:這並非最佳或唯一的負載測試,但我們總會先執行,以便公平比較不同方案。在此基準測試取得最佳成績,並不代表方案就是最佳。還須配合更複雜的情境,以及實際環境中的效能。 **
我們希望觀察不同實作的升載過程,並確認伺服器在過載時能正確觸發斷路器。斷路器是指伺服器可迅速回覆,表示因同時使用人數過多而無法處理查詢。這對避免伺服器因負載過高而崩潰至關重要。
此基準測試的初始效能如下(全程使用的機器:GCP 上 16xA100 40Go):
每秒請求數:0.3(吞吐量) 延遲:350ms/token(延遲)
這些數字不太理想。開始動手前,先估算一下理論上可達到的最佳效能。
運算量公式為 24Bsh^2 + 4𝐵s^2h24Bsh^2 + 4𝐵s^2h,其中 B 是批次大小、s 是序列長度、h 是隱藏維度。
計算後,單次 forward pass 需要 17 TFlop。A100 的規格標示單卡為 312 TFLOPS。因此單張 GPU 理論上可達 17 / 312 = 54ms/token。我們使用 16 張卡,即整部機器約 3ms/token。上述數字只可粗略參考,實際上不可能達到規格數字,真實效能亦很少完全符合硬件規格。若運算不是瓶頸,最低延遲亦未必受此限制。瞭解與目標相差多遠仍是好習慣;目前差了 2 個數量級,距離相當遠。這個估算假設所有 FLOPs 都用於降低延遲,即同一時間只處理一個請求(雖然你已充分運用機器,也沒有其他事情可做,但更容易透過批次處理提高吞吐量,代價是容許較高延遲)。
探索多種路線
Note: Tensor Parallelism (TP) means in this context that each GPU will own
part of the weights, so ALL gpus are active all the time and do less work.
Usually this comes with a very slight overhead that some work is duplicated
and more importantly that the GPUs regularly have to communicate to each other
their results to continue the computation
現在我們清楚瞭解現況,是時候開始工作。
我們根據團隊成員及各自的知識,嘗試了許多不同方法。
每項嘗試都值得另寫一篇網誌;我會簡單列出嘗試過的方法、分享幾項最終心得,並詳細介紹現行伺服器實際採用的部分。從 Pipeline Parallelism(PP)轉為 Tensor Parallelism(TP),是對延遲很有影響的一項改動。每張 GPU 負責部分參數,所有 GPU 同時運算,因此延遲理應大幅降低;代價是通訊開銷,因為各 GPU 須定期交換運算結果。
要留意,我們嘗試的方案範圍很廣,目的是深入瞭解各種工具,以及它們日後可如何派上用場。
將程式移植至 JAX/Flax,並在 TPU 上執行:
- 選擇平行處理類型預期會較容易,因此測試 TP 亦應更簡單。 這是 Jax 設計的優點之一。
- 硬件選擇較受限制;TPU 的效能可能勝過 GPU,但供應商選擇較少。
- 缺點是需要再移植一次,不過若能納入我們的程式庫,始終是好事。
結果:
- 移植並不容易,部分條件和核心難以準確重現,但仍在可處理範圍內。
- 移植完成後,平行處理相當容易實現。 Jax 的説法果然有道理。
- Ray/與 TPU 工作節點通訊令我們十分頭痛。我們不確定是工具、網絡,還是自己知識不足所致,但實驗及工作進度比預期慢很多。有次啟動一項只需 5 分鐘的實驗,等了 5 分鐘毫無動靜,10 分鐘後仍然沒有結果;原來有個工作節點離線/沒有回應。我們只好手動登入、查明狀況、修正問題、重啟工作,再重新啟動實驗,結果白白浪費半小時。重複多次後,損失的時間很快就累積成好幾天。這未必是對所用工具的批評,但我們的主觀體驗確實如此。
- 無法控制編譯 成功執行後,我們試了多種設定,想找出最適合預期推論用途的組合,卻發現很難單靠設定預測延遲和吞吐量。例如,batch_size=1(每個請求/使用者各自處理)時,吞吐量為 0.3 rps,延遲為 15ms/token,表現很好,但整體吞吐量與舊程式碼相差不大(這是另一部機器,規格迥異,請勿直接與本文其他數字比較)。於是我們加入批次處理;BS=2 時延遲增加 5 倍,吞吐量卻只增至 2 倍。進一步調查發現,batch_size 最大到 16 時,每種 batch_size 的延遲模式都相同。因此我們本可用 5 倍延遲換取 16 倍吞吐量。還算不錯,但從數字看來,我們更希望能作更精細的控制。目標數字參考 100ms、1s、10s、1mn法則。
使用 ONNX/TRT 或其他編譯方案
- 理論上它們會負責大部分最佳化工作
- 缺點:平行處理通常須手動處理。
結果:
- 結果發現,為了追蹤/JIT 編譯/匯出,我們需要重整部分 PyTorch,讓它更容易與純 PyTorch 方案融合。整體而言,我們發現留在 PyTorch 生態系統內,便能實現大部分理想的最佳化,既保留彈性,又無需付出太多編碼成本。還要注意,程式在 GPU 上執行,而文字生成會進行多次 forward pass,因此張量必須留在 GPU 上。有時很難把張量交給其他程式庫、取回結果、計算 logits(例如 argmax 或取樣),再送回去。若把迴圈交由外部程式庫執行,就會像 Jax 一樣失去彈性,因此不適合我們的用途。
DeepSpeed
- 這項技術支援模型訓練,用於推論似乎也很合理。
- 缺點:此前從未用於或為推論作準備。
結果:
- 我們很快取得令人印象深刻的結果,大致與目前使用的上一代方案相同。
- 我們必須在 DeepSpeed 上建立網絡伺服器(處理並行請求),而 DeepSpeed 本身亦有多個程序(每張 GPU 一個)。幸好有出色的程式庫 Mii。它未能完全符合我們極度靈活的目標,但若現在重新開始,我們大概會以它為基礎開發。(現行方案稍後再談。)
- 我們遇到的最大問題是 DeepSpeed 穩定性不足。在 CUDA 11.4 上執行時出現問題,因為程式碼是按 11.6 編譯;此外,長期無法徹底解決的問題是核心經常崩潰(Cuda 非法存取、維度不符等)。我們修正了不少問題,仍無法確保網絡伺服器在壓力下穩定運作。儘管如此,仍要感謝協助我們的 Microsoft 團隊;我們進行了很好的交流,增進了對問題的理解,也獲得了後續工作的寶貴見解。
- 另一個痛點是團隊大多在歐洲,而 Microsoft 在加州,時差令合作變得困難,我們大概因此損失不少時間。這與技術無關,但值得指出,合作的組織安排同樣非常重要。
- 還要注意,DeepSpeed 依賴
transformers注入最佳化;而我們幾乎一直在更新程式碼,令 DeepSpeed 團隊難以讓功能持續支援我們的main分支。抱歉造成困難,這大概就是所謂的 bleeding edge(前沿技術)。
網絡伺服器構想
- 我們準備提供免費伺服器,使用者可能提交長文、短文、要求生成少量 tokens 或整篇 recipe,而且各自使用不同參數,因此必須處理這些情況。
結果:
- 我們把整個實作改用
Rust,並採用出色的繫結 tch-rs。此舉並非為了提升效能,而是希望更精細控制平行處理(執行緒/程序)、網絡伺服器並行度及 PyTorch 的並行度。Python 因 GIL 而難以處理底層細節。 - 結果發現,大部分問題都來自移植;完成後,實驗過程便非常順利。我們亦發現,只要充分控制迴圈,即使面對屬性各異、種類繁多的請求,也能為所有人提供出色效能。有興趣可看程式碼,但它沒有支援服務或完善文件。
- 這套方案在生產環境使用了數星期,因為它對平行處理的限制較少,能更有效運用 GPU(例如 GPU0 處理請求 1 時,GPU1 同時處理請求 0)。 延遲維持不變,吞吐量由 0.3 RPS 升至約 2.5 RPS。理想情況是吞吐量提高 16 倍,但本文數字來自實際工作負載量度,這成績已不算差。
純 PyTorch
- 直接修改現有程式碼以加快速度,例如移除
reshape等運算、改用最佳化程度更高的核心等等。 - 缺點:我們必須自行編寫 TP,而且程式碼大致上仍須符合現有程式庫的架構。
結果
- 下一節。
最終方案:PyTorch + TP + 1 個自訂核心 + torch.jit.script
編寫更高效的 PyTorch
清單上的第一項,是移除初版中的多餘操作。有些問題只要檢視程式碼,找出明顯缺陷便能看出:
- Bloom 使用 Alibi 加入位置嵌入,但原本在太多地方重複計算;我們可只計算一次,並更有效率地處理。
速度提升 10 倍,最新版亦加入 padding! 這一步只計算一次,因此實際速度並不重要;不過,整體而言,減少操作數量和張量建立次數是正確方向。
開始分析效能後,其他部分會更清楚。我們亦大量使用 tensorboard 擴充套件。
它會產生類似以下圖片,讓我們瞭解狀況:
Attention 佔用大量時間。請注意,這是 CPU 視圖,長條不代表時間長,而是表示 CPU 正等待上一個步驟的 GPU 結果。
可以看到多次 `cat` 操作出現在 `baddbmm` 之前。
移除大量 reshape/transpose 後,我們發現: - Attention 是主要熱點(意料之中,但最好還是確認)。 - Attention 中不少核心其實是在大量 reshape 後進行資料複製。 - 重新處理權重本身和 past 後,可以移除這些 reshape。 這是破壞性變更,但確實大幅提升效能!
支援 TP
移除大部分容易處理的問題後,PP 模式延遲由約 350ms/token 降至 300ms/token。延遲減少 15%;實際提升可能更多,但初期量度不夠嚴謹,因此我們採用這個數字。
接著我們提供 TP 實作,結果比預期快得多;一位(有經驗的)開發人員只花半天便完成。成果在此處。我們亦重用了其他專案的程式碼,獲益良多。
延遲直接由 300ms/token 降至 91ms/token,使用體驗大幅改善。簡單的 20 tokens 請求由 6 秒縮短至 2 秒,體驗從「很慢」變成稍有延遲。
吞吐量亦大幅提升至 10RPS。原因是 batch_size=1 的查詢與 batch_size=32 耗時相同,因此此時提高吞吐量基本上不會增加延遲成本。
容易着手的改進
有了 TP 實作後,我們可再次分析效能並進行最佳化。這項改動影響重大,因此必須重新從頭開始。
首先,同步處理(ncclAllReduce)開始佔據相當大的負載比例,這並不意外,因為同步正是它的用途,而且確實需要時間。我們沒有嘗試最佳化,因為它已使用 nccl,但仍可能有改善空間;我們原以為很難做得更好。
其次,Gelu 運算子會啟動大量逐元素核心,整體佔用的運算資源比我們預期更多。
我們作出以下改動:
def bloom_gelu_forward(x):
return x * 0.5 * (1.0 + torch.tanh(0.79788456 * x * (1 + 0.044715 * x * x)))
改為
@torch.jit.script
def bloom_gelu_forward(x):
return x * 0.5 * (1.0 + torch.tanh(0.79788456 * x * (1 + 0.044715 * x * x)))
這樣便把多個小型逐元素核心(以及因此產生的張量複製)合併為單一核心操作!
延遲即時改善 10%,由 91ms/token 降至 81ms/token!
但請留意,這不是可隨處套用的魔法黑盒;核心融合不一定會發生,而原有操作亦可能已極有效率。
我們發現以下情況效果不錯:
- 有大量小型/逐元素操作
- 有難以移除的 reshape 或資料複製熱點
- 操作能夠融合時。
重大失誤
測試期間有幾次,我們持續量到 Rust 伺服器的延遲比 Python 低 25%。這相當奇怪,但既然結果持續出現,而移除核心又能提升速度,我們便以為移除 Python 開銷或許有助提升效能。
我們花了 3 天重寫 torch.distributed 所需部分,讓它能在 Rust 環境運行,並使用 nccl-rs。版本終於能運作,但生成結果與 Python 版本不符。調查問題時,我們才發現……忘了在 PyTorch 的量度中移除 profiler……
這就是那次重大失誤:移除 profiler 後,25% 的差距便消失,兩種程式碼速度完全一樣。這才符合我們最初的預期:Python 不應造成效能損失,因為大部分工作其實由 torch 的 C++ 程式碼執行。最後,浪費 3 天也不是世界末日,這番工作日後或許派得上用場,但仍是相當糟糕的失誤。最佳化時常會因量度錯誤或欠代表性的數據而令人失望,甚至損害整體產品。因此,把工作分成小步驟,並盡早確認預期結果,有助控制風險。
另一個須格外小心之處,是初始 forward pass(沒有 past)與後續 forward pass(有 past)的差異。若最佳化第一個步驟,很可能令後續步驟變慢,而後者更重要,亦佔大部分執行時間。另一個常見問題是量度 CPU 時間,而非實際 CUDA 時間;執行測試時必須呼叫 torch.cuda.synchronize(),確保核心已完成。
自訂核心
到目前為止,我們沒有在 PyTorch 以外編寫自訂程式碼,效能已接近 DeepSpeed!相當不錯,而且無須犧牲執行時批次大小的彈性。
不過,從 DeepSpeed 的經驗汲取教訓後,我們想編寫自訂核心,在 torch.jit.script 無法融合的熱點路徑中合併幾項操作,主要是以下兩行:
attn_weights = attention_scores.masked_fill_(attention_mask, torch.finfo(attention_scores.dtype).min)
attention_probs = F.softmax(attn_weights, dim=-1, dtype=torch.float32).to(input_dtype)
第一個 masked fill 會建立新張量,但在這裡只用來告知 softmax 忽略那些數值。softmax 亦須以 float32 計算以保持穩定;使用自訂核心時,可限制轉為高精度的範圍,只處理實際需要加總和累積的部分。
程式碼在此處。請留意,我們只需針對一種 GPU 架構,因此可以專注處理;而且我們(目前)尚非編寫核心的專家,或許還有更好的方法。
這個自訂核心再把延遲提升 10%,由 81ms/token 降至 71ms/token,同時保留彈性。
之後我們亦嘗試融合更多運算子、移除其他 reshape,或把它們移到不同位置,但都未能帶來足夠顯著的提升,因此沒有納入最終版本。
網絡伺服器部分
與 Rust 方案一樣,我們必須讓使用不同參數的請求能夠批次處理。由於使用 PyTorch,我們幾乎可完全控制流程。
但在 Python 環境下,torch.distributed 必須在多個程序而非執行緒中運作,因此程序間通訊稍為困難。最後,我們選擇透過 Redis pub/sub 傳送原始字串,一次把請求分發到所有程序。由於各自在不同程序中,這種做法比傳送較大的張量等資料更簡單。
接著我們必須停用 generate,因為它會對批次中所有成員套用相同參數,而我們需要為每個成員套用不同參數。幸好可重用較低層的元件,例如 LogitsProcessor,省下不少工夫。
因此我們重新實作 generate 函數,讓它接受參數清單,並分別套用至批次內各個成員。
最終使用體驗另一個重要因素是延遲。由於不同請求的參數組合各異,我們可能會遇到
1 個請求要生成 20 個 tokens,另一個要 250 個。延遲為 75ms/token,因此前者需時 1.5 秒,後者需時 18 秒。若整批一直等到全部完成,等待 18 秒的使用者會以為速度只有 900ms/token,相當慢!
PyTorch 的彈性極高,我們可在生成首個 20 個 tokens 後,立即從批次抽出第一個請求,並在預期的 1.5 秒內回覆該使用者!這樣亦可省下相當於 230 個 tokens 的運算。
所以要取得最佳延遲,彈性確實重要。
最後補充及大膽構想
最佳化永無止境,和其他專案一樣,通常 20% 的工作可帶來 80% 的成果。後來,我們開始採用小型測試策略,估算構想可能帶來的效益;若結果不顯著,就放棄該構想。花 1 天換取 10% 提升值得;花 2 星期換取 10 倍提升也值得;但花 2 星期只換取 10% 提升,就不太吸引。
你試過……?
以下是我們知道但因不同原因尚未採用的方法。可能是不適合用途、工作量太大、預期收益不足,亦可能只是選擇太多而無暇嘗試,最後沒有特別原因便擱置。以下並無特定次序:
- Cuda graphs
- nvFuser(這是
torch.jit.script背後使用的技術,所以我們確實有用到。) - FasterTransformer
- Nvidia 的 Triton
- XLA(Jax 也使用 xla!)
- torch.fx
- TensorRT
如果你喜歡的工具未有列出,或認為我們忽略了可能有用的重要方案,歡迎聯絡我們!
Flash attention
我們曾簡單研究整合 flash attention。它在首次 forward pass(沒有 past_key_values)表現極佳,但使用 past_key_values 時提升不大。由於需要調整以便把 alibi 張量納入計算,我們決定暫時不做(至少現階段如此)。
OpenAI Triton
Triton 是以 Python 編寫自訂核心的出色框架。我們想多加運用,但至今尚未做到;很想知道它是否比我們的 Cuda 核心效能更好。當時比較各個方案後,直接使用 Cuda 看來是達成目標最快捷的方法。
Padding 和 Reshape
如本文多次提及,每次複製張量都有成本;生產環境另一項隱藏成本是 padding。兩個長度差異很大的查詢同時到達時,必須補上虛擬 token,將它們填成相同長度,結果可能造成大量不必要的計算。更多資料。
理想情況下,我們可以完全不進行這些計算,亦不需要 reshape。Tensorflow 有 RaggedTensor 概念,Pytorch 則有 Nested tensors。兩者似乎都不及普通張量順暢,但或許能減少運算,這始終是好事。
理想世界中,整個推論流程都會以 CUDA 或純 GPU 實作撰寫。操作融合帶來的效能提升,令這個方向看來很吸引;但實際能提升多少,我們完全不知道。若熟悉 GPU 的朋友有構想,我們洗耳恭聽!
鳴謝
所有工作均由多位 HF 團隊成員合作完成,排名不分先後:@ThomasWang @stas @Nouamane @Suraj @Sanchit @Patrick @Younes @Sylvain @Jeff (Microsoft) @Reza 以及所有 BigScience 組織成員。
來源:Hugging Face Blog · huggingface.co