Meta 詳解 Prometheus 千兆瓦級超級叢集的建設歷程

隨着 Muse 系列基礎模型最近推出，我們希望帶你深入瞭解令這一切成真的基礎設施。
Prometheus 這個吉瓦級超級叢集的第一階段已經完成，我們正致力擴展至 ~1 million 個 GPU。
Prometheus 亦採用閉環液冷等技術，協助提升運作效率。

目前，Meta 正在俄亥俄州 New Albany 展開迄今最具雄心的 AI 基礎設施項目。Prometheus，我們的吉瓦級超級叢集，是我們基礎設施的重大進展，正用於訓練新一代基礎模型，為數十億人帶來全新的 AI 體驗。

兩年前，New Albany 是一個承載網絡流量的傳統資料中心場址。隨着硬件、網絡及建築設計的進步，我們重新規劃這個場址，令其成為前沿模型訓練計劃的所在地。我們分階段建設這個超級叢集。第一階段已經完成，並用於訓練我們的 Muse 基礎模型，包括 Muse Wonder 模型。這些全新的前沿模型在個人及專業代理式任務方面，表現達到業界頂尖水平。

大型訓練作業需要所有環節都以最佳狀態運作，才能維持效能；單一主機出現問題，就可能拖慢甚至停止整個作業，降低其「有效吞吐量」。透過着重提升系統的穩定性和可靠性，我們在 Muse Wonder 的預訓練作業中，將有效吞吐量提升至超過 85%，在強化學習 (RL) 作業中則提升至超過 90%。在這些訓練期間，整體實際時間平均中斷間隔 (MTBI) 達到 ~47k GPU 小時。此後，我們在整個機羣進一步推出多項改動，包括修正韌體，將 MTBI 提升至超過 54K GPU 小時；我們亦持續改善這項數據。

目前，我們正繼續擴展 Prometheus，以配合 Meta Superintelligence Labs 的下一代前沿模型需求。

Prometheus 超級叢集設於 Meta 位於俄亥俄州 New Albany 的資料中心內。

超級叢集：解鎖全新 AI 能力

目前，Prometheus 由數十萬個 GPU 組成，分佈於多座互相連接的建築物，包括傳統及經 AI 優化的資料中心建築，以及快速部署設施；各處透過數英里的光纖緊密互連，並作為單一機器運作。

這種運算能力讓我們能夠訓練規模更大、上下文視窗更長的模型，這在以往並不切實可行。全面投入運作後，Prometheus 將由約 1 million 個分散式 GPU 組成，全部同步運作。

多代 AI 硬件

Prometheus 目前部署了兩個 NVIDIA GPU 平台，第三個平台（基於 NVIDIA 的 Vera Rubin NVL72）即將推出。每個平台在效能和效率方面都實現了世代飛躍，並採用我們的 NVL72 機架架構，讓 72 個 GPU 在同一網絡架構內充當單一加速器。

Catalina：NVIDIA GB200

我們的首個平台 Catalina 採用 NVIDIA GB200 NVL72。我們部署 Ariel 版本，採用雙機架配置，每個機架配備 36 個 GPU，並透過 NVLink 互連，組成統一的 72-GPU 域。與 Grand Teton H100 相比，Catalina 的原始運算能力及記憶體容量均有所提升。它採用我們的 Open Rack V3 (ORv3) 高功率機架（HPR）架構；這項開放硬件設計已貢獻予 Open Compute Project (OCP)。

GB200 NVL72 的 Ariel 版本將每個 NVIDIA Blackwell GPU 配搭一個 NVIDIA Grace CPU 和 2x NVIDIA ConnectX-7 400G NIC，CPU 與 GPU 比例為 1:1，讓我們比業界其他廠商更早部署每個 GPU 具備 800G I/O 的配置。我們選擇 Ariel，是因為相較於 NVIDIA H100，GB200 NVL72 在幾乎所有其他方面均有提升：FLOPS、HBM 頻寬、向上擴展頻寬，以及向上擴展域的大小；但每個 GPU 的橫向擴展頻寬仍會維持在 400G。我們預計這種不平衡會影響效能，因此選擇了每個 GPU 提供 800G 橫向擴展頻寬的配置。這亦令區域隨時間擴展、並可使用 800G 橫向擴展後，配置規格更為一致。

Catalina GB200 NVL72 的特點：

72 個 NVIDIA Blackwell GPU，配備 13.4 TB HBM3e（每個 GPU 192 GB）。
FP8 訓練運算峯值達 720 PFLOPS（FP4 時為 1,440 PFLOPS）。
域內 NVLink 頻寬峯值達 130 TB/s。
峯值總記憶體頻寬為 576 TB/s。
兩機架組合的系統總功耗約為 120 kW。

Clemente：NVIDIA GB300 NVL72

我們的第二個平台 Clemente 採用 NVIDIA GB300 NVL72，在 GPU 和平台層面均較 Catalina 有所提升。GB300 將每個 GPU 的 HBM 容量提升 1.5 倍，由 192 GB 增至 288 GB；密集 FP4 吞吐量亦有相若幅度的提升，注意力（softmax）加速能力則約增至兩倍。在平台層面，橫向擴展不再像 GB200 NVL72 那樣成為瓶頸：NVIDIA ConnectX-8 SuperNIC 原生提供每個 GPU 800G 頻寬，因此我們早前在 Ariel 上部署的能力成為了基本配置。加上 GPU 與 CPU 比例為 2:1，Clemente 得以將完整的 72-GPU 域配置在單一機架內，簡化實體部署。Clemente 可採用我們的模組化空氣輔助液冷（AALC），亦可在新設計的數據中心使用設施液冷（FLC）。佈線減少，亦大幅提升了維修便利性。

Clemente GB300 NVL72 的特點：

72 個 NVIDIA Blackwell Ultra GPU，配備 20.7 TB HBM3e（每個 GPU 288 GB，比 GB200 多 50%）。
峯值 FP4 運算能力超過 1 exaFLOP。
NVLink 頻寬峯值達 130 TB/s（每個 GPU 的雙向頻寬為 1.8 TB/s）。
機架功耗約為 135 kW。
效能提升 5-10%，優於 GB200 NVL72。

連接超級叢集

在傳統網絡服務中，數據中心網絡會在不同服務之間傳送請求和回應，而這些服務的執行個體通常不需要高頻寬、高效能，也不需要多部伺服器之間緊密同步的協調。大規模 AI 訓練則需要具備上述所有條件，因此連接這些伺服器的網絡，現已成為 AI 工作負載的重要部分。為了妥善應對這些需求，除了連接伺服器的標準數據中心網絡外，幾年前我們還增設了一個基於以太網的第二個專用數據網絡，稱為後端（BE）網絡，讓 GPU 可以在數據中心大樓內部及大樓之間直接互相通訊。

大型預訓練工作會將訓練工作劃分為數據並行的模型副本，形成網絡使用層級：對延遲和頻寬敏感的操作集中在副本內，而較能容忍高延遲、對頻寬需求較低的流量則安排在副本之間傳輸。我們設計網絡時配合這種層級，在大樓內採用低延遲、高頻寬的網絡架構，並以匯聚網絡連接各大樓的網絡架構。

我們與 Meta Superintelligence Labs 緊密合作，確保平行處理設計、流量模式、通訊演算法和軟件均經過最佳化，盡量減少網絡通訊帶來的額外開銷。這可讓 GPU 盡可能保持忙碌，毋須等待網絡。

過去幾年，Meta 團隊已在早期的大樓規模、配備 24K 個 GPU 的叢集以及我們的區域規模、配備 100K+ 個 GPU 的叢集中採用了這些網絡概念，而我們在 Prometheus 中將規模和距離提升至新的層次。

網絡架構

在大樓層級，每個以太網網絡架構都透過高頻寬、低延遲的多層拓撲，互連最多 20,736 個 GPU。我們最初採用非集中排程網絡架構（DSF），以減輕訓練集合通信造成的網絡壅塞。這類通信通常會產生少量大型、長時間存在的網絡流，而這些網絡流在傳統負載平衡技術下會互相衝突。DSF 透過在網絡架構中採用子封包層級的多路徑路由和封包重新排序，並配合虛擬輸出佇列及以信用額度為基礎的端對端流量控制，來緩解壅塞。

隨着以太網 NIC 技術進步，端點已能進行封包重新排序，我們得以改用非排程網絡架構（NSF），採用淺緩衝區的 51.2T 以太網交換器，例如具備動態負載平衡的 Minipack3，以及採用 NVIDIA Spectrum-4 交換器 ASIC 的Minipack3N ，並在 ConnectX NIC 上使用 NVIDIA 的 Adaptive Routing。DSF 和 NSF 均以 Meta 的FBOSS 網絡堆疊為基礎，讓我們能快速反覆改進並最佳化 Prometheus 的網絡架構，亦能掌握所需資訊，以大規模營運這些叢集。

匯聚

這個後端聚合（BAG）網絡是一個多層樞紐輻射式網絡，連接 Prometheus 叢集中各建築物層級的網絡架構，覆蓋 2 km 至超過 100 km 的距離。它採用配備 Broadcom Jericho3 深度緩衝晶片的 Arista 7800 系列機箱構建，每對區域可提供多個 Pbps 的頻寬。

要透過此網絡進行預訓練，需要與 Meta Superintelligence Labs 專門合作進行最佳化，確保訓練速度不受影響，尤其要考慮到這些距離下的光速限制。

綜合來看，Prometheus 網絡的規模涉及數百萬英里的光纖、數萬部交換器及數百萬個光學元件——從大樓內短距離、低成本的 2×400G FR4 LITE 可插拔光學模組，到用於超過約 10 km 鏈路的 800G-ZR 相干光學元件。

各個層級的可靠性工程

以 Prometheus 的規模，每個元件都需要監測，以確保可靠運作。任何位置發生單一故障，都可能令整項訓練工作停頓，浪費寶貴的運算資源。

要維持這種水平的可靠性，需要與 NVIDIA 採用共同工程模式，超越傳統的供應商合作關係。團隊深入進駐我們的數據中心，共享即時遙測數據，並共同進行分流會議，按根本原因拆解每次系統停機事件。

這種以責任歸屬為導向的問責模式，確保雙方專注於有針對性的改進。Meta 負責最佳化排程和基礎設施，NVIDIA 則處理韌體、訊號診斷及記憶體管理。這種透明度消除責任歸屬上的模糊地帶，並推動兩間機構更快解決問題。

72-GPU 故障域

從 H100 世代的 NVL8 架構轉向 NVL72，從根本上重新界定了我們對基礎設施韌性的應對方式。在 NVL8 時代，scale-up 網域——即透過 NVLink 緊密連接以進行張量並行處理的 GPU 羣組——最多隻有八個單位。到了 NVL72，該網域擴展至 72 個 GPU，故障影響範圍擴大 9X。

更大的 scale-up 網域帶來 NVL72 的頻寬優勢，但也令 72-GPU 機架成為我們規劃容量時所依據的分配單位。訓練平行處理最適合映射到 2 的冪次大小的羣組，因此每個 NVL72 網域會使用一個 64-GPU 切片，並將其餘八個 GPU 留作機架內備用。GPU 故障時，備用 GPU 會立即頂替，工作便可從最後一個檢查點重新啟動，毋須等待硬件維修，而該機架亦會繼續參與工作。機架內的冗餘設計將有效機架故障率降至由足以令整個 pod 脱離運作的故障所決定的最低水平；針對較少見的整機架故障，我們會額外預留約 2% 的機架。對於一項有 32,768 個啟用中 GPU 的訓練工作，這代表需要配置 523 個 NVL72 機架，即 37,656 個 GPU，較啟用中的規模多約 13%。當中大部分預留量（11%）源於 64/72 切片配置，而非額外付出的可靠性成本。

實體層面的複雜性進一步提高了對可靠性的要求。單一 NVL72 網域包含 5,184 條經調校的差分對訊號鏈路，每條以 200 Gbps 運作，並會經過多個潛在故障點，包括 GPU SerDes、運算托盤 PCB、線纜匣及交換器托盤介面。要在這種高密度互連架構中，確保每條通道以 200 Gbps 傳輸時訊號完整性一致，是此規模前所未有的工程挑戰。

故障復原

故障復原關乎如何應對故障，以盡量減少對訓練時間的影響。視乎故障的範圍（即影響區域），我們會透過兩種機制處理：

並行度感知容錯（PAFT）：若故障可侷限於數據並行模型副本，我們會讓單一故障副本離線，以減低硬件故障的影響，同時讓叢集其餘部分重做該步驟，並繼續有效訓練。受影響的切片只需在可用的備用主機上重新啟動並重新同步，便可把可能導致整個系統停頓的故障，轉化為整體吞吐量輕微而短暫的下降。

檢查點：若故障影響範圍大於一個數據並行模型副本，整個工作便會從最後一個檢查點重新啟動；頻繁建立檢查點可減少這類事件造成的工作損失。我們的分散式檢查點架構會將模型狀態（包括梯度和優化器數據）非同步儲存至多層儲存系統。我們採用增量檢查點和記憶體暫存，確保儲存過程對訓練吞吐量的影響降至最低。

這兩種故障復原機制結合備援策略，利用機架內預先配置的備用 GPU 托盤及備用機架，盡量縮短啟用替換硬件所需的時間，並減少硬件故障造成的工作損失

有系統地減少中斷

訓練前沿模型時，基礎設施可靠性不能只從可用性的角度看待。根本挑戰在於維持訓練進度，避免系統頻繁停頓。在 Prometheus 中，我們把任何迫使工作暫停並啟動復原程序的故障都歸類為中斷，範圍涵蓋 GPU 矽晶缺陷、網絡互連異常、儲存瓶頸以至熱限制。

由於工作負載彼此緊密依存，這些中斷會帶來大量營運開支；72-GPU 網域內的單一故障，便可影響整個叢集的整體吞吐量。這種效能損失會直接拖慢工程迭代速度，令有效算力減少，亦延長向數十億人提供先進 AI 體驗所需的時間。

Prometheus 於 2025 年年中進入初期階段時，中斷率一度達到每日每 8K 張 GPU 接近 1,000 宗事件。經過一年嚴謹的跨職能工程工作，我們已將中斷減少 99%，令叢集能夠並行支援多項涉及數萬張 GPU 的訓練工作。

要達到這種穩定性，必須細緻拆解每一種中斷來源，再針對各類故障部署相應的工程方案：

NVLink 訊號完整性：起初是 GB200 部署的主要瓶頸。超過 600,000 條 NVLink 連線中，即使訊號略有劣化，也會觸發頻繁的 NVLink 復原週期。我們實施持續遙測和自動標記，並利用 L11 診斷燒機測試，在投入生產前找出較弱的連線。我們的分類工具可區分暫態故障與持續性訊號完整性故障，協助進行有針對性的維修和更換組件；系統修復後，我們會先驗證，再將其重新投入生產。

記憶體可靠性（HBM 和 LPDDR）：隨着我們擴大 GB300 部署規模並提高記憶體容量，記憶體相關故障成為造成中斷的主要原因。我們與 NVIDIA 緊密合作，利用機羣遙測資料和詳細的錯誤分析，識別反覆出現的故障特徵，並透過調整 HBM 韌體設定、記憶體清洗、改良 LPDDR 錯誤更正演算法，以及基於模式的預測偵測來緩解問題；這些措施會在裝置效能退化影響工作吞吐量前將其退役。我們正把這些改動部署至整個機羣，並衡量其對中斷率和硬件更換需求的影響。

NVLink 交換器及 Fabric 健康狀況：單一交換器故障便可能影響整個 NVL72 網域。我們以毫秒級精度監察 Fabric 健康狀況，並利用自動復原路徑隔離故障組件，將流量重新分配至其餘基礎設施，而不會中斷工作。

後端網絡事件：在 BAG super-spine 層，連線事件透過硬件故障偵測機制透明地處理。我們的平面拓撲確保個別光纖或連接埠故障時，流量會改道，而同步 GPU 流量突發不會因此中斷。

持續改善有賴我們的營運基礎設施：在 New Albany 站點設置現場問題分流團隊、在 3 月進行全面的穩定性衝刺以協調整個技術堆疊的修正，以及建立嚴謹、以歸因為本的問責框架。每項維修後，系統都必須經過強制隔離，以驗證完整性，然後才可返回計算資源池。

我們可靠性的首要目標仍是每 8K 個 GPU 每日發生兩次中斷，即約 100k GPU 小時的 MTBI。與中斷率峯值相比降低 99%，證明在 Prometheus 的規模下，穩定性是一項可透過工程手段解決的工程挑戰。

在機羣規模下推動硬件成熟

部署數十萬個第一代加速器，會揭示在較低部署量時不易察覺的品質問題。GB200 部署令硬件成熟化成為我們團隊及合作夥伴的首要工程範疇。

工程工作包括：

快速部署韌體套件：我們建立了可靠而快速的韌體套件自動化部署機制，可在幾小時內向超過 100k 個 GPU 部署韌體及驅動程式修正。我們已把單一 Pod 升級時間的 P90，從硬件引入初期的超過七小時縮短至兩小時，讓我們可以迅速向整個機羣推送針對主要中斷類別的修正。
機羣健康狀況：我們會關聯多機架系統中的遙測數據，並為每次工作中斷分類，以指引軟件修正、硬件維修及更換決策。我們會追蹤 MTBI，以及可用容量和有效訓練吞吐量，並透過完善的反饋循環提升硬件和軟件的可靠性，從而提高運算效能。
跨合作夥伴認證：與多個製造合作夥伴並行進行驗證，並透過生產機羣持續提供的反饋，確保品質一致。
自動化訊號篩查：在任何正式流量導入前，使用診斷壓力測試驗證超過 600,000 條 NVLink 路徑。即使缺陷率很低，在這種規模下也必須主動識別缺陷。
供電壓力測試：調查 PSU 模組與電壓調節器在單個 GPU 承受 1,400W 負載時如何相互作用，以揭示只有在大規模情況下才會出現的故障模式。
精準液冷：對冷板及歧管組裝實施嚴格的品質把關，以維持最佳接面温度，並防止機羣各處出現洩漏。
機羣維護：主動準備、快速處置、優先安排修復，以及預先部署備件。
健康檢查： 透過進階導入／老化測試及工作前健康檢查，識別健康節點，以納入大型訓練工作。

每個新的平台架構——從 Blackwell 到 Vera Rubin——都會納入這些實際營運經驗，並在每個階段收緊篩選及設計規格。

電力最佳化與暫態管理

盡量提高吞吐量、減少閒置電力，以及進行同步式分散式訓練，均帶來供電方面的挑戰。在數以萬計的 GPU 同步執行運算密集階段及通訊週期時，會觸發大型功率暫態——即叢集內 30-40% 的負載突然波動。啟動或暫停大型訓練工作，可能在短短數秒內令負載變動超過數十兆瓦。

我們透過 Dynamo Dimmer 解決這個問題。這是我們的全叢集電力管理框架，可實現智能功率限制。當叢集接近電力上限時，Dimmer 會逐步調整 GPU 功率上限，而非強制停止工作負載，確保訓練不會中斷。此係統亦透過機架層級的備用電池模組（BBU）處理即時尖峯、以電容器托盤（CBU）平滑尖峯負載、設施層級的電池儲能系統（BESS），以及與電力供應商緊密協調，來應對這些獨特的 AI 負載特性。

異質機羣的冷卻管理

雖然我們採用的分散式方式讓我們得以迅速建置 Prometheus，但同時亦須應對不同地點各自的供電及冷卻限制。

我們的實體基礎設施採用多代冷卻技術，為這些高功率機架提供所需的液冷。Prometheus 採用多種模組化氣冷輔助液冷（AALC）方案，包括我們的自然風冷數據中心建築和快速部署設施。我們專為 AI 設計及優化的建築現採用設施液冷（FLC），以達至最高功率密度。

除了自有建築外，我們亦整合策略合作夥伴租用的容量，藉此加快部署進度，並增加可部署的總容量。同時，我們的工業級快速部署設施重新定義了建設模式，能以更短時間提供可投入生產的運算能力。

高效營運

我們一直與 New Albany 的公用事業機構合作，確保為場址能源支付全部成本，避免對當地電網造成不必要的負擔。我們亦與能源開發商合作，讓能源使用配合新增的潔淨及可再生能源。

Meta 最新的 AI 優化數據中心採用閉環式液冷，因為這是冷卻 GPU 伺服器最有效率的方式，亦有助善用水資源。直接晶片閉環液冷有助節省空間，讓我們可以在伺服器機架中容納更多 GPU。我們亦透過OCP與業界分享 IcePack 等系統的設計，以進一步推動可持續發展工作；IcePack 是我們的液冷網絡機架。

展望 Prometheus 之後

我們會繼續與 NVIDIA 緊密合作，透過混合使用 NVIDIA GB300 NVL72 和 NVIDIA Vera Rubin NVL72，擴大 Prometheus 的容量。

NVIDIA 下一代 Vera Rubin NVL72平台在單個 GPU 效能方面將帶來跨世代躍升，並會直接整合至 Prometheus 現有的網絡架構。隨着叢集逐步成熟，我們將透過即將推出的 San Miguel 平台，以 Vera Rubin 擴充容量（主要由互連的 GB300 組成），進一步提升每瓦運算能力。

San Miguel Vera Rubin NVL72 的配置包括：

72 個 NVIDIA Vera Rubin GPU，每個 GPU 配備 288 GB HBM4，峯值頻寬為 19.2 TB/s。
FP4 訓練運算峯值達 2.52 EFLOPS FP8 訓練峯值達 1.26 EFLOPS（每個機架）。
峯值 NVLink 頻寬為 216 TB/s（每個 GPU 的雙向頻寬為 3 TB/s）。
峯值總記憶體頻寬約為 1,500 TB/s。
完全液冷的運算托盤，每個機架功率超過 170 kW。
每瓦效能提升 10-20%，優於 GB300 NVL72。

Prometheus 的技術成果有助奠定藍圖，指引我們日後應對超級叢集設計的複雜性。我們即將在路易斯安那州 Richland Parish 建設 Hyperion，現正從零開始設計，並參考 Prometheus 帶來的啟示。Hyperion 將採用閉環式液冷、與公用事業合作夥伴 Entergy 全面接通電網（相關費用由 Meta 全額支付），以及新一代網絡設計。

瞭解我們在 New Albany 的社區工作詳情。

文章深入瞭解 Prometheus：Meta 邁向吉瓦級超級叢集之旅最初刊載於 Meta 工程。