Meta 詳述 Prometheus 超級運算叢集擴至約 1 million 個 GPU 的計劃

Meta 的工程團隊於 2026 年 10 月 19 日發布 Prometheus 的詳細技術介紹。Prometheus 是 Meta 位於俄亥俄州 New Albany 的吉瓦級 AI 超級集羣。團隊確認，已完成的第一階段用於訓練 Muse 基礎模型，而 Meta 計劃將系統擴展至約 1 million 個 GPU。

在Meta 工程網誌的一篇文章中，Kevin Lee、Yashar Bayani、Ahmed Sharif 和 Yee Jiun Song 寫道，第一階段用於訓練 Muse 系列模型，包括Muse Wonder前沿模型。Meta 表示，這些模型在個人及專業智能體任務方面達到最先進的表現。披露這項資訊的兩年前，New Albany 園區還是一座承載網絡流量的傳統數據中心；Meta 將其改造以訓練前沿模型，並分階段建設這座超級集羣。Prometheus 現時由數十萬個 GPU 組成，分佈於傳統及 AI 最佳化的數據中心建築和快速部署設施，全部作為一部單一機器運作。

Meta 表示，在 Muse Wonder 預訓練工作中，有效吞吐率持續高於 85%，在強化學習工作中則高於 90%；訓練期間，以實際時間計算的平均中斷間隔為 ~47k GPU hours。其後進行的全系統改動，包括修正韌體問題，令這項數值升至高於 54K GPU hours。

兩款 NVIDIA 平台投入運作

Prometheus 部署了兩款 NVIDIA GPU 平台。Meta 表示，第三款基於NVIDIA 的 Vera Rubin NVL72的平台即將到來。每款平台均採用 NVL72 機架架構，讓 72 個 GPU 在同一網絡架構內作為單一加速器運作。

第一款平台 Catalina 採用 NVIDIA GB200 NVL72，並使用 Ariel 雙機架配置：每個機架有 36 個 GPU，透過 NVLink 連接成統一的 72-GPU 網域；每個 Blackwell GPU 配備一個 Grace CPU 和兩個 ConnectX-7 400G NIC，CPU 與 GPU 比率為 1:1，每個 GPU 提供 800G I/O。Meta 表示，選用 Ariel 是因為 GB200 NVL72 相較 H100 提升了 FLOPS、HBM 頻寬、scale-up 頻寬及 scale-up 網域大小；但每個 GPU 的 scale-out 頻寬會維持在 400G，Meta 預計這種失衡會影響性能。Catalina 採用 Meta 的 Open Rack V3 高功率機架設計，該設計已貢獻予 Open Compute Project。

Meta 列出 Catalina 的規格為：72 個 Blackwell GPU、13.4 TB HBM3e（每個 GPU 192 GB）、FP8 訓練運算峯值 720 PFLOPS（FP4 下為 1,440 PFLOPS）、NVLink 頻寬峯值 130 TB/s、記憶體總頻寬峯值 576 TB/s；兩個機架組合的系統總功率約為 120 kW。

第二款平台 Clemente 改用 NVIDIA GB300 NVL72。Meta 表示，GB300 將每個 GPU 的 HBM 容量提升至 1.5 倍，由 192 GB 增至 288 GB；密集 FP4 吞吐量也有相若提升，而 attention（softmax）加速能力則大約翻倍。ConnectX-8 SuperNIC 原生提供每個 GPU 800G 頻寬，而 2:1 的 GPU 對 CPU 比率讓 Clemente 能將完整的 72-GPU 網域容納在單一機架內。

Meta 列出 Clemente 的規格為：72 個 Blackwell Ultra GPU、20.7 TB HBM3e、FP4 運算峯值超過 1 exaFLOP、NVLink 頻寬峯值 130 TB/s（每個 GPU 雙向 1.8 TB/s），機架功率約為 135 kW；Meta 表示其性能較 GB200 NVL72 提升 5–10%。Clemente 可採用模組化空氣輔助液冷，或在 Meta 新設計的數據中心採用設施液冷。

建構網絡架構與區域匯聚

除標準資料中心網絡外，Meta 亦運作專用以太網後端網絡，供建築物內及不同建築物之間的 GPU 直接互通；其設計配合大型預訓練工作的數據並行階層。每個建築物層級的以太網 Fabric 最多連接 20,736 個 GPU。初始設計採用 Disaggregated Scheduled Fabric，支援子封包層級多路徑路由及基於額度的端到端流量控制；其後 Meta 改用 Non-Scheduled Fabric，採用淺緩衝區的 51.2T 交換器，包括配備 Dynamic Load Balancing 的 Minipack3，以及以 Spectrum-4 為基礎、在 ConnectX 網絡介面卡上採用 NVIDIA Adaptive Routing 的 Minipack3N；兩者均運行 Meta 的 FBOSS 網絡堆疊。

後端匯聚網絡採用多層樞紐輻射式設計，連接相距 2 km 至超過 100 km 的建築物網絡 Fabric；網絡以運行深緩衝區 Broadcom Jericho3 晶片的 Arista 7800 系列機箱構建，每對區域可提供多 Pbps 頻寬。Meta 表示，由於受光速限制，要在這些距離上運行預訓練工作，需要與 Meta Superintelligence Labs 合作，專門進行優化。公司形容，其實體網絡基礎設施包括總長達數百萬英里的光纖、數以萬計的交換器，以及數以百萬計的光收發器；由建築物內的 2x400G FR4 LITE 短距離可插拔模組，以至用於約 10 km 以上連線的 800G-ZR 相干光收發器，均涵蓋在內。

減少中斷的工程設計

根據該文章，從 H100 世代的 NVL8 架構轉為 NVL72，令擴展型故障域（透過 NVLink 緊密耦合、用於張量並行處理的一組 GPU）由 8 個 GPU 擴大至 72 個，故障影響範圍增至 9 倍。由於訓練並行處理以 2 的次方組成的羣組最有效率，每個 NVL72 故障域採用 64 個 GPU 的分片，並將 8 個 GPU 留作機架內備用；此外，亦預留約 2% 的額外機架。以一項有 32,768 個 GPU 實際運作的訓練工作為例，需配置 523 個 NVL72 機架，即 37,656 個 GPU，較實際運作規模多約 13%；Meta 表示，當中大部分餘裕（11%）是 64/72 分片配置所致，而非純粹為可靠性付出的額外代價。每個故障域包含 5,184 條經調校、速率為 200 Gbps 的差分對訊號鏈路，連接 GPU SerDes、運算托盤 PCB、線纜匣及交換器托盤介面。

故障復原採用兩種機制：Parallelism-Aware Fault Tolerance 會將故障的數據並行副本離線，讓叢集其餘部分重做該步驟並繼續訓練；分散式非同步檢查點則結合差異檢查點及記憶體內暫存，當故障影響範圍超出單一副本時，便從工作上一次儲存的狀態還原。

Prometheus 在 2025 年年中的初期階段，中斷事件一度升至每日每 8K 個 GPU 接近 1,000 次。Meta 表示，經過一年跨部門工程工作後，中斷事件減少了 99%；公司的可靠性核心目標是每日每 8K 個 GPU 發生 2 次中斷，即 MTBI 約為 100k GPU 小時。

針對性修正提升了超過 600,000 條連線的 NVLink 訊號完整性，並透過調整韌體設定及預測性淘汰性能退化的裝置，提升 HBM 和 LPDDR 記憶體的可靠性；NVLink 交換器的健康狀況以毫秒級時間解析度監測，後端連線事件亦可透明地重新路由。Meta 亦建立了韌體套件部署自動化系統，可在數小時內將修正部署至超過 100k 個 GPU，並把單一 Pod 升級時間的 P90 從超過七小時縮短至兩小時。Meta 並描述了一種共同工程模式：NVIDIA 團隊進駐其數據中心，共用遙測數據並協同分流處理問題。

電力、冷卻及擴建計劃

同步訓練會令叢集內出現 30–40% 的瞬時功率變化；啟動或暫停大型工作，則可在數秒內令負載變動超過數十兆瓦。Meta 的 Dynamo Dimmer 框架會在叢集接近電力上限時，逐步調整 GPU 功率限制，而非強制停止工作負載；相關措施亦包括機架級後備電池模組、電容器托盤、設施電池儲能，以及與公用事業供應商協調。

冷卻方案方面，Meta 在自然冷卻建築及快速部署式設施中採用模組化風冷輔助液冷，並在專為 AI 最佳化而建的建築中採用設施級液冷；公司亦整合向戰略合作夥伴租用的容量。Meta 表示，會支付 New Albany 站點的全部能源成本，並以新增的清潔及可再生能源配合其能源用量；其最新的 AI 最佳化數據中心採用晶片直冷式閉環液冷，並透過 Open Compute Project 分享 IcePack 液冷網絡機架等設計。

Meta 計劃以 GB300 NVL72 和 Vera Rubin NVL72 系統擴建 Prometheus。即將推出的 San Miguel 平台規格列明：配備 72 個 Vera Rubin GPU，每個 GPU 搭載 288 GB HBM4，峯值頻寬為 19.2 TB/s；每個機架的 FP4 訓練算力峯值為 2.52 EFLOPS（FP8 為 1.26 EFLOPS）；峯值 NVLink 頻寬為 216 TB/s（每個 GPU 的雙向頻寬為 3 TB/s）；峯值總記憶體頻寬約為 1,500 TB/s；每個機架的全液冷運算托盤功率超過 170 kW。Meta 表示，相較 GB300 NVL72，其每瓦效能提升 10–20%。

Hyperion 是 Meta 位於路易斯安那州 Richland Parish 的下一個超級叢集，設計從 Prometheus 的經驗出發，採用閉環液冷，並與公用事業合作夥伴 Entergy 全面接入電網；Meta 表示會支付全部相關成本。該叢集亦採用新一代網絡設計。