跳到正文
NVIDIA Blog· Stuart Pitts·· 2026-09-30精選AI 評分65

NVIDIA 與 CoreWeave 打通智能體 AI 從訓練到生產的閉環

From Training to Production, NVIDIA and CoreWeave Close the Loop on Agentic AI

AI 導讀

CoreWeave 宣佈在 CoreWeave Cloud 提供 NVIDIA Vera Rubin NVL72,並推出 CoreWeave Forge,推進智能體 AI 從訓練到生產的部署。

推薦理由

文章披露 Cognition 對 Vera Rubin NVL72 與 GB200 NVL72 的 SWE-2 推理測試,列出最高 4.8x 的總 token 吞吐提升,讓兩種平台在智能體編碼工作負載下可作量化比較。

正文 · 繁體中文

雙方近十年來共同設計與工程協作,CoreWeave 已把 NVIDIA 的運算、網絡及軟件整合至專為 AI 打造的雲端平台,並在多代部署中持續帶來投資回報。如今,CoreWeave 正把新一代 NVIDIA 基礎設施投入生產環境。

CoreWeave 在本週於三藩市舉行的 CoreWeave Fully Connected 活動上,宣佈推出配備 Spectrum-X 102.4T Ethernet 網絡的 NVIDIA Vera Rubin NVL72 系統。Cognition 是 Devin AI 軟件工程師背後的應用 AI 實驗室,亦是首個在 Vera Rubin 上運行生產工作負載的客戶。 

CoreWeave 亦將提供首款專為 AI 代理程式打造的 CPU NVIDIA Vera。此外,CoreWeave 推出 CoreWeave Forge,這是一個連接式環境,可在 NVIDIA 加速運算平台上訓練、評估及改進模型和代理程式。

「NVIDIA 加速運算在不同世代持續創造價值。」NVIDIA 超大規模及高效能運算副總裁 Ian Buck 表示:「CoreWeave 的 NVIDIA V100 GPU 在 Volta 推出近十年後,仍在運行客戶工作負載;與此同時,CoreWeave 正把 Vera Rubin NVL72 投入生產。這正是 NVIDIA 平台的優勢:基礎設施多年來持續創造價值,並能靈活地為每項工作負載配置合適的 GPU。」

Cognition 在 Vera Rubin NVL72 上運行,token 吞吐量提升 4.8 倍

Cognition 在 CoreWeave 上為 Devin 運行訓練、強化學習及生產推論。該公司在九個月內於 CoreWeave 擴展至數以千計的 GPU,以支援 Cognition 的推論工作負載。

本月較早時,CoreWeave 收到首批 Vera Rubin NVL72 生產機架。其後不久,Cognition 使用真實世界軟件工程工作負載,將 Vera Rubin 的推論效能與 GB200 NVL72 基準配置比較。為產生這項工作負載,Cognition 從 FrontierCode 抽取部分任務樣本,並部署 AI 代理程式解題。  

在早期測試中,Cognition 發現 Vera Rubin NVL72 在 SWE-2 推論工作負載上的總 token 吞吐量最高可達 GB200 NVL72 的 4.8 倍。對 Devin 而言,這代表實時程式碼生成更快,多步驟推理的回應亦更迅速。

「代理式編碼是一項複雜工作負載:上下文很長、並行程度高,而且 token 用量會決定我們能推出甚麼產品。」Cognition 創始團隊成員 Silas Alberti 表示。「所有技術都集中在同一平台上,再加上 NVIDIA 和 CoreWeave 的工程師與我們並肩解決難題,對我們而言比任何單一規格都重要。」

CoreWeave 宣佈 NVIDIA Vera Rubin 在 CoreWeave Cloud 上推出

CoreWeave 宣佈在 CoreWeave Cloud 上推出 NVIDIA Vera Rubin NVL72,成為首批把這個平台交付客戶使用的雲端供應商之一。

早期存取客戶可迅速在 CoreWeave Cloud 上運用 NVIDIA 全堆疊 AI 工廠平台的效能。短短數天內,CoreWeave 便為 Cognition 建立 Vera Rubin 生產叢集;這得益於 NVIDIA 和 CoreWeave 跨越整個技術堆疊的共同設計與協作,從基礎設施到 token 服務皆包括在內。 

客戶可透過 CoreWeave Kubernetes Service、SUNK、CoreWeave Mission Control、CoreWeave Sandboxes 及 CoreWeave Inference 操作相關運算容量。 

NVIDIA Vera CPU 即將登陸 CoreWeave Cloud;測試顯示代理沙盒啟動速度快逾 3 倍

代理式 AI 對基礎設施帶來雙重壓力:提供代理服務需要可大規模運作的低延遲運算;透過後訓練改進代理,則需要同時運行數以千計的隔離環境。

NVIDIA Vera CPU 專為代理式工作負載打造。對代理式 AI 而言,一項關鍵效能指標是可同時運行多少個隔離代理環境,以及隨著環境數量增加,每個環境能否維持一致的效能。 

CoreWeave 部署 Vera 後,單一機架可容納 128 顆 CPU 和 11,264 個核心,足以讓超過 11,000 個環境各自使用一個核心並行運行。透過 CoreWeave Sandboxes,這些環境以硬件隔離,並與所支援的訓練工作並行運作;Spectrum-X Ethernet 交換器及 BlueField-4 DPU 則確保代理程式之間的通訊安全、高效能且低延遲。 

測試中,CoreWeave 在 NVIDIA Vera CPU 上的代理沙盒啟動速度提升逾 3 倍,讓其沙盒執行層得以加速並擴展。這些沙盒支援強化學習(RL)、代理工具使用及模型評估,讓 AI 團隊可在 CoreWeave 的隔離環境中執行程式碼。在 Terminal-Bench 上,CoreWeave 發現 Vera CPU 在所有通過的任務中效能提升 1.7 倍。

CoreWeave Forge:把 AI 閉環由生產環境帶回訓練

模型和代理程式透過循環持續改進:生產環境中的運作情況會指引下一輪訓練,而每次評估都能改進下一個版本。以往這個循環分散在不同供應商的工具之間,每次交接都會流失訊號。

CoreWeave Forge 在同一個連接式環境中整合 Weights & Biases、OpenPipe 的後訓練專業能力,以及開源 marimo 筆記簿項目,專為持續改進模型和代理程式而建。它對不同模型、框架及雲端平台保持開放。

現已推出以下新功能及擴展功能:

  • CoreWeave ARIA ——現已全面推出——協助使用者在整個 AI 循環中學習、研究、編碼及反覆改進。它會分析執行結果、提出實驗建議、推薦程式碼改動並儲存至 GitHub,亦會帶回可採取行動的證據,分析實驗資料、指出變更原因,並建議下一步實驗。
  • CoreWeave Agent Lens ——全新服務——把生產環境中的代理可觀測性轉化為持續改進及易於理解的洞見。它令故障偵測能力提升 20%,並以一半成本修復問題,將數以千萬計的生產代理追蹤記錄轉化為推動修正的洞見。
  • CoreWeave Sandboxes——現已全面推出——讓使用者可在隔離的 CPU 或 GPU 執行環境中運行代理程式、工具呼叫、RL 及評估;環境可部署於無伺服器基礎設施,或使用現有訓練基礎設施,並為每次代理工具呼叫、RL 執行或評估提供全新隔離環境。
  • 後訓練可提升模型質素、降低延遲及成本,並運用使用者自己的生產訊號,毋須訓練叢集。使用 無伺服器監督式微調及 無伺服器 RL,使用者可試驗自己的訓練配方。無伺服器 RL 的訓練速度快 1.4 倍,成本比自我管理方案低 40%。

NVIDIA Dynamo 是 AI 工廠的開源推論框架,為 CoreWeave 託管式推論服務及現正以私人預覽形式推出的 RL Rollouts 提供動力。RL Rollouts 可在即時部署運行期間載入新檢查點,讓強化學習持續進行而毋須重新部署,並令後訓練享有與生產環境相同的推論效率。

Canva、Capital One 和 MasterClass 是首批在 Forge 上建構應用的公司。

NVIDIA Nemotron 開放模型讓 Forge 團隊可直接自訂和部署推理及多模態模型,以支援代理式工作流程。

從初創公司到跨國企業,成果均經驗證

AI 實驗室、以 AI 為核心的企業及跨國公司,正運用 NVIDIA 與 CoreWeave 共同設計的平台,加快由原型邁向生產環境。 

在醫療領域,Ennoble Care 是一家提供家居護理服務的機構,服務遍及 15 個州,約有 50,000 名醫療需求較高的 Medicare 患者。該機構選用 CoreWeave 運行臨牀 AI 推論,並將使用 CoreWeave Kubernetes Service 上預留的 NVIDIA RTX PRO 6000 GPU 容量,擴展用於臨牀文件記錄、決策支援及後台自動化的 AI 代理程式。

CoreWeave 在每一輪訓練及推論中都創下 MLPerf 成績紀錄。它是唯一在 SemiAnalysis ClusterMAX 1.0、2.0 及 3.0 均獲 Platinum 排名的雲端供應商,並為 10 間領先 AI 實驗室中的 9 間提供服務。

NVIDIA 和 CoreWeave 攜手為客戶提供一個平台,把實驗性代理程式轉化為生產系統,讓它們能編寫軟件、支援臨牀人員,並在現實世界中完成有用工作。

瞭解更多,請參加 CoreWeave Fully Connected 的 NVIDIA 專題環節、示範及工作坊。

來源:NVIDIA Blog · blogs.nvidia.com