跳到正文
NVIDIA Blog· Dave Salvator·· 44 分鐘前精選AI 評分66

NVIDIA 與 Microsoft 將加速運算合作由 Azure 擴展至 Windows PC

NVIDIA and Microsoft Expand Accelerated Computing From Azure to Windows PCs

AI 導讀

NVIDIA 與 Microsoft 在 Microsoft Ignite 擴展全端合作,把加速運算及 AI 部署選項由 Azure 延伸至企業本地、邊緣設備和 Windows PC。

推薦理由

EY 以 NVIDIA Nemotron 開放模型分類企業採購記錄,展示模型定製的實際成效,評估準確率提升 55%,成本較專有前沿模型低 15x。

正文 · 繁體中文

NVIDIA 與 Microsoft 正擴展全堆疊合作,協助機構建立、自訂及部署智能應用程式,涵蓋 Azure 上的新一代基礎設施,以至工業系統和 Windows 電腦。

在 Microsoft Ignite 上,兩家公司正擴大客戶使用由 NVIDIA Vera Rubin NVL72 系統提供運算能力的 Azure 虛擬機器,並透過 Microsoft Foundry 向客戶提供 NVIDIA 開放模型及自訂功能,同時新增在邊緣執行 AI 的選項,讓企業可在產生及使用數據的地方運行 AI。

Microsoft 亦正使用 NVIDIA 技術加速自家的模型和服務,包括用於後訓練的 NVIDIA Dynamo 推理軟件,以及用於 Bing 搜尋模型的 NVIDIA RTX PRO 6000 Blackwell GPUs。 

NVIDIA Vera Rubin NVL72 在 Azure 上運行 

NVIDIA Vera Rubin NVL72 系統正在 Azure 數據中心運行,提供專為高要求推理、Agent 應用程式,以及大規模模型訓練和推理而設的基礎設施。 

Microsoft 與 NVIDIA 亦正合作,將機密運算擴展至裸機及機架級 AI 基礎設施。這項工作有助在敏感模型及數據處理期間加以保護,支援需要處理專有或受監管資訊的機構。 

NVIDIA Confidential Computing 和證明功能有助客戶在釋出敏感模型、數據或金鑰前,驗證運算環境。隨着 AI 工作負載涉及更多互連加速器,兩家公司正致力將這些保護措施擴展至整個 AI 工廠基礎設施。

為協助數據中心從可用電力中提升效能,NVIDIA 與 Microsoft 亦正運用 NVIDIA MaxLPS 合作提升電力效率。

Azure 的 Vera Rubin 預覽版建基於 NVIDIA 與 Microsoft 的協同設計及效能最佳化;最新以 NVIDIA Blackwell 為基礎的 MLPerf 結果亦印證了這一點。在 MLPerf Training v6.1 中,Azure 使用 GB200 NVL72 系統,在 DeepSeek-V3 模型上擴展至 10,240 個 NVIDIA GPU,為該輪測試中規模最大。在 MLPerf Inference v6.1 中,根據 Signal65 的資料,Azure 的 NVIDIA GB300 NVL72 系統在 DeepSeek-R1 互動式吞吐量方面,於雲端提交結果中領先超過 10%。  

協助企業自訂及部署開放模型

企業 AI Agent 需要推理並處理複雜任務、尋找相關企業資訊,以及理解商業文件。NVIDIA 與 Microsoft 正擴展 Microsoft Foundry 提供的模型及服務,協助開發人員將這些功能融入商業應用程式。

Microsoft 的無伺服器 Programmed Training 服務讓開發人員掌控後訓練工作流程,同時由 Foundry 管理底層基礎設施。企業可專注於業務數據、評估模型回應及改善模型行為。

Foundry Managed Compute 新增對部署自訂模型權重的支援,協助透過 Microsoft 的受管理服務,連接模型自訂與部署。

EY 使用 Microsoft Foundry 中的 Programmed Training,調整 NVIDIA Nemotron 開放模型,以分類企業採購記錄;模型在其評估數據集上的準確度提升了 55%,與專有前沿模型相比,成本降低了 15x。這項工作展示企業如何為專門的業務任務自訂開放模型。 

Foundry Managed Compute 擴展後的 NVIDIA Nemotron 3.5 系列,可支援企業應用程式的不同需求。Nemotron 3.5 Super 專為長時間運作、處理程式編寫、研究及業務工作流程的 Agent 而設;Lightning 則支援需要快速回應和使用工具的應用程式。

其他配套模型包括 Nemotron Embed 和 Rerank,協助 Agent 尋找相關資訊;Nemotron Parse 用於從文件中擷取結構化資訊;Nemotron Content Safety 則用於偵測有害內容。Nemotron 3.5 Bolt — 專為高吞吐量、低延遲推理而設 — 以及用於語音識別的 Transcribe,即將推出。

讓 AI 更貼近企業數據 

NVIDIA 和 Microsoft 正擴展雲端以外的部署選項,協助機構在更接近數據的位置執行模型和 Agent,同時掌控其基礎設施和營運。

Foundry Local 擴大對 Nemotron 3.5 的支援,為 Azure Local 環境帶來推理、程式編寫及使用工具的 Agent 功能。檢索模型可協助應用程式從文字、文件圖片、圖表及表格中尋找證據。

Azure Local 亦將支援硬件合作夥伴提供的 NVIDIA RTX PRO 6000 Blackwell GPU,為機構本地部署 AI 提供更多選擇。

Azure Local 正擴展至 NVIDIA Jetson Thor 和 Jetson Orin 邊緣 AI 平台,以支援機器視覺、機械人及自主運作等工業應用。NVIDIA 的實體 AI 模型,包括 Cosmos,亦將引入 Foundry Local。

在搭載 NVIDIA RTX Spark 的 Windows 電腦上,NVIDIA 和 Microsoft 將於 Ignite 展示本地大型語言模型體驗,示範開發人員如何直接在裝置上執行 AI 應用程式。

對於使用 Cloud PC 的機構,兩家公司正為 GPU 加速的 Windows 365 Cloud PCs 引入 Direct Stream 功能。這些功能支援要求高的圖像處理應用程式,提供最多兩條 4K 串流,每秒 60 幀,並具備低延遲,即使網絡條件欠佳亦可使用。有限預覽現正接受登記,公開預覽計劃於 2027 年初推出。

將科學 AI 與 Microsoft Discovery 連接起來

在科學研究方面,NVIDIA BioNemo Agent Toolkit 和 NVIDIA ALCHEMI Toolkit 正 擴展至 Microsoft Discovery 目錄,將生物科學、藥物發現、材料及化學科學模型引入 Microsoft 的 Agent 式研究平台。

BioNeMo Agent Toolkit 協助科學家在 Microsoft Discovery 中使用自然語言執行計算生物學工作流程,並由 Agent 協調完成工作所需的工具和模型呼叫。

一項初步整合採用RFD4-Proteina 模型。該模型由華盛頓大學蛋白質設計研究所合作開發,可生成候選蛋白質結構及氨基酸序列,以供進一步評估及實驗室驗證。 

加速 Microsoft 的模型與服務

Microsoft 在擴大客戶使用 NVIDIA 技術的同時,也在自身的 AI 開發及服務中採用 NVIDIA 軟件和加速運算。

Microsoft AI 使用 NVIDIA Dynamo,在後訓練期間支援強化學習 rollout 推理。這個運算密集的過程會生成用於改進模型的經驗。

Dynamo 會協調大型 GPU 羣組的推理工作以提升效能,亦有助管理請求、模型更新及故障復原。這項部署建基於 Microsoft AI 與 NVIDIA 的聯合工程工作。 

瀏覽NVIDIA at Ignite,瞭解涵蓋企業應用、機械人技術、加速數據處理及本地運算的示範,展示硬件包括 NVIDIA GB300 NVL72 機架及 RTX Spark 裝置。查看NVIDIA 專題環節、實作實驗室及展位劇場簡報。

來源:NVIDIA Blog · blogs.nvidia.com