跳到正文
NVIDIA:Newsroom·· 14 天前精選AI 評分77

NVIDIA 推出 Open Agent Safety Platform,保障 AI 智能體由測試至部署

NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment

AI 導讀

NVIDIA 推出 Open Agent Safety Platform,由 OpenShell 開源軟件和 Sentry 參考系統設計組成,為執行智能體的軟件、硬件、運算及機械人系統提供全棧治理與控制。

推薦理由

平台針對智能體繞過應用層安全控制的情況,將執行限制和監察延伸至軟件、運算硬件及機械人系統。

正文 · 繁體中文

開放軟件平台及參考系統設計匯聚業界、研究人員及公營機構,為 AI 代理程式設定更安全的界線、分享最佳做法並促進國際合作,以提高安全部署 AI 代理程式的標準

新聞摘要:

  • NVIDIA Open Agent Safety Platform 由 NVIDIA OpenShell 開源軟件及 NVIDIA Sentry 參考系統設計組成,讓執行代理程式的軟件、硬件、運算及機械人系統各層均可實施全面治理與控制。
  • OpenShell 軟件為在 NVIDIA Vera CPU 上運行的代理程式提供安全的執行環境界線,追蹤所有操作並執行政策。作為開源軟件,OpenShell 可擴展以支援第三方運算平台,包括 Arm 和 Intel 的平台。
  • Sentry 增設一個在 NVIDIA BlueField-4 DPU 上運行的帶外監察器,持續監察代理程式的行為。對於試圖越出其界線的代理程式,Sentry 可在毫秒內將其隔離。
  • 來自 AI 生態系統各領域的業界領袖正與 NVIDIA 攜手,從基礎設施、軟件、模型到機械人技術的完整堆疊,提升各行各業的 AI 安全,包括 Anthropic、Cisco、CrowdStrike、Dell Technologies、Figure、HPE、Hugging Face、JPMorganChase、Microsoft、Palantir、Palo Alto Networks、Perplexity、Red Hat、Salesforce、SAP、Scale AI、ServiceNow 和 SpaceXAI。

NVIDIA 今日宣佈推出 NVIDIA Open Agent Safety Platform,這是一個開放軟件平台及參考系統設計,旨在加強 AI 安全,涵蓋代理程式測試至部署的整個過程,並為執行代理程式的軟件、硬件、運算及機械人系統各層提供全面治理與控制。

近期的安全事故突顯了為機構提供開放且可自訂工具的必要性,以便更有效地控制長時間運行的代理程式。這些事故有着相同模式:代理程式繞過應用程式層的安全控制,以完成指派的任務。

NVIDIA 創辦人兼行政總裁 Jensen Huang 表示:「AI 對社會有着非凡的潛力,但只有解決 AI 安全問題,這種潛力才能實現。隨着我們不斷探索 AI 能力的前沿,必須加快探索 AI 安全前沿的步伐。安全與保安需要全堆疊工程。NVIDIA Open Agent Safety Platform 匯聚業界、研究人員及公營機構,分享最佳做法、就評估方法達成共識,並促進國際合作。只要攜手合作,我們便能提高全球 AI 安全的標準。」

Open Agent Safety Platform 為整個代理程式堆疊增設控制能力
NVIDIA Open Agent Safety Platform 可對運行代理程式的軟件、支援其運作的硬件及運算層,以及在實體世界執行任務的機械人系統,實施全面治理與控制。機構可按其獨特需要部署 NVIDIA Open Agent Safety Platform 的各個部分。

平台包括 NVIDIA OpenShell™ 安全執行環境軟件,為在 CPU 上運行的代理程式設定界線。隨着代理程式在更多系統中承擔更多工作,企業需要在模型和代理程式執行框架之外設立可強制執行的界線。OpenShell 現已廣泛提供,可為自主 AI 代理程式提供安全的執行環境界線,控制它們如何透過開放及封閉模型執行任務。

OpenShell 在 NVIDIA Vera 上以極低額外負載提供這種保護;Vera 是首款專為 Agentic AI 而設的 CPU。OpenShell 與 Vera 共同讓 Agent 能安全運作,同時盡可能快速地完成工作。OpenShell 作為開源軟件,亦可擴展以支援第三方運算平台,包括 Arm 和 Intel 的平台。

NVIDIA Open Agent Safety Platform 參考系統設計採用 NVIDIA Sentry。Sentry 是一款帶外監控器,在 NVIDIA BlueField®-4 DPU 上運行,持續監察 Agent 的行為。Sentry 提供晶片內的安全強制執行能力:如果 AI Agent 嘗試越出其軟件邊界,Sentry 會在數毫秒內將其隔離並停止。

Sentry 在 BlueField-4 DPU 上運行,持續監察 Agent 活動,並在晶片內獨立執行安全政策。它在隔離的帶外信任網域中結合威脅偵測、以硬件為基礎的 Agent 管治與強制執行,以及資料存取保護;該信任網域可即時回應,而且對 Agent 和攻擊者均不可見。

Sentry 建基於 NVIDIA DOCA™ 軟件,具備可編程功能,讓 Sentry 檢查 Agent 的請求與回應、提供經認證的遙測資料、驗證 Agent 身分,並為資料、工具、應用程式介面及服務執行細緻的零信任存取政策。

業界領袖與 NVIDIA 加強 Agent 安全性
Anthropic 與 NVIDIA 合作,為 Agent 技術堆疊增添多層安全防護與控制。Claude Managed Agents 會在獨立伺服器上運行 Agent 循環,並與執行工作所在的沙盒分開,藉此建立安全邊界。與 OpenShell 和 BlueField 的整合,讓企業能嚴格控制 Agent 經由這些沙盒進行的存取。

Anthropic 首席商務官 Paul Smith 表示:「企業正把更多最重要的工作交給 AI Agent,因此需要指示並核實 Agent 的行為,尤其是在敏感環境中。Claude Managed Agents 讓企業清楚掌握每個 Agent 正在做甚麼,而 NVIDIA 的平台則在硬件和軟件層面進一步加強管治與控制。」

SpaceXAI 正使用 NVIDIA Open Agent Safety Platform,供 Cursor 編碼 Agent 和 Grok 模型使用。

SpaceXAI 總裁 Mike Nicolls 表示:「客戶越來越依賴 Agent 完成實際工作,因此安全措施應在模型之外執行,並透過 Agent 無法繞過的額外控制來實現。客戶應能為 Cursor 和 Grok 設定這些限制,並相信限制會持續生效。」

Scale AI 正與 NVIDIA 合作,將 NVIDIA Open Agent Safety Platform 技術納入 Scale GenAI Portfolio 的 Agentic 基礎架構層。

Scale AI 行政總裁 Francis deSouza 表示:「Scale AI 正採用 NVIDIA Open Agent Safety Platform 參考設計,為運行關鍵任務應用程式的企業及政府客戶打造可靠的 Agentic AI 系統,並從一開始便內置隔離、政策強制執行及可審計性。我們透過清晰界定 Agent 可執行事項的邊界,以及確保 Agent 在相關權限範圍內運作的控制措施,保障 Agentic 系統安全。」

Salesforce 和 NVIDIA 已將 OpenShell 整合至 Slack,讓團隊可直接在 Slack 管理 OpenShell Agent 活動,包括查看 Agent 活動和稽核事件,以及批准或拒絕 Agent 提出的額外權限申請,從而在 Agent 執行工作時,讓團隊更清楚掌握情況並加強人為監督。

SAP 正將 OpenShell 整合至 Joule Studio 執行階段(SAP Business AI Platform 的一部分),結合企業監督與執行階段安全。該公司亦正為 OpenShell 貢獻工程工作,並與 NVIDIA 合作,透過 Open Secure AI Alliance 推進互通性標準。

Accenture、Armadin、Cadence、Cognition、CrowdStrike、Cisco、Dassault Systèmes、Deloitte、EY、Hugging Face、IBM、Irregular、Perplexity、Microsoft、SAP、Scale AI、ServiceNow、Siemens、Synopsys、OpenClaw、Palantir 和 Palo Alto Networks,亦是與 NVIDIA Open Agent Safety Platform 技術合作的逾 100 個機構之一。

Figure、Gecko Robotics 和 Skild AI 等機械人領域領先企業,亦正利用 OpenShell 開發技術,將 Agent 安全控制措施嵌入可在現實世界採取行動的自主系統。

Citi 和 JPMorganChase 是與 NVIDIA 合作開發共享開源 Agent 安全技術的金融服務業領先企業之一。

Hitachi Energy、EPRI、NextEra Energy、Quanta Services、SPP、Schneider Electric、Siemens Energy 和 Worley 等能源領域領先企業,是正與 NVIDIA 合作運用 Open Agent Safety Platform 技術的美國關鍵基礎設施供應商之一。

Canonical、SUSE 和 Red Hat 等基礎設施軟件領導企業,亦正將 NVIDIA Open Agent Safety Platform 整合至廣泛使用的軟件作業系統。Red Hat 在 Red Hat AI Factory with NVIDIA 上運行 OpenShell 和 DOCA,兩者均為 NVIDIA Open Agent Safety Platform 的一部分。Red Hat AI Factory with NVIDIA 是共同設計的企業級 AI 解決方案,可在混合雲環境中大規模建構、部署及管理 AI。

包括 Baseten、Cisco、CoreWeave、Dell Technologies、GMI Cloud、HPE、HP Inc.、Irregular、Lenovo、Microsoft、Nebius、Oracle Cloud Infrastructure、Supermicro 和 Together AI 在內的 NVIDIA 合作夥伴,正提供採用並支援 NVIDIA Open Agent Safety Platform 技術的 AI 基礎設施方案,協助客戶更安全地運行 AI Agent。

供應情況
NVIDIA Open Agent Safety Platform 軟件(包括 OpenShell 和技能)可透過 NVIDIA 開發者資源頁面 和 GitHub 取得。

NVIDIA Open Agent Safety Platform 等生態系統貢獻,支持 Open Secure AI Alliance 的使命,亦支持更廣泛的 AI 安全與保安社羣。Open Secure AI Alliance 由 NVIDIA 聯同逾 120 個領先機構發起,並由 Linux Foundation 管治,透過開放研究、技能和工具,以及 Shared AI Findings Exchange(SAFE)等項目,加強 AI Agent 安全。

來源:NVIDIA:Newsroom · nvidianews.nvidia.com