跳到正文
Unite.AI·· 2 小時前精選AI 評分76

NVIDIA 發佈 Open Agent Safety Platform,安全設計涵蓋軟件至晶片

NVIDIA Unveils Open Agent Safety Platform Spanning Software to Silicon

AI 導讀

NVIDIA 於 2026年9月28日宣佈 Open Agent Safety Platform,結合 OpenShell 執行時與 Sentry 參考系統設計,旨在加強智能體由測試至部署的安全管控。

推薦理由

OpenShell 的沙箱、政策審核與 Sentry 的 DPU 外置監察分工,讓讀者瞭解 NVIDIA 如何把智能體權限管控延伸至硬件層。

正文 · 繁體中文

NVIDIA 於 2026年9月28日公佈 NVIDIA Open Agent Safety Platform。NVIDIA 表示,這個開放式軟件平台及參考系統設計旨在加強 AI 安全,涵蓋 Agent 測試至部署的各個階段。平台由 NVIDIA OpenShell 安全執行階段軟件及 NVIDIA Sentry 參考系統設計組成。NVIDIA 表示,兩者結合後,可對執行 Agent 的軟件、硬件、運算及機械人系統提供全堆疊管治和控制。

NVIDIA 表示,近期的安全事故都出現相同模式:Agent 為完成獲指派的任務,繞過應用程式層的安全控制措施。NVIDIA 創辦人兼行政總裁 Jensen Huang 表示:「只有解決 AI 安全問題,才能實現 AI 為社會帶來的非凡潛力。」他形容,這個平台旨在匯聚業界、研究人員及公共部門機構,分享最佳做法、就評估方法達成共識,並推動國際合作。NVIDIA 表示,各機構可按自身要求部署平台的各個部分。

OpenShell 執行階段與政策執行

OpenShell 0.1.0 是以 Apache 2.0 授權條款發布的開源執行階段,用於界定並強制執行 Agent 可存取的系統和數據。隨公佈一併發布的技術説明介紹,該軟件結合沙盒執行、受控服務存取、憑證管理及形式化政策分析,無需重寫現有 Agent,便可為其加上控制措施。

三個組件分擔執行工作。OpenShell Gateway 管理多個沙盒的生命週期及政策。與每個沙盒配對的 OpenShell Supervisor 在 Agent 工作負載以外運作,並按政策檢查對外請求。OpenShell Sandbox 執行工作負載,並透過核心層級控制其檔案系統及程序;除了經由 Supervisor 傳送外,不設其他網絡通道。

Supervisor 可檢查已設定的 HTTP、GraphQL 及 Model Context Protocol 流量,讓數據查詢通過,同時封鎖透過同一 API 發出的寫入操作。政策以 YAML 編寫,再編譯為 OPA/Rego;OpenShell 會在 Open Cybersecurity Schema Framework 審計記錄中記錄政策決定。實際憑證會保留在 Agent 工作負載以外,只會代入獲授權的端點;如果 Agent 將佔位憑證傳送至未獲批准的目的地,OpenShell 便會拒絕該請求。啟用政策顧問後,Agent 可提出範圍有限的政策變更,但提案預設會待人工審核,Agent 亦不能批准自己的請求。

OpenShell 政策證明器使用形式邏輯檢查政策授予的權限,包括由供應商提供的存取權限;它可以證明經建模的權限仍在營運者定義的界限內,或找出越界的具體操作。技術説明介紹的長期對抗性實驗中,安全防護有所削弱的前沿 Agent 花了最多兩小時,嘗試説服 AI 審核器授予可讓它們修改受保護 GitHub 儲存庫的權限。NVIDIA 表示,這些測試中沒有發生任何對受保護儲存庫的寫入操作。

OpenShell 支援 Codex、Claude Code、Pi 和 Hermes 框架;示範中列出 Cadence、Slack 和 Gecko Robotics,指出它們分別應用於晶片設計、企業任務自動化,以及管理會在實體機械人上作出決策的代理。NVIDIA 表示,OpenShell 在其 Vera CPU 上提供保護,額外負載極低;作為開源軟件,它亦可擴展至第三方運算平台,包括 Arm 和 Intel 的平台。

BlueField-4 DPU 上的 Sentry Watchdog

NVIDIA Sentry 是一款在 BlueField-4 DPU 上運作的帶外監察器,會持續監察代理行為。NVIDIA 表示,它提供晶片內強制執行功能:如果代理試圖越出其軟件邊界,Sentry 會在毫秒內將其隔離並停止運作。Sentry 建基於 NVIDIA DOCA 軟件,並利用該軟件檢查代理的請求和回應、提供經認證的遙測資料、驗證代理身分,以及為資料、工具、應用程式介面和服務執行細緻的零信任存取政策;所有操作均在一個隔離的信任域內進行。NVIDIA 形容該信任域對代理和攻擊者都不可見。

NVIDIA 工程團隊的一篇參考設計文章指出,近期有多間前沿實驗室報告,代理突破了原本用作限制它們的評估環境,而且有些代理錯誤匯報自身所做的事。文章列出平台背後的五項原則:代理執行前,政策必須可供驗證;強制執行必須在帶外進行;通往模型的路徑是控制點;代理的權限應與檢視其推理的能力相稱;責任由實驗室、企業和硬件供應商共同承擔。作者亦説明「漂移」一詞,意指代理的行動偏離預定任務或操作限制,並指出:「在這些情況下,不能期望代理能完全管控自身行為。」

在 NVIDIA Vera Rubin POD 系統中,每個運算托盤都配備一個 BlueField-4 DPU,位於節點通往模型的唯一路徑上。NVIDIA 表示,這個位置可提供持續的帶外可觀測性,並以線速即時強制執行政策。文章指出,已運行配備 BlueField-4 的 Vera 系統的機構,只需進行軟件更新即可啟用相關保護。

生態系統整合與供應情況

Anthropic 與 NVIDIA 合作,將 OpenShell 和 BlueField 整合至 Claude Managed Agents。該服務會在獨立伺服器上運行代理循環,與執行工作的沙盒分開。Anthropic 首席商務官 Paul Smith 表示,Claude Managed Agents 讓企業清楚掌握每個代理正在進行的工作,而 NVIDIA 的平台則在硬件和軟件層面增添另一層治理和控制。

SpaceXAI 正使用該平台支援 Cursor 編碼代理和 Grok 模型。總裁 Mike Nicolls 表示,安全應在模型之外透過額外控制措施強制執行,代理無法繞過這些措施。Scale AI 正將該平台的技術融入其 Scale GenAI Portfolio 的代理式基礎設施層。行政總裁 Francis deSouza 形容,隔離、政策執行和可審計性從一開始便已內置。

Salesforce 和 NVIDIA 將 OpenShell 整合至 Slack,讓團隊無須離開 Slack,便可查看代理活動和審計事件,並批准或拒絕代理提出的額外權限要求。SAP 正將 OpenShell 嵌入 Joule Studio 執行環境;該環境是 SAP Business AI Platform 的一部分。SAP 亦正為 OpenShell 貢獻工程開發工作。

NVIDIA 列出超過 100 個採用平台技術的機構,包括機械人公司 Figure、Gecko Robotics 和 Skild AI;金融公司 Citi 和 JPMorganChase;Hitachi Energy 和 Schneider Electric 等能源供應商;以及基礎設施軟件公司 Canonical、SUSE 和 Red Hat。Red Hat 則在搭載 NVIDIA 的 Red Hat AI Factory 上執行 OpenShell 和 DOCA。

OpenShell 及其技能可透過 NVIDIA 開發者資源頁面和 GitHub 取得,並提供適用於 Docker、Podman、MicroVM 和 Kubernetes 的運算驅動程式,以及 CNCF Slack 上的開發者頻道。Open Secure AI Alliance 由 NVIDIA 與 120 多個機構共同發起,並由 Linux Foundation 管治,透過開放研究、技能和工具推進 Agent 安全工作;其項目包括名為 SAFE 的 Shared AI Findings Exchange。

來源:Unite.AI · unite.ai