Meta 與 Hugging Face 推出 OpenEnv Hub,發布 OpenEnv 0.1 Spec(RFC)
Building the Open Agent Ecosystem Together: Introducing OpenEnv
Meta 與 Hugging Face 合作推出 OpenEnv Hub,供開發者建立、分享和探索可用於訓練與部署的智能體環境。OpenEnv 以沙盒封裝任務所需工具、API、憑證及執行上下文,並提供清晰語義與隔離控制;團隊同時發布 OpenEnv 0.1 Spec(RFC)徵求社羣意見。
OpenEnv 將智能體任務所需的工具、API、憑證與執行上下文封裝成可分享環境,並銜接訓練和部署,呈現環境規格化的實際用途。
透過 TRL、TorchForge 和 verl 等工具,開源社羣已展示如何在複雜運算基礎設施上擴展 AI。但運算只是其中一面,另一面是開發者社羣,以及令代理式系統得以實現的人和工具。這就是 Meta 與 Hugging Face 合作推出 OpenEnv Hub 的原因:為代理式環境而設的共享開放社羣中心。
代理式環境會定義代理完成任務所需的一切:工具、API、憑證、執行背景,以及僅此而已。它們令代理行為更清晰、安全,並能在沙盒中受控執行。
這些環境可用於訓練和部署,並為可擴展的代理式開發奠定基礎。
問題所在
現代 AI 代理可自主處理數以千計的任務。然而,只有大型語言模型不足以真正執行這些任務,它還需要適當的工具。直接向模型公開數以百萬計的工具並不合理,也不安全。我們需要代理式環境:安全、語義清晰的沙盒,明確界定任務所需內容,除此之外別無其他。這些環境會處理以下關鍵細節:
- 清晰説明任務需求
- 沙盒執行和安全保障
- 順暢存取需驗證身份的工具和 API
解決方案
為推動新一波代理式開發,Meta-PyTorch 與 Hugging Face 合作推出環境 Hub:讓開發者可構建、分享和探索兼容 OpenEnv 的環境,供訓練和部署使用。下圖展示 OpenEnv 如何融入由 Meta 開發的新後訓練堆疊;目前正整合其他程式庫,例如 TRL、SkyRL 和 Unsloth:
下星期起,開發者可以:
- 前往 Hugging Face 上新的Environment Hub,我們會在該處預先提供一些環境
- 以人類代理身份直接與環境互動
- 指派模型在環境中完成任務
- 檢查環境開放哪些工具,以及如何定義觀察結果
- Hub 上所有符合 OpenEnv 規格的環境,上載後都會自動具備這些功能,讓你在進行完整強化學習訓練前,快速驗證和反覆改進。
此外,我們發布 OpenEnv 0.1 規格(RFC),收集社羣意見並協助制定標準。
RFC 文件
目前在程式碼庫中,環境創建者可使用 step()、reset()、close() API 構建環境(載於下方 RFC)。此處有一些環境創建範例。環境使用者可在本機透過 Docker 執行程式庫中已有的各個環境。以下 RFC 正在審核:
- RFC 001:制定 Environment、Agent、Task 等核心元件之間的架構關係
- RFC 002:提出基本環境介面、套件封裝、隔離和環境通訊方式。
- RFC 003:建議透過環境抽象和隔離邊界封裝 MCP 工具
使用情境
- 強化學習後訓練:從不同集合匯入環境,並使用 TRL、TorchForge+Monarch、VeRL 等工具訓練強化學習代理。
- 創建環境:構建環境,確認它能與生態系統中的熱門強化學習工具互通,並與合作夥伴分享等。
- 重現 SOTA 方法:整合代理式編碼和軟件工程環境,輕鬆複製 FAIR 的 Code World Model 等方法。
- 部署:用戶可創建環境,在同一環境中訓練,然後亦用於推論(完整流程)
接下來
這只是開始。我們正將 OpenEnv Hub 整合至 Meta 新推出的 TorchForge RL 程式庫,並與 verl、TRL 和 SkyRL 等其他開源強化學習專案合作,擴大兼容範圍。 10 月 23 日,歡迎到 PyTorch Conference 參加規格現場示範和導覽;亦請留意我們即將舉行的社羣聚會,主題涵蓋環境、強化學習後訓練和代理式開發。
👉 前往 Hugging Face 的 OpenEnv Hub,開始構建支援新一代代理的環境。
👉 查看已在 OpenEnv 專案實作的 0.1 規格;歡迎提出想法並協助改進!
👉 到 Discord 與社羣交流強化學習、環境和代理式開發
👉 親自試用:我們製作了完整教學 Notebook,逐步示範端到端流程。你亦可透過 PyPI 輕鬆安裝套件。Notebook 會介紹我們構建的抽象、如何使用現有整合,以及如何新增自己的整合;立即在 Google Colab 試用!
👉 查看支援平台:Unsloth、TRL、Lightning.AI
讓我們攜手逐個環境構建開放代理的未來 🔥!
來源:Hugging Face Blog · huggingface.co