NERL:開源具身基礎模型與大型資料集社羣
NERL 是致力推進具身基礎模型與大型資料集的開源社羣,目標是建立持續增長的資料、模型及基準測試生態。項目整合網絡、模擬及真實機械人資料,並提供涵蓋資料處理、模型訓練與評估的端到端工具套件及排行榜。NERL 正準備 Robo-VLM,這款具身多模態語言模型可接收圖像、影片、3D 場景及關鍵點,輸出文字回答與策略規劃。
NERL 是致力推進具身基礎模型與大型資料集的開源社羣,目標是建立持續增長的資料、模型及基準測試生態。項目整合網絡、模擬及真實機械人資料,並提供涵蓋資料處理、模型訓練與評估的端到端工具套件及排行榜。NERL 正準備 Robo-VLM,這款具身多模態語言模型可接收圖像、影片、3D 場景及關鍵點,輸出文字回答與策略規劃。
Pollen Robotics 推出開源 pollen-vision 函式庫,整合零樣本視覺模型,支援以影像和文字輸入建立物件偵測及分割流程。首批模型包括 OWL-VIT、Mobile Sam 和 RAM,並結合深度資訊估算物件在 3D 空間中的 (x, y, z) 位置,為機械人抓取提供基礎。目前尚未支援完整 6D 姿態估計,OWL-VIT 的偵測結果亦可能不一致。
OpenAI 訓練兩個神經網絡,讓仿人機械手解開魔方。網絡完全在模擬環境中訓練,使用與 OpenAI Five 相同的強化學習程式碼,並結合新技術 Automatic Domain Randomization(ADR)。系統能應對訓練中未曾遇到的情況,例如被毛絨長頸鹿玩偶戳碰;OpenAI 指出,這展示了強化學習可用於需要前所未有靈巧度的現實世界問題。
推薦理由:這項工作以全程模擬訓練的兩個神經網絡讓仿人機械手解魔方,並用 ADR 應對訓練中未見情況,呈現強化學習應用於實體操作的方法。
OpenAI 於 2019 年 4 月 27 日舉辦首屆機械人研討會。
OpenAI 開發出能量模型,僅需五次示範便能學習以 2D 點集表示的概念,並識別及生成其實例。模型亦能將在 2D 粒子環境中學到的概念遷移至 3D 物理機械人任務。
OpenAI 訓練出一隻仿人機械手,能以前所未有的靈巧度操控實體物件。
OpenAI 發佈 8 個機械人模擬環境,以及 Hindsight Experience Replay 的 Baselines 實作,這些資源均為其過去一年的研究開發成果。OpenAI 曾用這些環境訓練可在實體機械人上運作的模型,並同時發佈一組機械人研究需求。
OpenAI 展示一種用於模擬機械人摔跤的元學習智能體,能迅速擊敗較強的非元學習智能體。該智能體亦能適應物理故障。
OpenAI 建立了一套機械人系統,完全在模擬環境中訓練後部署到實體機械人上,並能在看過一次任務示範後學會新任務。
OpenAI 發佈 Roboschool,這是一套與 OpenAI Gym 整合的開源機械人模擬軟件。