O²LaF 如何利用影片 Diffusion Transformer 進行自監督潛在動作學習
O²LaF 將共享的預訓練影片模型重新用於自監督潛在動作學習,從無標註影片中學習逆向與正向動態。它在導航和機械人操作任務中,於少樣本動作探測取得最先進表現,並提升跨視覺情境及具身形式的零樣本動作遷移能力。研究亦將框架擴展至 V-JEPA2 等預測表徵先驗,取得具競爭力的表現。
O²LaF 將共享的預訓練影片模型重新用於自監督潛在動作學習,從無標註影片中學習逆向與正向動態。它在導航和機械人操作任務中,於少樣本動作探測取得最先進表現,並提升跨視覺情境及具身形式的零樣本動作遷移能力。研究亦將框架擴展至 V-JEPA2 等預測表徵先驗,取得具競爭力的表現。
ZeroVLN 探討如何在不對 VLM 核心進行監督式微調的情況下學習導航。頁面未提供論文摘要或研究結果,無法確認其方法細節或效能表現。
AFFECT 透過訓練世界模型匹配時間相關動作噪聲引發的視覺變化,提升模型推演結果與真實環境的吻合度。在 DROID 上,模型中與真實機械人成功率的 Pearson 相關係數由 0.47 升至 0.79,FVD 最多降低 23%。使用經 AFFECT 訓練的世界模型選擇動作,任務成功率最多提升 8.3%。
Mind2Act World 是一套評估機械人能否結合基於歷史的推理、精確執行及環境回饋的診斷基準,涵蓋 30 項模擬操作任務,形成 180 種配置。評測顯示,單一視角的能力未能轉移至結合思考與動作的 Mind2Act 任務;表現最強的智能體在 Mind、Act 和 Mind2Act 任務中的成功率分別為 52.7%、39.0% 和 12.0%。
TactoHand 從單目 RGB 影片預測手部表面的接觸概率、接近程度及局部 3D 力場,並在每個 MANO 手部網格的 778 個頂點上輸出結果。訓練資料彙集 24 個來源、共 49.02 million 個跨相機視角的影格;在未參與訓練的 HOCap 上,接觸 Macro-F1 為 50.5%,接近距離平均絕對誤差為 6.40 mm。
HINT-WAM 提出一種用於世界動作模型的 on-policy 自蒸餾框架,利用示範影片中的未來畫面作為後見資訊,為模型自身生成的動作軌跡提供訓練目標。框架以 energy score 蒸餾教師模型的動作分佈,無需環境獎勵或模擬器互動。
MIT研究人員展示一款1.29克撲翼微型機器人,利用機載感測與計算懸停、跟隨軌跡及降落,毋須外部動作捕捉系統。《Science Robotics》論文報告,系統結合多種感測器、估算器和低層控制器,位置精度達釐米級;一次30秒測試中,機器人避開障礙並降落在向日葵上。飛行由操作員透過搖桿提供高層位置指令,機器人仍由外部供電;研究團隊正研發加入相機和電池,以支援自主物件辨識、避障及無繫留戶外飛行。
MIT研究團隊研製出一款搭載機載感測器與運算元件的拍翼微型飛行機械人,可在沒有動作捕捉系統的環境中沿複雜軌跡飛行,並精準降落在向日葵上。研究團隊將軟致動器尺寸增加50%,令機械人的淨升力提高46%,並達到1.9的升力重量比;電子套件重244毫克。示範仍使用外接電源,團隊正研究加入相機及整合電源電子元件與電池,以實現無繫留戶外飛行。
研究提出 State-Aware Fallback Imitation(SAFI),教導視覺語言動作(VLA)模型在執行途中停止被禁止的行為,並以適當的替代反應控制機械人的實際動作。
GameRealm 是大型多模態遊戲資料集,收錄超過 120 million 個 RGB 影格及 1,000 hours 遊戲片段,並以同步標註將視覺觀察與遊戲中的監督訊號連結。資料集涵蓋深度、相機參數、音訊、控制輸入及 3D 點軌跡,並支援單視角、立體、多視角及全景錄製。實驗顯示,GameRealm 能提升視覺基礎模型在視覺生成及幾何學習任務上的表現。
Heave-Ho 提出一個去中心化框架,讓多台人形機械人在長時程任務中協同進行全身移動操作。系統結合多智能體後訓練、視覺語言規劃器及以語音同步的領導者—跟隨者協調機制,無須網絡通訊即可協調執行。系統以兩台相同的人形機械人訓練,可擴展至最多十台,並能在無須重新訓練下泛化至異質團隊;HH-Bench 包含 12 項任務。
TCP4D以共享的4D場景表示追蹤觀測到的TCP運動,並生成未來TCP軌跡,是面向機械人操作的統一模型。追蹤器在DROID及RoboLab的絕對軌跡誤差分別為7.60及16.07 mm,僅用十個示範即可適應新機械人形態。生成器在RoboTwin的平均成功率為69.19%;聯合訓練源機械人及增強示範,較僅用增強示範訓練提升目標機械人成功率41.5%。
WAM-Policy透過兩階段流程,將世界動作模型轉化為可依語言指令執行四足行走操作的策略。在包含10項模擬任務的QLM-Bench上,遷移策略得分77.0%,OPSD學生模型得分76.7%,取樣速度快14倍;加入任務專屬RL及M-OPD後,得分升至85.0%。研究亦將OPSD學生模型部署於實體Unitree Go2 Air。
Inhabitant 是一個免訓練 Agent 框架,讓語言模型規劃並執行長時程人景互動,透過位置、路徑與姿勢指定動作、量度執行偏差,再修訂控制。
SimAudit 透過大語言模型審核模擬操作基準測試的成功檢查器,找出檢查器與任務指示可能不一致的狀態,並在模擬環境中重現及核實。常用基準測試均出現檢查器錯誤,例如 RoboTwin 2.0 會同時誤判成功與失敗,因此公佈的成功率未必能準確反映執行情況。
LynnReal-Hand 是一款手部控制影片世界模型,結合精細互動建模與串流生成,讓用戶以手部動作探索及操控物件。模型在 HandBench 上取得 FVD 181.67 及 MANO Dice 93.02,三步因果模型的 MANO Dice 為 92.49;單張 H200 以 540p 串流可達 18.03 FPS,延遲為 741ms。研究團隊計劃公開數據集、模型權重及完整訓練與推理程式碼。
ScaleVLA 將 552B DeepSeek-V4.1-Flash 主幹連接至可訓練的 action DiT,並在統一訓練設定下比較 2B 至 552B 的 VLM。
BiCAT 提出一種雙臂動作 Token 化方法,讓兩隻手臂共享動作表示,並透過對稱跨臂注意力和聯合解碼器,根據另一隻手臂的動作預測各自的 tokens。在十項 RoboTwin 2.0 模擬任務及三種機械臂的六項真實任務中,BiCAT 的成功率在比較的 Token 化方法中最高;模擬平均成功率較八種基線中最強者高 17.6 個百分點,每個動作區塊只需 40.5 ms。
VSpark透過改良推測解碼,加速自回歸視覺語言動作模型,在多項機械人操作任務中達到 1.28x–2.10x 無損加速。方法包括校準動作噪聲 rollout、隱藏特徵對齊,以及重用被拒草稿的後續預測。測試涵蓋四個採用不同動作 tokenizer 的 VLA,以及四項操作基準。
這期 AI/ML 研究摘要整理了生成式與具身 AI、MoE 簡化、LLM 智能體可靠性及跨模態 3D 建模的研究結果。LO-World 的 IoU 提升 10.9 %、Chamfer 誤差降低 30.1 %,運行速度超過 25 FPS;SimpleHC 則在維持標準 MoE 基準準確度下縮短訓練時間。
研究提出 ForceHarness,讓凍結的前沿多模態模型無需示範或微調,便可透過自行調節力道的控制原語和附有不確定性的物理量,使用力資訊操作機械人。在沒有腕部力感測器的真實機械臂上,GPT-6 Astra 的零樣本成功率由 3.3% 升至 90.0%。
論文提出 HubEgo-100K 數據集,首版 v1.0 收錄 10,124 小時 1080p 第一身視角影片,並同步提供 100 Hz IMU 數據。
研究團隊提出 NEO-VLA,將原生視覺語言模型用於機械人動作學習,讓動作專家直接讀取主幹不同深度的視覺語言表徵,毋須獨立預訓練視覺編碼器。
MIT 韓松團隊開源機械人後訓練項目 PEAR,透過模擬環境中的強化學習,讓 Qwen3.8-27B 操控真實雙臂機械人。PEAR 在 LIBERO 得分 74.4%,並在雙臂 YAM 真機的 30 次測試中成功 18 次,基礎模型則為 0/30。
HRS-012 為貨運無人機訂明分層且具故障隔離能力的電氣與電子架構,要求按安全關鍵程度劃分推進、航電、任務、貨載及輔助電源域,並設計冗餘供電、保護和故障隔離。標準亦要求航電與高頻寬任務運算保持邏輯獨立,並持續監測主要電力設備,以支援故障偵測、維護及飛行決策。
SALA 利用人類與機械人影片的語言語義相似度對齊潛在動作,建立共享潛在動作空間,無需配對數據即可為具身基礎模型訓練提供監督。增加通用人類影片的預訓練數據,可持續降低下游任務的機械人動作預測誤差;增加特定任務的人類影片進行後訓練,則可大幅提升真實機械人任務成功率。
論文提出 JEPA4R,一種以單部深度相機取得的點雲為觀測、在潛在空間預測及規劃,並透過凍結潛在表示上的策略頭執行動作的 JEPA 世界模型。解碼器生成的 4D 點雲在 200 步內平均點誤差維持在 1.1 cm 以內;在 MetaWorld 和 Adroit Relocate 分別取得 98.4% 和 88.0%,高於排名第二的 R3M 的 96.0% 和 65.3%。
ResWAM以凍結的DINOv3特徵進行視覺殘差學習,並以0.5B雙分支DiT提升視覺語言動作策略成功率,同時降低訓練與推理計算量。模型總參數量為2.3B,在LIBERO-Plus、RoboTwin 2.0及RoboDojo分別取得81.1%、93.8%及9.40%的成功率,訓練計算量為2.7-4.0 TFLOPs,推理計算量為1.0-1.4 TFLOPs。
中山大學梁曉丹團隊提出 GeoThinker 系列兩項研究,先讓視覺語言模型按需利用外部幾何資訊,再以 GeoThinker-F 探索由模型內部生成空間線索。相同訓練數據下,GeoThinker-F 的六項空間智能基準平均得分為 62.21,與 GeoThinker 的 62.23 幾乎相同。GeoThinker-F 推理延遲由 1.45 秒降至 0.40 秒,速度提升約 3.6 倍。
Ropedia Xperience 2 提出以環境和行為共同採集為核心的具身 AI 數據方案。數據包括 1,589 個已公開、具公制尺度的 3D 掃描,以及涵蓋 74 項任務、共 131 小時的 4,230 段第一視角錄影。場景可轉成具物理互動性的模擬環境,人類動作可重定向為全身機械人軌跡,並以虛擬遙操作和自動生成長時程軌跡補充機械人行為,為研究環境與行為的規模擴展規律奠定數據基礎。
Ropedia 發佈 Physical AI 數據集 Xperience 2,將真實場景掃描與人的第一視角活動記錄對齊,涵蓋場景幾何、影片、軌跡及身體姿態。本次發佈包括 1,589 個場景、12 類真實空間;技術報告展示把掃描場景轉成可互動模擬環境,以及將人體動作重定向為機械人軌跡等用途。
研究提出人機協作失敗挖掘流程,將強化學習點雲抓取策略持續失敗的案例轉化為虛擬實境中的人類示範,再用於訓練。模擬中,強化學習將未見物件的抓取成功率由 Contact-GraspNet 的 55% 提升至 83%;加入 58 個人類示範後,難例成功率由 24% 升至 45%。這方法亦恢復了強化學習在相似未示範案例上的表現,且未降低未見物件的成功率。
研究團隊提出 OneSteer,一種一步擴散全身控制器,結合一般動作追蹤與測試時的選擇性操控。模擬中,1.25 m 橫桿下的順利通過率由 2% 升至 90%;實體 Unitree G1 完成 9 組序列共 27 次常規追蹤試驗而未跌倒。
論文提出以基礎模型和具身 harness 組成的 Embodied System 2,作為智能體機械人的決策核心,並勾勒實現可靠實體自主的研究方向。文章指出,GPT-6 Astra 的發布標誌機械人技術新範式出現;具智能體 harness 的前沿模型在數週內於多項具身 benchmark 追平或超越專用策略。
中國信通院人工智能研究所具身智能測試實驗室發佈 EAI Bench 工業場景專項評測結果,評估具身智能在工業場景的作業能力。評測於2026年9月20日至10月26日進行,涵蓋7項任務、7個開源模型和3款本體,共完成147次、3234輪真機測試。
香港科技大學(廣州)與歐拉萬象聯合提出 SLA,在 RoboDojo-Real 公開真機評測中以 42.3 分和 33.9% 完整任務成功率排名第一。其成功率較 π0.5 高 21.1 個百分點,約為其 2.6 倍。SLA 延續 π0.5 的預訓練架構與權重,並把空間監督由後訓練擴展至持續預訓練,在下游適配時繼續保留。
論文提出開源物理引擎 Alloy,讓剛體機械人、布料、纜線、液體、顆粒材料和軟性物體在同一場景中用於機器人學習。Alloy 按材料分配求解器,在每個控制步內耦合求解,並可在單張 GPU 或 CPU 上並行運行多個世界;每個世界均設有健康評級,以區分物理模擬故障與策略故障。
EgoX 以 Embodiment Dreaming 預訓練模組化 Transformer,從人類、真實機械人及模擬示範中學習,再以目標具身示範進行微調,提升操作任務進度。涵蓋 5 項任務及 6 種機械人具身的 13 組任務-具身配對中,MXT+ 的平均正規化任務進度由從零開始訓練的 0.63 升至 0.80;在分佈外條件下則由 0.53 升至 0.77。
HALO 是一套用於全身移動操作的人類對齊數據收集系統,協調雙手操作與機械人移動,並以部署對齊示範處理校準及時間對齊平台移動和機械人底座反應。與 Mobile ALOHA 和 VR 遙距操作相比,HALO 收集示範的速度最高快 2.9 倍,成功率相若或更高;訓練所得策略在六階段長時程移動操作任務中取得 73.3% 成功率。
論文提出 LEASH(Lease-Enforced Agentic Safety Harness),一套可整合至近乎任何智能體架構的安全基礎設施;模擬及實體機械人實驗顯示,它能降低六個基礎模型造成的危害,同時大致維持任務完成表現。