機械人基礎模型與 VLA — 第 03 章:機械人視覺語言模型 [KR]
機械人視覺語言模型(VLM)連結視覺感知與語言表徵,讓機械人以語義理解場景,並將指令連繫至畫面中的物件及關係。VLM 可運用大型圖文數據集預訓練所得的知識,但物件識別不等於掌握深度、受力或可達性,因此通常須配合幾何感知、狀態估計及物理世界模型。
機械人視覺語言模型(VLM)連結視覺感知與語言表徵,讓機械人以語義理解場景,並將指令連繫至畫面中的物件及關係。VLM 可運用大型圖文數據集預訓練所得的知識,但物件識別不等於掌握深度、受力或可達性,因此通常須配合幾何感知、狀態估計及物理世界模型。
機械人基礎模型旨在減少傳統任務專用系統的開發成本與知識重用限制,透過多任務及多環境數據學習可重用的通用表徵。這類模型需要整合視覺、語言、幾何、時間及動作資訊,並將觀察、指令、推理與行動連接起來,逐步從視覺語言理解邁向 VLA。其目標亦包括提升跨任務、環境及不同機械人形態的適應能力。
機械人基礎模型及 VLA 需要在靠近感測器與致動器的位置執行推理,以縮短感知至動作的延遲,支援即時閉環反應。邊緣部署亦有助機械人在網絡中斷時維持自主運作,並減少傳送原始多模態數據的需要。運算可按時效、模型規模及資源分配至邊緣、內部伺服器或雲端,並配合安全機制檢查及覆寫不安全動作。
O²LaF 將共享的預訓練影片模型重新用於自監督潛在動作學習,從無標註影片中學習逆向與正向動態。它在導航和機械人操作任務中,於少樣本動作探測取得最先進表現,並提升跨視覺情境及具身形式的零樣本動作遷移能力。研究亦將框架擴展至 V-JEPA2 等預測表徵先驗,取得具競爭力的表現。
APEC期間,國產智能硬件在科技展、會場及新聞中心亮相,展示機械人、無人機、無人駕駛汽車及智能辦公設備。聯想開天X1 Carbon重980g、厚13.9mm,並支援35B參數級模型本地部署。智平方愛寶通用智能機械人則在新聞中心操作咖啡機及雪糕機,自主製作飲品和食品。
APEC在深圳舉辦期間,國產智能硬件集中亮相,涵蓋機械人、無人機、無人駕駛汽車及智能影像設備。新聞中心有7台智平方愛寶通用智能機械人操作咖啡機和雪糕機;聯想開天X1 Carbon重980g、厚13.9mm。聯想開天AI PC可運行輕量級本地大模型,高算力機型支援35B參數級模型本地部署。
一目科技創始人兼 CEO 李智強出席博原資本2026年度產業大會,與嘉賓探討人形機械人規模化落地的路徑與節奏。他認為模型能力正逐步收斂至 Scaling Law,但靈巧操作仍是產業缺口。李智強預計,2027至2030年將是 Infra 階段,之後三年進入模型大爆發,再往後三年才是 Harness 與應用鋪開的階段。
2026中國5G+工業互聯網大會期間,5場產業對接特色活動同步舉行,聚焦智能體、算力、人工智能、軟件、大數據等領域,為科創企業與投融資機構搭建交流平台。活動發布2026年湖北省工業智能體公示名單,以及湖北省「人工智能+軟件」方向的科研成果清單、企業技術合作需求清單和生態圖譜。
微博與新浪新聞於11月19日在北京舉辦「新浪新聞·2026探索大會」,圍繞智能經濟、智能體規模落地及具身智能產業化等議題展開研討。大會同期揭曉2026新浪新聞「探索之心35」評選結果,致敬AI浪潮中的先鋒實踐者。
大聯大深化人形機器人產業佈局,透過世平、詮鼎兩大集團協同,拓展從元器件供應到系統方案落地的全鏈路服務。世平推出以 NXP i.MX RT1189 為核心、具備 11 個自由度的靈巧手方案;詮鼎則與 ST 合作提供涵蓋電機控制、功率器件及感測等環節的執行器方案。
投中信息副總經理吳浠表示,2026年中國股權投資市場融資活躍度創歷史高點,但高估值令投資機構出手更審慎。投中榜PE/VC TOP50機構前三季度出手次數按年增長70%至80%,第四季度增幅回落至18%,日均出手由第三季度的14次降至9.6次。國資LP出資比重由2024年第四季度約80%降至2026年第三季度的54%。
大聯大正由傳統電子分銷商轉型為人形機械人產業生態服務商,以「1+4+2」戰略建立涵蓋腦、關節、感測、能源的全棧技術能力。其服務涵蓋選型、原型開發、驗證測試至小批量試產,並為關節執行器、靈巧手等提供系統級方案。未來三年,大聯大將聚焦B端場景落地,推動國產與國際雙供應鏈協同。
ZeroVLN 探討如何在不對 VLM 核心進行監督式微調的情況下學習導航。頁面未提供論文摘要或研究結果,無法確認其方法細節或效能表現。
AFFECT 透過訓練世界模型匹配時間相關動作噪聲引發的視覺變化,提升模型推演結果與真實環境的吻合度。在 DROID 上,模型中與真實機械人成功率的 Pearson 相關係數由 0.47 升至 0.79,FVD 最多降低 23%。使用經 AFFECT 訓練的世界模型選擇動作,任務成功率最多提升 8.3%。
Mind2Act World 是一套評估機械人能否結合基於歷史的推理、精確執行及環境回饋的診斷基準,涵蓋 30 項模擬操作任務,形成 180 種配置。評測顯示,單一視角的能力未能轉移至結合思考與動作的 Mind2Act 任務;表現最強的智能體在 Mind、Act 和 Mind2Act 任務中的成功率分別為 52.7%、39.0% 和 12.0%。
中國工程院院士陳學東指出,具身智能將賦能新一代智能製造,驅動第四次工業革命。現時互聯網上可用於訓練具身智能大模型的數據不足50萬小時,而訓練一個大模型所需數據量超過1000萬小時,數據採集成本每小時可能高達上千元。陳學東表示,建設訓練場與數據採集中心有助補足數據短板。
RoboScience 團隊發佈世界模型 WorldFlow,讓模型根據觀測畫面、語言指令和目標物體,聯合預測未來影片及物體的三維軌跡。模型以來自 17 個數據源的約 144 萬條樣本預訓練,並在仿真、真實及空間認知場景的 WorldFlowBench 上評估。
具身智能機械人正由依賴大量操作數據的模仿學習,轉向利用通用模型自主探索技能,但直接由大模型控制仍受響應速度與計算成本限制。大曉在酒店洗衣場景把53個原子動作組成14個高層步驟,技能固化後單輪執行由首次探索的30分15.64秒縮至18.648秒,約提速97倍。但真機測試顯示,烘乾機取衣仍未穩定,跨場景泛化和商業回報亦是規模部署的難題。
驊羲科技推出居家多功能具身養老機械人 HT-X2,上市 10 天全球預訂量達 1058 台,並在雙11期間登上京東平台人形機械人熱賣榜 TOP1。產品目前在京東電商及國內外線下渠道銷售,搭載多角色跨端養老智能體,可在陪護管家、健康助理、安全看護及親情信使等角色間切換。
VLA 的控制帶寬上限受整條鏈路的絕對延遲限制,提高推理頻率只能減少半個控制週期的滯後。在 150 毫秒鏈路、5 赫茲控制下,等效滯後為 250 毫秒,2 赫茲處的相位滯後為 180 度;鏈路降至 97 毫秒並以 10 赫茲控制後,等效滯後為 147 毫秒,2 赫茲處的相位滯後降至 106 度。
作者以非洲傳説中的阿納西蜘蛛為靈感,製作了名為 Asi_v4 的蜘蛛造型機械人伴侶,v1-3 是原型。Asi 由 Trinket 和 Arduino Nano 控制眼睛動作,並以背包肩帶作為佩戴方式。
TactoHand 從單目 RGB 影片預測手部表面的接觸概率、接近程度及局部 3D 力場,並在每個 MANO 手部網格的 778 個頂點上輸出結果。訓練資料彙集 24 個來源、共 49.02 million 個跨相機視角的影格;在未參與訓練的 HOCap 上,接觸 Macro-F1 為 50.5%,接近距離平均絕對誤差為 6.40 mm。
Todd Lavergne 提出一份人形機械人評估清單,供開發者在購買、租用或選擇開發平台前核對可用性與適配度。清單先區分可下單、預購或早期體驗、企業部署和概念展示,再檢查價格模式、運行時間與負載等規格、SDK/API 及所購配置的開發支援,並納入遠端操作、私隱、維修和軟件支援。
「人工智慧清潔水箱機械人」所屬隊伍憑該項目奪得 HKICT Awards 2026 全年大獎,此前已獲商業方案獎大獎。該設備結合 AI 影像辨識、自主導航與清潔模組,讓操作員毋須進入高温、通風不良或低氧等密閉空間,降低窒息、中暑及中毒風險。
極客公園與 Founder Park 將於 2027 年 1 月前往 CES,推出直播及現場報道,並舉辦交流活動,連接亞洲硬件團隊與矽谷 AI 圈。CES Highlights 將於 1 月 7 日、8 日晚 19:30 在極客公園視頻號直播。
慕華科創周天奇表示,面對具身智能賽道中估值達百億的企業,他們選擇保持投資剋制,不只看技術科研實力,更重視商業化落地能力。賽道天花板、人與事的匹配度及創辦人的韌性,是硬科技投資的重要篩選標準。
RWS 集團首席執行官本傑明·法斯出席深圳 APEC 工商領袖峯會,分享對中國市場潛力及 RWS 在華策略的看法。旗下 TrainAI 為大語言模型與具身智能提供 AI 訓練數據服務,涵蓋數據採集、標註、RLHF 及紅隊測試。TrainAI 社區有來自 193 個以上國家和地區的 34 萬餘名專家,服務支援 900 多種語言變體。
中國在《2026年全球創新指數報告》的創新綜合排名再居全球第十,創新產出排名全球第五,「知識與技術產出」連續第二年位居第一。報告納入評估的139個經濟體中,中國的創新投入產出效率領先;知識產權制度改革、專利轉化及保護運用被視為創新產出提質增效的支撐。中國獨角獸企業估值佔 GDP 比重排名由上年全球第13位升至第1位。
一批來自傳統製造業、房地產和消費等行業的企業家及家族投資平台,正把資金投向商業航天、可控核聚變、量子計算等前沿科技,部分家族二代也開始參與投資管理。這類資本願意投資尚未獲主流機構廣泛認可的早期項目,為部分科技創業者帶來新的融資機會。
J-POWER、Hitachi 和 Macnica 同意共同研究供關鍵基礎設施使用的 Physical AI 開發平台,並以新一代輸電線巡檢無人機作為首個擬議應用。平台將結合模擬、數碼孿生及 NVIDIA 技術,研究以 Sim2Real 流程訓練和驗證模型,並在現場設備上執行推理。三家公司目前的協議涵蓋共同研究及示範規劃,並計劃把應用擴展至鐵路和工業廠房等領域。
文章串連 SO-101 從模擬到真實的訓練流程,以及 Cosmos 3 Edge 在 Jetson AGX Thor 上部署機械人控制策略的路線。SO-101 學習路徑以 GR00T VLA 作為主要機械人策略,Cosmos 用於擴增數據集;另一條路線則在 Cosmos 3 Edge 上進行策略後訓練,再於 Jetson AGX Thor 執行裝置端控制。
APEC工商領導人峯會上,小米、格力、海信及TCL企業負責人分享對人工智能、全球化與製造業轉型的看法,並談及亞太區域合作。雷軍表示,小米具身智能機械人已進入工廠實習,可連續工作8小時並自主充電兩次;小米自研大模型MiMo,IoT生態平台接入設備達11.6億台。企業亦談到在亞太深化本地化經營及產業鏈佈局。
1-10月,商務部商務大數據顯示,重點平台智能眼鏡銷售額增長1倍,具身智能機械人銷售額增長25.2%。在消費品以舊換新政策帶動下,綠色、智能消費持續增長;外骨骼助力器銷售額增長44.4%。
商務部數據顯示,1 至 10 月重點平台智能眼鏡銷售額增長 1 倍,具身智能機械人銷售額增長 25.2%。同期,外骨骼助力器銷售額增長 44.4%,通訊器材及文化辦公用品零售額分別增長 16.5% 和 6.0%。
國家及地方近期集中推出多批應用場景項目,向包括民營企業在內的各類經營主體開放,提供新技術和產品的場景驗證機會。國家發展改革委等部門推出首批136項標誌性重大應用場景項目清單;陝西公佈3個國家層面場景及17個省級場景,山西發布首批35個省級場景。危化品儲罐區無人化智能滅火項目開放真火實景測試,智能康復輔具項目則開放養老服務圈和國家級質檢平台等場景,讓企業參與產品驗證及落地。
Physical AI 的感測設計是 AI 系統設計的一部分,感測器決定系統可取得哪些資訊,並影響感知、建模、推理、規劃與控制。感測架構須按任務和環境需求,協調感測器、運算能力、數據量與端到端延遲,不能單以感測器規格或數量判斷。
本章説明 Physical AI 的致動器與 AI 必須協同設計,因為致動器的動態特性、限制與不確定性,決定 AI 指令能否安全有效地轉化為實際動作。致動器規格、動作表示方式、控制頻率、機械順應性及能源需求,都會影響 AI 架構與可行動作範圍。分層架構可由高層 AI 規劃任務,再由中低層控制器將目標轉化為可執行的致動器指令。
Physical AI 的計算平台需求須按任務、環境、感測配置、模型、延遲目標、功耗及安全要求整體規劃,不能只根據硬件規格選擇。感知、規劃與控制等工作負載各有不同特性,平台需兼顧端到端延遲、記憶體與數據傳輸,並由 CPU、GPU、NPU 及 MCU 分工處理。即時工作通常需要機載邊緣計算,訓練、模擬及大型運算則可按連線和營運要求交由本地或雲端基建處理。
Physical AI 的硬件與軟件協同設計,須按任務、工作環境及機械形態規劃系統架構,而非把機械平台、軟件和 AI 模型視為互相獨立的部分。AI 模型與硬件應一併選擇,平衡計算能力、記憶體、功耗、延遲及系統要求。分配軟件與硬件功能時,須按時限和安全要求區分高層自主功能與即時控制。
Physical AI 需要把硬件與軟件視為一個整合系統協同設計,不能只看 AI 模型本身。系統需求應由實際任務與環境決定,並平衡模型複雜度、運算資源、功耗、成本、可靠性及安全。實時表現亦取決於感測至動作的端到端時序。