跳到正文
新浪科技·· 15 天前AI 評分63

Apple 研究團隊披露 HALO 人形機械人系統,6 個未建圖環境完成 360 次單項任務,平均成功率 91%

苹果披露人形机器人 HALO 系统:6 个未建图环境测试 360 次单项任务,平均成功率 91%

AI 導讀

Apple 研究團隊披露人形機械人自主控制系統 HALO,並在 6 個未預先掃描或建圖的真實環境完成 360 次單項任務,平均成功率為 91%。系統採三層架構,任務編排預設使用 Qwen3.6-35B-A3B,動作生成使用 Qwen3.5-2B;研究團隊亦公開數據生成、模型訓練及部署程式碼。

正文

IT之家 11 月 7 日消息,当地时间 11 月 4 日,苹果研究团队在预印本平台 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》,披露了人形机器人自主控制系统 HALO。

研究团队还公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。

在落地阶段,研究团队采用宇树科技 G1 人形机器人,背部加装了专用 3D 打印保护外壳,内置一台 Mac mini(M4 Pro 芯片,64GB 统一内存),Mac mini 负责在机载端实时推理计算开销较大的 Orchestrator(VLM)与 Motion Generator(DiT);G1 自带的板载芯片则专注高频运行 Tracker(RL 策略网络)。

执行任务时,HALO 由三个层级协同控制。最上层是基于视觉语言模型(VLM)的任务编排模块,默认采用千问 Qwen3.6-35B-A3B,系统也可选择通过 API 调用云端模型;中间的动作生成层采用另一款千问模型 Qwen3.5-2B;底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器,以每秒 50 次的频率运行。

据论文披露,研究团队在 6 个未预先扫描或建图的真实环境中开展 360 次单项任务测试,平均成功率为 91%。

针对长序列复合任务,在单一真实场景,各进行 10 次测试,3 种组合平均成功率为 70%;其中最复杂的“俯身通过障碍 — 走向目标 — 推箱子”10 次测试成功 5 次,成功率为 50%。

据介绍,研究团队使用 250 张英伟达 H100 GPU,耗时约 48 小时合成主要训练数据。动作生成器通过模仿学习训练,使用 64 张 B200;动作跟踪器经强化学习、策略蒸馏等步骤训练,使用 4 张 H100。

不过,仿真生成数据并未完全摆脱人工参与。团队表示新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作还使用了人类视频或动捕素材。

研究团队同时指出,目前机器人主要依赖视觉感知,难以直接感知接触情况;当物体离开相机视野或被遮挡时,涉及较多接触的任务表现会下降。加入触觉感知将是后续改进方向之一。

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn