
11月4日,苹果研究团队在arXiv提交论文《Perceptive Humanoid Motion from Simulation》,公开人形机器人自主控制系统HALO。研究团队将该系统部署在宇树科技的G1人形机器人上进行验证,让机器人将在仿真环境中学到的动作,带到陌生的现实房间中执行。研究团队还公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。
执行任务时,HALO由三个层级协同控制。最上层是基于视觉语言模型(VLM)的任务编排模块,默认采用千问Qwen3.6-35B-A3B,在机器人搭载的Mac mini上本地运行,与动作生成器共用模型服务引擎,无需联网即可工作。系统也可选择通过API调用云端模型,以获得更强的推理和规划能力。
据论文披露,研究团队在6个未预先扫描或建图的真实环境中开展360次单项任务测试,平均成功率为91%。另在一个真实环境中,对3种组合任务分别开展10次测试,平均成功率为70%。其中,“俯身通过障碍—走向目标—推箱子”这一组合的成功率为50%。
据介绍,研究团队使用250张英伟达H100 GPU,耗时约48小时合成主要训练数据。动作生成器通过模仿学习训练,使用64张B200;动作跟踪器经强化学习、策略蒸馏等步骤训练,使用4张H100。