手把手教机器人：斯坦福大学提出RTR框架，让机械臂助力人形机器人真机训练

人形机器人的运动控制，正成为强化学习（RL）算法应用的下一个热点研究领域。当前，主流方案大多遵循 “仿真到现实”（Sim-to-Real）的范式。研究者们通过域随机化（Domain Randomization）技术，在成千上万个具有不同物理参数的仿真环境中训练通用控制模型，期望它能凭借强大的泛化能力，直接适应动力学特性未知的真实世界。尽管这类 “零样本迁移”（Zero-Shot Transfer）方案在多种运动任务上取得了卓越表现，但其本质目标是训练一种在任何环境下都 “能用” 的保守策略。这种策略牺牲了机器人在特定真实环境中的性能上限，因为对于最终落地而言，真实世界的表现才是唯一重要的标准。为了突破这一瓶颈，近期一些工作开始探索在仿真预训练后，利用少量真实数据对模型进行微调。例如，来自英伟达和 CMU 等机构的研究者提出的 ASAP [1]，通过训练一个残差网络来快速补偿仿真与现实的动态差异；而学界经典的 RMA (Rapid Motor Adaptation) 算法 [2] 也被应用于双足机器人，通过一个适配模块从历史动作中推断环境动力学信息 [3]。然而，这些工作大多仍着眼于对动态偏差进行一次性补偿，交互范式也更偏向于离线学习，并未在真实环境中对模型本身进行持续的在线调整。由于人形机器人本身极不稳定，任何微小的失误都可能导致昂贵的硬件损坏，因此在真实环境中直接进行强化学习训练，长期以来被视为一个难以逾越的障碍。从人类父母教授婴儿学步的过程中汲取灵感，我们创造性地提出，使用一个 “教师” 机械臂在现实世界中 “手把手” 地指导 “学生” 人形机器人进行在线强化学习。，时长00:28在这一过程中，教师机械臂扮演了多重关键角色：它既是保护安全的 “吊索”，防止学生摔倒 ；也是自动重置的 “帮手”，可以在失败后迅速扶起学生继续训练；它还是敏锐的 “信号源”，通过力传感器收集宝贵的训练数据，为学生提供在真实环境中不易获得的奖励信号；更是智慧的 “教练”，通过设置课程学习（Curriculum Learning）进度和施加对抗性扰动，在训练初期帮助学生快速适应环境，再循序渐进地提升训练难度，增强学生的学习效率和策略的鲁棒性。，时长00:19我们将这一创新的软硬件协同系统命名为 RTR (Robot-Trains-Robot)，凸显了由机器人教师提供主动物理辅助，对于实现人形机器人真机强化学习有重要意义。同时，为解决真实世界数据采集成本高昂的难题，团队还提出了一种新颖的强化学习算法，通过仅优化一个与环境动力学相关的低维隐变量来快速调整机器人的行为，极大地提升了样本效率。这一算法上的贡献进一步解放了真机强化学习的潜力，在评测中显著超越了 RMA 等传统的在线系统识别基准。总结与展望RTR 框架的提出，不仅为解决当前人形机器人真机部署与训练的瓶颈提供了切实可行的方案，更重要的是，它引入了主动力辅助这一全新的范式来帮助机器人在真实世界学习。这一极具扩展性的框架在未来可以通过使用承载能力更强的工业机械臂或带有力传感的龙门吊系统，将 RTR 的成功经验推广到全尺寸人形机器人，乃至其他各类复杂机器人系统的真实世界强化学习任务中。作者介绍本文的共同第一作者为清华大学交叉信息研究院许华哲组博士生胡开哲，与斯坦福大学 C. Karen Liu 和 Shuran Song 组博士生史浩辰。文章在胡开哲于斯坦福大学访问期间完成。共同通讯作者为斯坦福大学计算机系教授 C. Karen Liu，与斯坦福大学电子工程系助理教授 Shuran Song。RTR 已被 CoRL 2025 会议接收，项目代码已全部开放，更多信息可以参考项目网站：robot-trains-robot.github.io，参考文献：[1] He, Tairan, et al. "Asap: Aligning simulation and real-world physics for learning agile humanoid whole-body skills." arXiv preprint arXiv:2502.01143 (2025).[2] Kumar, Ashish, et al. "Rma: Rapid motor adaptation for legged robots." arXiv preprint arXiv:2107.04034 (2021).[3] Kumar, Ashish, et al. "Adapting rapid motor adaptation for bipedal robots." 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2022.[4] Shi, Haochen, et al. "Toddlerbot: Open-source ml-compatible humanoid platform for loco-manipulation." arXiv preprint arXiv:2502.00893 (2025).[5] Perez, Ethan, et al. "Film: Visual reasoning with a general conditioning layer." Proceedings of the AAAI conference on artificial intelligence. Vol. 32. No. 1. 2018.