划重点:
1. 🔄 **框架介绍**:H2O（Human to Humanoid）是基于强化学习的框架，通过仅使用RGB摄像头实现了全尺寸人形机器人的实时全身遥控操作。
2. 🔄 **数据处理过程**:采用可扩展的“从模拟到实际”处理，通过特权模仿者筛选和选择可行的动作，构建了大规模的重定目标运动数据集。
3. 🔄 **实时遥操作实现**:在模拟环境中使用经过精炼的动作训练了鲁棒的全身机器人模仿者，并以零次试验方式将其转移到实际机器人，成功实现了在真实场景中的动态全身运动遥操作。
站长之家（ChinaZ.com）3月11日 消息:在最新的研究中，由卡内基梅隆大学的研究团队开发，提出了一种名为H2O（Human to Humanoid）的框架，通过强化学习实现了人对人形机器人的实时全身遥控操作。
该框架在仅使用RGB摄像头的条件下，成功地让人形机器人模仿并实时执行各种动态的全身运动，包括行走、后空翻、踢球、转身、挥手、推动、拳击等。
为了实现这一突破性的技术，研究团队提出了一种可扩展的“从模拟到实际”的处理过程，以构建大规模的人类运动数据集，为人形机器人提供实时遥操作的训练样本。在处理过程中，通过特权模仿者筛选和选择可行的动作，优化了人形机器人的身体模型，确保其对人类运动的高度还原性。
框架的核心包括三个关键阶段:首先，通过优化形状和运动参数，将SMPL（Skinned Multi-Person Linear model）身体模型与人形机器人的结构对齐，形成基础的运动数据集。其次，通过训练一个特权模仿策略，去除运动数据集中的异常和不可行的动作，生成更加真实和清晰的运动数据集。最后，通过在模拟环境中训练一个实时模仿策略，实现对人形机器人的零次试验遥操作。
实时遥操作的过程涉及使用RGB摄像头和姿势估计器捕捉人类运动，然后通过训练有素的模仿策略，使人形机器人能够即时模仿并执行这些运动。
这项研究不仅成功实现了全身运动的学习式实时遥操作，还展示了在真实世界情境中的应用，如左右踢球、递盒子、前行后跳、拳击等。据了解，这是首次在人形机器人领域实现了这一技术上的突破，为全新的人机交互和协作场景提供了有力的支持。