通用灵巧的人机交互机器人全身远程操作和学习，我们推出了 OmniH2O（Omni Human-to-Humanoid），这是一种基于学习的全身人形机器人远程操作和自主系统。OmniH2O 使用运动姿势作为通用控制界面，使人类能够以各种方式控制具有灵巧双手的全尺寸人形机器人，包括通过 VR头显、口头指令和 RGB 摄像头进行实时远程操作。OmniH2O 还通过从远程操作演示中学习或与 GPT-4 等前沿模型集成来实现完全自主。OmniH2O 通过远程操作或自主展示了各种现实世界全身任务的多功能性和灵活性，例如进行多种运动、移动和操纵物体以及与人类互动。我们开发了基于 RL 的模拟到现实管道，其中包括大规模重新定位和增强人体运动数据集，通过模仿特权教师策略学习具有稀疏传感器输入的真实世界可部署策略，以及奖励设计以增强鲁棒性和稳定性。我们发布了第一个人形全身控制数据集 OmniH2O-6，包含六项日常任务，并演示了从远程操作数据集学习仿人全身技能的过程。