{
  "paper_id": "f8a4adc11af987ec11b9257f70477a3d",
  "paper_title": "EgoMimic: Scaling Imitation Learning via Egocentric Video",
  "paper_authors": [
    "Simar Kareer",
    "Dhruv Patel",
    "Ryan Punamiya",
    "Pranav Mathur",
    "Shuo Cheng",
    "Chen Wang",
    "Judy Hoffman",
    "Danfei Xu"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "The scale and diversity of demonstration data required for imitation learning is a significant challenge. We present EgoMimic, a full-stack framework which scales manipulation via human embodiment data, specifically egocentric human videos paired with 3D hand tracking. EgoMimic achieves this through: (1) a system to capture human embodiment data using the ergonomic Project Aria glasses, (2) a low-cost bimanual manipulator that minimizes the kinematic gap to human data, (3) cross-domain data alignment techniques, and (4) an imitation learning architecture that co-trains on human and robot data. Compared to prior works that only extract high-level intent from human videos, our approach treats human and robot data equally as embodied demonstration data and learns a unified policy from both data sources. EgoMimic achieves significant improvement on a diverse set of long-horizon, single-arm and bimanual manipulation tasks over state-of-the-art imitation learning methods and enables generalization to entirely new scenes. Finally, we show a favorable scaling trend for EgoMimic, where adding 1 hour of additional hand data is significantly more valuable than 1 hour of additional robot data.",
  "keywords": [
    "模仿学习",
    "自我中心视频",
    "人类具身数据",
    "3D手部追踪",
    "双臂操作",
    "Project Aria",
    "跨域数据对齐",
    "人机共同训练",
    "ACT"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:30:33.314858Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n模仿学习需要大规模、多样化的演示数据，但机器人领域缺乏类似互联网规模的数据源，现有遥操作系统（如ALOHA、GELLO）仍需操作者有意识地提供演示，而先前利用人类视频的方法（如MimicPlay）仅提取高层意图来引导低层策略，性能受限于仅用遥操作数据训练的低层策略。EgoMimic提出一个全栈框架，将自我中心人类视频与3D手部追踪视为与机器人数据平等的一等具身演示数据：通过符合人体工学、仅75g的Project Aria眼镜被动采集自我中心RGB、3D手部姿态与设备SLAM数据；构建低成本双臂机器人（两台6自由度ViperX 300 S臂配RealSense D405腕部相机，倒置安装于可调高度支架，除机械臂外整机成本低于1000美元），并以Aria眼镜作为机器人主传感器以缩小相机间域差距；在数据处理上统一坐标系（核心机制为利用SLAM位姿将动作轨迹变换到观测相机系：${}^{H}a_{i}^{p}=(T_{F_{t}}^{W})^{-1}T_{F_{i}}^{W}p_{i}^{F_{i}}, i\\in[t,t+1,...,t+h]$）、对各数据源的动作分布分别做Z-score归一化、并用SAM遮蔽手与机器人并叠加红色线条以弥合外观差异；在架构上基于ACT构建共享Transformer主干与浅层输入输出头的统一策略，姿态损失同时监督人类与机器人数据、关节动作损失仅监督机器人数据，采用关节空间控制并以姿态空间预测作为表征对齐的辅助目标。实验在三个真实长时程任务上验证：连续物体入碗（人类数据1400条/60分钟，机器人270条/120分钟）、衣物折叠（590条/100分钟 vs 430条/300分钟）与杂货装袋（160条/80分钟 vs 300条/300分钟），这些任务分别考验精确操作与空间泛化、双臂协调、可变形物体抓取与长时程鲁棒性，用以验证人类具身数据能否提升域内性能、泛化到新物体/新场景以及数据扩展价值。以任务得分、成功率及开袋率衡量，EgoMimic相对ACT得分提升34-228%、绝对成功率提升8-33%，在未见过的衣物颜色上保持85%成功率（ACT仅25%），在全新场景中得63分（分层架构的MimicPlay仅4分），证明统一架构优于分层架构；扩展性分析显示2小时机器人数据加1小时人类数据（128分）显著优于3小时机器人数据的ACT（74分），因为1小时人类数据可产出1400条演示而机器人仅135条；消融实验表明去除动作归一化、红线、视觉遮蔽和人类数据分别导致38%、13%、26%和47%的性能下降，支持各对齐技术与共同训练的价值。未来工作计划探索泛化到新机器人本体以及仅由人类数据演示的全新行为（如叠裤子而非衬衫）；该系统面向被动、可穿戴的数据采集场景，但受限于任务重置时间（如杂货任务采集较慢）、6自由度臂需采用关节空间控制等实际约束。\n\n### 关键要点\n\n- EgoMimic将自我中心人类视频与3D手部追踪数据视为与机器人遥操作数据平等的具身演示源，通过单一端到端策略共同训练，而非仅从中提取高层意图。\n- 数据采集基于Project Aria眼镜（仅75g、符合人体工学），利用前向宽视场RGB相机观测、侧向SLAM相机进行设备定位与手部追踪，即使手移出主相机视野也能持续追踪，支持被动可扩展的数据采集。\n- 机器人平台为低成本双臂系统：两台6自由度ViperX 300 S臂倒置安装于可调高度支架，配RealSense D405腕部相机，除机械臂外整机成本低于1000美元，运动学上模仿人体上半身。\n- 机器人同样使用Aria眼镜作为主视觉传感器并安装于类人眼位置，以缩小FOV、曝光与动态范围等相机间域差距。\n- 核心机制是坐标系统一：利用MPS视觉惯性SLAM位姿将人类手部轨迹变换到观测相机系（${}^{H}a_{i}^{p}=(T_{F_{t}}^{W})^{-1}T_{F_{i}}^{W}p_{i}^{F_{i}}$），机器人数据经手眼标定同样处理，使策略无需考虑未来相机运动即可学习统一的动作监督。\n- 对人类手部与机器人末端位姿分别做Z-score归一化以对齐动作分布，避免策略为两种数据源学习分离的表征，从而实现随人类数据扩展的性能提升。\n- 使用SAM对手与机器人进行视觉遮蔽并叠加指示末端方向的红色线条，以弥合人手与机器人臂之间的外观差异。\n- 策略架构基于ACT：共享Transformer主干，仅输入输出为浅层头部；姿态损失同时监督人类与机器人数据，关节动作损失仅监督机器人数据，采用关节空间控制并以姿态预测作为辅助表征对齐目标。\n- 在三个真实长时程任务上评估：连续物体入碗、衣物折叠、杂货装袋，分别考验精确操作与空间泛化、双臂协调、可变形物体抓取与长时程鲁棒性。\n- 相对ACT任务得分提升34-228%、绝对成功率提升8-33%；与不含人类数据的EgoMimic相比得分提升10-88%、成功率提升2-15%，证明增益主要来自人类数据而非架构差异。\n- 泛化实验：未见过的衣物颜色下成功率保持85%（ACT仅25%）；在全新场景（未见背景与光照）中仅凭人类数据即得63分，而使用相同信息的分层架构MimicPlay仅得4分。\n- 扩展性：1小时人类数据可得1400条演示（机器人仅135条），2小时机器人数据加1小时人类数据（128分）显著优于3小时机器人数据的ACT（74分）；消融显示去除动作归一化、红线、遮蔽、人类数据分别导致38%、13%、26%、47%的性能下降。"
}