{
  "paper_id": "65f9ff3f46ed9671d3e981c09627c166",
  "paper_title": "Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data",
  "paper_authors": [
    "Ye Wang",
    "Pei Lin",
    "Xiong-Hui Chen",
    "Haoqi Yuan",
    "Zhixuan Liang",
    "Yiyang Huang",
    "Anzhe Chen",
    "Zixing Lei",
    "Jie Zhang",
    "Tao Zhang",
    "Haoyang Li",
    "Tong Zhang",
    "Chenxi Xiao",
    "Ziyuan Jiao",
    "Qin Jin"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "学习可泛化的机器人操作策略需要大规模且多样化的演示数据。第一视角人类操作视频具有丰富的场景和任务多样性，已有研究表明，将此类视频重定向并渲染成机器人格式数据，可以在小规模条件下得到有效的单任务策略。然而，这种方法能否在大规模上为视觉-语言-动作模型带来预训练收益仍未得到探索。本文提出 Ego2Robot，这是一条可扩展流水线，通过动作重定向、机械臂视觉合成和多级质量筛选，将第一视角人类操作视频转换为机器人训练数据。Ego2Robot 同时支持精选数据集和野外视频，生成覆盖 15 种机器人形态的 18,561 小时机器人训练数据，是迄今最大的 ego-to-robot 数据集。为评估泛化能力，作者扩展 RoboTwin2.0，构建覆盖视觉外观、场景布局、机器人形态和任务语义的解耦扰动轴。实验表明，在 Ego2Robot 合成数据与机器人数据上联合预训练，能够持续提升多种扰动类型下的分布外泛化能力，并在真实机器人部署中验证了其收益。\n",
  "keywords": [
    "机器人数据合成",
    "第一视角数据",
    "泛化性评估"
  ],
  "paper_institutions": [
    "AIM3 Lab, Renmin University of China",
    "Qwen Team, Alibaba Inc.",
    "ShanghaiTech University",
    "Beijing Institute for General Artificial Intelligence (BIGAI)",
    "Beijing University of Aeronautics and Astronautics"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:32.427546Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对真实机器人演示采集成本高、硬件受限且交互多样性不足，而视觉-语言-动作模型的泛化能力又受限于数据规模与多样性的问题，本文研究第一视角人类操作视频能否大规模转化为机器人预训练数据；相关重定向与渲染方法此前只在小规模或单任务设置中被验证。作者提出 Ego2Robot 流水线，依次完成动作对齐、视觉对齐和三级质量筛选，其核心动作映射从 21 个手部关键点构造虚拟指尖，即 $\\mathbf{p}_{vf}=0.7\\cdot\\mathbf{p}_{index}+0.3\\cdot\\mathbf{p}_{middle}$，再由拇指尖与虚拟指尖确定工具中心点、开合宽度和夹持器坐标系，从而把人手轨迹转换为平行夹爪轨迹。流水线同时支持带手部姿态标注的数据和无标注野外视频，后者通过 WiLoR 逐帧重建、DynHaMR 时序优化及 Qwen3.5 子任务分割接入；作者选用 ANT、EgoDex、ViTRA 和 EgoVerse 共约 1,940 小时第一视角视频，以获得丰富物体、场景、视角和任务来源，并按来源进行帧率下采样以匹配机器人动作速度，最终跨 15 种形态生成 18,561 小时合成数据。实验采用 Qwen3.5-4B 作为视觉-语言骨干、Diffusion Transformer 作为动作头，预测相机坐标系下的 32 步相对末端执行器动作块；所有预训练均运行 200K 步、处理约 19.2M 帧，因此可在相同样本量下公平比较纯机器人数据（约 6,565 小时）与 Ego2R:Robot 为 1:3、3:1、1:1 的混合数据。作者扩展 RoboTwin2.0，将视觉外观、场景布局、机器人形态和任务语义解耦，并辅以视角更接近第一视角的 EBench，以识别增益究竟来自视觉鲁棒性、形态迁移还是语义泛化；评估指标为二值成功率及各维度平均成功率。结果显示，1:1 混合预训练在 Clean 上达到 68.1%（+5.9）、在 RoboTwin Randomized 上达到 53.5%（+2.6），并在视觉、场景、形态和任务维度分别取得 67.3%、56.9%、27.2% 和 54.1%；3:1 混合在 EBench 上达到 51.7%（+12.1）。消融表明原始第一视角视频仅为 28.1%，经单形态流水线处理升至 31.7%，扩展到 15 种形态后升至 33.5%，再加入原始第一视角数据可达 37.3%，证明动作/视觉对齐和多形态扩展均有效。真实 ARX ACone 双臂平台上，结合 100 条遥操作演示与约 35 分钟自录第一视角玩耍视频合成的 675 个 ACone 片段，可在五个长程任务上取得最佳效果，其中放积木和拧螺丝分别比纯机器人基线高 14 和 13 个百分点，说明随手记录的人类视频也能转化为有效训练信号。该方法适用于桌面整理、收纳、清洁、折叠和装配等场景，但当前受限于平行夹爪会丢失精细手指关节、严重遮挡或复杂光照下的修复与合成可能产生伪影、Franka 等运动学差异较大的形态迁移仍很差，且评测任务范围主要限于 RoboTwin2.0；未来可扩展灵巧多指手、提升生成式渲染质量并覆盖更广泛任务与形态。\n\n### 关键要点\n\n- Ego2Robot 由动作对齐、视觉对齐和质量筛选三阶段组成，可将第一视角人类操作视频转换为特定机器人形态的训练数据。\n- 动作对齐把人手关键点重定向为平行夹爪末端轨迹，并使用 Savitzky-Golay 滤波、高斯加权 SLERP 和按数据源帧率下采样来抑制噪声并匹配机器人速度。\n- 视觉对齐使用 SAM 3 分割手臂、ProPainter 修复背景，再通过基座位姿搜索、MuJoCo 逆运动学求解和深度感知合成把渲染机械臂融入原场景。\n- 质量筛选包括流水线内部的 IK 失败与碰撞检查、统计层面的异常值和突变过滤，以及 VLM 对渲染动作与文本意图一致性的语义审核。\n- 合成数据来自约 1,940 小时第一视角视频，跨 Panda、UR5e、ARX-L5、xArm7、Aloha-Agilex 等 15 种形态，最终形成 18,561 小时训练数据。\n- 扩展后的 RoboTwin2.0 将背景、光照、机器人颜色、桌高、干扰物、相机偏移、跨形态、未见物体和语言释义等扰动独立测试，支持双臂和跨形态泛化分析。\n- 所有预训练配置均使用相同超参数并处理约 19.2M 帧，因此 Ego2Robot 的收益不是由训练样本数增加造成的。\n- Ego2R 与机器人数据 1:1 混合时在 Clean 和 Randomized 设置上分别达到 68.1% 和 53.5%，并在视觉、形态和任务语义扰动上增益明显。\n- 细分结果显示 1:1 混合使光照鲁棒性提升约 8 个百分点、相机偏移提升约 6 个百分点，3:1 混合使未见物体泛化提升约 11 个百分点。\n- 消融实验显示流水线对齐可将 Randomized 成功率从 28.1% 提升到 31.7%，形态数从 1 增至 15 后进一步提升到 33.5%。\n- 真实 ARX ACone 实验中，加入由第一视角玩耍视频合成的数据后在五个长程任务上均表现最好，证明该范式可服务于低成本真实机器人部署。\n- 方法当前不能保留灵巧手指运动，遮挡和复杂光照可能引入渲染伪影，且对运动学差异较大的 Franka 形态迁移仍然有限。"
}