{
  "paper_id": "d35f2ae18a466f76444816b4d96394c6",
  "paper_title": "EGOWILD2DEX: Learning Dexterous Robotic Manipulation from In-the-Wild Human Experience",
  "paper_authors": [
    "Kunyang Lin",
    "Xutao Wen",
    "Jingxi Lin",
    "Lanyong Lin",
    "Jiaming Liu",
    "Tianshuo Yang",
    "Xianchi Chen",
    "Yue Han",
    "Yiduo Li",
    "Zhanpeng Zhang",
    "Ping Luo"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "第一视角人类数据为学习灵巧机器人操作提供了重要监督来源。与以往常在受限或专门构建环境中采集数据的方法不同，作者在家庭、工厂、药房等真实场景中采集人们佩戴头戴相机执行日常任务时的野外第一视角演示。该协议能够覆盖长尾物体与技能分布中的多样工作流和手物交互，但也因场景杂乱和头部运动造成平均累计头部旋转达15.93°/s的视觉挑战。为此，论文提出EGOWILD2DEX，通过联合对齐不稳定的第一视角视角、人类动作与机器人观测、动作，将野外人类经验迁移到带灵巧手的双臂机器人。其核心包括：用于将含噪人类观测轻量投影到机器人观测的可微几何变换器GEOFORMER；用于跨越具身鸿沟、在有限机器人监督下实现高任务成功率的人机训练方案；以及包含538.9小时、179,049个片段、125,961条独立任务描述和1,282个物体类别的EgoWild数据集。真实机器人实验中，EGOWILD2DEX在三个长程双臂灵巧操作任务上取得96.7%的平均成功率，并在未见物体上取得33.3%的平均物体级零样本成功率。数据、模型和代码将开源。\n",
  "keywords": [
    "野外第一视角数据",
    "灵巧机器人操作",
    "双臂机器人",
    "视觉-语言-动作模型",
    "几何视角对齐",
    "人机协同训练",
    "流匹配",
    "跨具身迁移"
  ],
  "paper_institutions": [
    "The University of Hong Kong",
    "Kinetix AI"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:19.314370Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向如何把真实日常生活中的人类操作经验迁移给双臂灵巧机器人这一问题：现有方法通常依赖受限布景、昂贵的人机配对数据或大量机器人遥操作演示，且多数面向夹爪而非长程、多指协同任务。作者构建EgoWild数据集，在家庭、超市、包裹站、工厂、药房和办公室等原生场景中采集无脚本双手操作，因为这些数据包含自然杂物、多样物体、工作流和接触模式，可减少模型对布景捷径的依赖；该数据集含538.9小时、179,049个训练片段、125,961条独立任务描述、1,282个物体类别，每帧平均34.78个前景实例，平均累计头部旋转为15.93°/s。论文提出EGOWILD2DEX，其核心机制GEOFORMER从非配对第一视角图像和机器人图像中学习8参数单应性，用\\(\\mathcal{T}_{\\mathbf p}=\\exp(P_{\\mathbf p})\\)表示机器人到第一视角的投影，再用逆变换把第一视角观测对齐到机器人视角，避免显式三维重建、补画和精确标定；策略则在统一机器人原生动作空间中依次进行人类到机器人预训练、人机协同训练和机器人域精炼，三阶段共享VLA架构、动作块与流匹配目标。实验主要采用两台6自由度Piper机械臂和两只6通道Revo2灵巧手，以固定俯视相机和腕部相机观测，在开箱、粘胶摆件、冰水制备三个包含工具使用、双臂协调和富接触子任务的长程任务上验证；每任务使用1,000条任务相关第一视角演示、1,000条手套演示和约110条机器人轨迹，其中机器人数据不足1小时。评测采用每种方法每任务10次独立试验、10分子任务完成分和端到端成功率，结果完整流程达到平均分9.8、平均成功率96.7%，GEOFORMER相对Project+Inpaint实现21.9倍加速并把Open-Box成功率提升至90%，未见物体零样本平均成功率为33.3%，在Tianji Marvin Pro臂上也达到9.2分和60%成功率，说明几何对齐、广泛人类先验与任务级接地、恢复数据共同支撑了高数据效率的灵巧操作。该方法适用于真实仓储、家庭、制药和制造等需要工具操作与富接触双手协作的场景，但仍需真实机器人微调，GEOFORMER无法重建因头部转动而离开视野的缺失内容，更高自由度灵巧手的稳定性、耐久性、散热和成本约束也留待未来研究。\n\n### 关键要点\n\n- EgoWild包含538.9小时第一视角活动、179,049个片段、125,961条独立任务描述和1,282个物体类别，视频分辨率为2048×1536。\n- EgoWild每帧平均有34.78个前景实例，显著高于EgoDex的4.51个和EgoVerse的22.73个，体现更密集的场景杂物。\n- EgoWild平均累计头部旋转为15.93°/s，分别约为EgoDex和EgoVerse的3.80倍和3.45倍，视角动态性更强。\n- GEOFORMER使用非配对第一视角图像和机器人图像训练，以8维单应性参数和级联残差细化完成轻量投影对齐。\n- GEOFORMER先学习机器人到第一视角变换，再通过逆单应性得到机器人视角对齐图像，训练后冻结预测器并丢弃判别器。\n- 统一机器人原生动作向量同时包含左右臂关节目标和双手电机指令，所有训练阶段均使用相同的逆运动学、重定向和流匹配目标。\n- 渐进训练包括EgoWild广泛先验学习、任务相关第一视角与手套及少量机器人数据协同训练、专家演示和DAgger恢复轨迹精炼。\n- 手套演示在部署相同的三相机配置下采集，可提供更准确的腕部和手指信号，并稳定第一视角数据到机器人数据之间的优化。\n- 三个真实机器人任务分别要求开箱取物、使用热熔胶固定摆件以及舀冰、接水，均由多个连续富接触子任务构成。\n- 在每任务100条专家机器人演示和10条DAgger恢复轨迹的设置下，完整流程在三个任务上取得90%–100%成功率和96.7%的平均成功率。\n- 直接微调π0、π0.5和GR00T-N1.7的最佳平均成功率仅为6.7%，而GEOFORMER相对三维投影加补画方案取得21.9倍速度提升。\n- 该方法仍依赖真实机器人精炼，不能补全视野外内容，且尚未在满足稳定性、耐久性、散热和成本要求的更高自由度商用水手上验证。"
}