{
  "paper_id": "297f61e23c7ae69474bbd343de7a700e",
  "paper_title": "EgoZero: Robot Learning from Smart Glasses",
  "paper_authors": [
    "Vincent Liu",
    "Ademi Adeniji",
    "Haotian Zhan",
    "Siddhant Haldar",
    "Raunaq Bhirangi",
    "Pieter Abbeel",
    "Lerrel Pinto"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "尽管通用机器人学近期取得进展，真实世界中的机器人策略仍远落后于人类基本能力。人类持续与物理世界互动，但这一丰富数据资源在机器人学习中基本未被利用。本文提出 EGOZERO，一个仅从 Project Aria 智能眼镜采集的人类演示、且不使用任何机器人数据来学习鲁棒操作策略的极简系统。EGOZERO 可从野外第一视角人类演示中提取完整、机器人可执行的动作，将人类视觉观测压缩为与形态无关的状态表示，并进行可在形态、空间和语义上泛化的闭环策略学习。作者将 EGOZERO 策略部署到带夹爪的 Franka Panda 机器人上，在 7 个操作任务上实现 70% 成功率的零样本迁移，每个任务仅需约 20 分钟数据采集。结果表明，野外人类数据可作为真实世界机器人学习的可扩展基础，为机器人获得丰富、多样、自然训练数据的未来铺平道路。\n",
  "keywords": [
    "模仿学习",
    "机器人学习",
    "人类数据"
  ],
  "paper_institutions": [
    "New York University",
    "UC Berkeley"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:59.822342Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对真实机器人操作面临大规模高质量机器人数据稀缺、而人类日常第一视角行为数据虽丰富却难以跨形态利用的问题，本文在模仿学习、人体动作捕捉和自我中心视频相关研究基础上提出 EgoZero。已有方法通常依赖额外可穿戴设备、机器人数据、多相机标定、在线微调或开环可供性，难以同时满足无机器人数据、无标定和野外采集要求；EgoZero 仅用 Project Aria 智能眼镜记录 RGB 图像、Aria MPS 提供的 6DoF 手掌位姿和相机外参，把人类演示与机器人观测统一到自我中心三维点状态和动作空间。其核心机制是用 Aria SLAM 外参、Grounding DINO、DIFT 和 CoTracker3 跟踪专家标注点，并沿相机轨迹三角化物体点，通过 q* = argmin_q Σ_{i∈I} ||u_i - P(T_0^{-1}T_i q)||_ρ + λq_z 在重投影误差与近距深度偏置间求最优解；动作则结合 Aria 手掌位姿与 HaMeR 的 21 个手部关键点，取拇指和食指三维坐标及夹爪闭合量。数据与实现上，每个任务采集 100 个、约 20 分钟的人类演示，覆盖 2 到 3 个环境、不同桌面高度、背景干扰和演示者；训练采用闭环 Transformer、行为克隆、历史缓冲、时序动作分块以及随机三维旋转平移增强，推理时用 iPhone 获取固定自我视角和深度，仅一次性 Aruco 标定手机到机器人坐标，并在 Franka Panda 夹爪机器人上经逆运动学执行。该设置刻意把训练与推理的相机、环境、物体位姿和形态分开，用于验证纯人类数据能否零样本迁移。在开烤箱、放面包、扫地、擦白板、水果分类、叠毛巾和插书入架 7 项任务、每项 15 次测试中，EgoZero 成功 74/105 次，平均约 70%，直接支持三维统一表示、闭环策略和三维增强对形态、空间、语义及相机泛化的作用；图像策略全部为 0，可供性基线仅在部分简单任务成功，去除三维增强或三角化深度的消融也全部失败。方法适用于家庭桌面式抓取、开合和抓取-放置等场景，但要求物体在抓取前静止、相机有足够运动且环境非随机，因此不能跟踪运动物体；DIFT 对应误差、单目深度不可靠以及手部模型造成约 1–2 厘米动作误差，限制了高精度任务。未来可通过立体相机、低成本激光雷达、更鲁棒的手部或对应模型、密集无序几何表示以及全灵巧双手系统扩展这些能力。\n\n### 关键要点\n\n- EgoZero 的训练数据完全来自 Project Aria 智能眼镜记录的野外第一视角人类演示，不使用遥操作、机器人数据、额外穿戴设备或多相机标定。\n- 系统将状态和动作统一为自我中心三维点集：状态由有序物体关键点组成，动作由拇指、食指三维坐标和二值夹爪闭合量组成，以缩小人与机器人的形态差异。\n- 动作标签结合 Aria MPS 的 6DoF 手掌位姿与 HaMeR 手部网格，将 HaMeR 在手部局部坐标中较可靠的关键点变形校正到 Aria 的自我中心坐标。\n- 物体三维点不依赖 Aria 的单目度量深度，而是利用 SLAM 相机位姿和 CoTracker3 轨迹进行三角化，并用对极几何、RANSAC、Huber 损失和软深度惩罚去除错误视图与远距歧义。\n- 策略是一个闭环 Transformer，通过行为克隆从三维状态预测三维动作；训练加入历史缓冲、时序聚合动作分块、物体点噪声以及随机旋转和平移增强。\n- 每个任务使用 100 个人类演示，采集时间约 20 分钟，并在 2–3 个环境、不同桌面高度、背景干扰物和多位演示者之间变化，以增加空间和人体尺度多样性。\n- 评估平台为带夹爪的 Franka Panda，推理相机为 iPhone；iPhone 到机器人的变换在每次评估开始时用 Aruco 标定一次，推理过程中标记物被遮挡。\n- 7 个任务包括开烤箱门、把面包放到盘子、用扫帚扫木板、擦白板、水果分类、叠毛巾和把书插入书架，测试时物体位姿、相机和环境均不同于训练。\n- EgoZero 在 7 个任务每项 15 次测试中分别成功 13、11、9、11、11、10、9 次，总计 74/105，平均约 70%，并可泛化到新物体实例和新视角。\n- 纯图像基线在所有任务均为 0/15，可供性基线总计 34/105 且在复杂非线性运动上失败；去掉三维增强或三角化深度的消融也均为 0/15。\n- 主要约束包括物体须在抓取前静止、相机轨迹需有足够运动、环境不能随机变化，且 DIFT 对应错误和手部模型误差会带来约 1–2 厘米动作偏差，不适合高精度或动态物体跟踪任务。"
}