{ "paper_id": "297f61e23c7ae69474bbd343de7a700e", "paper_title": "EgoZero: Robot Learning from Smart Glasses", "paper_authors": [ "Vincent Liu", "Ademi Adeniji", "Haotian Zhan", "Siddhant Haldar", "Raunaq Bhirangi", "Pieter Abbeel", "Lerrel Pinto" ], "publication_date": "", "publication_venue": "unknown", "abstract": "尽管通用机器人学近期取得进展，真实世界中的机器人策略仍远落后于人类基本能力。人类持续与物理世界互动，但这一丰富数据资源在机器人学习中基本未被利用。本文提出 EGOZERO，一个仅从 Project Aria 智能眼镜采集的人类演示、且不使用任何机器人数据来学习鲁棒操作策略的极简系统。EGOZERO 可从野外第一视角人类演示中提取完整、机器人可执行的动作，将人类视觉观测压缩为与形态无关的状态表示，并进行可在形态、空间和语义上泛化的闭环策略学习。作者将 EGOZERO 策略部署到带夹爪的 Franka Panda 机器人上，在 7 个操作任务上实现 70% 成功率的零样本迁移，每个任务仅需约 20 分钟数据采集。结果表明，野外人类数据可作为真实世界机器人学习的可扩展基础，为机器人获得丰富、多样、自然训练数据的未来铺平道路。\n", "keywords": [ "模仿学习", "机器人学习", "人类数据" ], "paper_institutions": [ "New York University", "UC Berkeley" ], "output_language": "zh", "provider": "doubao", "model": "doubao-seed-2.1-pro", "prompt_template": "simple", "extracted_at": "2026-10-20T04:27:59.822342Z", "template_tag": "deep_read", "summary": "# EgoZero: Robot Learning from Smart Glasses\n\n\n**作者 / Authors:** Vincent Liu, Ademi Adeniji, Haotian Zhan, Siddhant Haldar, Raunaq Bhirangi, Pieter Abbeel, Lerrel Pinto\n\n\n**单位 / Institutions:** New York University, UC Berkeley\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 未报告（文档未给出；待核验）\n\n\n\n**期刊/会议 / Publication Venue:** 未报告（文档未给出；待核验）\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：文档含正文、方法、实验、表1、图1–4及附录B–D、任务图5–11；提供项目页链接但未实际访问，代码/数据可用性未核验；未给出作者简介、发表信息。论文类型判定为 system：其贡献是端到端系统——Aria 采集、从原始视觉/里程计提取统一3D状态-动作、闭环Transformer策略，并在Franka上零样本部署，而非单一算法或综述。影响解释的缺口：发表 venue/date 未报告；成功率判定标准、每任务试验协议、基线调参公平性、附录A（任务轨迹）在文档中不完整/未清晰呈现；三角化与手部动作误差的定量分解有限。\n\n\n\n\n\n### 问题\n\n问题：机器人学习受真实机器人数据瓶颈限制；论文问能否仅用 Project Aria 智能眼镜采集的野外第一视角人类演示，学习可零样本部署的闭环操作策略。重要性：人类日常操作数据可扩展、自然、低成本，若可用则绕开遥操作与大量机器人采集。现有不足：遥操作需硬件且难扩展；VR/动捕手套/腕追踪器笨重、漂移或需校准；多相机点表示方法依赖标定/深度；人类视频方法常需机器人数据、在线微调、图像编辑或开环 affordance，跨形态/视角视觉差距大；单目深度与手部估计在鱼眼、遮挡和野外场景不可靠。形式化目标（便于定义）：从人类演示 D={(s̃_i,ã_i)} 学习 πθ:S̃→Ã，其中 s̃ 为第一视角物体3D点集、ã 为3D末端执行器点+夹爪闭合，训练不使用机器人数据，部署时零样本迁移到机器人。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：EGOZERO 用 Aria 眼镜的野外第一视角人类演示构造形态无关的3D点状态与动作，训练闭环Transformer策略，并在无机器人训练数据下零样本迁移到Franka Panda。核心想法与贡献：①用 Aria MPS 手姿+HaMeR 局部手形，经式(1)组合得到机器人可执行动作（拇指/食指3D点与夹爪闭合）；②用 Grounding DINO/DIFT/CoTracker3 跟踪物体点，结合SLAM外参、极线过滤/RANSAC与深度惩罚三角化得到物体3D状态；③行为克隆训练带历史缓冲与动作分块的Transformer，并用3D增强和点噪声提升野外泛化。最重要结果：7个桌面操作任务、每任务100个演示/约20分钟采集、无机器人数据，Franka上零样本平均成功率约70%（表1总计74/105）；作者还报告对新物体实例、相机（训练Aria/推理iPhone）、空间布局和环境的泛化。条件与边界：任务对象抓取前静止、相机运动足够、环境非随机；推理需iPhone深度与一次性iPhone-to-robot标定；成功率为作者在特定任务/试验协议下的报告，统计显著性与基线公平性待核验；“首个”属于作者声称，需外部核验。优先章节/图：§3.1与式(1)（动作统一）、§3.1三角化目标式（状态统一）、§3.2（策略与增强）、表1、图3（增强必要性/分布）、§4.3消融、§4.5局限。下一轮问题：三角化超参λ、内点阈值与失败率；3D增强范围如何选定；成功判定与15次试验协议；基线是否同等调参；DIFT/手姿误差对失败的贡献；推理标定与iPhone深度误差。由此进入第二轮，重点核查统一表示与消融证据是否支撑零样本结论。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入→关键步骤→输出：输入是Aria记录的{(I_t,H_t,T_t)}，I_t为鱼眼RGB，H_t为相机系手掌6DoF，T_t为相机位姿；输出是形态无关的3D点状态s̃与机器人可执行动作ã，以及由行为克隆得到的闭环Transformer策略πθ。\n\n1) 动作统一（§3.1，式1）。Aria只给H_t，缺少末端信息；用HaMeR得到21个手部关键点h_t。作者称HaMeR的相机系末端不准、手部局部形变更可靠，因此先由ThumbCMC、IndexMCP、MiddleMCP三点质心定平移，由Wrist→MiddleMCP与IndexMCP→MiddleMCP两向量构造基，得到HaMeR手掌姿态Ĥ_t；再用Aria的H_t通过手掌坐标系校正，并投到首帧：h̃_t = T_0^{-1} T_t H_t^{-1} Ĥ_t h_t。该链可读作：HaMeR局部手形→用Aria手掌对齐→第t相机→世界→首帧；成立前提是两套手掌定义可对应且H_t可靠。最终动作为拇指3D点、食指3D点与夹爪闭合的拼接；闭合由拇指-食指欧氏距离阈值判定（阈值未报告）。\n2) 状态统一（§3.1与附录B）。先在首帧标少量2D物体点，用Grounding DINO+DIFT把专家UV映射到首帧，用CoTracker3跟踪得(T_i,u_i)。假设物体抓取前静止、相机运动足够、环境非随机，故物体状态在整段演示中静态。对每个点求首帧3D坐标q*：q* = argmin_q Σ_{i∈I} ||u_i − P(T_0^{-1}T_i q)||_ρ + λ q_z。I为通过极线几何一致性/RANSAC得到的inlier帧；P为相机投影；ρ为Huber；λ为深度惩罚，q_z为深度。动机是CoTracker3常有“黏滞”滞后，重投影锥内有多个解时偏好较近解。附录B给出实现：F_ij=K^{-T}[t_ij]_×R_ijK^{-1}做极线过滤，RANSAC选内点，再用Huber+深度惩罚非线性最小二乘；作者报告平均内点重投影误差2–4像素。所有三角化点排序拼接成s̃。\n3) 策略学习（§3.2）。数据集D={(s̃,ã)}；πθ:S̃→Ã用行为克隆训练，预测高斯均值，损失为E[||πθ(s̃)−ã||²/(2σ²)]，σ=0.1。加入历史缓冲、动作分块与时间聚合；训练时对物体点加噪，并对状态/动作施加随机3D变换：R∼U(−π/6,π/6)，t∼U(−0.5,0.5)m。还删除连续距离<1 cm的静止点、长任务2×下采样、按物体点到最近指尖的1 MAD过滤DIFT失败样本。\n4) 推理（§3.2、附录C）。机器人初始在workspace中部上方30 cm；用Grounding DINO+DIFT在首帧取点，用iPhone深度反投影得s̃；用Aruco一次性标定iPhone-to-robot，推理时遮住标定物；策略输出动作块并时间聚合，夹爪在0处二值化，经逆运动学执行。关键模块：Aria MPS、HaMeR、Grounding DINO/DIFT、CoTracker3、极线/RANSAC/鲁棒三角化、Transformer BC。局限：物体不能移动、DIFT对应误差直接成为策略上限、手部动作有1–2 cm误差。注：文中T_t一处称camera-to-world，而式(1)/三角化中的变换方向与附录B的P_i=K T_i^{-1}存在表述歧义，复现时应按附录B核对。\n\n\n\n\n\n### 评测设置\n\n数据与任务：7个桌面操作任务（开烤箱、放面包、扫板、擦白板、分水果、折毛巾、插书），每任务100个人类演示，Aria采集，约20分钟/任务；训练用2–3个环境、不同桌面高度、背景干扰、多名演示者、站/坐/走动；推理环境零机器人数据。评估：Franka Panda夹爪；iPhone作第一视角，Aruco一次性标定iPhone-to-robot并在推理时遮挡；每任务15次试验（由表1分母推断，正文未给完整协议）；条件为零样本物体位姿、iPhone vs Aria相机、机器人工作区/未见过环境。指标：任务成功率；平均70%。基线/消融：From vision为Baku[^62]适配，图像输入预测统一动作；From affordances[^18]预测初始/最终抓取并线性执行；EGOZERO−3D augmentations；EGOZERO−triangulated depth（Depth Pro[^64]+Aruco标定）。所有模型同100演示/任务。缺失：λ、RANSAC的m/k/τ/ε、历史长度h、动作块ℓ、Transformer规模、训练轮数/算力、成功判定细则、随机种子/置信区间、基线调参预算均未报告；无同假设前作，基线为作者适配，公平性有限。\n\n\n\n\n\n### 结果与证据\n\n表1是决定性证据：EGOZERO在7任务为13/15、11/15、9/15、11/15、11/15、10/15、9/15，合计74/105≈70.5%，与摘要70%一致。图像基线From vision全0/15；affordance基线12/15、0/15、0/15、0/15、7/15、10/15、5/15，合计34/105≈32.4%，只在开烤箱接近本文，说明开环线性轨迹在非线性任务失败。消融：去掉3D增强全0/15；用单目深度替代三角化全0/15，作者称Depth Pro即使Aruco标定仍有>5 cm误差，故失败。证据支持“3D点表示+3D增强+三角化对零样本迁移必要”的方向，但强度有边界：每任务仅15次、无置信区间/多种子，消融出现全面零结果，可能同时反映管线脆性；成功率判定、基线调参和试验协议未详述；只验证单机器人、夹爪、7任务。泛化证据：图3显示物体位姿可超出训练体积、接近增强体积边界时失败；图4显示同/新烤箱实例迁移；所有实验用iPhone推理支持相机泛化；但这仍是作者报告，跨任务统计显著性与“首个”声明待外部核验。\n\n\n\n\n\n### 相关工作\n\n本文对最近工作的定位（据§2与§4.2的描述，未逐篇外部核验）：Point Policy/P3-PO[^16] [^27]同样用点表示统一状态-动作，但依赖多相机标定/深度或受控采集；本文改为仅Aria+SLAM外参+CoTracker3三角化，并用iPhone深度做推理，代价是物体须抓取前静止、相机需足够运动、环境非随机，且策略受DIFT对应与1–2 cm动作误差上限约束。EgoMimic[^15]也用Aria第一视角，但据本文称还需若干小时机器人数据和仔细重归一化；EGOZERO不用机器人数据，但任务与精度范围更窄。DexCap[^14]用可穿戴动捕获得更准手部数据，代价是额外穿戴/标定；EGOZERO只用眼镜，但HaMeR+Aria手姿带来动作标签误差。Phantom[^20]用图像编辑把人类视频改成机器人数据，EGOZERO以3D点几何压缩视觉差异，代价是依赖DIFT对应质量。Baku[^62]类图像策略在本文基线中因人-机器人视觉域差异全败；affordance方法[^18]用开环抓取轨迹，在开环可解任务（开烤箱）接近本文，但在放面包、擦白板等非线性任务失败。π0[^24]类VLA用大规模跨形态机器人数据，本文强调其推理相机/末端改变时零样本性能下降（作者转述，待核验）；EGOZERO以零机器人数据换取更小任务覆盖面。总体：没有同一假设下的直接可比前作，基线为作者适配，成本比较应同时看数据采集、硬件、动作精度和适用任务。\n\n\n\n\n\n### 关键图表解读\n\n1) 表1（§4.2后）：同一100演示/任务下，EGOZERO 74/105 vs 图像0/105、affordance 34/105，并列出两个消融全0。它直接支撑核心性能与必要性，但比较条件为作者适配基线、每任务15次且无方差；分母15来自表，完整试验协议未报告。\n2) 图3（§4.3）：把“放面包”任务的面包关键点训练/推理分布投影到三个2D平面，显示推理点可远离训练体积，接近增强体积边界时失败。它支撑3D增强带来的空间外推，但只给一个任务、2D投影，不能单独证明因果。\n3) 图1（§3.1）：系统总览，展示Aria采集、三角化物体点、HaMeR/Aria动作点、Transformer闭环策略与iPhone推理反投影。它支撑方法叙事，属于示意图而非性能证据。\n4) 图4（§4.4）：训练只见黑色烤箱，机器人上同实例与新烤箱实例均成功，点用对应颜色编码。它支撑语义/实例泛化与Grounding DINO+DIFT的作用，但为定性单类别示例。\n5) 图12与附录D：单目深度经Aruco标定后仍可见偏差，配合正文>5 cm误差解释深度消融全败；它支撑“不用单目深度”的设计选择，但主要是定性可视化。总体看，证据支持核心设计但统计与公平性仍需评价。\n\n\n\n\n\n### 术语表\n\nSE(3)：三维刚体变换群，元素含旋转R与平移t；文中H_t、T_t均为齐次变换矩阵。\nEgocentric/第一视角：相机随佩戴者移动，观察与动作在同一移动相机坐标系中表达。\nMorphology-agnostic/形态无关：不依赖人类手或机器人夹爪的具体几何，用统一3D点表示状态与动作。\n统一状态-动作空间S̃×Ã：状态为物体3D点集，动作为拇指/食指3D点+夹爪闭合；人和机器人共享同一空间。\nProject Aria/MPS：Meta智能眼镜及Machine Perception Services，提供鱼眼RGB、SLAM相机、6DoF手姿、内外参。\nHaMeR：单目3D手部重建模型，输出21关键点；本文只用其局部手形，不用其不准确的相机系末端。\n手掌坐标系/Ĥ_t：由ThumbCMC、IndexMCP、MiddleMCP质心与Wrist-MiddleMCP、IndexMCP-MiddleMCP基向量构造，用于把HaMeR手形与Aria手姿对齐。\n夹爪闭合：由拇指-食指距离阈值二值化得到；推理时在0处二值化预测。\nGrounding DINO：语言条件开放集检测器；本文用于按物体类别裁剪/定位，提升DIFT在Aria鱼眼与iPhone图像间的对应成功率。\nDIFT：扩散特征对应模型，把专家标注UV映射到首帧；是本文最大误差源之一。\nCoTracker3：点跟踪模型，输出(u_i,T_i)轨迹；其滞后“黏滞”促成深度惩罚。\n三角化：由多帧2D观测和相机位姿求3D点；本文用SLAM外参，不用Aria深度。\n极线约束/F_ij：两视图几何一致性检验，F_ij=K^{-T}[t_ij]_×R_ijK^{-1}；用于筛inlier帧。\nRANSAC：随机采样一致估计，剔除错误跟踪点并给三角化初值。\nHuber损失ρ：对重投影大残差降权，提升鲁棒性。\n深度惩罚λq_z：在重投影锥多解时偏好较近3D点，抵消CoTracker3滞后；λ未报告。\n行为克隆/BC：监督学习πθ(s̃)→ã；损失为高斯负对数似然，σ=0.1。\n历史缓冲：把过去动作拼入策略输入，提供隐式速度/状态历史。\n动作分块与时间聚合：一次预测多步动作再聚合执行，提升闭环稳定性；块长ℓ未报告。\n3D增强：对状态/动作施加随机旋转R∼U(−π/6,π/6)与平移t∼U(−0.5,0.5)m，并给点加噪；本文称零样本迁移必需。\nMAD：中位数绝对偏差；用于剔除物体点离最近指尖超过1 MAD的DIFT失败演示。\nZero-shot transfer：训练无机器人数据、推理直接上Franka，不微调；但仍需一次性iPhone-robot标定。\nAruco：方形基准标记，用于一次性相机-机器人标定和附录D深度校准。\n\n\n\n\n\n### 全部图表索引\n\n表1：全部基线/消融的成功率（/15），§4.2后；核心性能与消融证据，解读见module_d。\n图1：EGOZERO系统总览，§3.1；统一3D点状态-动作、三角化与iPhone推理；解读见module_d。\n图2：7个任务示意（开烤箱、放面包、扫板、擦白板、分水果、折毛巾、插书），§4.1；任务覆盖。\n图3：放面包任务面包关键点训练/推理分布的三平面投影，§4.3；3D增强与空间外推；解读见module_d。\n图4：烤箱任务同实例/新实例零样本迁移，§4.4；语义/实例泛化；解读见module_d。\n图5：开烤箱门轨迹，参考文献后（应为附录A）；任务轨迹。\n图6：放面包到盘子轨迹，附录A；任务轨迹。\n图7：用扫帚扫板轨迹，附录A；任务轨迹。\n图8：擦白板轨迹，附录A；任务轨迹。\n图9：分水果到碗轨迹，附录A；任务轨迹。\n图10：折毛巾轨迹，附录A；任务轨迹。\n图11：把书插入书架轨迹，附录A；任务轨迹。\n图12：单目深度估计经Aruco标定后的可视化，附录D；支撑深度消融；解读见module_d。\n附录B：三角化公式（极线过滤、RANSAC、Huber+深度惩罚）；附录C：推理伪代码；附录D：单目深度校准。未发现其他表格；图5–11正文未展开，附录A文字未在材料中完整给出，图像细节未逐像素核验。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n## 可靠结论与证据强度\n\n- 可靠（论文内证据较直接）：在7个桌面任务、每任务100个人类演示、无机器人训练数据下，EGOZERO在Franka Panda上报告零样本平均成功率约70%（表1合计74/105≈70.5%）；图像基线From vision全0/15，affordance基线34/105≈32.4%，两个消融（去3D增强、去三角化深度）均0/15。这支持「统一3D点状态-动作+闭环Transformer+3D增强+基于SLAM外参的三角化」在该设定下是可行且关键的方向。\n- 方向性可靠但统计不足：3D增强与三角化被消融为全0，说明管线对二者敏感；但每任务仅15次、无置信区间/多种子，且全0可能同时反映脆弱性，不能据此估计总体成功率或因果效应大小。\n- 证据不足/待核验：作者称「首个」从野外第一视角人类数据零样本迁移到闭环策略；这依赖对[^14][^15][^16][^20][^27]等工作的外部比较，本文未做同假设直接对比，不能由本文单独确认。跨物体类别、相机、空间布局的泛化有图3/图4与全部实验用iPhone推理支持，但仍是作者报告、任务数有限。\n- 关键假设：物体抓取前静止；演示中相机运动足够；环境非随机；DIFT对应精度决定策略上限；HaMeR+Aria手姿动作标签有1–2 cm误差；推理需iPhone深度和一次性iPhone-to-robot标定。\n- 失败场景与后果：物体移动/随机环境→三角化静态假设破坏，策略不能跟踪；相机运动不足→三角化退化；DIFT对应错误→3D状态错误且策略无法纠正；高精度任务→1–2 cm动作误差成为上限；单目深度替代→>5 cm误差导致全败（附录D/图12）。\n\n## 复现计划\n\n- 必需产物：Aria眼镜与MPS（鱼眼RGB、6DoF手姿、SLAM外参）、HaMeR、Grounding DINO、DIFT、CoTracker3、Franka Panda夹爪、iPhone（带深度）与Aruco标定；项目页代码/视频链接存在但未访问，代码可用性待核验。\n- 关键设置（论文报告）：7任务各100演示、约20分钟/任务；σ=0.1；3D增强 R~U(-π/6,π/6)、t~U(-0.5,0.5)m；删除连续距离<1 cm的静止点；长任务2×下采样；按物体点到最近指尖1 MAD过滤DIFT失败样本；推理初始机器人位于工作区中部上方30 cm；夹爪在0处二值化。\n- 必须补齐的blocker（论文未报告）：三角化λ、极线阈值ε、最少视图m、RANSAC子集k/内点阈值τ/迭代数、历史长度h、动作块长ℓ、Transformer规模、训练轮数/算力、成功判定细则、随机种子/置信区间、基线调参预算。\n- 验证步骤：1) 用式(1)复现动作链并用已知标定/仿真检查手部动作误差；2) 复现极线过滤+RANSAC+Huber+深度惩罚三角化，报告每演示内点重投影误差（目标2–4像素）与失败率；3) 同100演示/任务训练闭环Transformer，做表1同任务15次/任务评估；4) 跑去3D增强、去三角化、图像基线、affordance基线；5) 在未见物体位姿/新实例/iPhone推理环境测试。\n- 成功标准：主实验结果接近70%且显著高于图像基线；两个消融显著下降；三角化重投影误差落在报告范围；失败模式与论文一致（DIFT/手姿/相机运动）。若无法达到，优先排查DIFT对应、标定和三角化超参。\n- 最小伪代码：采集Aria序列→HaMeR手关键点→式(1)得动作；首帧标点→Grounding DINO+DIFT→CoTracker3跟踪→极线/RANSAC/鲁棒三角化得状态；BC训练πθ；推理用iPhone深度反投影+策略闭环执行。\n\n\n\n\n\n### 应用约束\n\n## 实际约束\n\n- 数据：每任务100个人类演示、约20分钟采集，仅Aria；但需要专家在首帧标2D物体点，且依赖DIFT/Grounding DINO/CoTracker3/HaMeR等预训练模型。数据规模小是优点，但每新任务仍需人类演示与标注。\n- 计算：训练/推理延迟、模型规模、算力未报告，无法评估实时性；离线三角化与多模型串联增加预处理成本。\n- 鲁棒性/适用性：要求物体抓取前静止、相机运动足够、环境非随机；DIFT是最大推理误差源；动作标签1–2 cm误差限制高精度；单机器人、单夹爪、7个桌面任务；推理需iPhone深度与一次性Aruco标定，标定后遮住标定物。\n- 已演示的部署行为：Franka上零样本执行7任务，平均约70%，对未见物体位姿、iPhone vs Aria相机、新烤箱实例有定性/定量支持；图像基线与单目深度消融失败。\n- 推断而非已证明：扩展到移动物体、随机环境、多机器人/多形态、高精度装配、长期自主尚不可用；跨任务统计显著性和失败率分布未报告。\n\n\n\n\n\n### 探索问题\n\n1) 用无序/稠密几何替代DIFT对应能否降低最大误差源？验证：以Grounding DINO/SAM2类分割+无序点或对象级特征替换DIFT，保持同数据/训练预算，比较成功率与DIFT失败案例；收益：可能去掉位姿排序与对应误差；风险：样本效率下降、对象身份/顺序歧义，需更大数据。\n2) 三角化质量对策略成功的因果贡献有多大？验证：系统扫λ、ε、m、k、τ与相机运动量，记录重投影误差、内点率与15次/任务成功率；收益：量化假设边界、指导采集；风险：超参在小任务上过拟合，成功率噪声大。\n3) 闭环策略是否真的纠正3D/动作误差，还是仅执行开环轨迹？验证：在推理时对初始点/动作注入可控扰动，比较闭环与affordance开环的恢复率，并记录失败模式；收益：直接检验核心闭环主张；风险：扰动设计可能不自然，需大量试验才显著。\n\n\n\n\n\n### 引用与核验\n\n## 引用与核验说明\n\n- 未进行外部访问或逐篇核验；以下仅依据本文引用与正文描述，不暗示已查证原文献。\n- 支撑新颖性/定位的关键引用：[^16] Point Policy、[^27] P3-PO（点表示与统一状态-动作）、[^14] DexCap（可穿戴动捕）、[^15] EgoMimic（Aria+机器人数据）、[^20] Phantom（图像编辑）、[^18] Bahl等affordance、[^62] Baku（图像/Transformer基线）、[^24] π0（跨形态VLA对比）。「首个」声明取决于这些工作的具体设定，本文未做同假设直接对比，待外部核验。\n- 最强比较与复现依赖：[^62]与[^18]是表1主要基线，但均为作者适配，非原论文同条件；[^26] Aria/MPS、[^54] HaMeR、[^59] CoTracker3、[^60] Grounding DINO、[^61] DIFT、[^64] Depth Pro是管线直接依赖，版本/许可/代码可用性未核验。\n- 外围引用可分组：[28–35]模仿学习/遥操作，[36–44]人类运动捕捉，[45–52]第一视角数据集与affordance，[54–58]手部姿态，[13,21–25]大规模机器人/VLA数据；未逐篇检查。\n- 论文给出的项目页链接与代码/视频声明未访问；发表venue/date未在文档中出现，待核验。\n\n\n\n\n\n### 最终判断\n\n## 最终判断\n\n- 可信任：在本文限定的7个桌面任务、Aria人类演示、无机器人数据、Franka夹爪、iPhone推理条件下，统一3D点表示+三角化+3D增强+闭环Transformer确实能取得约70%零样本成功率；这是有价值的系统存在性证明。\n- 不应直接外推：不能据此确认「首个」、跨形态/跨机器人通用性、统计显著性、对移动物体/随机环境/高精度任务的适用性；复现受未报告超参与基线调参细节限制。\n- 使用方式：把本文当作「智能眼镜人类数据→形态无关3D点→闭环策略」的实现蓝图与假设清单；复现时优先锁定三角化、DIFT对应、3D增强和试验协议，报告置信区间与失败模式。\n- 下一步：先复现主结果与两个关键消融，再用统一协议检验DIFT替代与三角化质量，避免把初步系统证据当作通用结论。" }