# EgoZero：基于智能眼镜的机器人学习 刘文森 $^{1*}$ 阿德米·阿德尼吉 $^{12*}$ 詹浩天 $^{1*}$ 西达尔特·哈尔达尔 $^{1}$ 劳纳克·比兰吉 $^{1}$ 皮特·阿贝尔 $^{2}$ 勒雷尔·平托 $^{1}$ $^{1}$纽约大学 $^{2}$加州大学伯克利分校 $^{*}$贡献相同 摘要：尽管通用机器人技术近期取得了进展，但机器人在现实世界中的表现仍远不及人类的基本能力。人类时刻与物理世界互动，然而这一丰富的数据资源在机器人学习中却尚未被充分利用。我们提出了EGOZERO——一个极简的系统，它利用Project Aria智能眼镜采集的人类演示数据来学习鲁棒的操作策略，且无需任何机器人数据。EGOZERO能够实现：（1）从自然场景下的以自我为中心的演示中提取完整、可供机器人执行的动作；（2）将人类的视觉观测压缩为与形态无关的状态表示；（3）学习在形态、空间和语义层面均具备泛化能力的闭环策略。我们将EGOZERO策略部署在Franka Panda机械臂上，在仅每个任务收集20分钟数据的情况下，便能在7个操作任务中实现70%的成功率的零样本迁移。我们的研究结果表明，自然场景下的人类数据能够成为现实世界机器人学习的可扩展基础——为未来获取丰富、多样且自然的机器人训练数据铺平道路。代码和视频可在查看。 关键词：模仿学习、机器人学习、人类数据 ![Image](images/5ee078b6154b6bb2e56c76e8eca0a53c2e40ea8fbc7ce9bffe527463395efaf4.jpg) 人类演示 EgoZero ![Image](images/ff63cc4f87d276927710a7bb91a5a6e6c3abd149bce5d6f7bd57fd2694012278.jpg) ✓ 无需机器人数据 ✓ 零样本迁移 ✓ 仅需智能眼镜 ✓ 自然场景下的数据 ✓ 以自我为中心 ![Image](images/d6488926642e7918525e3a5f96dac661522122ca836db72d821ab186232dc2a9.jpg) 闭环机器人策略 ## 1 引言 机器人在物理世界中复制人类的通用性和灵巧性时面临重大挑战。虽然深度学习在语言 [^1] [^2]、视觉 [^3] [^4] [^5] [^6] [^7] 等领域推动了进步， --- 语音 [^8] [^9] [^10] 以及复杂游戏 [^11] [^12] 方面，这些成果依赖于与下游应用紧密匹配的互联网规模数据集。而在机器人领域，收集与真实世界部署条件相匹配的同样庞大且多样的数据集仍是一个根本性瓶颈 [^13]。 我们认为，数据瓶颈并非源于现实世界中体力劳动的短缺，而是源于有效捕捉和表征人类行为以供机器人学习这一难题尚未解决。人类每天在自然环境中执行各种精细任务，这些任务代表了丰富且可再生的真实世界数据来源，目前尚未被充分利用。尽管近期的研究尝试利用人类演示作为机器人学习的监督信号，但这类方法在扩展性方面存在局限，比如需要额外的可穿戴设备[^14]、机器人数据[^15]、多摄像头校准[^16]、在线微调[^17]、低精度基于可供性策略[^18] [^19]，或是采用数据处理技巧来跨越人机形态差异[^14] [^15] [^20]。其他基于视觉的通用学习方法则会在大型多机器人数据集上预训练[^13] [^21]，从而生成能适应训练集中各种形态的鲁棒视觉表征[^22] [^23] [^24] [^25]，但这类方法尚未展现出仅依靠人类数据就能实现零样本迁移的能力。 在这项研究中，我们探讨了一个极具挑战性的问题：机器人能否仅凭以自我为中心的野外人类数据就学会零样本操控技能？为解答这一问题，我们提出了EGOZERO：一个轻量级框架，它能使机器人直接根据以自我为中心的野外人类演示来学习操控策略，而这些演示仅通过Project Aria智能眼镜采集[^26]。EGOZERO无需远程操作、校准或额外可穿戴设备，人类可以自由地与世界互动，同时仍为机器人提供监督信号。受[^16] [^27]的启发，EGOZERO通过将状态与动作表示为紧凑的点集来克服形态差异问题。基于点的表征不仅能统一人类与机器人的分布，还能提升策略学习的样本利用率与可解释性，并泛化到新的视觉场景和形态中。然而，以自我为中心的野外数据采集无法像[^16] [^27]中那样利用多摄像头校准装置来精确计算点表征。因此，我们提出了从原始视觉与里程计输入中精确推导状态与动作表征的方法。 我们通过用Aria记录的人类演示来训练操控策略，并将其部署在Franka Panda机器人上，以此评估EGOZERO的性能。我们的策略在未曾见过的真实世界环境中，针对抓取、打开、拾取放置等任务，平均零样本成功率达到70%——且整个过程无需任何机器人采集的训练数据。通过从头开始重新设计数据表征与策略学习架构，使其具备形态无关性，EGOZERO朝着打造能够从丰富多彩的真实人类经验中学习的机器人这一目标迈出了重要一步。我们的贡献如下： - EGOZERO策略在我们设定的任务中实现了70%的零样本成功率，其训练数据仅来自用Project Aria智能眼镜记录的人类数据。据我们所知，EGOZERO是首个成功将野外人类数据转化为闭环策略且不依赖任何机器人数据的方法。 - EGOZERO策略仅需100个训练演示（20分钟的数据采集时间）便展现出强大的零样本泛化能力，这证明了基于统一三维状态-动作表征进行学习所具有的鲁棒性、可迁移性与数据高效性。 - 当在新相机视角、空间配置以及物体实例上进行评估时，EGOZERO展现出了极高的成功率；这些场景往往完全超出了训练分布范围——这一结果验证了我们所提出的方法在无法获取精确深度测量数据时，仍能从物体中提取出准确的3D表征。 ## 2 相关工作 模仿学习。模仿学习已成为机器人领域的一种强大范式，它使机器人能够通过直接学习现实世界的演示来掌握复杂技能 [^28]。通过观察并复制专家的行为，机器人无需依赖手动设计的解决方案就能完成操控任务，因此这种方法尤其适用于状态与动作空间维度较高的领域。 --- 状态与动作空间 [^29] [^30]。遥操作是从真实世界数据中收集信息以进行模仿学习的最常用方法之一，在机器人领域已有广泛研究。在这种方法中，人类操作员会指挥机器人完成指定任务，同时记录机器人此时的状态与动作。随后利用收集到的数据，通过监督学习训练策略，从而根据状态预测动作 [^31] [^32] [^33] [^34] [^35]。 从人类动作中学习。由于遥操作受硬件限制难以规模化，直接从人类身上学习操控技能逐渐成为备受关注的研究方向。以往的研究尝试利用“接触网”这类基于视觉的表征，将人类的抓取动作映射到机器人操控器上 [^36]；近期的研究还引入了语义约束，以编码执行家务任务所需的隐性常识 [^37]。其他用于捕捉人类本体感知的方法包括VR头盔、适配器等“内向外”的动作捕捉系统，这类系统无需使用外部传感设备 [^38] [^39]，但存在体积庞大、有线缆连接且易被遮挡的问题。基于SLAM的可穿戴摄像头系统 [^14] 以及SteamVR腕部追踪器等VR腕部追踪器 [^40] 属于基于视觉的方案，无需外部发射器即可定位，但会出现漂移现象导致精度下降。自跟踪视觉方法需要事先对每个环境进行大量校准和映射 [^14]。在捕捉手指运动等局部信息方面，Rokoko和Manus Metagloves等动作捕捉手套的精度极高 [^41] [^42] [^43] [^44]。这些手套利用电阻式应变传感、电容式传感以及电磁场传感技术，来追踪手部局部坐标系中的精确手指信息。 从以自我为中心的视频中学习。由于视频获取便捷，近期有不少研究试图从人类的以自我为中心的视频中学习并提取手部数据。诸如 [^45]、[^46]、[^47]、[^48]、[^49] 等数据集代表了大规模收集人类在各类真实场景中与物体互动的以自我为中心视频的努力。[^27] 和 [^16] 采用基于点的表示方法，将人类视频数据与机器人训练数据统一起来；而 [^20] 则利用图像编辑模型对人物视频进行处理，以此生成机器人训练数据。[^15] 和 [^50] 提出了智能眼镜和多摄像头数据采集平台等硬件解决方案，用于收集灵巧手部视频数据集；同时，[^18]、[^51]、[^52]、[^53] 以及 [^19] 则介绍了从视觉信息中提取用于操控的基于控制的功能区域的方法。许多从一个或多个摄像头输入中估计手部姿态信息的方法，都借助了诸如 [^54]、[^55]、[^56]、[^57] 之类的手部姿态估计模型。这些模型通过模仿学习进行训练，以便从单目视觉输入中预测手部关键点 [^58]。尽管这些模型在许多简单场景中表现有效，但它们对遮挡情况较为敏感，时序一致性较差，且对背景干扰的鲁棒性不足。 ## 3 EGOZERO 在本节中，我们将介绍EGOZERO系统，该系统用于收集野外环境下的以自我为中心的人类数据，并训练与形态无关的机器人操控策略。 ### 3.1 人机域统一 Project Aria智能眼镜。Project Aria智能眼镜配备了多种传感器、SDK以及额外的机器感知服务（MPS）[^26]。我们利用鱼眼RGB摄像头和2个SLAM摄像头来采集数据。通过MPS，我们能够实时获取精确的6自由度手部姿态、摄像头内参以及摄像头外参。我们记录下RGB图像、6自由度手掌姿态以及6自由度摄像头外参，对于时间步t而言，它们分别记为 $(I_t, H_t, T_t)$。我们将 $I_t$ 线性化为尺寸为1408×1408的RGB图像，其摄像头投影函数为已知；$\mathcal{P}$ 和 $H_t, T_t \in SE(3)$ 则是分别表示摄像头坐标系中的手部姿态以及世界坐标系中的摄像头姿态的齐次变换矩阵。 传统上，$\mathcal{S}$ 代表机器人的视觉状态空间，而 $\mathcal{A}$ 代表机器人可执行的原生动作。与 [^16] 类似，我们在以自我为中心的坐标系中定义了与形态无关的状态空间 $\tilde{\mathcal{S}}$ 和动作空间 $\tilde{\mathcal{A}}$。在本节中，我们将介绍如何从演示数据 $\tilde{\mathcal{S}} \times \tilde{\mathcal{A}}$ 中提取 $\{(I_t, H_t, T_t)\}_{t=1}^L$。 --- ![Image](images/35aeac5f30cca04e582c6a8e4ef70855cd4997c23ee560a5c1275ef9ae9de396.jpg)
Figure 1: EGOZERO trains policies in a unified state-action space defined as egocentric 3D points. Unlike previous methods which leverage multi-camera calibration and depth sensors, EGOZERO localizes object points via triangulation over the camera trajectory, and computes action points via Aria MPS hand pose and a hand estimation model. These points supervise a closed-loop Transformer policy, which is rolled out on unprojected points from an iPhone during inference.
统一的动作空间。我们将 $\mathcal{A}$ 定义为 3D 末端执行器以自我为中心的坐标与夹爪闭合状态的拼接空间 [^14]。Aria 仅提供 $H_t$，其中除了手部姿态外不包含任何末端执行器信息 [^15]。我们利用 HaMeR [^54] 来计算包含 21 个关键点的以自我为中心的手部模型 $h_t \in \mathbb{R}^{21 \times 3}$。尽管 HaMeR 在相机坐标系下对末端执行器的预测并不准确，但其在手部坐标系下的预测更为可靠。因此，我们将 HaMeR 得到的局部手部形变与 Aria 提供的以自我为中心的手部信息相结合。首先，我们将 HaMeR 得到的手掌在相机坐标系下的表示设为 $\hat{H}_t \in SE(3)$：其平移量取拇指腕掌关节、食指掌指关节和中指掌指关节三点的质心；旋转量则由腕关节-中指掌指关节向量与食指掌指关节-中指掌指关节向量构成的基础矩阵确定。接着，我们利用 $H_t$ 通过手掌坐标系来修正以自我为中心坐标系下的 $\hat{H}_t$。最后，我们将修正后的手部姿态 $H_t^{-1} \hat{H}_t$ 投影到第一帧中 [^14] [^15]。这一过程可以用一串齐次变换来表示。 $$ \tilde{h}_{t}=T_{0}^{-1}T_{t}H_{t}^{-1}\hat{H}_{t}h_{t} $$ 为了检测抓取动作，我们对拇指与食指坐标之间的欧几里得距离设置阈值。最终的动作即为拇指坐标、食指坐标以及夹爪闭合状态的拼接向量。 统一的状态空间。我们将 S 定义为以自我为中心的物体点集与机器人末端执行器动作的拼接空间。提取物体的点表示需要借助多摄像头三角测量或基于深度的反投影，但 Project Aria 眼镜无法提供这两种功能 $^{2}$。此外，即便有定位辅助，单目度量深度模型也存在不一致且不准确的问题，我们在附录 D 中展示了这一点。因此，我们依靠 Aria 精确的 SLAM 外部参数和 CoTracker3 $^{[59]}$ 来演示轨迹上的 2D 点进行三角测量。这基于以下假设： --- (1) 物体在抓取前保持静止；(2) 摄像头有足够多的运动；(3) 环境并非随机变化。因此，在整个演示过程中物体状态是静态的。 我们首先标记一组 2D 点 [^27] [^16]。对于每个由专家标记的点，我们利用 Grounding DINO [^60] 和 DIFT [^61] 将其 UV 坐标映射到起始帧，再通过 CoTracker3 [^59] 跟踪这些点，从而得到由 $(T_t, u_t)$ 对组成的集合，其中 $u_t \in \mathbb{R}^2$ 和 $T_t \in SE(3)$ 分别表示世界坐标系下的相机姿态。我们希望求解出第一帧中的 $\mathbf{q}^*$ $(t = 0)$，使得每一帧中的像素重投影误差最小化。首先，我们通过极几何一致性和 RANSAC 三角测量找出一组内点帧 $\mathcal{I}$。CoTracker3 常常预测出的点会滞后于摄像头运动，导致该点在空间中看起来比实际更远。为弥补这种“粘性”效应，当存在多个能使重投影误差最小化的解时，我们会加入一个软深度惩罚项以优先选择更近的解。因此，我们求解 $$ \mathbf{q}^{*}=\arg\min_{\mathbf{q}}\sum_{i\in\mathcal{I}}\left|\left|u_{i}-\mathcal{P}\left(T_{0}^{-1}T_{i}\mathbf{q}\right)\right|\right|_{\rho}+\lambda\mathbf{q}_{z} $$ 其中 $\|\cdot\|_{\rho}$ 为 Huber 损失，$\mathcal{P}$ 为相机投影函数，$\lambda$ 为深度惩罚权重。实践中，$(T_t, u_t)$ 的准确性较高，因此 $\mathcal{I}$ 包含了大部分帧，优化结果会强烈收敛至平均内点重投影误差仅为 2-4 像素的水平。最后，我们对所有三角测量得到的点进行排序并拼接，以此表示物体状态 $\tilde{s}$。我们在附录 B 中提供了该过程的完整数学公式。 ### 3.2 基于人类数据学习机器人策略 策略学习。我们收集N个人类演示样本，并将其处理成数据集$\mathcal{D} = \{(\tilde{s}^{(i)}, \tilde{a}^{(i)})\}_{i=1}^{N}$。我们利用行为克隆方法，基于[^27]训练闭环Transformer策略$\pi_\theta : \tilde{\mathcal{S}} \mapsto \tilde{\mathcal{A}}$ $\mathcal{D}$。我们将策略的预测结果建模为正态分布的均值，并训练该策略以最小化负对数似然函数。 $$ \theta=\arg\min_{\theta}\mathbb{E}_{(\tilde{s},\tilde{a})\sim\mathcal{D}}\left[\frac{||\pi_{\theta}(\tilde{s})-\tilde{a}||^{2}}{2\sigma^{2}}\right] $$ 其中$\sigma = 0.1$ [^62] [^27]。我们通过添加历史缓冲区输入以及时间聚合的动作分块机制来增强该策略的能力[^62] [^27]。我们会向物体点中随机注入噪声，并对每个训练样本中的状态与动作施加随机的3D变换[^14]；正如4.3节所展示的，这对实现真实场景下的迁移至关重要。为此，我们采样随机旋转角度$R \sim \mathcal{U}(-\pi/6, +\pi/6)$弧度，以及随机平移距离$t \sim \mathcal{U}(-0.5, +0.5)$米。我们会剔除静止点：若连续两点间的欧几里得距离小于1厘米，则将其丢弃，这一操作对于区分本体感知位置与抓取闭合动作至关重要。对于较长的任务，我们会将演示样本的数量减半。为了剔除因DIFT失败产生的噪声训练样本，我们会丢弃那些物体点与最近的人指尖点之间的距离超过1个中位绝对偏差的演示样本。 策略推理。在推理阶段，我们将机器人状态初始化在其工作区中央上方30厘米处。我们使用Grounding DINO和DIFT来裁剪专家标注的UV坐标，并将其映射到起始帧。由于iPhone能够将点反投影为具有精确深度的3D点，因此我们用它来模拟固定的自我中心视角。为了将策略输出的3D预测结果映射到机器人坐标系下，我们在推理开始时只需校准一次iPhone到机器人的变换关系。我们将模型对夹爪的预测结果二值化为0，从而生成$\{-1, 1\}$中的夹爪动作。在我们的实验中，使用的是Franka Panda夹爪机器人，其控制器通过逆运动学映射生成可供机器人执行的动作$\mathcal{A} \mapsto \mathcal{A}$。 ## 4 实验 在本节中，我们将EGOZERO与相关研究中采用的基线方法进行比较，并消融EGOZERO的一些核心组件。通过这些对比，我们展示了特定的设计选择是如何实现零样本的真实场景迁移的。我们还探讨了由EGOZERO统一的状态-动作表示空间所带来的泛化特性。 --- ![Image](images/0d7fcd399c3757cd4bfb3d08e28f7e98b54849de8053d3c0575b2153e0d3f64d.jpg)
Figure 2: Our 7 tasks. Top: open oven door, put bread on plate, sweep board with broom, erase board. Bottom: sort fruit, fold towel, and insert book in shelf. See Appendix A for full trajectories.
### 4.1 实验设置 我们在Franka Panda夹爪机器人上评估EGOZERO。我们使用iPhone来模拟自我中心视角，每次评估时通过Aruco标签将其校准到机器人坐标系下，该标签会在策略推理阶段被遮挡。我们为每个任务收集100个演示样本，这些样本的环境与物体位置各不相同。我们在推理阶段的环境中不收集任何数据。我们的方法在以下操控任务上进行评估： - 打开烤箱门。机器人手臂抓住并向下拉动烤箱门的把手。每次评估时烤箱的位置都会有所不同。 - 把面包放到盘子上。机器人手臂从桌上捡起一片可形变的面包，并将其放到盘子上。每次评估时面包的位置都会有所不同。 - 用扫帚扫木板。机器人手臂从篮子里拿起迷你扫帚，清扫一块木板。每次评估时扫帚、篮子和木板的位置都会有所不同。 - 擦除白板。机械臂从桌上拿起白板擦，用它来擦除白板上的内容。每次评估时，擦除工具和白板的位置都会有所不同。 • 将水果分类放入碗中。机械臂被指示去拿起柠檬、青柠或橘子中的一种，然后将其放入碗中。每次评估时，水果和碗的位置都会有所不同。 - 折叠毛巾。机械臂提起毛巾靠近摄像头的一端，将其折叠到毛巾的另一端上。每次评估时，毛巾的位置都会有所不同。 - 把书放进书架。机械臂拿起一本书并将其插入书架中。每次评估时，书和书架的位置都会有所不同。 ### 4.2 基线模型 在本节中，我们将说明为何我们特定的策略学习框架能够实现从真实场景中的人类行为到机器人任务的零样本迁移。由于此前的研究均没有在与我们相同的假设下开展——即在真实场景中无需依赖机器人数据、仅通过智能眼镜就能学习闭环策略——因此我们将过往研究中的一些思路适配到我们的实验环境中。 基于图像的学习。我们实现了Baku [^62]的一种变体，它可以从图像输入中预测我们统一动作空间内的动作。由于人类与机器人在视觉分布上存在巨大差异，要从人类视频中学习闭环策略并实现零样本的机器人迁移十分困难。[^15]仅展示了将Aria眼镜拍摄的人类视频作为机器人数据的补充的实验结果。 ---
MethodOpen ovenPick breadSweep broomErase boardSort fruitFold towelInsert book
From vision [^62]0/150/150/150/150/150/150/15
From affordances [^18]12/150/150/150/157/1510/155/15
EGOZERO - 3D augmentations0/150/150/150/150/150/150/15
EGOZERO - triangulated depth0/150/150/150/150/150/150/15
EGOZERO13/1511/159/1511/1511/1510/159/15
Table 1: Success rates for all baselines and ablations. All models were trained on the same 100 demonstrations per task, and evaluated on zero-shot object poses (unseen from training), cameras (iPhone vs Aria), and environment (robot workspace vs in-the-wild). Because of limited prior work in our exact zero-shot in-the-wild setting, we cite the closest work for each baseline.
这需要对人类数据分布进行仔细的归一化处理。此外，Aria的鱼眼镜头会加剧这一问题，因为它会在时空维度上非均匀地扭曲二维到三维的对应关系。当拥有由相似的机器人和相机分布产生的丰富视觉数据时，从二维上下文线索中学习三维分布会变得更加可靠 [^63] [^24] [^25]。 基于可供性特征的学习。[^18] [^19]探讨了在无机器人数据的情况下，从以自我为中心的视角下的人类视频数据中学习可供性特征的方法。通常，这类方法依赖于预训练抓取模型生成的开环轨迹。我们通过预测本体感知地标来验证我们的闭环框架，这些地标与[^18]中定义的类似——即初始抓取点和最终抓取点，在推理阶段会在这两点之间执行线性轨迹。尽管基于可供性特征的策略学习在三维表示下较为简单，但在需要复杂非线性运动的任务中却会失效，比如我们的“把面包放进盘子”和“擦除白板”任务。当这些策略部署到机器人上时，会出现错误行为：机器人试图把面包拖进盘子，或用擦除工具推挤白板。在其他部分成功的任务中，策略生成的轨迹过于简单，执行过程中常常会撞到其他物体。这些失败案例表明，即使不追踪物体的状态，要学习更精确的复杂运动，闭环策略也是必不可少的。 ### 4.3 消融实验 在本节中，我们探究了实现从真实场景中的人类数据到机器人任务的零样本迁移所必备的关键设计组件。通过消融实验，我们认为完全以自我为中心的框架需要一些在受限环境下并不重要的策略学习要素。 三维数据增强。尽管此前已有关于三维数据增强的研究[^14]，但我们的研究表明，它们对于零样本的自然场景迁移确实必不可少。在统一的三维状态-动作空间中，策略会学习一种密集的三维到三维映射关系[^16]。若没有三维数据增强，策略所学习到的三维到三维映射范围会更小且更稀疏。这样一来，策略在三维位置之间的插值能力较差，对新位置的适应性也较弱。因此，当面对新的以自我为中心的视角时，它往往会出现分布外的情况。我们证明：经过三维数据增强训练后，我们的策略能够泛化到那些偏离训练数据分布多个标准差的物体配置上。虽然我们的策略学习框架与[^27]、[^16]的研究类似，但后者无需借助三维数据增强就能取得不错的成效，这一事实表明：基于以自我为中心的数据学习鲁棒策略时，会引入额外的复杂性，从而难以学到具备泛化能力的表征。我们在图3中可视化了物体点的训练与推理分布。 单目深度估计。Aria眼镜无法提供提取真实深度信息的方法：(1)由于所有摄像头之间的重叠视场较窄，它无法可靠地对物体进行三角测量；(2)它没有任何内置的激光雷达或深度传感器。因此，我们通过沿相机轨迹进行三角测量来定位物体，进而获取其三维信息。为了说明 --- ![Image](images/8562aa7a5b3ba7b7c2c93eb089990457588611021cf61faad4f1fa05a5bbc213.jpg)
Figure 3: Distribution of bread keypoints for “Put bread in plate” task. The columns are projections of the 3D space onto each 2D plane. The policy generalizes to object poses far outside of its training volume and begins to fail when the objects are near the limits of its augmented volume.
单目度量深度模型并不可行，我们采用基于度量深度模型的反投影方法对三角测量方法进行消融实验[^64]。我们发现，即便将最佳的度量深度模型与场景中的多个ArUco标记结合使用，其深度测量误差仍超过5厘米。这表明深度图存在不均匀的扭曲现象，很可能是由Aria的鱼眼镜头造成的。所有基于估算深度训练的策略都彻底失败了。我们在附录D中描述了我们的定位方法。 ### 4.4 零样本泛化 物体姿态泛化。在数据收集和机器人评估阶段，我们都会改变物体的姿态；若存在多个物体，我们也会改变它们之间的相对位置。我们发现，利用与三维状态表征对应的对应关系，能够编码物体的姿态[^27]、[^16]，从而使我们的策略能够从自然场景中泛化。我们注意到，人类演示中的空间多样性远远超出了机器人工作空间所能覆盖的范围。这种多样性结合三维数据增强，能够约束策略在更大的三维空间中学习更通用的解决方案，从而实现向机器人的零样本迁移。我们对物体姿态的多样性进行了限制，以确保其符合人类实际操作的场景（即烤箱门能被摄像头捕捉到）。 物体语义泛化。遵循[^27]、[^16]的研究思路，我们也证明了三维表征能够实现零样本的物体类别泛化。由于我们的训练图像与推理图像差异较大（Aria的鱼眼镜头 vs iPhone的小孔镜头），我们引入了Grounding DINO来对图像进行裁剪，以提高DIFT的成功率；而[^27]、[^16]的研究并未采用这种方法，因为他们的训练和推理阶段的摄像头及背景完全一致。由于Grounding DINO是基于语言条件的，我们只需向其输入物体类别（如“烤面包机”）即可让它泛化到全新的物体实例。这种预训练模型的集成方式压缩了视觉 --- ![Image](images/e674da30b9f47082736855d9473aea7e216693455fe1d085c605431d8be57532.jpg)
Figure 4: Object semantic generalization. Human demonstrations are done with only black ovens (top). The policy transfers zero-shot to the robot with the same oven (middle) and also generalizes to a new oven instance (bottom). The points are color-coded to represent the correspondence.
将多样性转化为几何抽象形式，从而使EGOZERO能够在以自我为中心的场景中适应不同的视觉分布。 摄像头泛化能力。基于视觉的策略最大的局限性之一在于：要让模型对单个像素的微小变化具有不变性，需要大量的数据支持。为了让策略能够适应新的视角、距离和摄像头，必须在大量来自类似视觉分布的数据上进行训练。例如，[^24]是在超过1万小时的多本体数据上训练的，但当推理所用的摄像头（以及末端执行器）与收集机器人训练数据时所用的设备不同时，其零样本性能会显著下降。为解决这一问题，[^15]在采集人类数据、机器人数据以及进行策略推理时均使用Aria眼镜，但即便如此，仍需要数小时的人类与机器人数据以及精细的归一化处理，才能取得较好的成功率。由于EGOZERO是从三维点集学习策略的，因此它完全不受摄像头的影响。我们在所有实验中均使用iPhone进行推理，以此验证了这一点。 人类尺度下的泛化能力。针对每项任务，我们会在2-3种不同的环境中采集数据，这些环境包括不同高度的桌面、带有各种背景干扰物的场景，且由多位不同的演示者完成演示。我们的演示过程涵盖了移动、静止以及坐下等多种状态。人类演示者的差异为训练数据增添了更多多样性。而这些高度与抓取方式的差异最终都被编码到同一个统一的表示空间中。 ### 4.5 局限性 三维表示的局限性。推理过程中最大的误差来源是对应模型DIFT [^61]。该对应模型通过排序状态空间来编码姿态，从而让策略学习更高效 [^27] [^16]。在数据规模更大时，姿态信息可以直接从密集的无序几何信息中学习（即利用基于地面的分割模型 [^65]）。对应误差其实反映出一种更普遍的局限性：策略的性能上限受限于其三维点输入的准确性。尽管三维点简化了策略学习的过程，但它无法提供修正三维测量误差的信息。 --- 三角测量的局限性。我们依赖运动恢复结构算法来定位Aria在抓取前的轨迹上的物体。虽然当摄像头移动范围有限时该算法的鲁棒性会有所下降，但我们发现自然任务演示中的摄像头移动通常足以满足需求。此外，三角测量要求物体保持静止，这意味着我们无法追踪移动的物体。未来，立体摄像头或廉价的激光雷达可以消除这些限制，从而实现随机环境下的闭环策略学习。我们希望随着硬件设计的改进，深度估计会变得更容易。 手部模型的局限性。在本研究中，我们利用[^54]以及Aria的手部姿态来提取完整的动作空间，但这两者都会引入轻微的不准确性。Aria的手部姿态并不总能准确预测手部的位置，而[^54]对手部旋转和平移分量的预测也时常出现偏差。即便经过Equation 1的精细调整，动作标签仍存在1-2厘米的误差，这阻碍了策略完成高精度任务。我们希望随着研究与硬件设计的进步，手部估计方法能变得更加可靠。 ## 5 讨论 在这项工作中，我们提出了EGOZERO——一个能够在无需任何机器人数据的情况下，利用野外拍摄的第一人称人类数据来训练零样本机器人策略的精简系统。我们借鉴了先前研究中的形态无关状态-动作空间概念，并证明了在第一人称野外环境中，点表示同样具备这些特性。由于EGOZERO着重优化数据采集的人体工程学体验，我们还展示了如何仅借助Project Aria智能眼镜这一硬件设备，从人类数据中提取统一的状态与动作表示。由此，我们提出了全新的数据处理与策略学习设计方案；通过基准实验和消融实验，我们验证了各组件的重要性。尽管EGOZERO只是实现从人类数据到机器人控制的强零样本迁移的初步概念验证，我们也承认它存在若干局限性，希望随着硬件与机器人学习方法的进步，这些局限能逐步得到改善。 迈向以人为中心的机器人技术。归根结底，人类数据在可扩展性与形态完整性方面具有巨大潜力。我们希望EGOZERO能成为未来研究的基石，助力开发出完全灵巧且双臂协同的机器人系统。我们期待我们的工作能为机器人领域开辟一条更以人为中心、更具可扩展性且数据更丰富的新路径。 --- ## 致谢 我们感谢纽约大学的Zhuoran Chen在网站建设方面提供的宝贵反馈与贡献。同时感谢Joyce Kwak对视频的编辑工作。本研究得到了微软、本田、现代汽车公司的资助，以及美国国家科学基金会奖项2339096和美国海军研究办公室奖项N00014-22-1-2773的支持。LP的研究得到了斯隆基金会和帕卡德基金会的资助。 ## 参考文献 [^1]: OpenAI. Gpt-4 technical report, 2024. URL . [^2]: OpenAI. Language models are few-shot learners. CoRR, abs/2005.14165, 2020. URL . [^3]: A. Ramesh, M. Pavlov, G. Goh, S. Gray, C. Voss, A. Radford, M. Chen, and I. Sutskever. Zero-shot text-to-image generation, 2021. URL . [^4]: R. Rombach, A. Blattmann, D. Lorenz, P. Esser, and B. Ommer. High-resolution image synthesis with latent diffusion models, 2022. URL . [^5]: Imagen-Team-Google. Imagen 3, 2024. URL . [^6]: T. Brooks, B. Peebles, C. Holmes, W. DePue, Y. Guo, L. Jing, D. Schnurr, J. Taylor, T. Luhman, E. Luhman, C. Ng, R. Wang, and A. Ramesh. Video generation models as world simulators. 2024. URL . [^7]: A. Blattmann, T. Dockhorn, S. Kulal, D. Mendelevitch, M. Kilian, D. Lorenz, Y. Levi, Z. English, V. Voleti, A. Letts, V. Jampani, and R. Rombach. Stable video diffusion: Scaling latent video diffusion models to large datasets, 2023. URL . [^8]: Z. Evans, J. D. Parker, C. Carr, Z. Zukowski, J. Taylor, and J. Pons. Stable audio open, 2024. URL . [^9]: C. Wang, S. Chen, Y. Wu, Z. Zhang, L. Zhou, S. Liu, Z. Chen, Y. Liu, H. Wang, J. Li, L. He, S. Zhao, and F. Wei. Neural codec language models are zero-shot text to speech synthesizers, 2023. URL . [^10]: A. Radford, J. W. Kim, T. Xu, G. Brockman, C. McLeavey, and I. Sutskever. Robust speech recognition via large-scale weak supervision, 2022. URL . [^11]: D. Silver, T. Hubert, J. Schrittwieser, I. Antonoglou, M. Lai, A. Guez, M. Lanctot, L. Sifre, D. Kumaran, T. Graepel, T. Lillicrap, K. Simonyan, and D. Hassabis. A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. Science, 362(6419): 1140–1144, 2018. doi:10.1126/science.aar6404. URL . [^12]: OpenAI. Dota 2 with large scale deep reinforcement learning, 2019. URL . [^13]: E. Collaboration. Open x-embodiment: Robotic learning datasets and rt-x models, 2024. URL . ## [^14]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation, 2024. URL --- [^15]: S. Kareer, D. Patel, R. Punamiya, P. Mathur, S. Cheng, C. Wang, J. Hoffman, and D. Xu. Egomimic: Scaling imitation learning via egocentric video, 2024. URL . [^16]: S. Haldar and L. Pinto. Point policy: Unifying observations and actions with key points for robot manipulation, 2025. URL . [^17]: I. Guzey, Y. Dai, G. Savva, R. Bhirangi, and L. Pinto. Bridging the human to robot dexterity gap through object-oriented rewards, 2024. URL . [^18]: S. Bahl, A. Gupta, and D. Pathak. Human-to-robot imitation in the wild, 2022. URL . [^19]: J. Shi, Z. Zhao, T. Wang, I. Pedroza, A. Luo, J. Wang, J. Ma, and D. Jayaraman. Zeromimic: Distilling robotic manipulation skills from web videos, 2025. URL . [^20]: M. Lepert, J. Fang, and J. Bohg. Phantom: Training robots without robots using only human videos, 2025. URL . [^21]: A. Khazatsky. Droid: A large-scale in-the-wild robot manipulation dataset, 2024. URL . [^22]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, J. Dabis, C. Finn, K. Gopalakrishnan, K. Hausman, A. Herzog, J. Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. arXiv preprint arXiv:2212.06817, 2022. [^23]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, X. Chen, K. Choromanski, T. Ding, D. Driess, A. Dubey, C. Finn, et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control. arXiv preprint arXiv:2307.15818, 2023. [^24]: K. Black, N. Brown, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai, L. Groom, K. Hausman, B. Ichter, S. Jakubczak, T. Jones, L. Ke, S. Levine, A. Li-Bell, M. Mothukuri, S. Nair, K. Pertsch, L. X. Shi, J. Tanner, Q. Vuong, A. Walling, H. Wang, and U. Zhilinsky. $\pi_{0}$: A vision-language-action flow model for general robot control, 2024. URL . [^25]: P. Intelligence, K. Black, N. Brown, J. Darpinian, K. Dhabalia, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai, M. Y. Galliker, D. Ghosh, L. Groom, K. Hausman, B. Ichter, S. Jakubczak, T. Jones, L. Ke, D. LeBlanc, S. Levine, A. Li-Bell, M. Mothukuri, S. Nair, K. Pertsch, A. Z. Ren, L. X. Shi, L. Smith, J. T. Springerberg, K. Stachowicz, J. Tanner, Q. Vuong, H. Walke, A. Walling, H. Wang, L. Yu, and U. Zhilinsky. $\pi_{0.5}$: a vision-language-action model with open-world generalization, 2025. URL . [^26]: J. Engel, K. Somasundaram, M. Goesele, A. Sun, A. Gamino, A. Turner, A. Talattof, A. Yuan, B. Souti, B. Meredith, C. Peng, C. Sweeney, C. Wilson, D. Barnes, D. DeTone, D. Caruso, D. Valleroy, D. Ginjupalli, D. Frost, E. Miller, E. Mueggler, E. Oleinik, F. Zhang, G. Somasundaram, G. Solaira, H. Lanaras, H. Howard-Jenkins, H. Tang, H. J. Kim, J. Rivera, J. Luo, J. Dong, J. Straub, K. Bailey, K. Eckenhoff, L. Ma, L. Pesqueira, M. Schwesinger, M. Monge, N. Yang, N. Charron, N. Raina, O. Parkhi, P. Borschowa, P. Moulon, P. Gupta, R. Mur-Artal, R. Pennington, S. Kulkarni, S. Miglani, S. Gondi, S. Solanki, S. Diener, S. Cheng, S. Green, S. Saarinen, S. Patra, T. Mourikis, T. Whelan, T. Singh, V. Balntas, V. Baiyya, W. Dreewes, X. Pan, Y. Lou, Y. Zhao, Y. Mansour, Y. Zou, Z. Lv, Z. Wang, M. Yan, C. Ren, R. D. Nardi, and R. Newcombe. Project aria: A new tool for egocentric multi-modal ai research, 2023. URL . ## [^27]: M. Levy, S. Haldar, L. Pinto, and A. Shirivastava. P3-po: Prescriptive point priors for visuospatial generalization of robot policies, 2024. URL --- [^28]: A. Mandlekar, D. Xu, J. Wong, S. Nasiriany, C. Wang, R. Kulkarni, L. Fei-Fei, S. Savarese, Y. Zhu, and R. Martin-Martín. What matters in learning from offline human demonstrations for robot manipulation. In 5th Annual Conference on Robot Learning, 2021. URL . [^29]: A. Mandlekar, J. Booher, M. Spero, A. Tung, A. Gupta, Y. Zhu, A. Garg, S. Savarese, and L. Fei-Fei. Scaling robot supervision to hundreds of hours with roboturk: Robotic manipulation dataset through human reasoning and dexterity. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1048–1055. IEEE, 2019. [^30]: E. Jang, A. Irpan, M. Khansari, D. Kappler, F. Ebert, C. Lynch, S. Levine, and C. Finn. BC-Z: zero-shot task generalization with robotic imitation learning. CoRR, abs/2202.02005, 2022. URL . [^31]: B. D. Argall, S. Chernova, M. Veloso, and B. Browning. A survey of robot learning from demonstration. Robotics and autonomous systems, 57(5):469–483, 2009. [^32]: A. Hussein, M. M. Gaber, E. Elyan, and C. Jayne. Imitation learning: A survey of learning methods. ACM Computing Surveys (CSUR), 50(2):1–35, 2017. [^33]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. [^34]: T. Z. Zhao, J. Tompson, D. Driess, P. Florence, K. Ghasemipour, C. Finn, and A. Wahid. Aloha unleashed: A simple recipe for robot dexterity, 2024. URL . [^35]: P. Wu, Y. Shentui, Z. Yi, X. Lin, and P. Abbeel. Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators, 2024. URL . [^36]: S.-R. Kang and K. Ikeuchi. Toward automatic robot instruction from perception—mapping human grasps to manipulator grasps. In Proceedings of IEEE International Conference on Robotics and Automation, pages 1932–1937. IEEE, 1994. [^37]: K. Ikeuchi, K. Minamizawa, K. Harada, A. Yamaguchi, and S. Kagami. Semantic constraints to represent common sense required in household actions for multimodal learning from-observation robot. The International Journal of Robotics Research, 43(4):399–414, 2024. doi:10.1177/02783649231212929. [^38]: Meta quest. , 2024. [Virtual reality platform]. [^39]: Apple vision pro. , 2024. [Virtual reality platform]. [^40]: Steamvr. , 2024. [Virtual reality platform]. [^41]: P. Mannam, K. Shaw, D. Bauer, J. Oh, D. Pathak, and N. Pollard. Designing anthropomorphic soft hands through interaction. In 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), pages 1–8, 2023. doi:10.1109/Humanoids57100.2023.10375195. [^42]: Movella xsens. , 2024. [Motion capture system]. [^43]: Manusmetagloves. , 2024. [Motion capture gloves]. ## [^44]: Rokoko. , 2024. [Motion capture solution] --- [^45]: D. Shan, J. Geng, M. Shu, and D. Fouhey. Understanding human hands in contact at internet scale. In CVPR, 2020. [^46]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022. [^47]: D. Damen, H. Doughty, G. M. Farinella, S. Fidler, A. Furnari, E. Kazakos, D. Moltisanti, J. Munro, T. Perrett, W. Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European conference on computer vision (ECCV), pages 720–736, 2018. [^48]: R. Goyal, S. Ebrahimi Kahou, V. Michalski, J. Materzynska, S. Westphal, H. Kim, V. Haenel, I. Fruend, P. Yianilos, M. Mueller-Freitag, F. Hoppe, C. Thurau, I. Bax, and R. Memisevic. The "something something" video database for learning and evaluating visual common sense. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Oct 2017. [^49]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Handa, J. Tremblay, Y. S. Narang, K. Van Wyk, U. Iqbal, S. Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. [^50]: Y. Qin, Y.-H. Wu, S. Liu, H. Jiang, R. Yang, Y. Fu, and X. Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision, pages 570–587. Springer, 2022. [^51]: G. Papagiannis, N. D. Palo, P. Vitiello, and E. Johns. R+x: Retrieval and execution from everyday human videos, 2024. URL . [^52]: S. Bahl, R. Mendonca, L. Chen, U. Jain, and D. Pathak. Affordances from human videos as a versatile representation for robotics. 2023. [^53]: H. G. Singh, A. Loquercio, C. Sferrazza, J. Wu, H. Qi, P. Abbeel, and J. Malik. Hand-object interaction pretraining from videos, 2024. URL . [^54]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3d with transformers. arXiv preprint arXiv:2312.05251, 2023. [^55]: X. Zhang, Q. Li, H. Mo, W. Zhang, and W. Zheng. End-to-end hand mesh recovery from a monocular rgb image. In 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pages 2354–2364, 2019. doi:10.1109/ICCV.2019.00244. [^56]: S. Baek, K. I. Kim, and T. Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. CoRR, abs/1904.04196, 2019. URL . [^57]: A. Boukhayma, R. A. de Bem, and P. H. S. Torr. 3d hand shape and pose from images in the wild. CoRR, abs/1902.03451, 2019. URL . [^58]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. CoRR, abs/2201.02610, 2022. URL . [^59]: N. Karaev, I. Makarov, J. Wang, N. Neverova, A. Vedaldi, and C. Rupprecht. Cotracker3: Simpler and better point tracking by pseudo-labelling real videos, 2024. URL . ## [^60]: S. Liu, Z. Zeng, T. Ren, F. Li, H. Zhang, J. Yang, Q. Jiang, C. Li, J. Yang, H. Su, J. Zhu, and L. Zhang. Grounding dino: Marrying dino with grounded pre-training for open-set object detection, 2024. URL --- [^61]: L. Tang, M. Jia, Q. Wang, C. P. Phoo, and B. Hariharan. Emergent correspondence from image diffusion, 2023. URL . [^62]: S. Haldar, Z. Peng, and L. Pinto. Baku: An efficient transformer for multi-task policy learning, 2024. URL . [^63]: M. J. Kim, K. Pertsch, S. Karamcheti, T. Xiao, A. Balakrishna, S. Nair, R. Rafailov, E. Foster, G. Lam, P. Sanketi, Q. Vuong, T. Kollar, B. Burchfiel, R. Tedrake, D. Sadigh, S. Levine, P. Liang, and C. Finn. Openvla: An open-source vision-language-action model, 2024. URL . [^64]: A. Bochkovskii, A. Delaunoy, H. Germain, M. Santos, Y. Zhou, S. R. Richter, and V. Koltun. Depth pro: Sharp monocular metric depth in less than a second. In International Conference on Learning Representations, 2025. URL . ## [^65]: N. Ravi, V. Gabeur, Y.-T. Hu, R. Hu, C. Ryali, T. Ma, H. Khedr, R. Rädle, C. Rolland, L. Gustafson, E. Mintun, J. Pan, K. V. Alwala, N. Carion, C.-Y. Wu, R. Girshick, P. Dollár, and C. Feichtenhofer. Sam 2: Segment anything in images and videos, 2024. URL --- ![Image](images/85e25be29de8e2000d3f934b4e9983e4e7d7b2218aa4d3784e9bba1e1f0662ff.jpg)
Figure 5: Open oven door.
![Image](images/1049238a576b7867a35de9bc367b2c2be895a9405cccc10a262376adfac0f4b1.jpg)
Figure 6: Put bread on plate.
![Image](images/1c154c6bf402af554e4db56e1461304e2bcdf379980f922f84f38221b900c506.jpg)
Figure 7: Sweep board with broom.
--- ![Image](images/687fdeb99732ce344e98c65ca993b6f617b3fa91d6c3805ddf1fa78bbd158c25.jpg)
Figure 8: Erase board.
![Image](images/5fff6aee6383497bf3be25166646ee9623d54ed36d1ce857bdb061fd50385234.jpg)
Figure 9: Sort fruit in bowl.
![Image](images/3de51e0c01b7822d427f6af033262eeba273edd341a7395943e9bb8515562796.jpg)
Figure 10: Fold towel.
--- ![Image](images/f5659d6eee95cec8fd8bd63603240c860bb5e5540223dcb30c86f0c1a7e4ca65.jpg)
Figure 11: Insert book in shelf.
## B 物体关键点三角测量 我们根据2D观测值$\mathbf{q}^* \in \mathbb{R}^3$来估算世界坐标系中物体点的3D坐标$t = 0$，该坐标对应时刻$\{(T_i, u_i)\}_{i=1}^N$；其中$u_i \in \mathbb{R}^2$是在第i帧中追踪到的UV坐标，$T_i \in SE(3)$是第i帧的相机到世界的变换矩阵。设K表示相机内参，$P_i = K[R_i \mid \mathbf{t}_i] = K T_i^{-1}$表示第i帧从世界空间到图像空间的投影矩阵。 1. 极线过滤。为了剔除几何上不一致的画面，我们应用成对的极线约束。给定两帧i和j，我们计算基础矩阵： $$ \begin{array}{r}{F_{i j}=K^{-T}[\mathbf{t}_{i j}]_{\times}R_{i j}K^{-1},}\end{array} $$ 其中$R_{ij} = R_j R_i^\top$、$\mathbf{t}_{ij} = \mathbf{t}_j - R_{ij} \mathbf{t}_i$以及$[\cdot]_\times$为反对称矩阵。若某帧i能与至少m个其他帧满足极线约束，则该帧会被保留： $$ \left|\mathbf{u}_{j}^{\top}F_{i j}\mathbf{u}_{i}\right|<\epsilon\quad\mathrm{f o r~a t~l e a s t~}m\mathrm{~v i e w s}. $$ 2. 鲁棒RANSAC三角测量。利用筛选出的内点视图，我们对大小为k的子集执行RANSAC算法，以找到能使重投影误差最小的最佳三角测量候选结果$q^*$： $$ \mathbf{q}_{\mathrm{RANSAC}}=\arg\min_{\mathbf{q}}\sum_{i\in\mathcal{I}}\mathbb{1}\left(\left\|u_{i}-\mathcal{P}(T_{i}^{-1}\mathbf{q})\right\|_{2}<\tau\right). $$ 3. 带深度偏置的最小二乘法。我们通过带有Huber损失和软深度惩罚的非线性最小二乘法来优化$q_{RANSAC}$： $$ \mathbf{q}^{*}=\arg\min_{\mathbf{q}\in\Omega}\sum_{i\in\mathcal{I}}\left\|u_{i}-\mathcal{P}(T_{i}^{-1}\mathbf{q})\right\|_{\rho}+\lambda\mathbf{q}_{z}, $$ 其中$\|\cdot\|_{\rho}$为Huber损失，$q_{z}$为深度（世界坐标系中的z坐标），$\lambda$为深度偏置系数，$\Omega = [l, \mathbf{u}]$为边界框约束（即$q_{z} > 0$）。这种公式设计既能保证几何上一致的三角测量结果，又能避免在运动退化或Cotracker3预测滞后时出现模糊的远距离解。 --- 4. 统一的物体表示。我们对物体在标签上标注的每个点重复步骤1至3，再将每个三角测量的物体点拼接起来，从而得到整个轨迹对应的物体表示$\tilde{s}$。 ## C 策略推断 ```pseudo // Algorithm 1: EGOZERO Policy Inference 1: Obtain object keypoints on first frame using DIFT [^61] on annotated dataset frame 2: Initialize $\tilde{s} = []$ 3: for u in DIFT labels do 4: Read depth at u from iPhone 5: Unproject u with depth into egocentric frame to obtain $x_u$ 6: $\tilde{s} \leftarrow [\tilde{s}, x_u]$ 7: end for 8: Initialize robot state $\tilde{a}_0$ and history buffer $H = [\tilde{a}_0, ..., \tilde{a}_0]$ of length h 9: for t in rollout do 10: Compute action chunk $(\tilde{a}_t, ..., \tilde{a}_{t+\ell}) \sim \pi(\tilde{s}_t, H)$ and apply temporal aggregation to get $\tilde{a}_t$ 11: Parse gripper action $g \leftarrow \text{bool}(\tilde{a}_t > 0)$ 12: Execute $[\tilde{a}_t, g]$ on robot 13: Update buffer $H \leftarrow [H, \tilde{a}_t]_{-h}$ 14: end for ``` ## D 单目深度估计 我们记录了Aria眼镜拍摄的桌上5个Aruco标签的环绕视频，并拟合出一个仿射缩放/平移参数，以最小化这些Aruco标签处深度图的残差。即便经过校准，我们仍发现深度信号与真实的Aruco检测结果之间存在偏差，且这种偏差具有不确定性，这表明单目深度模型可能存在时空扭曲现象。 ![Image](images/943ebaa82c498f078da1bb4d5eb6c1e1c0842e8ef233b0f98353929bfb10e369.jpg) ![Image](images/d9287a563b20346ea7db2f8a9cf8933cdc0ec7a7aca46bb7a8cc5fb7bcd79a8e.jpg) ![Image](images/cd69dec7b62ddf43bb240bb718ebcfdabb6a8b04ffd54cdf8e0d26bef29e9c5e.jpg) ![Image](images/0774d40e0cfb85bff022d1645213378c090022bc6cdd7a098b588b2abae932bf.jpg) ![Image](images/df84f6cba33ff4840e3becc82ac665e898a9403859281231a607ba9da2213b1e.jpg)
Figure 12: Monocular depth estimation [^64] calibrated to Aruco tags in the scene.