# EgoMimic：通过以自我为中心的视频扩展模仿学习
Simar Kareer$^{1}$、Dhruv Patel$^{1*}$、Ryan Punamiya$^{1*}$、Pranay Mathur$^{1*}$、Shuo Cheng$^{1}$
Chen Wang$^{2}$、Judy Hoffman$^{1\dagger}$、Danfei Xu$^{1\dagger}$
Fig. 1: EgoMimic unlocks human embodiment data—egocentric videos paired with 3D hand tracks—as a new scalable data source for imitation learning. We can capture this data anywhere, without a robot, by wearing a pair of Project Aria glasses while performing manipulation tasks with our own hands. EgoMimic bridges kinematic, distributional, and appearance differences between human embodiment data (left) and traditional robot teleoperation data (right) to learn a unified policy. We find that human embodiment data boosts task performance by 34-228% over using robot data alone, and enables generalization to new objects or even scenes.
摘要— 模仿学习所需的演示数据规模和多样性是一大挑战。我们提出了EgoMimic，这是一个利用人类身体数据来扩展操控能力的全栈框架，具体来说就是结合以自我为中心的人类视频与3D手部追踪技术。EgoMimic的实现依赖于：(1) 使用符合人体工学的Project Aria眼镜采集人类身体数据的系统；(2) 能最大程度缩小与人类数据之间运动学差异的低成本双臂操控器；(3) 跨域数据对齐技术；以及(4) 能够同时利用人类和机器人数据进行训练的模仿学习架构。与以往仅从人类视频中提取高层意图的工作不同，我们的方法将人类数据和机器人数据同等视为具身演示数据，并从中学习统一的策略。在一系列长时序、单臂及双臂操控任务中，EgoMimic相比现有的先进模仿学习方法取得了显著提升，还能泛化到全新的场景。最后，我们发现了EgoMimic的良好扩展趋势：额外增加1小时的手部数据比增加1小时的机器人数据更有价值。相关视频和更多信息可查看
## 一、引言
端到端模仿学习在学习复杂操控任务方面表现优异，但在面对新场景和新任务时仍较为脆弱。借鉴计算机视觉和自然语言处理领域的最新成果，我们假设：要让学习到的策略具备广泛的泛化能力，就必须大幅扩大训练数据的规模。虽然这些相关领域可以借助互联网上的数据，但机器人领域却缺乏类似的资源。
为了扩充机器人领域的数据量，近期在数据采集系统方面取得了不少进展。例如，ALOHA [^1]、[^2]和GELLO [^3]这类直观的领导者-跟随者控制系统可用于采集遥操作数据。还有一些研究采用手持式夹爪来采集无需机器人的数据 [^4]。尽管有这些进展，现有方法仍需要人们有意识地提供演示数据。我们推测，实现互联网规模的机器人数据的关键一步是被动数据采集。正如互联网并非为收集训练大型视觉和语言模型的数据而构建一样，理想的机器人数据系统应能让用户在无意识的情况下生成感觉运动行为数据。
人类视频，尤其是以自我为中心视角拍摄的视频，是实现被动数据扩展的理想数据源。近期消费级的“智能眼镜”和扩展现实（XR）设备还能捕捉丰富的人类本体感知数据，比如手部追踪和设备SLAM数据。不过，尽管已有研究开始利用人类视频数据，但它们仅限于从视频中提取高层意图信息，用以构建指导低层条件策略的规划器 [^5]、[^6]。因此，这些系统的性能仍受限于低层策略的表现，而这些低层策略通常仅基于遥操作数据进行训练。
我们认为，要想利用人类数据真正提升机器人性能，就不应将人类视频视为需要单独处理的辅助数据源。相反，我们应当利用第一人称视角的人类数据与机器人数据之间固有的相似性，将它们视为同一连续体中的数据源。要从这两种数据源中无缝学习，就需要进行全方位的创新——从能够整合两种数据源的数据采集系统，到能够处理这些数据的模仿学习架构。
---
从而实现这种跨本体策略学习。
为此，我们将人类数据视为机器人操控领域的一级数据源。我们相信，我们的系统是利用可穿戴智能眼镜产生的被动数据来训练操控策略的关键一步。我们提出了EgoMimic（图1），这是一个用于采集数据并共同训练操控策略的框架，相关数据来自人类第一人称视角视频和远程操控的机器人数据，具体包括：
(i) 基于Project Aria眼镜构建的人类数据采集系统[^7]，该系统能够捕捉第一人称视角视频、3D手部追踪数据以及设备SLAM信息。这些丰富的信息使我们能够将人类第一人称视角数据转化为与机器人模仿学习兼容的格式。
(ii) 一款性能出色且成本低廉的双臂机器人，它能最大程度缩小与人类数据在运动学和摄像头方面的差异。具体而言，我们选用Project Aria眼镜作为机器人的主要传感器，以此缩小人类数据与机器人数据在视野范围、动态范围等方面的差距。
(iii) 为了缓解数据分布上的差异，我们对人类与机器人之间的动作分布进行归一化和对齐处理。此外，我们通过视觉掩码技术来缩小人类手臂与机器人机械臂在外观上的差异。
(iv) 一种统一的模仿学习架构，能够同时利用人类和机器人数据进行训练。尽管人类与机器人的动作空间存在差异，但我们的模型会强制使用共享表征，从而借助人类本体数据实现性能提升，其效果优于那些将人类与机器人数据分开处理的现有方法。
我们在现实世界中针对三个具有挑战性的长时序操控任务对EgoMimic进行了实证评估：连续物体入碗、衣物折叠以及杂货打包（图5）。结果表明，EgoMimic在所有场景下都能显著提升任务性能，相对改进幅度高达200%。值得注意的是，我们发现EgoMimic能够泛化应用到仅在人类数据中出现的物体和场景。最后，我们分析了EgoMimic的扩展特性，发现额外一小时的手部数据训练效果明显优于额外一小时的机器人数据训练。
### II. 相关工作
模仿学习：模仿学习（IL）已被用于执行各类复杂的、涉及物体接触的操作任务[^8]、[^9]、[^10]。模仿学习领域的最新进展促成了像素到动作模仿学习模型的诞生，这类模型能够直接将原始视觉输入映射到机器人的底层控制信号[^1]、[^11]。这些视觉模仿学习模型展现出了出色的反应式决策能力[^12]、[^5]。在RT1和RT2等研究中，这类模型的规模化应用展现出了强大的泛化能力[^13]、[^14]。不过，这些方法仍然需要耗费大量人力与资源；例如RT1项目就花费了17个月时间收集数据，并动用了13台机器人[^13]。我们的研究提出了一种学习框架，该框架能够充分利用可规模化的人类行为演示数据，这些数据有望比单纯由机器人演示构成的数据集更庞大、更具多样性。
从视频演示中学习：为了满足像素到动作模仿学习算法对数据的需求，近期诸多研究都借助人类数据，因为人类数据具有极高的可扩展性。人类数据被应用于不同抽象层次：部分研究利用互联网规模数据集中的人类视频来预训练视觉表征[^15]、[^16]、[^17]；另一些研究则借助人类视频，通过点轨迹预测、像素空间中的中间状态幻觉生成或可供性预测等方式来更深入地理解场景动态[^18]、[^19]、[^6]、[^20]、[^21]；最近还有研究将手部轨迹预测作为预测机器人动作的代理[^5]。虽然这些方法都利用了手部数据，但通常需采用独立模块来处理手部数据与机器人数据。相比之下，我们的方法能够充分利用Aria眼镜提供的丰富信息（包括机载SLAM功能），将人类数据与机器人数据同等对待，基于这两类数据共同训练出单一端到端的决策策略。
数据收集系统：人们采用了多种方法来扩展机器人数据的规模。诸如Space Mouse之类的低成本设备，能够对机器人操作臂进行灵敏且精细的遥操作[^22]、[^10]、[^23]、[^11]、[^24]。后续研究通过虚拟现实系统来提升操作的直观性，比如VR头盔[^25]、[^26]、[^27]、[^28]、[^29]。像ALOHA和GELLO这样的新近系统，通过主从式遥操作界面[^1]、[^3]或外骨骼装置[^30]、[^31]，提升了低成本且精细的双臂操作任务的人体工程学体验。其他研究试图收集包含丰富信息的人类身体数据，比如3D动作追踪数据，但现有系统存在权衡问题：能获取丰富信息的系统要么不具备便携性（例如固定式摄像头[^32]、[^5]、[^33]、[^34]），要么不符合人体工程学要求（比如需要手持式夹具[^4]、[^35]或穿戴式摄像头[^36]、[^37]），这些因素阻碍了数据收集系统的被动式扩展。与此类似，我们的方法通过Project Aria眼镜这一符合人体工程学的设备形态，来采集第一视角视频和3D手部追踪数据[^7]。虽然其他可穿戴式数据收集方法（如VR头盔）是通过捕捉手部位置来实现机器人遥操作，但我们的系统根本不需要机器人。随着这类消费级设备的普及率持续上升，该系统具备被动扩展的潜力[^38]。
### III. EGOMIMIC
EgoMic是一个全栈框架，能够采集并学习第一视角下的人类身体数据与机器人数据。我们在下文详细介绍了该流程的各个组成部分：首先是人类与机器人数据采集的硬件设置（第III-A节），接着是处理并对齐来自两种数据源的数据的方法（第III-B节），最后是我们的统一策略架构（第III-C节）。我们整个设计思路的核心，就是让人类身体数据能像遥操作的机器人数据一样适用于机器人学习。
### A. 数据收集系统与硬件设计
用于采集第一视角演示数据的Aria眼镜。理想的人类数据收集系统需要能够捕捉场景中的丰富信息，同时具备被动扩展能力。这样的系统应当是可穿戴的、符合人体工程学要求、能覆盖宽广的视野范围，还能追踪手部位置和设备姿态等参数。
---
Fig. 2: Our human data system uses Aria glasses to capture Egocentric RGB and uses its side SLAM cameras to localize the device and track hands. The robot consists of two Viper X follower arms with Intel RealSense D405 wrist cameras, controlled by two WidowX leader arms. Our robot uses identical Aria glasses as the main vision sensor to help minimize the camera to camera gap.
EgoMimic基于Project Aria眼镜开发了相应功能，填补了这一空白[^7]。Aria眼镜是一种用于采集多模态第一视角数据的头戴式设备。它采用仅重75克的人体工程学眼镜形态，支持长时间佩戴和被动式数据采集。我们的研究利用前置广角RGB摄像头进行视觉观测，同时借助两个单色场景摄像头来追踪设备姿态和手部位置（示例数据见图2）。尤其是侧置的场景摄像头，即便手部移出主RGB摄像头的视野，也能追踪其姿态，从而有效缓解了人们在执行连续操作任务时头部和视线自然前移所带来的挑战。
此外，Project Aria [^39]、[^40] 正在开展大规模数据收集工作，相关设备也通过活跃的研究合作计划向学术界广泛提供。未来，我们的系统将使用户能够将其收集的数据与这些大型数据集无缝整合。最终，我们推出的这套系统能够实现被动式但功能丰富的人体数据采集，从而助力提升机器人操控能力。
低成本双臂机械臂。为了有效利用以自我为中心的人体动作数据，机器人机械臂需具备类似人类手臂的运动能力。以往的研究通常依赖安装在桌面上的机械臂，例如 Franka Emika Panda [^41]。虽然这些系统性能出色，但在运动学特性上与人类手臂存在显著差异，且由于重量较大，出于安全考虑必须谨慎操作，因此无法直接模仿人类动作。针对这些局限，我们专门研发了一款轻便、灵活且成本低廉的双臂机械臂。受 ALOHA 系统 [^1] 的启发，我们的机器人装置由两只 6 自由度的 ViperX 300 S 机械臂组成，配备 Intel Realsense D405 腕部摄像头，以倒置方式安装在一个可调节高度的结构上作为“躯干”（见图 2），在运动学上模拟人类的上半身。ViperX 机械臂纤细，尺寸与人类手臂相近。整套装置的成本低于 1000 美元，还不包括机械臂（物料清单将会公开）。我们还搭建了一个主从式机器人装置来采集遥操作数据，其设计思路与 ALOHA 类似 [^1]。
| Source | Type | Data |
| Human $\mathcal{D}_{H}$ | Image | Egocentric view |
| Proprio | 3D hand poses ( $^{H}p$) |
| Action | Normalized hand tracks ( $^{H}a^{p}$) |
| Robot $\mathcal{D}_{R}$ | Image | Egocentric + wrist views |
| Proprio | EEF poses ( $^{R}p$), Joint positions ( $^{R}q$) |
| Action | EEF actions ( $^{R}a^{p}$), Joint actions ( $^{R}a^{q}$) |
TABLE I: Comparison of human and robot data streams
此外，由于我们的方法需要同时从以自我为中心的人类数据和机器人数据中学习视觉策略，因此对齐视觉观测空间至关重要。因此，除了通过数据后处理来实现对齐（见第 III-B 节）外，我们还直接使用第二副 Aria 眼镜作为机器人的主要传感器，将其直接安装在躯干顶部、与人类眼睛位置相近的地方（见图 2）。这样就能缩小因摄像头设备差异造成的观测域差距，包括视场角、曝光水平和动态范围等方面的差异。
### B. 数据处理与域对齐
为了从人类和机器人数据中训练出统一的策略，EgoMimic 解决了三个关键的人机差异问题：（1）统一动作坐标框架，（2）对齐动作分布，（3）缩小视觉外观差异。
原始数据流。我们按照第 III-A 节的描述，从硬件装置中流式传输原始传感器数据。人类佩戴的 Aria 眼镜和机器人会生成以自我为中心的 RGB 图像流；此外，机器人还会生成两路腕部摄像头流。在本体感知方面，我们利用 Aria 机器感知服务（MPS）[^42] 来估算双手的 3D 姿态 $^H p \in \mathbb{SE}(3) \times \mathbb{SE}(3)$。机器人的本体感知数据既包括其末端执行器的姿态 $^R p \in \mathbb{SE}(3) \times \mathbb{SE}(3)$，也包括关节位置 $^R q \in \mathbb{R}^{2 \times 7}$（含夹爪关节位置）。此外，我们还会为遥操作机器人数据收集关节空间动作 $^R a^q \in \mathbb{R}^{2 \times 7}$。
统一人机数据坐标框架。机器人的动作和本体感知数据通常使用固定的参考框架（如摄像头或机器人基座框架），但来自移动摄像头的以自我为中心的手部数据会打破这一假设。为了统一联合策略学习所需的参考框架，我们会对人类手部轨迹和机器人末端执行器轨迹进行转换。
---
Fig. 3: a) Action normalization: The pose distributions are different between hand and robot data, specifically in the y (left-right) dimension. We apply Gaussian normalization individually to the hand and robot pose data before feeding them to the model. b) Visual masking: To help bridge the appearance gap of human and and the robot arm, we apply a black mask to the hand and robot via SAM, then overlay a red line onto the image.
将轨迹转换到以摄像头为中心的稳定参考坐标系中。借鉴预测动作块的思想[^11]、[^1]，我们旨在为人手和机器人末端执行器构建动作块$a_{t:t+h}^p$。为了简化表述，我们描述单臂情况，该情况可推广到双臂场景。原始轨迹是一系列3D位姿$[p_t^{F_t}, p_{t+1}^{F_{t+1}}, \ldots p_{t+h}^{F_{t+h}}]$，其中$F_i$表示估计$p_i$时摄像头所处的坐标系。对于机器人而言，$F_i$保持固定，但对于人类自我中心数据来说它会不断变化。我们的目标是通过将轨迹中的每个位置转换到观测摄像头坐标系$a_{t:t+h}^p$中，来构建$F_t$。这样策略就能在预测动作时无需考虑未来的摄像头运动。对于人类数据，我们使用MPS视觉惯性SLAM来获取Aria眼镜在世界坐标系中的位姿$T_F^W \in \mathbb{SE}(3)$，进而对动作轨迹进行变换：
$$ {}^{H}{a}_{i}^{p}=[(T_{F_{t}}^{W})^{-1}T_{F_{i}}^{W}{p}_{i}^{F_{i}}\quad\mathrm{f o r}\quad i\in[t,t+1,...,t+h]] $$
图2（左上）中以二维形式展示了示例轨迹。机器人数据也通过手眼校准得到的固定摄像头坐标系进行类似变换。通过创建统一的参考坐标系，我们使得策略能够从动作监督信息中学习，无论这些数据源自人类视频还是遥操作演示。
人类与机器人数据的对齐。尽管在硬件设计和数据处理方面做了优化，我们仍发现所收集数据中人手和机器人末端执行器的位姿分布存在差异。这些差异源于生物力学差异、运动变化以及人类系统与机器人系统之间的测量差异。若不消除这一差异，策略往往会为两种数据源学习独立的表征[^43]、[^44]，从而阻碍利用人类数据提升性能。为解决这一问题，我们如图3所示，针对每种数据源的末端执行器（手）位姿和动作分别应用Z-score归一化。正如[^44]所述，我们发现这种简单的方法在实践中效果显著，不过我们也计划探索其他替代方案，比如动作量化[^13]。
Fig. 4: Architecture of the joint human-robot policy learning framework. The model processes normalized hand and robot data through shared vision and ACT encoders, outputting pose predictions for both human and robot data, and joint actions for robot data. The framework uses masked images to mitigate human-robot appearance gaps and incorporates wrist camera views for the robot.
为了进一步缩小人类手与机器人之间的外观差异。以往的研究已经注意到这一差异，并尝试在视觉观测中遮挡或移除机械臂[^45]、[^46]。我们采用了类似思路，通过SAM对手和机器人进行掩码处理[^47]，并叠加红线来指示末端执行器的方向（见图3）。SAM的点提示是由转换到图像坐标系中的机器人末端执行器和人手位姿生成的。
### C. 训练人机联合策略
现有方法通常选择分层架构，即基于人类数据训练的高层规划器来指导底层控制策略[^5]、[^6]。然而，这种方法受限于底层策略的性能，且无法直接从大规模人类数据中获益。为解决这一局限，我们提出了一种简单但容量强大的架构（如图4所示），能够同时从两种数据源中学习。我们的模型基于ACT构建[^1]，但该设计具有通用性，可应用于其他基于Transformer的架构。
在这种统一方法中，一个关键挑战在于机器人动作空间的选择。虽然机器人末端执行器的姿态在语义上比机器人关节位置更接近人类手部姿态，但由于解决方案冗余度较低，使用基于笛卡尔坐标系的控制器来操控我们的6自由度机械臂十分困难。因此，我们选择关节空间控制（即利用预测的关节动作$\hat{a}_{t:t+h}^{q}$来控制机器人），同时将姿态空间预测作为辅助对象，以强化人机之间的关节表征。需要注意的是，性能更强大的机器人可以跳过这种设计，直接利用姿态空间目标来实现表征对齐与控制。
除了两个浅层的输入头和输出头外，策略中的所有参数都是共享的。视觉与本体感知数据由输入头编码后送入Transformer主干网络；输出头随后将Transformer的输出解码为姿态或关节空间预测结果。姿态损失通过$^{H}a^{p}$和$^{R}a^{p}$来监督人类与机器人数据，而关节动作损失仅用于监督机器人数据$^{R}a^{q}$。由于这两个分支之间仅用一个线性层分隔，模型能够有效学习两个领域的关节表征。表I总结了训练数据。
---
Fig. 5: We evaluate EgoMimic across three real world, long-horizon manipulation tasks. See Sec. IV-A for description.
TABLE II: Data collection overview for both Human(H) and Robot(R) data. We report both the number(#) of total task demonstrations and the time(min) took to collect them.
| Task | H\n# | H\nmin | H\n#/min | R\n# | R\nmin | R\n#/min |
| Object-in-Bowl | 1400 | 60 | 23 | 270 | 120 | 2 |
| Groceries | 160 | 80 | 2 | 300 | 300 | 1 |
| Laundry | 590 | 100 | 6 | 430 | 300 | 1 |
### 四、实验
我们旨在验证三个关键假设：H1：EgoMimic能够利用人类身体数据来提升复杂操作任务在同类场景下的性能；H2：人类数据有助于EgoMimic泛化到新的物体与场景中；H3：在初始机器人数据充足的情况下，收集额外的人类数据比收集额外的机器人数据更有价值。
任务选取。我们选取了一组长时程真实世界任务来验证上述结论。这些任务要求精确的对齐操作、复杂的运动轨迹以及双手协调配合（见图5）。
### A. 实验设置
连续物体入碗任务：机器人抓取一个小型毛绒玩具（长约6厘米），将其放入碗中，再拿起碗把物体倒在桌上，此过程持续40秒且不断重复。我们从3种碗和5种玩具中随机选取，这些物品被随机放置在桌面上45厘米×60厘米的范围内。该任务用于测试精确操控能力、空间泛化能力以及长时程执行的鲁棒性。每将玩具放入碗中或倒空碗时，我们都会给予相应积分。我们共进行45次评估演示，涵盖9种碗-玩具-位置组合。
叠衣服任务：这是一项需要机器人协作完成的双手任务，要求机器人折叠放置在某$90\,cm \times 60\,cm$范围内、具有$\pm30\,deg$旋转范围的T恤。机器人必须用双臂依次折叠右侧袖子、左侧袖子，最后将整件衬衫对折。每个阶段完成后都会给予相应积分，成功完成所有阶段的演示所占百分比即为成功率（SR）。我们共进行40次评估演示，涵盖8种衬衫位置组合。
装杂货任务：机器人将3包薯片装入购物袋。它先用左臂抓住袋口上方以撑开袋口，再用右臂取薯片并放入袋中。该任务要求高精度的操控能力（抓取可形变的袋口）以及长时程执行的鲁棒性。我们为抓住袋口以及每放入一袋薯片分别给予积分。
TABLE III: Quantitative results for 3 real-world tasks. We report task success rates (%) and performance scores (pts) for all tasks and bag grabbing rate for the Groceries tasks.
| Method | Bowl | Laundry | Groceries |
| Pts | Pts | SR | Pts | SR | Open Bag |
| ACT [^1] | 39 | 82 | 55% | 82 | 22% | 54% |
| Mimicplay [^5] | 71 | 78 | 50% | 53 | 8% | 40% |
| EgoMimic (w/o human) | 68 | 104 | 73% | 92 | 28% | 60% |
| EgoMimic | 128 | 114 | 88% | 110 | 30% | 70% |
TABLE IV: Ablations - We ablate our method and report final task performance on the Object-in-Bowl task.
| Method | Cotrained (Points) |
| EgoMimic | 128 |
| EgoMimic w/o Line | 112 |
| EgoMimic w/o Line and Mask | 95 |
| EgoMimic w/o Action Norm | 79 |
| EgoMimic w/o Hand Data | 68 |
成功放入三包薯片于袋中的演示所占百分比即为成功率（SR）；抓住袋口的演示所占百分比则反映了该任务中较难完成的一环——撑开袋口的成功率。我们共进行50次评估，涵盖10种袋子位置。
我们在表II中详细列出了每个任务所收集的数据量。对于人类数据，我们注意到像“连续物体入碗”这类任务很容易扩展规模，而像“杂货整理”这类任务由于需要重置时间，扩展速度则较慢。基准测试。为了评估EgoMimic通过利用人类数据能否提升领域内任务成功率，我们以ACT [^1]作为基准——这是一种先进的模仿学习算法。此外，我们还将EgoMimic与Mimicplay [^5]进行比较，后者从人类数据中学习规划器来指导底层策略，以此证明我们的统一架构EgoMimic在利用人类数据实现规模化方面更具优势。为了公平比较，我们让Mimicplay采用与我们方法相同的Transformer骨干网络，并移除了目标条件设定。我们还对比了EgoMimic（0%人类数据）版本，以验证性能提升源自人类数据而非架构差异。
### B. 实验结果
EgoMimic提升了领域内任务表现。在所有任务中，我们发现其得分相对提升了34%到228%，任务成功率较ACT提升了8%到33%。其中提升最显著的是在连续物体入碗任务上。
---
Fig. 6: We highlight EgoMimic's success, as well as failure modes, for instance (e) failure to correctly align with the toy, (f) failure to grasp the bag's handle, or (g) policy only grabs 1 side of the shirt. EgoMimic reduces the frequency of these failure modes, improving success rates by 8-33% over the baselines.
Fig. 7: Evaluation Results on Policy Generalization. (a) We evaluate the policy on the laundry task using unseen cloth colors and report the success rate for each method. (b) We test the policy on the Object-in-Bowl task in unseen scenes.
在连续物体入碗任务中，EgoMimic的得分较ACT提升了228%。我们观察到基线模型常常无法将玩具或碗放到正确位置，误差可达几英寸，这似乎表明我们使用手部数据有助于策略精准定位玩具。定性结果如图6所示。
为确保这种提升源于利用手部数据而非架构变化，我们将其与EgoMimic（0%人类数据）版本进行对比。结果显示，得分提升了10%到88%，成功率提升了2%到15%。
EgoMimic能够泛化到新物体甚至新场景。我们在两种域偏移情况下评估了该方法：尝试折叠未见过的颜色的衬衫，以及在完全不同的场景中执行连续物体入碗任务。如图7所示，ACT在处理未见过的颜色的衬衫时表现不佳（成功率为25%），而EgoMimic则保持了原有性能（成功率为85%）。令人惊讶的是，即便在新场景（背景和光照均未见过的环境）中利用人类数据进行训练，EgoMimic也能无需额外机器人数据即可适应新环境，得分达到63分。相比之下，同样利用了相同信息但采用分层框架来处理手部数据的Mimicplay仅得4分。这表明我们的架构促进了手部与机器人的联合表征，而分层架构则会形成泛化瓶颈。
人类数据与机器人数据的规模化效应。为了探究人类数据和机器人数据对性能的规模化影响，我们
Fig. 8: Scaling robot vs. human data. EgoMimic trained on 2 hours robot data + 1 hour hand data (Blue) strongly outperforms ACT [^1] trained on 3 hours of robot data (Orange).
针对连续物体入碗任务开展了额外的数据采集工作。如图7所示，基于2小时机器人数据和1小时人类数据训练的EgoMimic，其表现明显优于基于3小时机器人数据训练的ACT（得分分别为128分和74分）。值得注意的是，1小时的人类数据可产生1400个演示样本，而1小时的机器人数据仅能生成135个演示样本。这些结果证明了EgoMimic能够有效利用人类身体数据收集的高效性，从而产生更显著的规模化效应，大幅提升任务性能，远超仅用机器人数据所能达到的效果。我们注意到，基于2小时机器人数据训练的EgoMimic，其性能仍优于基于2小时机器人数据训练的ACT，因此部分性能提升也归功于架构优势。
消融实验。我们通过消融我们的方法，来展示各项设计决策对“碗中物体”任务的重要性（见表四）。首先，移除动作归一化会导致任务得分下降38%。这凸显了动作分布对齐在协同训练中的重要性。接着，我们移除了视觉技术，具体包括对手部和机器人的掩码处理，以及在图像上绘制红色覆盖层。移除这些组件分别导致任务得分下降13%和26%。最后，完全不使用手部数据训练的EgoMimic模型，其任务得分会大幅下降47%，这反映出手部与机器人协同训练在我们所研究的任务中效果显著。
### 五、结论
我们提出了EgoMimic框架，该框架能够利用人类第一人称视角视频和遥操作机器人数据进行操控策略的协同训练。借助Project Aria眼镜、低成本双臂机器人装置、跨域对齐技术以及统一的策略学习架构，EgoMimic在三个具有挑战性的真实世界任务上的表现优于现有最先进的基线模型，同时展现出对新场景的泛化能力以及良好的扩展特性。在未来的研究中，我们计划探索将该框架推广到新型机器人形态，以及仅存在于人类数据中的全新行为，比如折叠裤子而非衬衫。总体而言，我们认为我们的工作为通过被动数据采集来扩展机器人数据的研究开辟了令人兴奋的新方向。
### 六、致谢
本研究部分由NSF资助项目#2403297和#2144194、Meta公司以及Project Aria提供支持。
---
## 参考文献
[^1]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn, “Learning fine-grained bimanual manipulation with low-cost hardware,” 2023. [Online]. Available:
[^2]: A. . Team, J. Aldaco, T. Armstrong, R. Baruch, J. Bingham, S. Chan, K. Draper, D. Dwibedi, C. Finn, P. Florence, S. Goodrich, W. Gramlich, T. Hage, A. Herzog, J. Hoech, T. Nguyen, I. Storz, B. Tabanpour, L. Takayama, J. Tompson, A. Wahid, T. Wahrburg, S. Xu, S. Yaroshenko, K. Zakka, and T. Z. Zhao, "Aloha 2: An enhanced low-cost hardware for bimanual teleoperation," 2024. [Online]. Available:
[^3]: P. Wu, Y. Shentui, Z. Yi, X. Lin, and P. Abbeel, “Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators,” 2024. [Online]. Available:
[^4]: C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song, “Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots,” 2024. [Online]. Available:
[^5]: C. Wang, L. Fan, J. Sun, R. Zhang, L. Fei-Fei, D. Xu, Y. Zhu, and A. Anandkumar, “Mimicplay: Long-horizon imitation learning by watching human play,” 2023. [Online]. Available:
[^6]: H. Bharadhwaj, A. Gupta, V. Kumar, and S. Tulsiani, “Towards generalizable zero-shot manipulation via translating human interaction plans,” 2023. [Online]. Available:
[^8]: A. Paraschos, C. Daniel, J. R. Peters, and G. Neumann, “Probabilistic movement primitives,” in Advances in Neural Information Processing Systems, C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Weinberger, Eds., vol. 26. Curran Associates, Inc., 2013.
[^9]: C. Finn, T. Yu, T. Zhang, P. Abbeel, and S. Levine, “One-shot visual imitation learning via meta-learning,” 2017. [Online]. Available:
[^10]: A. Mandlekar, D. Xu, J. Wong, S. Nasiriany, C. Wang, R. Kulkarni, L. Fei-Fei, S. Savarese, Y. Zhu, and R. Martín-Martín, "What matters in learning from offline human demonstrations for robot manipulation," in arXiv preprint arXiv:2108.03298, 2021.
[^11]: C. Chi, Z. Xu, S. Feng, E. Cousineau, Y. Du, B. Burchfiel, R. Tedrake, and S. Song, “Diffusion policy: Visuomotor policy learning via action diffusion,” 2024. [Online]. Available:
[^12]: S. Young, D. Gandhi, S. Tulsiani, A. Gupta, P. Abbeel, and L. Pinto, “Visual imitation made easy,” 2020. [Online]. Available:
[^13]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, J. Dabis, C. Finn, K. Gopalakrishnan, K. Hausman, A. Herzog, J. Hsu, J. Ibarz, B. Ichter, A. Irpan, T. Jackson, S. Jesmonth, N. J. Joshi, R. Julian, D. Kalashnikov, Y. Kuang, I. Leal, K.-H. Lee, S. Levine, Y. Lu, U. Malla, D. Manjunath, I. Mordatch, O. Nachum, C. Parada, J. Peralta, E. Perez, K. Pertsch, J. Quiambao, K. Rao, M. Ryoo, G. Salazar, P. Sanketi, K. Sayed, J. Singh, S. Sontakke, A. Stone, C. Tan, H. Tran, V. Vanhoucke, S. Vega, Q. Vuong, F. Xia, T. Xiao, P. Xu, S. Xu, T. Yu, and B. Zitkovich, "Rt-1: Robotics transformer for real-world control at scale," 2023. [Online]. Available:
[^14]: A. Brohan, N. Brown, J. Carbajal, Y. Chebotar, X. Chen, K. Choromanski, T. Ding, D. Driess, A. Dubey, C. Finn, P. Florence, C. Fu, M. G. Arenas, K. Gopalakrishnan, K. Han, K. Hausman, A. Herzog, J. Hsu, B. Ichter, A. Irpan, N. Joshi, R. Julian, D. Kalashnikov, Y. Kuang, I. Leal, L. Lee, T.-W. E. Lee, S. Levine, Y. Lu, H. Michalewski, I. Mordatch, K. Pertsch, K. Rao, K. Reymann, M. Ryoo, G. Salazar, P. Sanketi, P. Sermanet, J. Singh, A. Singh,
R. Soricut、H. Tran、V. Vanhoucke、Q. Vuong、A. Wahid、S. Welker、P. Wohlhart、J. Wu、F. Xia、T. Xiao、P. Xu、S. Xu、T. Yu和B. Zitkovich发表的《Rt-2：视觉-语言-动作模型将网络知识迁移至机器人控制》，2023年。在线可查：
[^15]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, and A. Gupta, “R3m: A universal visual representation for robot manipulation,” 2022. [Online]. Available:
[^16]: I. Radosavovic, T. Xiao, S. James, P. Abbeel, J. Malik, and T. Darrell, “Real-world robot learning with masked visual pre-training,” in Conference on Robot Learning. PMLR, 2023, pp. 416–426.
[^17]: Y. J. Ma, S. Sodhani, D. Jayaraman, O. Bastani, V. Kumar, and A. Zhang, "Vip: Towards universal visual reward and representation via value-implicit pre-training," arXiv preprint arXiv:2210.00030, 2022.
[^18]: H. Xiong, Q. Li, Y.-C. Chen, H. Bharadhwaj, S. Sinha, and A. Garg, “Learning by watching: Physical imitation of manipulation skills from human videos,” 2021. [Online]. Available:
[^19]: C. Wen, X. Lin, J. So, K. Chen, Q. Dou, Y. Gao, and P. Abbeel, "Any-point trajectory modeling for policy learning," 2024. [Online]. Available:
[^20]: H. Bharadhwaj, R. Mottaghi, A. Gupta, and S. Tulsiani, “Track2act: Predicting point tracks from internet videos enables generalizable robot manipulation,” 2024. [Online]. Available:
[^21]: S. Bahl, R. Mendonca, L. Chen, U. Jain, and D. Pathak, “Affordances from human videos as a versatile representation for robotics,” 2023. [Online]. Available:
[^22]: A. Mandlekar, D. Xu, R. Martín-Martín, S. Savarese, and L. Fei-Fei, "Learning to generalize across long-horizon tasks from human demonstrations," arXiv preprint arXiv:2003.06085, 2020.
[^23]: V. Dhat, N. Walker, and M. Cakmak, “Using 3d mice to control robot manipulators,” Proceedings of the 2024 ACM/IEEE International Conference on Human-Robot Interaction, 2024. [Online]. Available:
[^24]: Y. Zhu, A. Joshi, P. Stone, and Y. Zhu, “Viola: Imitation learning for vision-based manipulation with object proposal priors,” 2023. [Online]. Available:
[^25]: S. P. Arunachalam, I. Güzey, S. Chintala, and L. Pinto, “Holo-dex: Teaching dexterity with immersive mixed reality,” in 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023, pp. 5962–5969.
[^26]: A. George, A. Bartsch, and A. B. Farimani, “Openvr: Teleoperation for manipulation,” 2023. [Online]. Available:
[^27]: I. A. Tsokalo, D. Kuss, I. Kharabet, F. H. P. Fitzek, and M. Reisslein, “Remote robot control with human-in-the-loop over long distances using digital twins,” in 2019 IEEE Global Communications Conference (GLOBECOM), 2019, pp. 1–6.
[^28]: X. Cheng, J. Li, S. Yang, G. Yang, and X. Wang, “Open-television: teleoperation with immersive active visual feedback,” arXiv preprint arXiv:2407.01512, 2024.
[^29]: T. He, Z. Luo, X. He, W. Xiao, C. Zhang, W. Zhang, K. Kitani, C. Liu, and G. Shi, “Omnih2o: Universal and dexterous human-to-humanoid whole-body teleoperation and learning,” arXiv preprint arXiv:2406.08858, 2024.
[^30]: H. Fang, H.-S. Fang, Y. Wang, J. Ren, J. Chen, R. Zhang, W. Wang, and C. Lu, "Airexo: Low-cost exoskeletons for learning whole-arm manipulation in the wild," arXiv preprint arXiv:2309.14975, 2023.
[^31]: S. Yang, M. Liu, Y. Qin, R. Ding, J. Li, X. Cheng, R. Yang, S. Yi, and X. Wang, “Ace: A cross-platform visual-exoskeletons system for low-cost dexterous teleoperation,” arXiv preprint arXiv:2408.11805, 2024.
[^32]: A. Sivakumar, K. Shaw, and D. Pathak, “Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube,” arXiv preprint arXiv:2202.10448, 2022.
[^33]: V. Jain, M. Attarian, N. J. Joshi, A. Wahid, D. Driess, Q. Vuong, P. R. Sanketi, P. Sermanet, S. Welker, C. Chan, et al., “Vid2robot: End-to-end video-conditioned policy learning with cross-attention transformers,” arXiv preprint arXiv:2403.12943, 2024.
## [^34]: Z. Fu, Q. Zhao, Q. Wu, G. Wetzstein, and C. Finn, “Humanplus: Humanoid shadowing and imitation from humans,” in Conference on Robot Learning (CoRL), 2024
---
[^35]: N. M. M. Shafiullah, A. Rai, H. Etukuru, Y. Liu, I. Misra, S. Chintala, and L. Pinto, “On bringing robots home,” arXiv preprint arXiv:2311.16098, 2023.
[^36]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu, "Dexcap: Scalable and portable mocap data collection system for dexterous manipulation," 2024. [Online]. Available:
[^37]: G. Papagiannis, N. Di Palo, P. Vitiello, and E. Johns, “R+ x: Retrieval and execution from everyday human videos,” arXiv preprint arXiv:2407.12957, 2024.
[^38]: K. Grauman, A. Westbury, L. Torresani, K. Kitani, J. Malik, T. Afouras, K. Ashutosh, V. Baiyya, S. Bansal, B. Boote, et al., “Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 19383–19400.
[^39]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu, M. Martin, T. Nagarajan, I. Radosavovic, S. K. Ramakrishnan, F. Ryan, J. Sharma, M. Wray, M. Xu, E. Z. Xu, C. Zhao, S. Bansal, D. Batra, V. Cartillier, S. Crane, T. Do, M. Doulaty, A. Erapalli, C. Feichtenhofer, A. Fragomeni, Q. Fu, A. Gebreselasie, C. Gonzalez, J. Hillis, X. Huang, Y. Huang, W. Jia, W. Khoo, J. Kolar, S. Kottur, A. Kumar, F. Landini, C. Li, Y. Li, Z. Li, K. Mangalam, R. Modhugu, J. Munro, T. Murrell, T. Nishiyasu, W. Price, P. R. Puentes, M. Ramazanova, L. Sari, K. Somasundaram, A. Southerland, Y. Sugano, R. Tao, M. Vo, Y. Wang, X. Wu, T. Yagi, Z. Zhao, Y. Zhu, P. Arbelaez, D. Crandall, D. Damen, G. M. Farinella, C. Fuegen, B. Ghanem, V. K. Ithapu, C. V. Jawahar, H. Joo, K. Kitani, H. Li, R. Newcombe, A. Oliva, H. S. Park, J. M. Rehg, Y. Sato, J. Shi, M. Z. Shou, A. Torralba, L. Torresani, M. Yan, and J. Malik, "Ego4d: Around the world in 3,000 hours of egocentric video," 2022. [Online]. Available:
[^40]: L. Ma, Y. Ye, F. Hong, V. Guzov, Y. Jiang, R. Postyeni, L. Pesqueira, A. Gamino, V. Baiyya, H. J. Kim, K. Bailey, D. S. Fosas, C. K. Liu, Z. Liu, J. Engel, R. D. Nardi, and R. Newcombe, "Nymeria: A massive collection of multimodal egocentric daily motion in the wild," 2024. [Online]. Available:
[^41]: S. Haddadin, S. Parusel, L. Johannsmeier, S. Golz, S. Gabl, F. Walch, M. Sabaghian, C. Jähne, L. Hausberger, and S. Haddadin, “The franka emika robot: A reference platform for robotics research and education,” IEEE Robotics and Automation Magazine, vol. 29, no. 2, pp. 46–64, 2022.
[^42]: Meta Research, “Basics — project aria docs,” , 2024, accessed: September 15, 2024.
[^43]: J. Yang, C. Glossop, A. Bhorkar, D. Shah, Q. Vuong, C. Finn, D. Sadigh, and S. Levine, “Pushing the limits of cross-embodiment learning for manipulation and navigation,” arXiv preprint arXiv:2402.19432, 2024.
[^44]: J. Hejna, C. Bhateja, Y. Jian, K. Pertsch, and D. Sadigh, "Re-mix: Optimizing data mixtures for large scale imitation learning," arXiv preprint arXiv:2408.14037, 2024.
[^45]: Y. Zhou, Y. Aytar, and K. Bousmalis, “Manipulator-independent representations for visual imitation,” 2021. [Online]. Available:
[^46]: S. Bahl, A. Gupta, and D. Pathak, “Human-to-robot imitation in the wild,” 2022. [Online]. Available:
[^47] N. Ravi、V. Gabeur、Y.-T. Hu、R. Hu、C. Ryali、T. Ma、H. Khedr、R. Rädle、C. Rolland、L. Gustafson、E. Mintun、J. Pan、K. V. Alwala、N. Carion、C.-Y. Wu、R. Girshick、P. Dollár和C. Feichtenhofer所著的《Sam 2：图像与视频中的任意物体分割》，2024年。在线可查：