# EGOWILD2DEX：从野外人类经验中学习灵巧机器人操控

林昆阳 $^{\dagger}$、温旭涛、林景熙、林兰勇、刘佳明、杨天硕、陈先驰、韩越、李一多、张展鹏、罗平 $^{*}$

香港大学 Kinetix AI

项目负责人 *通讯作者

<https://mmlab.hk/egowild2dex>

![Image](images/6c67fc35e740f7c1dc46035101ff88e16ab6121b0a778ad74d5837e440e5ff99.jpg)

![Image](images/e58e42a02752b0893086739be11198485432710ab4e291ccf3a128f72f3172b0.jpg)

![Image](images/519835d8b181991b70ad54602a7343dd71b6a021272d72d67b353124298df288.jpg)

打开盒子，取出可见/不可见的物体。

![Image](images/b5ec9f85750013b82003c093ee5b034af1afe722875d73e6e0061dd703fbacde.jpg)

<div style="text-align: center;">(a) Human Experience</div>

![Image](images/2ea5bddce05249820ea1838b0384bbb758d35c46483e43944a0c32a8288977ce.jpg)

(b) EgoWild2Dex

![Image](images/c21e2fb9554c3545c888c9324f9a63f75b6b8aa7d13d4a775de3460c3667cd50.jpg)

握住胶枪，在架子中心涂胶，将模型放在指定位置。

![Image](images/a3f1c950c2e549074ebffb3bf098f7a71c9f85f2e4d64a73127372e256541c94.jpg)

<div style="text-align: center;">(c) Dexterous Manipulation</div>

<div style="text-align: center;">Fig. 1. We introduce EGOWILD2DEX, a framework for learning dexterous robot manipulation from in-the-wild human experience. (a) EgoWild is an in-the-wild egocentric human manipulation dataset captured with head-mounted cameras during everyday activities. On average, each frame of EgoWild contains 34.78 segmented foreground instances (7.71× EgoDex [^1] and 1.53× EgoVerse [^2]), and cumulative head rotation is 15.93°/s (3.80× and 3.45×, respectively). (b) EGOWILD2DEX is a training pipeline that transfers in-the-wild human experience to dexterous robots with limited robot data in a shared robot-native action space. At its core is a differentiable geometric transformer that aligns task-specific ego observations with robot views for co-training. (c) We demonstrate our method on three long-horizon bimanual dexterous tasks. Each task presents challenges involving tool use, arm-hand coordination, and contact-rich interaction, and consists of multiple subtasks in sequence.</div>

摘要—以自我为中心的的人类数据为学习灵巧机器人操控提供了可靠的监督来源。与以往通常在受限或专门构建的环境中收集此类数据的方法不同，我们在现实世界场景（包括家庭、工厂和药店等）中收集野外以自我为中心的演示数据，这些数据来自人们佩戴头戴式摄像头执行日常任务时的记录。这种采集方案涵盖了长尾分布的物体和技能所对应的多样化工作流程及手-物交互方式，但由于场景杂乱以及头部运动引起的视角变化（平均累积旋转角度为 $15.93^{\circ}/s$），所得到的观测数据在视觉上极具挑战性。为解决这些问题，我们提出了EGOWILD2DEX，它通过将对齐不稳定的以自我为中心的视角和人类动作分别与机器人观测和动作相匹配，从而将野外的人类经验迁移到配备灵巧手的双臂机器人上。本研究具有三项优势：首先，我们引入了GEOFORMER——一种可微分的几何变换器，能将嘈杂的人类观测数据转换为机器人可理解的观测结果；其次，我们设计了人机训练方案来弥合实体差异，从而在有限的机器人监督下实现高任务成功率；最后，我们发布了EgoWild数据集，这是一个包含538.9小时野外以自我为中心的人类演示数据的数据集，内含179,049个片段、125,961条独特的任务描述以及1,282个物体类别。在真实机器人上，EGOWILD2DEX在三项长时序双臂灵巧操控任务中的平均成功率达到96.7%，物体级别的零样本平均成功率为33.3%。相关数据、模型和代码将会被公开发布。

## I. 引言

大规模的人类演示数据为成本高昂的机器人遥操作轨迹提供了一种可扩展的替代方案。除了规模优势外，这些数据还能反映环境动态、接触引发的物体可用性以及灵巧的手臂-手部运动学特征 [^3] [^4] [^5]。近期的研究表明，人类演示数据能够为机器人操控提供有益的先验知识 [^6] [^7] [^8] [^9] [^10]。然而，现有方法往往依赖大量非公开数据、昂贵的人机配对数据，或是专门构建的场景 [^1]、[^8]、[^9]、[^11] [^12] [^13] [^14] [^15]。此外，大多数研究针对的是基于夹持器的操控方式 [^6]、[^10]、[^13] [^14] [^15] [^16] [^17]，并未考虑用于长时序灵巧任务的多指协调问题。

在这项工作中，我们试图从日常生活中自然发生的人类操作行为中学习经验，这些行为的产生受到可用物体、周围杂物以及任务需求的影响。这种真实场景下的经验能让模型接触到杂乱场景中具有动态视角的各种物体和手-物交互情况，从而减少其对特定于人工设定场景的捷径的依赖，促使它学习能够跨环境迁移的操作模式。

然而，将这种经验应用到机器人上面临两大挑战。首先，以自我为中心的观测结果会随着

---

操作行为和头部运动而发生变化。因此，同样的操作在移动的人眼摄像头和固定的机器人摄像头下会呈现出不同的样子。其次，人类广泛的经验虽然提供了多样的操作行为，但并未直接教会机器人如何在其自身的身体结构和物理约束下执行特定任务。难点在于如何将这种经验转化为可靠的机器人行为。

为应对这些挑战，我们提出了EGOWILD2DEX框架，该框架旨在从真实场景中的人类经验出发，学习灵巧的机器人操作技能。我们设计了几何变换器（GEOFORMER），用于轻量级地将特定任务相关的自我中心观测结果与机器人视角进行投影对齐，无需精确的摄像头校准，也无需承担现有3D投影与修复流程所带来的高计算量和内存开销 [^18]，[^19]。它能学习机器人到自我中心的单应性矩阵，并应用其逆矩阵来让自我中心的观测结果更贴近机器人视角，从而为协同训练提供视觉对齐后的人类演示数据。为了将广泛的人类经验转化为可靠的机器人执行能力，我们设计了渐进式人机训练方案：首先通过人类自我中心的演示数据学习宽泛的先验知识；接着利用特定任务的人类演示数据和有限的机器人数据来夯实这一先验；最后通过执行与恢复环节来缩小剩余的接触与动力学差距。所有阶段共享相同的策略架构、机器人原生动作空间和流匹配目标，仅使用不同的数据和调度器。

为支持这一框架，我们构建了EgoWild数据集，这是一个大规模的真实场景人类操作数据集，是在日常任务中通过头戴式摄像头采集的。如图1所示，与EgoDex [^1]和EgoVerse [^2]相比，EgoWild每帧包含更多的前景实例（34.78个），每秒累计头部旋转角度也更大（15.93°），且场景中的杂物更密集、视角更动态。

我们在三项长时序任务上对完整系统进行了评估，每项任务都包含多个涉及工具使用、双手协调和操作物体的子任务。实验结果表明，每项任务仅需不到一小时的机器人演示数据，EGOWILD2DEX在三项长时序双手灵巧任务中的平均成功率就达到了96.7%。EGOWILD2DEX在未见过的物体上的平均零样本级成功率也达到了33.3%。这些结果说明，将EgoWild、GEOFORMER和渐进式人机训练相结合，能够有效将真实场景中的人类经验迁移到机器人操作中。

总的来说，我们的贡献主要有三点：（1）我们提出了GEoFORMER，这是一种可微分的几何变换器，无需进行显式的3D重建或图像修复即可实现轻量级的自我视角到机器人视角的对齐，其速度可提升高达$21.9\times$。（2）我们设计了一种渐进式的人机训练方案，能够将广泛的人类操作先验迁移给灵巧机器人，在三个长时程灵巧任务中平均成功率达到了96.7%，且每个任务所需的机器人数据量不到一小时。（3）我们发布了EgoWild数据集，这是一个包含538.9小时真实场景下无脚本双手法活动的以自我为中心的数据集，涵盖了各种现实环境、物体和工作流程。我们展示了EgoWild在灵巧操作领域的潜力，相信它也能为其他领域的研究带来益处。

### II. 相关工作

### A. 用于灵巧手操作的视觉-语言-动作模型

视觉-语言-动作（VLA）模型能够根据视觉观测和语言指令来预测机器人的动作。现有的VLA模型借助互联网规模的知识和异构机器人数据来获取广泛的操作能力[^20] [^21] [^22] [^23] [^24] [^25]，但这类模型主要围绕机械臂-夹持器动作空间开发，无法专门捕捉细粒度的多指协调动作。与夹持器不同，多自由度手部需要协调控制多个电机，在监督不足的情况下，生成的指令可能会出现抖动和突变现象。为了研究这一问题，分层灵巧系统会将语义规划器与抓取或可复用的低级技能相连[^26] [^27] [^28]；尽管这类系统具有模块化特点，但当接触结果偏离预设的技能时，这种分离会削弱闭环适应能力。端到端的灵巧VLA模型可以直接建模高自由度的机械臂-手部动作[^8] [^29] [^30] [^31]，但这类模型需要大量的机器人领域监督数据，且在长时程任务中容易出现累积误差，因此需要进行额外的在策略训练或强化学习后训练[^32] [^33]。相比之下，EGOWILD2DEX通过几何视角对齐和渐进式人机训练，将现实场景中的人类经验迁移到灵巧VLA模型中，从而减少对机器人演示数据的依赖。

### B. 用于灵巧机器人学习的自我中心人类数据

早期的研究主要利用人类数据来预训练视觉表征或支持高层规划，而将后续的动作学习交由机器人监督完成 [^15], [^34] [^35] [^36] [^37] [^38] [^39]。较新的方法则利用自我中心感知和手部追踪作为密集的动作监督，通过明确的人机对齐和协同训练来实现 [^6], [^40], [^41]；或者通过预训练后再进行逆运动学和重定向 [^7]；又或是采用大规模跨本体预训练 [^8], [^9], [^42]。与此同时，新数据集不断拓展任务、物体和环境的覆盖范围 [^1], [^2], [^43], [^44]；有些方法则试图合成机器人领域的观测数据 [^18], [^45], [^46]。EGOWILD2DEX并未盲目扩大数据规模，而是将自然且富含操作内容的人类自我中心数据集与明确的动作及视图对齐方案相结合。这种数据高效的设计仅用不到一小时的机器人数据就能实现强大的长时序双臂灵巧操作能力。

### 三、方法论

为了将现实世界中的人类经验迁移到灵巧机器人上，我们提出了EGOWILD2DEX框架，该框架结合了几何视图对齐与渐进式人机训练（见图2）。具体而言，GEOFORMER将特定任务下的自我中心观测数据与机器人视角对齐，从而为协同训练提供视觉对齐的人类演示。在整个过程中使用共享的动作空间，训练流程首先学习通用的操作先验，然后通过特定任务下的人机协同训练对其进行调整，最终优化机器人的执行效果。

---

![Image](images/b4e6618a13d9132a3ecafb31173bef58f970ce9e61a1041d3ba65da7d4b90a10.jpg)

<div style="text-align: center;">Fig. 2. Overview of EGOWILD2DEX. (a-1) Human-to-Robot learning builds broad manipulation priors by updating the vision–language model (VLM) on 538.9 hours of EgoWild data. (a-2) Human–Robot co-training first trains GEoFORMER on unpaired task-specific ego and robot images, then freezes it to align ego observations while updating the VLM and action expert. The task-specific ego, glove, and robot data used in this stage have a combined duration equivalent to just 1.6% of the data used in Stage 1. (a-3) Robot-Domain refinement improves execution and recovery by updating the VLM and action expert on robot data totaling just 0.1% of Stage 1's data duration. (b-1) Inverse kinematics (IK) and hand retargeting map all demonstrations into one robot-native action space. (b-2) GEoFORMER aligns ego observations to the robot view, while glove and robot data share the same camera configuration.</div>

这一过程还会结合专家演示和恢复轨迹来进一步优化。算法1总结了训练和部署的流程。

### A. 几何变换器

利用自我中心的人类数据时的一个关键挑战是：同一动作在头戴式人类摄像头和固定机器人摄像头下呈现的效果不同。传统方法采用3D投影后再进行图像修复的方式来对齐视图 [^18], [^19]。这些方法需要精确的摄像头校准，且计算成本较高。为解决这一问题，如图3所示，我们提出了GEOFORMER，它利用轻量级的投影变换将特定任务下的自我中心观测数据对齐到机器人视角。GEOFORMER从非配对图像中学习 $I_{\text{ego}}, I_{\text{rob}} \in \mathbb{R}^{3 \times H_{\text{img}} \times W_{\text{img}}}$，其中 $H_{\text{img}}$ 和 $W_{\text{img}}$ 分别表示图像的高度和宽度。训练时，它会随机将每张自我中心图像与从对应任务的机器人图像池中采样的机器人视角图像配对。该模型用八维单应性参数向量来表示它们之间的几何差异 $\mathbf{p} = [p_1, \ldots, p_8]^\top$，随后通过以下方式将其映射为单应性矩阵 $\mathcal{T}$：

 $$ \begin{aligned}&P_{\mathbf{p}}:=\begin{bmatrix}p_{3}&p_{2}&p_{1}\\p_{6}&-p_{3}-p_{7}&p_{5}\\p_{4}&p_{8}&p_{7}\end{bmatrix},\quad\\ &\mathcal{T}_{\mathbf{p}}:=\exp(P_{\mathbf{p}})=\lim_{K\to\infty}\sum_{k=0}^{K}\frac{P_{\mathbf{p}}^{k}}{k!},\\ \end{aligned} $$

其中 $P_{p}$ 是由八个投影参数构成的无迹矩阵，其指数形式 $T_{p}$ 定义了单应性矩阵。

GEOFORMER从扰动后的估计值 $p_{0}$ 出发，逐步优化变换参数。在第n步中，它利用当前估计值对机器人图像进行变换：

 $$ \begin{array}{r}{I_{\mathrm{r o b},n-1}^{\mathrm{w a r p}}=\mathrm{W a r p}(I_{\mathrm{r o b}};\mathcal{T}_{{\bf p}_{n-1}}),}\end{array} $$

其中 $\text{Warp}(I;\mathcal{T})$ 表示通过单应性矩阵 $\mathcal{T}$ 对图像I进行变换，$I_{\text{rob},n-1}^{\text{warp}}$ 表示利用上一步的参数估计值 $\mathbf{p}_{n-1}$ 将机器人图像变换为自我中心视角。下一个残差被预测为：

 $$ \begin{array}{r}{\Delta\mathbf{p}_{n}=\mathcal{G}_{n}(I_{\mathrm{e g o}},I_{\mathrm{r o b},n-1}^{\mathrm{w a r p}}),}\end{array} $$

![Image](images/a3092bccf16397780e1edc3551648289d67b6453b9f2162bc127a9845195e020.jpg)

<div style="text-align: center;">Fig. 3. Geometric Transformer (GEOFORMER). (a) Alignment path: GEOFORMER predicts a robot-to-ego warp  $\mathcal{T}$ and applies  $\mathcal{T}^{-1}$ to align ego observations with the robot view. (b) Warp module: predictors  $\{\mathcal{G}_n\}$ refine homography parameters to make warped robot images appear natural when composited onto ego images, under adversarial supervision from the critic  $\mathcal{C}$. (c) VLA training: the aligned ego images are used alongside robot observations to train the VLA policy through human–robot co-training.</div>

其中，$\mathcal{G}_n$ 是第 n 个预测器，它以自身图像与当前经过扭曲处理的机器人图像的连接作为输入，并输出同形变换参数空间中一个八维的残差。每个预测器都先利用卷积神经网络（CNN）提取视觉特征，再通过多层感知机（MLP）来回归残差 [^47]、[^48]。随后我们将该残差加到之前的估计值上，从而得到 $\mathbf{p}_n = \mathbf{p}_{n-1} + \Delta \mathbf{p}_n$。

最终的机器人到自身视图的扭曲结果为 $\mathcal{T} = \exp(P_{p_N})$，其中 N 表示级联细化步骤的总数。如图 3 所示，在训练期间，我们对机器人图像以及尺寸相同的全 1 掩码应用 $\mathcal{T}$，以得到

 $$ I_{\mathrm{r o b}}^{\mathrm{w a r p}}=\mathrm{W a r p}(I_{\mathrm{r o b}};\mathcal{T}),\quad M_{\mathcal{T}}=\mathrm{W a r p}(\mathbf{1};\mathcal{T}), $$

这里，1 是与 $I_{rob}$ 尺寸相同的全 1 图像，超出边界的样本会被补零处理。由此产生的掩码会选出有效的扭曲内容来构成合成图像。

 $$ \begin{array}{r}{I_{\mathrm{r o b+e g o}}=M_{\mathcal{T}}\odot I_{\mathrm{r o b}}^{\mathrm{w a r p}}+\left(1-M_{\mathcal{T}}\right)\odot I_{\mathrm{e g o}},}\end{array} $$

其中，$\odot$ 表示逐元素乘法，而 $M_{\mathcal{T}}$ 则用于选取有效的扭曲后机器人内容，其余部分保留自身视图的背景。几何预测器通过对抗损失进行训练，以便将机器人视角的内容扭曲并粘贴到自身视图中，

---

从而形成外观自然的合成图像。它旨在欺骗同时训练的 Wasserstein 判别器 [^49]，该判别器负责区分真实的自身视图图像与预测器生成的合成图像。几何正则化进一步确保粘贴区域的比例合理，且与自身视图有充足的重叠，避免出现过小的碎片或超出画面范围的扭曲现象。

训练完 GEOFORMER 后，判别器会被丢弃，而在后续的人机策略协同训练过程中预测器会被冻结。学习到的扭曲映射可将机器人视图转换为自身视图；因此策略输入会使用其逆映射：

 $$ I_{\mathrm{e g o}}^{\mathrm{a l i g n}}=\mathrm{W a r p}(M_{\mathcal{T}}\odot I_{\mathrm{e g o}};\mathcal{T}^{-1}), $$

其中，$I_{\text{ego}}^{\text{align}}$ 是通过逆同形变换 $\mathcal{T}^{-1}$ 对齐到机器人视角的自身视图观测结果。尽管输入分辨率固定，GEOFORMER 仍支持任意分辨率下的逆扭曲操作，并可通过坐标缩放来实现。对齐后的帧会由与机器人图像相同的 VLA 视觉编码器进行处理。与采用基于 MoGe 的 3D 投影 [^50] 和 LaMa 修复技术 [^51] 的 Project+Inpaint 流程相比，GEOFORMER 的处理速度提升了 $21.9\times$ 倍，同时还能改善机器人视图图像的相似度以及下游机器人任务的表现（详见第 IV-E 节）。

### B. 渐进式人机训练

如图 2 所示，我们采用了一种 VLA 架构，该架构包含用于处理图像和任务指令的视觉-语言模型骨干网络，以及用于预测机器人原生动作块的流匹配动作专家。我们利用一致的动作空间来让人机和机器人演示数据都能在同一框架下学习。

a) 共享的机器人原生动作空间：我们将操作员的手臂姿态校准为与机器人的参考配置大致相符，从而建立运动重定向所需的共同空间参考。随后的手腕和手指运动会被转换为相对于该参考点的机器人原生指令，这减少了因初始姿态随意性导致的偏差，并在训练阶段提供一致的动作监督。共享的动作向量包含了两侧手臂关节目标值和手部电机指令。

 $$ A_{t}:=\left[\begin{matrix}{\mathbf{a}_{L,t}^{\operatorname{a r m}}}\\ {\mathbf{a}_{L,t}^{\operatorname{h a n d}}}\\ {\mathbf{a}_{R,t}^{\operatorname{a r m}}}\\ {\mathbf{a}_{R,t}^{\operatorname{h a n d}}}\\ \end{matrix}\right]\in\mathbb{R}^{d_{a}},\qquad d_{a}=2\left(d_{\operatorname{a r m}}+d_{\operatorname{h a n d}}\right), $$

其中，$\mathbf{a}_{j,t}^{\text{arm}}$ 和 $\mathbf{a}_{j,t}^{\text{hand}}$ 分别是侧边 $j \in \{L, R\}$ 的机械臂关节角度指令与手部电机数值，而 $d_{\text{arm}}$ 和 $d_{\text{hand}}$ 则表示每侧机械臂关节及手部电机指令向量的维度。来自各数据源的经过校准的手腕与手指运动数据，会通过与机器人遥操作相同的重定位与逆向运动学流程进行转换。在所有阶段中，机器人原生动作块均作为同一流匹配损失函数 [^22]、[^23] 的目标，从而确保训练目标与输出表示保持不变。

共享的动作目标使得人类与机器人的演示数据能够兼容以供优化使用，但它们对学习的贡献仍具互补性：广泛的人类经验提供了可复用的操控先验，特定任务的演示则将这些先验与目标任务联系起来。

## 算法1：训练与部署流程

所需输入：野外环境中的自我中心数据 $\mathcal{D}_{\mathrm{HB}}$、特定任务相关的自我中心数据 $\mathcal{D}_{\mathrm{HT}}$、手套演示数据 $\mathcal{D}_{\mathrm{G}}$、机器人数据 $\mathcal{D}_{\mathrm{R}}$ 以及指令 $\ell$。

输出结果：部署完成的双腕灵巧VLA策略 $\pi$。

1: 构建共享的机器人原生监督信号：
2: 为 $\mathcal{D}_{s}$ 初始化处理后的子集 $s \in \{\mathrm{HB}, \mathrm{HT}, \mathrm{G}, \mathrm{R}\}$。
3: 对于每个数据源 s 及其轨迹 $\tau \in \mathcal{D}_{s}$，执行以下操作：
4: 读取手腕姿态、手指信号、图像及指令。
5: 应用共享校准、双臂逆向运动学及手部重定位，以生成指令 $A_{t} \in \mathbb{R}^{d_{a}}$。
6: 保留原始观测数据，并将 $(o_{t}, \ell, \mathbf{q}_{t}, A_{t})$ 存储于 $\widetilde{\mathcal{D}}_{s}$ 中。
7: 结束循环。
8: 逐步训练VLA策略：
9: 基于 $\widetilde{\mathcal{D}}_{\mathrm{HB}}$ 开展“人类到机器人”的学习过程。
10: 利用 $\mathcal{D}_{\mathrm{HT}}$ 和 $\mathcal{D}_{\mathrm{R}}$ 中的非配对图像训练GEOFORMER，启动人机协同训练。
11: 冻结GEOFORMER，利用其对齐 $\mathcal{D}_{\mathrm{HT}}$ 中的自我中心观测数据。
12: 在 $\widetilde{\mathcal{D}}_{\mathrm{HT}} \cup \widetilde{\mathcal{D}}_{\mathrm{G}} \cup \widetilde{\mathcal{D}}_{\mathrm{R}}$ 上联合训练VLM与动作专家模型。
13: 利用来自 $\widetilde{\mathcal{D}}_{\mathrm{R}}$ 的专家执行轨迹与恢复轨迹，在机器人领域进一步优化模型。
14: 部署时采用在线校正机制：
15: 在真实机器人上执行任务期间，重复以下步骤：
16: 从 $\pi(\delta_{t}, \ell, \mathbf{q}_{t})$ 预测并执行动作块。
17: 若需要人工校正，则：
18: 应用锚定式增量指令，将校正结果加入 $\widetilde{\mathcal{D}}_{\mathrm{R}}$，随后继续优化模型。
19: 结束条件判断。
20: 结束循环。
21: 返回已部署的策略 $\pi$。

机器人执行过程能提供接触与恢复方面的经验。基于这一观察，我们围绕训练进程来构建模型：从广泛的先验学习起步，经人机协同训练，最终过渡到机器人领域的精细化调整，同时保持相同的策略架构不变。

b) 人类到机器人的学习：第一阶段从EgoWild演示数据中学习宽泛的双腕语义与运动模式。人类自我中心的观测数据以其原始形式被保留，从而使策略能够从野外数据集的视觉与行为多样性中汲取知识。

c) 人机协同训练：第二阶段首先利用第III-A节所述的视图对齐目标，针对特定的任务相关自我中心图像与机器人图像训练GEOFORMER。随后冻结GEOFORMER，利用其对齐特定任务的自我中心观测数据，同时基于对齐后的自我中心数据、机器人视角下的手套演示数据以及少量机器人演示数据，联合训练VLM与动作专家模型。这一阶段旨在使宽泛的策略适配目标任务。

d) 机器人领域精细化：最后阶段利用专家机器人的演示和恢复轨迹来缩小剩余的实体形态与接触动力学差异。恢复轨迹是通过数据集聚合（DAgger）[^52]收集的，该方法将策略访问状态下的专家恢复数据补充到训练集中。

每个阶段都会优化同一个条件映射$(\tilde{o}_t^s, \ell, \mathbf{q}_t) \mapsto \mathbf{A}_t$，同时持续更新策略参数。此处，$\tilde{o}_t^s$表示来自数据源s、在时间t的视觉观测结果，必要时会经过GEoFORMER对齐处理；$\mathbf{q}_t \in \mathbb{R}^{d_a}$是当前测量的关节状态；$\ell$是语言任务指令；而$\mathbf{A}_t := [A_t, A_{t+1}, \ldots, A_{t+H-1}] \in \mathbb{R}^{d_a \times H}$则是

---

一个时长为H的动作块。每个$A_{t}$都包含公式(6)中定义的机械臂关节目标值和手部电机指令。

### C. 数据源

a) 自我中心式人类演示（EgoWild）：我们通过在物理环境各异的真实场景——包括住宅、超市、快递站、工厂、药店和办公室——使用VR设备采集双手协同的人类行为来创建EgoWild数据集，而非仅复现少数特定空间。物体、杂物、光照和布局均保持原有状态，从而呈现出自然的环境多样性与场景杂乱程度。数据采集过程开放且无脚本限制：操作员会根据当地环境自主规划并完成实际任务，无需遵循预设的动作序列。原始长视频完整保留了行为链条，涵盖观察、决策制定、任务切换、反复尝试、移动和检查等环节。在阶段1训练中，我们保留了经过质量筛选、平移运动有限的操控片段，以确保监督信号聚焦于操控行为本身。

EgoWild结合了高分辨率的自我中心视频、追踪的手部动作以及时序结构化的语言标注。视频拍摄帧率为$2048 \times 1536$，相比之下，EgoDex的数据采集帧率为$1920 \times 1080$ [^1]，EgoVerse则为$640 \times 360$ [^2]。采集人员每只手上都佩戴经过校准的追踪器：在我们的3D伸手测试中，未佩戴追踪器时指尖位置误差的中位数为4.21厘米，佩戴后则降至0.66厘米。语言标注分为三个带时间戳的层级：原子动作片段、片段描述以及由多个片段组成的完整技能。相比之下，EgoDex主要提供剧集级别的描述，而EgoVerse则提供没有对应时间边界的剧集子任务。用于阶段1训练的最终处理语料库包含179,049个剧集，共计538.9小时的自我中心活动数据（以30帧/秒的速度生成5820万帧）。如图1所示，我们使用SAM 3.1 [^53]对前景实例进行分割，以量化视觉复杂度。EgoWild平均每帧包含34.78个前景实例，而EgoDex为4.51个，EgoVerse为22.73个。此外，EgoWild的平均每秒累计头部旋转角度也显著更大（$15.93^{\circ}$对比$4.19^{\circ}$和$4.62^{\circ}$）。这些指标反映出EgoWild具有更密集的场景杂乱程度和更动态的观察视角。另外，我们还按照相同的数据采集流程，在重构的下游场景中收集了特定任务的语料库，以便进行适配。GEOFORMER随后会将自我中心的观测结果转换为机器人视角；详见第III-A节。在运动对齐方面，所有姿态均以初始头戴设备的坐标系来表示，同时校准与机器人手臂零配置相对应的VR姿态。接着，我们以此参考系为基础计算手部动作，再通过固定的坐标变换得到相对于机器人的轨迹。

b) 手套演示：手套演示提供了机器人视角的观测数据以及重新映射的机械臂-手部动作标签。如图2所示，操作员在部署时使用的相同三摄像头设置下执行下游任务，从而保留了机器人的视角、工作空间比例和遮挡模式。VR控制器用于追踪机械臂末端执行器的姿态，而数据手套则用于捕捉手指关节活动；通过相对姿态映射、双臂逆运动学计算以及手部重映射，这些信号被转换为机器人可识别的命令。与基于头戴设备的手部追踪相比，控制器和手套分别能提供更精确的手腕姿态和手指关节活动测量值。这两种设备与用于机器人遥操作的设备相同；结合共享的动作映射机制，预计由此产生的动作监督数据会更接近机器人实际接收到的命令分布。因此，手套演示能在昂贵的物理执行前，提供与部署环境匹配的观测数据以及更高保真度的动作监督。

c) 真实机器人演示：真实机器人遥操作会在线应用相同的映射关系，并将生成的命令发送给实体机器人。该系统基于XRoboToolkit [^54]开发，支持裸手追踪、辅助追踪器以及VR控制器；我们选用VR控制器，是因为在我们的实验环境中它能提供最稳定的姿态信号。遥操作不仅能生成基于实际接触情况的演示数据，还能支持人工干预；通过轻度低通滤波可消除手部命令中的传感噪声。

### D. 可靠的部署与恢复数据采集

接触丰富的灵巧操控对执行稳定性要求极高。为此，我们开发了一套用于遥操作、策略部署和人工修正的可靠系统：通过精心设计的校准和滤波步骤生成平滑的动作目标；在底层控制中，采用柔性力矩控制来在吸收微小姿态误差的同时保留接触意图；重叠融合机制则能避免预测出的动作片段之间出现不连续现象。在数据采集的恢复环节，我们提出了Anchored Delta-Cmd机制——这是一种人工接管机制，它能将机器人命令锚定在接管时刻的数值上，并根据操作员后续的相对动作更新命令，从而避免命令跳变。这些工程组件确保了数据采集和闭环部署的稳定性，也是我们整个学习系统的基础架构。

### IV. 实验

我们通过四个问题在现实世界的双臂灵巧操控任务中对EGOWILD2DEX进行评估：RQ1：在机器人数据有限的情况下，EGOWILD2DEX与直接仅基于机器人的适配方法相比表现如何？RQ2：渐进式训练流程中各个组件分别起到什么作用？RQ3：GEOFORMER对视觉迁移的质量和效率有何影响？RQ4：人类数据的数量对下游任务性能有何影响？所学策略在物体和形态间的泛化与迁移能力又如何？

### A. 实验设置

a) 机器人平台：我们的实验主要在两台六关节Piper机械臂上进行，每台机械臂配备两个六通道Revo2手部装置。观测数据来自固定的俯视摄像头以及与机械臂同步移动的手腕摄像头。机器人使用公式(6)中定义的机械臂-手部命令。

---

<div style="text-align: center;">TABLE I</div>

<div style="text-align: center;">DIRECT ADAPTATION OF PUBLIC PRETRAINED VLAs. WE TRAIN THE PUBLIC PRETRAINED VLAs ON LIMITED ROBOT EXPERT DATA AND COMPARE THEIR PERFORMANCE WITH THAT OF OUR FULL PIPELINE.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Open-Box</td><td style='text-align: center; word-wrap: break-word;'>Glue-Fig.</td><td style='text-align: center; word-wrap: break-word;'>Ice-Water</td><td style='text-align: center; word-wrap: break-word;'>Avg.</td></tr><tr><td colspan="5">Direct fine-tuning of pretrained VLAs</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\pi_0$ [^22]</td><td style='text-align: center; word-wrap: break-word;'>2.0/0.0</td><td style='text-align: center; word-wrap: break-word;'>3.7/0.0</td><td style='text-align: center; word-wrap: break-word;'>2.4/10.0</td><td style='text-align: center; word-wrap: break-word;'>2.7/3.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\pi_{0.5}$ [^23]</td><td style='text-align: center; word-wrap: break-word;'>4.0/0.0</td><td style='text-align: center; word-wrap: break-word;'>4.1/10.0</td><td style='text-align: center; word-wrap: break-word;'>4.6/10.0</td><td style='text-align: center; word-wrap: break-word;'>4.2/6.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GR00T-N1.7 [^55]</td><td style='text-align: center; word-wrap: break-word;'>2.5/0.0</td><td style='text-align: center; word-wrap: break-word;'>1.4/0.0</td><td style='text-align: center; word-wrap: break-word;'>2.4/0.0</td><td style='text-align: center; word-wrap: break-word;'>2.1/0.0</td></tr><tr><td colspan="5">Human-robot alignment and co-training (full pipeline)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EGOWILD2DEX (Ours)</td><td style='text-align: center; word-wrap: break-word;'>9.5/90.0</td><td style='text-align: center; word-wrap: break-word;'>10.0/100.0</td><td style='text-align: center; word-wrap: break-word;'>10.0/100.0</td><td style='text-align: center; word-wrap: break-word;'>9.8/96.7</td></tr></table>

<div style="text-align: center;">TABLE II</div>

<div style="text-align: center;">ABLATION OF THE PROGRESSIVE TRAINING PIPELINE. WE ABLATE THE TWO PRECEDING HUMAN-DATA STAGES. THE SUPERSCRIPT  $\frac{1}{2}$ DENOTES ROBOT-DOMAIN REFINEMENT AUGMENTED WITH DAGGER.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="3">Training Recipe</td><td colspan="2">Performance</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Human-to-Robot learning</td><td style='text-align: center; word-wrap: break-word;'>Human-Robot co-training</td><td style='text-align: center; word-wrap: break-word;'>Robot-domain refinement</td><td style='text-align: center; word-wrap: break-word;'>Score</td><td style='text-align: center; word-wrap: break-word;'>Succ.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>1.4</td><td style='text-align: center; word-wrap: break-word;'>0.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>5.1</td><td style='text-align: center; word-wrap: break-word;'>20.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>7.5</td><td style='text-align: center; word-wrap: break-word;'>40.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓ $^{\ddagger}$</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>90.0%</td></tr></table>

b) 评估任务：我们的三项长时序双臂任务包含一系列需要灵巧的机械臂-手部协调以及丰富接触互动的子任务。评分用于衡量子任务的完成度；下方括号中的数字表示完成各子任务所获得的分数。

任务一：开盒。机器人需要抓取美工刀（2），切断胶带（2），打开盒子（4），然后取出花束（2）。

任务二：粘贴模型。机器人抓取热熔胶枪（2），涂抹胶水（3：挤胶1次，精准定位2次），拾起模型（2），将其放置在支架上（3：放置1次，对齐2次）。

任务三：取冰加水。机器人抓取勺子（2），将冰块倒入杯中（3：舀冰1次，倒水2次），把杯子放在饮水机旁（2），然后加水（3：触碰杠杆1次，精准出水2次）。

c) 评估指标：我们报告每种方法和每项任务在10次独立试验中的平均完成分数和成功率；只有完整执行指令才算成功。

### B. 动机研究：纯机器人适应的局限性

我们将仅由机器人进行的直接适应过程，即$\pi_0$ [^22]、$\pi_{0.5}$ [^23]以及GR00T-N1.7（基于超过20,000小时的人类第一人称视频数据预训练，用于灵巧手操作[^55]）与完整的EGOWILD2DEX流程进行对比。每个模型均针对每项任务，利用相同的100个专家机器人演示数据进行微调。

表一评估了仅利用每项任务100个专家机器人演示数据，将公开预训练的视觉-语言-动作模型直接应用于长时序双臂灵巧操作的情况。完整的EGOWILD2DEX流程作为端到端的参考基准。

尽管初始阶段采用了大型公开预训练模型，但纯机器人直接适应仍然困难重重。适配效果最好的检查点$\pi_{0.5}$，其平均完成分数仅为4.2，且端到端完成试验的比例仅有6.7%。

![Image](images/eceb4a3866e37a728797a66db7d2aa55d35200ad4585b7dc098862a5c57e16c4.jpg)

<div style="text-align: center;">(a) Stage-1 evaluation loss</div>

![Image](images/b0a28f35b8a0e8f197354a873d3f0fcb1e686084a032ece47724ea318e3ed893.jpg)

<div style="text-align: center;">(b) Human-Robot co-training data scaling</div>

<div style="text-align: center;">Fig. 4. Human-to-Robot learning and human-data scaling. (a) Evaluation loss across action representations and ego-human corpora. (b) Independently varying task-specific ego data and glove demonstrations while keeping the remaining Human-Robot co-training sources fixed.</div>

人类第一人称视角（IK姿态） 真实机器人 重叠度（IoU）

![Image](images/e2059eec03c6b3745a9f7e8ea664d373b15f3e99176b6f3c372b860ea4ef61fb.jpg)

<div style="text-align: center;">(a) Pooled PCA support</div>

![Image](images/b58ca4a60cef94cc35aa0d71d4d0e47404d08c0e5aa7bc92cac9b3a6bce2241a.jpg)

<div style="text-align: center;">(b) Group-wise magnitudes</div>

<div style="text-align: center;">Fig. 5. Distributional alignment between retargeted ego-human and real-robot actions. (a) Occupied support in the first two principal components of pooled normalized actions. (b) KDEs of normalized action magnitude for the left/right arms and hands.</div>

这一结果凸显了在有限的机器人监督下直接适应的局限性，也证明了采用更有效的适应策略的必要性。增加微调步骤虽然能进一步降低训练损失，但性能提升有限，在任务一中仅能达到5.3%/0.0%的水平。作为参考，完整的EGOWILD2DEX流程平均成功率高达96.7%。EGOWILD2DEX融合了基于野外人类数据的“人转机器人”学习、任务对齐的人类和手套演示数据，以及机器人领域精细化调整。接下来我们将通过消融实验来检验这些组件的贡献。为了在控制真实机器人评估时间和成本的同时实现快速迭代，后续的消融实验将聚焦于相对较难的开盒任务（任务一）。

### C. 渐进式训练的消融实验

在本节中，我们将探讨“人转机器人”学习、人机协同训练以及恢复增强型机器人领域精细化调整的各自贡献。人机协同训练使用1,000个特定任务的类人演示数据、1,000个手套演示数据，以及每项任务100个专家机器人演示数据。在机器人领域精细化调整阶段，我们首先利用人机协同训练中使用的相同100个专家机器人演示数据进行训练，随后部署该策略以收集10段较短的DAgger恢复片段，再基于合并后的机器人数据继续微调。

表二中的消融实验结果凸显了每个组件的重要性。仅进行机器人领域精细化调整，而跳过人类数据学习阶段，其效果仅为……

---

![Image](images/e9548c828bd7ffc9386b26c5a3acdec5ddb26f37c36e5ea8792a2e92eeb2c11b.jpg)

<div style="text-align: center;">(a) Raw ego</div>

![Image](images/9a1884af748f84b7f2221961f83c6e3231aa2c2dddc8d209a9acf435dfd890fe.jpg)

![Image](images/32000b68b7f265431422c6514699ffa9d9910fe1089b73769798d85f3311d794.jpg)

<div style="text-align: center;">(b) Project+Inpaint</div>

![Image](images/08ca9868d936f32085864beccb06eecb0d18ad62eef9bf0c0a1a08ced005d305.jpg)

<div style="text-align: center;">(c) GEOFORMER</div>

<div style="text-align: center;">(d) Robot view</div>

<div style="text-align: center;">Fig. 6. Qualitative comparison of visual alignment. (a) the raw ego observation, (b) MoGe reprojection followed by LaMa inpainting, (c) the GEOFORMER-aligned observation, and (d) the robot-view reference.</div>

1.4/0.0%。仅加入人机学习机制后，性能便提升至5.1/20.0%；而仅加入人机协同训练机制时，性能可达7.5/40.0%，这表明任务对齐的人为监督能提供更强的直接约束。将这两个阶段结合起来后，性能更是提升至8.8/70.0%。这一结果验证了我们的假设：通用先验与任务特定的约束是相辅相成的。采用锚定式Delta-Cmd DAgger算法后，通过针对策略失败情况的恢复机制来弥补执行分布上的差异，性能进一步提升至9.5/90.0%。

### D. 人机学习机制分析

我们研究了动作表示方式以及自我人数据集的选择对第一阶段学习的影响。我们还对比了重新映射后的人类指令与真实机器人指令的分布，以评估它们在共享动作空间中的统计相似性。

我们在EgoWild数据集上对比了末端执行器位姿差值与机器人原生的绝对手臂及手部指令。如图4(a)所示，使用绝对关节角度目标时评估损失会降低并趋于稳定，而使用末端执行器位姿差值目标时评估损失反而会升高。这些结果印证了我们为人机学习选择绝对机器人原生指令的决策是正确的。

为了评估这一动作空间，我们在图5中对比了重新映射后的人类指令与真实机器人演示中的指令。我们测量了在共享PCA投影下的重叠程度，以及各手臂和手部归一化动作幅度分布的相似性。从自我人领域和机器人领域各自随机选取的10,000个训练帧中，我们得到PCA支持下的IoU值为0.73，而左臂、左手、右臂和右手的密度重叠度分别为0.77、0.81、0.70和0.87（平均值0.79）。这些结果表明我们的重新映射流程能够将人类动作与机器人原生动作空间对齐。

接下来我们将EgoWild与EgoDex [^1]进行对比，用相同的逆运动学及手部重新映射流程处理这两组数据，并采用相同的绝对机器人原生动作表示方式。EgoDex包含314,834个片段，数量与EgoWild（179,049个片段）相当 $1.76\times$。然而，在图4(a)中，基于EgoWild训练的模型评估损失更低。我们认为这一优势源于EgoWild在环境、物体、视角及执行风格上的多样性——这种多样性避免了针对特定场景的捷径策略，促进了可跨环境迁移的操作模式。

<div style="text-align: center;">TABLE III</div>

### E. GEOFORMER的效率与质量

为了评估GEOFORMER的效率与质量，我们将GEOFORMER对齐后的输入数据与原始自我输入数据，以及Project+Inpaint对齐后的输入数据 [^50]、[^51] 进行对比。

<div style="text-align: center;">EFFICIENCY, IMAGE SIMILARITY, AND DOWNSTREAM PERFORMANCE OF VISUAL ALIGNMENT. RAW USES UNaligned EGO IMAGES; PROJECT+INPAINT APPLIES MOGE REPROJECTION FOLLOWED BY LAMA INPAINTING; GEOFORMER IS OUR METHOD.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="3">Alignment Efficiency</td><td colspan="2">Image Similarity</td><td colspan="2">Task I: Open-Box</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Mean (ms) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>P95 (ms) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>GPU-h / 1M $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Score $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Succ. $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Raw</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>11.7187</td><td style='text-align: center; word-wrap: break-word;'>0.7293</td><td style='text-align: center; word-wrap: break-word;'>7.7</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Project+Inpaint</td><td style='text-align: center; word-wrap: break-word;'>162.58</td><td style='text-align: center; word-wrap: break-word;'>194.16</td><td style='text-align: center; word-wrap: break-word;'>45.16</td><td style='text-align: center; word-wrap: break-word;'>12.8213</td><td style='text-align: center; word-wrap: break-word;'>0.7146</td><td style='text-align: center; word-wrap: break-word;'>8.0</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GEOFORMER</td><td style='text-align: center; word-wrap: break-word;'>7.43</td><td style='text-align: center; word-wrap: break-word;'>12.97</td><td style='text-align: center; word-wrap: break-word;'>2.06</td><td style='text-align: center; word-wrap: break-word;'>13.8749</td><td style='text-align: center; word-wrap: break-word;'>0.6327</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>90.0%</td></tr></table>

<div style="text-align: center;">TABLE IV</div>

<div style="text-align: center;">GENERALIZATION TO DIFFERENT PACKAGE CONTENTS. ALL VARIANTS ORIGINATE FROM THE BOUQUET PACKAGE-OPENING POLICY. UNSEEN OBJECTS ARE EVALUATED WITHOUT OBJECT-SPECIFIC ADAPTATION.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2"></td><td style='text-align: center; word-wrap: break-word;'>Base</td><td colspan="4">Seen</td><td colspan="4">Unseen</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Bouquet</td><td style='text-align: center; word-wrap: break-word;'>Bread</td><td style='text-align: center; word-wrap: break-word;'>Pouch</td><td style='text-align: center; word-wrap: break-word;'>Plush</td><td style='text-align: center; word-wrap: break-word;'>Avg.</td><td style='text-align: center; word-wrap: break-word;'>Cable</td><td style='text-align: center; word-wrap: break-word;'>Tissues</td><td style='text-align: center; word-wrap: break-word;'>Coke</td><td style='text-align: center; word-wrap: break-word;'>Avg.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Score</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>7.0</td><td style='text-align: center; word-wrap: break-word;'>8.8</td><td style='text-align: center; word-wrap: break-word;'>8.6</td><td style='text-align: center; word-wrap: break-word;'>8.1</td><td style='text-align: center; word-wrap: break-word;'>6.9</td><td style='text-align: center; word-wrap: break-word;'>7.4</td><td style='text-align: center; word-wrap: break-word;'>6.8</td><td style='text-align: center; word-wrap: break-word;'>7.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Succ.</td><td style='text-align: center; word-wrap: break-word;'>90.0%</td><td style='text-align: center; word-wrap: break-word;'>60.0%</td><td style='text-align: center; word-wrap: break-word;'>80.0%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>70.0%</td><td style='text-align: center; word-wrap: break-word;'>30.0%</td><td style='text-align: center; word-wrap: break-word;'>30.0%</td><td style='text-align: center; word-wrap: break-word;'>40.0%</td><td style='text-align: center; word-wrap: break-word;'>33.3%</td></tr></table>

a) 处理效率：表III报告了端到端对齐延迟。Project+Inpaint基线方法会对每一帧先应用MoGe重投影，再进行LaMa修复处理。对于这两种方法，我们均未将图像解码和模型加载时间计入计时范围，且每帧处理后都会同步CUDA操作。平均延迟衡量的是平均处理时间，P95延迟反映尾部延迟情况，而GPU-h/1M则将平均延迟换算为处理一百万帧所需的成本。原始自我输入数据没有对齐模块，因此不纳入此次比较。GEOFORMER将平均延迟从162.58毫秒降至7.43毫秒，P95延迟从194.16毫秒降至12.97毫秒。同时，处理一百万帧的成本也从45.16 GPU小时缩减至2.06 GPU小时，节省了43.10 GPU小时，效率提升达95.4%。

b) 图像相似性：对于表III中的图像相似性结果，我们比较了动作匹配的人眼视角帧与机器人视角帧，以中位数分数汇总每个片段，再对所有片段取平均值。PSNR用于衡量像素级保真度，数值越高越好；LPIPS [^56] 用于衡量感知特征差异，数值越低越好。与Project+Inpaint相比，GEOFORMER将PSNR提高了1.0536 dB，同时将LPIPS降低了11.46%。图6中的定性比较也显示出相同趋势：Project+Inpaint会产生重建伪影，而GEOFORMER能更好地保留与任务相关的物体及交互细节。这种更强的对齐性还使VLA评分从8.0提升至9.5，成功率从80.0%提高到90.0%，表现优于Project+Inpaint。

### F. 人类数据量的影响

为探究人类数据量对下游任务性能的影响，我们改变了特定任务的自我视角数据与手套数据的量。图4(b)显示，两种数据源在相对较小的数据量下就能带来最大的性能提升。引入首批数据子集时性能会迅速改善，随后随着更多演示数据的加入，提升效果逐渐减弱。其中自我视角数据曲线的初始变化幅度更大，而手套数据曲线则更早趋于饱和。我们推测，特定任务的自我视角数据主要拓展了任务与交互的覆盖范围，而

---

较少量的手套演示数据就足以确定部署时的视角与工作空间几何结构。这种共同的饱和现象表明，进一步的性能提升更多依赖于采用DAgger方法修正策略导致的分布外状态，而非额外的人类数据。

### G. 泛化与迁移能力

物体方面。为检验EGOWILD2DEX的物体泛化能力，我们在任务I中改变了包裹内容，针对三种已见物体调整基于花束的策略，每种物体仅需不到100个额外的演示数据。表IV显示，EGOWILD2DEX在这三种已见物体上的平均得分为8.1，成功率为70.0%。对于三种未见物体，该策略的成功率也达到了30.0%–40.0%（平均为33.3%）。我们将这一可观的性能归功于Human-to-Robot学习过程中获得的广泛的自然场景下的自我视角-人类先验知识。

实体形态方面。为评估跨实体形态的迁移能力，我们在Tianji Marvin Pro机械臂上对模型进行微调，该机械臂比Piper多出两个自由度，底层控制方式也不同，但使用的是同样的Revo2手。这一变体在任务I中的平均得分为9.2，成功率为60%，表明我们的方法能够很好地跨实体形态迁移。

### V. 结论

我们提出了EGOWILD2DEX方法，通过GEOFORMER视角对齐以及在共享的机器人原生动作空间中进行渐进式人机训练，将现实场景中的人类经验迁移到双臂灵巧机器人上。该方法利用538.9小时的人类经验数据，且每个任务仅需不到1小时的机器人数据，便能在三项长时序任务中达到90.0%–100.0%的成功率；对于未见过的物体，也能实现30.0%–40.0%的零样本成功率。我们希望这项工作能推动从现实场景中的人类经验学习的可扩展VLA模型相关研究。

### VI. 局限性与未来工作

## 参考文献

仅靠人类演示来学习对于长时序序列任务和多指协调而言仍然具有挑战性，因此该框架仍需在真实机器人上进行微调。此外，当物体因头部旋转而移出摄像头视野时，GEoFORMER无法重建缺失的内容。最后，我们尚未找到一款市面上可购得的自由度更高的机械手（例如22自由度的机械手）能够同时满足我们对操作稳定性、耐用性、热管理和成本方面的要求，因此将这类机械手的评估留待未来研究。

## 致谢

我们感谢数据收集团队，尤其是杨健和张毅。我们感激杨佩欢和林振坤在机械设计及3D打印制作方面提供的帮助。我们还要感谢童慧格、张浩成和张宇星在项目管理工作上的支持。此外，我们感谢BrainCo、AgileX Robotics、VIRDYN和天机公司的维护及售后服务团队。

[^1]: R. Hoque, P. Huang, D. J. Yoon, M. Sivapurapu, and J. Zhang, “EgoDex: Learning dexterous manipulation from large-scale egocentric video,” arXiv, 2025.

[^2]: R. Punamiya et al., “EgoVerse: An egocentric human dataset for robot learning from around the world,” arXiv, 2026.

[^3]: J. Ma et al., “Robot learning from human videos: A survey,” arXiv, 2026.

[^4]: T. He et al., “OmniH2O: Universal and dexterous human-to-humanoid whole-body teleoperation and learning,” arXiv, 2024.

[^5]: Spirit AI Team, “Spirit-v1.5: Clean data is the enemy of great robot foundation models,” January 2026, Accessed: Aug. 6, 2026. [Online]. Available: <https://www.spirit-ai.com/en/blog/spirit-v1-5>

[^6]: S. Kareer et al., “EgoMimic: Scaling imitation learning via egocentric video,” arXiv, 2024.

[^7]: R. Yang et al., “EgoVLA: Learning vision-language-action models from egocentric human videos,” arXiv, 2025.

[^8]: H. Luo et al., “Being-H0: vision-language-action pretraining from large-scale human videos,” arXiv, 2025.

[^9]: R. Zheng et al., “EgoScale: Scaling dexterous manipulation with diverse egocentric human data,” arXiv, 2026.

[^10]: G. Chen et al., “HOST: Robots acquire manipulation skills in seconds from a single human video,” arXiv, 2026.

[^11]: Dyna Robotics, “Dyna-2: A 1-million-hour scaling law for world-action models,” August 2026. [Online]. Available: <https://www.dyna.co/dyna-2>

[^12]: BeingBeyond Team, “Being-H0.8: A latent tactile world-action model at scale,” 2026. [Online]. Available: <https://research.beingbeyond.com/being-h08>

[^13]: S. Xie et al., “Human2Robot: Learning robot actions from paired human-robot videos,” in AAAI, 2026, pp. 11078–11086.

[^14]: V. Jain et al., “Vid2Robot: End-to-end video-conditioned policy learning with cross-attention transformers,” arXiv, 2024.

[^15]: C. Wang et al., “MimicPlay: Long-horizon imitation learning by watching human play,” in CoRL, 2023, pp. 201–221.

[^16]: Z. Wang et al., “HumanEgo: Zero-shot robot learning from minutes of human egocentric videos,” arXiv, 2026.

[^17]: V. Liu et al., “EgoZero: Robot learning from smart glasses,” arXiv, 2025.

[^18]: M. Shi et al., “Unlocking in-the-wild loco-manipulation with robot-free egocentric demonstration,” in RSS, 2026.

[^19]: Z. Zhao, Y. Zhao, G. Zhang, C. Liu, M. Zheng, and W. Lian, “HALOMI: Learning humanoid loco-manipulation with active perception from human demonstrations,” arXiv, 2026.

[^20]: B. Zitkovich et al., "RT-2: Vision-language-action models transfer web knowledge to robotic control," in CoRL, 2023, pp. 2165–2183.

[^21]: M. J. Kim et al., “OpenVLA: An open-source vision-language-action model,” arXiv, 2024.

[^22]: K. Black et al., “ $\pi_{0}$: A vision-language-action flow model for general robot control,” arXiv, 2024.

[^23]: K. Black et al., “ $\pi_{0.5}$: a vision-language-action model with open-world generalization,” in CoRL, 2025, pp. 17–40.

2. Cheang等人，“Gr-3技术报告”，arXiv，2025年。

J. Bjorck等人，“GR00T N1：一种面向通用人形机器人的开源基础模型”，arXiv，2025年。

[^26]: Y. Zhong et al., “DexGraspVLA: A vision-language-action framework towards general dexterous grasping,” in AAAI, 2026, pp. 18836–18844.

[^27]: H. Yuan et al., “Being-0: A humanoid robotic agent with vision-language models and modular skills,” arXiv, 2025.

[^28]: X. Mao et al., “DexSkills: Skill segmentation using haptic data for learning autonomous long-horizon robotic manipulation tasks,” in IROS, 2024, pp. 5104–5111.

[^29]: R. Wen et al., “Gr-dexter technical report,” arXiv, 2025.

[^30]: Z. Zhang et al., “Dexora: Open-source VLA for High-DoF bimanual dexterity,” in ICRA, 2026.

[^31]: Y.-L. Wei et al., “Cyclemanip: Enabling cyclic task manipulation via effective historical perception and understanding,” in CVPR, 2026.

[^32]: Physical Intelligence et al., “ $\pi_{0.6}^*$: A VLA that learns from experience,” arXiv, 2025.

[^33]: Y. Li et al., “GR-RL: Going dexterous and precise for long-horizon robotic manipulation,” arXiv, 2025.

[^34]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, and A. Gupta, "R3M: A universal visual representation for robot manipulation," in CoRL, 2023, pp. 892–909.

## [^35]: T. Xiao, I. Radosavovic, T. Darrell, and J. Malik, “Masked visual pre-training for motor control,” arXiv, 2022

---

[^36]: K. Lin, P. Chen, D. Huang, T. H. Li, M. Tan, and C. Gan, “Learning vision-and-language navigation from YouTube videos,” in ICCV, 2023, pp. 8317–8326.

[^37]: R. Zheng et al., “FLARE: Robot learning with implicit world modeling,” arXiv, 2025.

[^38]: M. Xu, Z. Xu, C. Chi, M. Veloso, and S. Song, “XSkill: Cross embodiment skill discovery,” in CoRL, 2023, pp. 3536–3555.

[^39]: M. Xu et al., “Flow as the cross-domain manipulation interface,” arXiv, 2024.

[^40]: R.-Z. Qiu et al., “Humanoid policy $\sim$ human policy,” arXiv, 2025.

[^41]: T. Tao, M. K. Srirama, J. J. Liu, K. Shaw, and D. Pathak, “DexWild: Dexterous human interactions for in-the-wild robot policies,” arXiv, 2025.

[^42]: S. Kareer et al., “Emergence of human to robot transfer in vision-language-action models,” arXiv, 2025.

[^43]: Y. Li et al., “EgoLive: A large-scale egocentric dataset from real-world human tasks,” arXiv, 2026.

[^44]: Z. Li et al., “Open-AoE: An open egocentric manipulation dataset and toolchain for embodied learning,” arXiv, 2026.

[^45]: H. Li et al., “ACE-Ego-0: Unifying egocentric human and robotic data for VLA pretraining,” arXiv, 2026.

[^46]: Y. Wang et al., “Ego2Robot: Scalable robot data synthesis from egocentric human data,” arXiv, 2026.

[^47]: M. Jaderberg, K. Simonyan, A. Zisserman, and K. Kavukcuoglu, “Spatial transformer networks,” in NeurIPS, 2015, pp. 2017–2025.

[^48]: C.-H. Lin, E. Yumer, O. Wang, E. Shechtman, and S. Lucey, "STGAN: Spatial transformer generative adversarial networks for image compositing," in CVPR, 2018, pp. 9455–9464.

[^49]: I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A. C. Courville, "Improved training of Wasserstein GANs," in NeurIPS, vol. 30, 2017, pp. 5767–5777.

[^50]: R. Wang et al., “MoGe: Unlocking accurate monocular geometry estimation for open-domain images with optimal training supervision,” in CVPR, 2025, pp. 5261–5271.

[^51]: R. Suvorov et al., “Resolution-robust large mask inpainting with fourier convolutions,” in WACV, 2022, pp. 2149–2159.

[^52]: M. Kelly, C. Sidrane, K. Driggs-Campbell, and M. J. Kochenderfer, “HG-DAgger: Interactive imitation learning with human experts,” in ICRA, 2019, pp. 8077–8083.

[^53]: N. Carion et al., “SAM 3: Segment anything with concepts,” arXiv, 2025.

[^54]: Z. Zhao, L. Yu, K. Jing, and N. Yang, "XRoboToolkit: A cross-platform framework for robot teleoperation," in SII. IEEE, 2026, pp. 15–20.

[^55]: E. Llontop and K. Vadrevu, “NVIDIA Isaac GR00T N1.7: Open reasoning VLA model for humanoid robots,” 2026, Accessed: Sep. 14, 2026. [Online]. Available: <https://huggingface.co/blog/nvidia/gr00t-n1-7>

[^56]: R. Zhang, P. Isola, A. A. Efros, E. Shechtman, and O. Wang, “The unreasonable effectiveness of deep features as a perceptual metric,” in CVPR, 2018, pp. 586–595.

[^57]: D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” in ICLR, 2015.

[^58]: AgileX Robotics, “Piper robot arm SDK user manual,” Accessed: Sep. 13, 2026. [Online]. Available: <https://github.com/agilexrobotics/piper_sdk>

[^59]: C. Yu et al., “ $\chi_{0}$: Resource-aware robust manipulation via taming distributional inconsistencies,” arXiv, 2026.

[^60]: J. Yang et al., “Self-improving robot policy with compositional world model,” in RSS, 2026, paper 12.

[^61]: H. Sakoe and S. Chiba, “Dynamic programming algorithm optimization for spoken word recognition,” IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 26, no. 1, pp. 43–49, 1978.

[^62]: H. W. Kuhn, “The Hungarian method for the assignment problem,” Naval Research Logistics Quarterly, vol. 2, no. 1–2, pp. 83–97, 1955.

[^63]: Qwen Team, "Qwen3.8-Flash," 2026, Accessed: Sep. 13, 2026. [Online]. Available: <https://www.qwencloud.com/models/qwen3.8-flash>

### 附录

附录的结构如下。

- 在附录A节中，我们详细介绍了硬件和数据收集设置、动作对齐、GEOFORMER训练、策略训练以及部署的相关细节。

- 在附录B节中，我们描述了实验协议、基线实现方式、数据构成，

![Image](images/76e21160e8d86bff3b6d5e0d110e888f198b58e9ba757181c24f1190ffc6155c.jpg)

<div style="text-align: center;">(a) Embodiment</div>

![Image](images/f7b3a8ce7972b0fa0ecb97df1e1936e21061d334b63e18cdcd0d9d2b631e1cfb.jpg)

<div style="text-align: center;">(b) Teleoperation</div>

<div style="text-align: center;">Fig. 7. Embodiment and teleoperation setup. (a) The bimanual robot platform with Piper arms; the upper-left inset uses Tianji Marvin Pro arms with the same Revo2 hands and camera layout. (b) The PICO 4 Ultra Enterprise headset and controllers for arm control, and mHandPro gloves for hand control.</div>

额外的联合训练消融实验、动作分布指标以及机器人配对流程。

- 在附录C节中，我们报告了数据质量评估结果，并详细说明了EgoWild的标注、数据集策划及语义多样性情况。

- 在附录D节中，我们列出了每位作者的贡献。

## A. 实现细节

## 1) 硬件和数据收集设置

a) 机器人平台：如图7(a)所示，我们采用两台AgileX Piper机械臂搭建双腕机器人平台。每台6自由度的机械臂都配备了一款肌腱驱动的6自由度BrainCo Revo2机械手，且腕部还安装了摄像头。我们在两台机械臂之间安装了一台俯视摄像头以提供全局视角。这三台摄像头均为Intel RealSense D435摄像头。左上角插图中展示的实体迁移变体采用了天机Marvin Pro机械臂，但保持了相同的机械手和摄像头布局。我们以30 Hz的频率控制机器人。

b) 第一人称视角下的人类数据收集：为了获取宽泛场景及特定任务的第一人称视角下的人类演示数据，采集人员会直接用手与物体交互。PICO内置的手部追踪功能可记录腕部姿态和手指运动，而辅助手部追踪器则能在采集过程中提升追踪精度。这种轻量化的设置让采集人员能够自然地记录日常活动。

c) 手套及真实机器人数据收集：图7(b)展示了用于收集手套演示数据和真实机器人演示数据的硬件。PICO 4 Ultra Enterprise头显及其手持控制器负责记录机械臂末端执行器的姿态，而mHandPro手套则用于测量手指关节活动情况。这些数据会被用来在遥操作过程中控制机械臂和灵巧手。在策略训练之前，我们会按照下一小节所述，用相同的校准、逆运动学计算、手部映射及指令安全流程对所有模态数据进行处理。

---

2) 统一动作对齐：腕部特征$\mathbf{b}_{j,t}^{\mathrm{wrist}}$指定了测量得到的6自由度操作器姿态，而$\mathbf{b}_{j,t}^{\mathrm{finger}}$则包含通过手套采集的手指通道数据。设$X_{j,t}^{\mathrm{src}} = \mathrm{Pose}(\mathbf{b}_{j,t}^{\mathrm{wrist}}) \in \mathrm{SE}(3)$。从校准配置下的$t_0$出发的相对运动，决定了目标机器人末端执行器的姿态。

   $$ \begin{array}{r}{X_{j,t}^{\star}=\mathrm{R e l P o s e}\big(X_{j,t}^{\mathrm{s r c}};X_{j,t_{0}}^{\mathrm{s r c}},X_{j,t_{0}}^{\mathrm{e e}}\big),}\end{array} $$

其中，$X_{j,t_0}^{src}$和$X_{j,t_0}^{ee}$分别是校准时刻的操作器和机器人末端执行器姿态，RelPose会将后续操作器的运动映射到第j个侧面的目标机器人姿态$X_{j,t}^{\star}$上。随后，手臂和手部组件会并行生成。

 $$ \begin{aligned}\mathbf{a}_{j,t}^{\mathrm{arm}}&=\mathcal{H}_{\mathrm{arm}}\big(\mathbf{b}_{j,t}^{\mathrm{wrist}}\big):=\mathrm{IK}\big(X_{j,t}^{\star}\big),\\\mathbf{a}_{j,t}^{\mathrm{hand}}&=\mathcal{H}_{\mathrm{hand}}\Big(\mathbf{b}_{j,t}^{\mathrm{finger}}\Big),\end{aligned} $$

其中，$\mathcal{H}_{arm}$结合了校准后的相对姿态构建与受限逆运动学计算，而$\mathcal{H}_{hand}$则将校准后的手指特征映射为归一化的手部电机指令。所有演示数据源均采用相同的校准规则、关节约束和通道排序方式。

### 3) GEOFORMER训练

a) 对齐过程：GEoFORMER从无配对的自我视角和机器人视角图像$I_{\text{ego}}, I_{\text{rob}} \in \mathbb{R}^{3 \times H_{\text{img}} \times W_{\text{img}}}$中学习，其中$H_{\text{img}} \times W_{\text{img}}$表示输入分辨率。在GEoFORMER训练以及后续的策略协同训练所需的自我视角转换过程中，每张自我视角图像都会与从对应任务的机器人图像池中随机采样的机器人视角图像配对。模型通过一个八维投影向量$\mathbf{p} \in \mathbb{R}^8$来表示它们之间的几何差异，并通过具有独立参数的N个预测器来优化该向量。参数向量$\mathbf{p} = [p_1, \ldots, p_8]^\top$首先会被映射到无迹生成器中。

 $$ P_{\mathbf{p}}=\left[\begin{matrix}{p_{3}}&{p_{2}}&{p_{1}}\\ {p_{6}}&{-p_{3}-p_{7}}&{p_{5}}\\ {p_{4}}&{p_{8}}&{p_{7}}\\ \end{matrix}\right], $$

其中，$P_{\mathbf{p}} \in \mathbb{R}^{3 \times 3}$的迹为零，用于编码这八个投影参数。我们使用包含$K_{\text{terms}}$项在内的有限级数来近似其矩阵指数：

 $$ \mathcal{T}_{\mathbf{p}}=\exp(P_{\mathbf{p}})\approx\sum_{k=0}^{K_{\mathrm{t e r m s}}-1}\frac{P_{\mathbf{p}}^{k}}{k!}, $$

其中，$K_{terms}$是保留的级数项数，$\mathcal{T}_{p}$则是最终得到的单应性矩阵。恒等项使得p取较小值时产生的变换接近恒等变换，这非常适合渐进式的残差细化。

训练时，初始估计值为$\mathbf{p}_0 = \sigma_{\text{pert}} \epsilon$，其中$\epsilon \sim \mathcal{N}(\mathbf{0}_8, \text{Id}_8)$。在第n次细化步骤中，我们会用当前估计值对机器人视角图像进行变形处理。

 $$ \begin{array}{r}{I_{\mathrm{r o b},n-1}^{\mathrm{w a r p}}=\mathrm{W a r p}(I_{\mathrm{r o b}};\mathcal{T}_{{\bf p}_{n-1}}),}\end{array} $$

其中，Warp表示可微的图像变形操作。下一个残差由自我视角图像和当前变形后的机器人图像共同预测得出。

 $$ \begin{array}{r}{\Delta\mathbf{p}_{n}=\mathcal{G}_{n}(I_{\mathrm{e g o}},I_{\mathrm{r o b},n-1}^{\mathrm{w a r p}}),}\end{array} $$

其中，$\mathcal{G}_n$是第n个预测器。估计值会被细化为$\mathbf{p}_n = \mathbf{p}_{n-1} + \Delta \mathbf{p}_n$，最终的机器人到自我视角的变换结果为$\mathcal{T} = \exp(P_{\mathbf{p}_N})$。

经过从归一化坐标到图像坐标的固定参考映射后，每个变换后的齐次点$\tilde{\mathbf{h}} = [\tilde{h}_{u_2}, \tilde{h}_{v}, \tilde{h}_w]^\top$会通过$u' = \tilde{h}_u / \tilde{h}_w$和$v' = \tilde{h}_v / \tilde{h}_w$进行归一化处理。随后我们采用可微的双线性采样方法，并将图像范围外的坐标标记为无效。

在无配对训练场景下，最终变换会同时应用于机器人视角图像和一个全1的支持掩码上：

 $$ I_{\mathrm{r o b}}^{\mathrm{w a r p}}=\mathrm{W a r p}(I_{\mathrm{r o b}};\mathcal{T}),\qquad M_{\mathcal{T}}=\mathrm{c l i p}(\mathrm{W a r p}(\mathbf{1};\mathcal{T}),0,1) $$

其中，$I_{\mathrm{rob}}^{\mathrm{warp}}$是变形后的机器人图像，$M_{\mathcal{T}} \in [0,1]^{H_{\mathrm{img}} \times W_{\mathrm{img}}}$用于标识其有效区域。我们构造$I_{\mathrm{rob}+\mathrm{ego}} = M_{\mathcal{T}} \odot I_{\mathrm{rob}}^{\mathrm{warp}} + (1 - M_{\mathcal{T}}) \odot I_{\mathrm{ego}}$，其中$\odot$表示逐元素乘法操作。 Critic会评估插入的机器人内容在几何上是否与自我背景兼容，这一过程既不需要配对图像，也不需要显式的3D重建。

在第二阶段开始时进行视图对齐训练后，我们会丢弃评判器，冻结预测器，并在训练VLM和行动专家之前移除随机扰动。由于训练过程会估计机器人到自我视角的变换$\mathcal{T}$，其逆变换便能生成所需的自我视角到机器人对齐后的观测结果：

 $$ I_{\mathrm{e g o}}^{\mathrm{a l i g n}}=\mathrm{W a r p}\big(M_{\mathcal{T}}\odot I_{\mathrm{e g o}};\mathcal{T}^{-1}\big), $$

其中$I_{\text{ego}}^{\text{align}}$是利用逆单应性变换$\mathcal{T}^{-1}$对齐到机器人视角的自我观测结果。这种对齐后的图像无需场景重建或内容合成，可直接输入机器人策略网络。

b) 损失设计：几何预测器的训练采用组合目标函数

 $$ \mathcal{L}_{G}=\mathcal{L}_{\mathrm{a d v}}+\lambda_{\mathrm{d i s p}}\mathcal{L}_{\mathrm{d i s p}}+\lambda_{\mathrm{c o v}}\mathcal{L}_{\mathrm{c o v}}, $$

其中$\mathcal{L}_{\mathrm{adv}}$用于使变换后的机器人内容与自我视角几何结构对齐，$\mathcal{L}_{\mathrm{disp}}$用于限制每次细化更新的规模，而$\mathcal{L}_{\mathrm{cov}}$则防止有效的变形区域过小或覆盖几乎整个图像。权重$\lambda_{\mathrm{disp}}$和$\lambda_{\mathrm{cov}}$用于平衡正则化项与对抗项之间的比例。

设$\mathcal{C}$表示评判器，它将图像映射为标量分数。对抗项$\mathcal{L}_{\mathrm{adv}} = -\mathbb{E}\left[\mathcal{C}(I_{\mathrm{rob}+\mathrm{ego}})\right]$会促使插入的机器人区域在几何上与自我视角背景相匹配。位移项会对所有细化步骤中的较大残差进行惩罚，即$\mathcal{L}_{\mathrm{disp}} = \sum_{n=1}^{N} \mathbb{E}\left[\|\Delta\mathbf{p}_n\|_2^2\right]$，从而稳定渐进式细化过程。覆盖项则用于控制变形后的机器人视图中有效部分所占的比例。令c表示有效支撑掩码$M_\mathcal{T}$的平均值。我们采用$\mathcal{L}_{\mathrm{cov}} = [c_{\min} - c]_+ + [c - c_{\max}]_+$，其中$[x]_+ = \max(x, 0)$。这一设定排除了保留有用内容过少或占据几乎整个画面的变换情况。评判器以Wasserstein评判器的形式进行训练[^49]。在更新评判器时，我们会从历史缓冲区中采样最近的合成数据$I_{\mathrm{rob}+\mathrm{ego}}^{\mathrm{hist}}$，并最小化

 $$ \begin{array}{r}{\mathcal{L}_{\mathcal{C}}=\mathbb{E}\big[\mathcal{C}\big(I_{\mathrm{r o b+e g o}}^{\mathrm{h i s t}}\big)\big]-\mathbb{E}[\mathcal{C}(I_{\mathrm{e g o}})]+\lambda_{\mathrm{g r a d}}\mathcal{L}_{\mathrm{g r a d}}.}\end{array} $$

---

<div style="text-align: center;">TABLE V</div>

<div style="text-align: center;">GEOFORMER ARCHITECTURE AND TRAINING HYPERPARAMETERS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Hyperparameter</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Input resolution</td><td style='text-align: center; word-wrap: break-word;'>$240 \times 320$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Transformation model</td><td style='text-align: center; word-wrap: break-word;'>Homography</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Transformation dimension</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Refinement steps N</td><td style='text-align: center; word-wrap: break-word;'>5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Retained exponential-series terms $K_{terms}$</td><td style='text-align: center; word-wrap: break-word;'>20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Training iterations</td><td style='text-align: center; word-wrap: break-word;'>5000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch size</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Predictor learning rate</td><td style='text-align: center; word-wrap: break-word;'>$1 \times 10^{-6}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Critic learning rate</td><td style='text-align: center; word-wrap: break-word;'>$1 \times 10^{-6}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Adam [^57] ( $\beta_1, \beta_2$)</td><td style='text-align: center; word-wrap: break-word;'>(0.5, 0.999)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Predictor initialization std.</td><td style='text-align: center; word-wrap: break-word;'>0.02</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Critic initialization std.</td><td style='text-align: center; word-wrap: break-word;'>0.01</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Initial perturbation $\sigma_{pert}$</td><td style='text-align: center; word-wrap: break-word;'>0.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\lambda_{disp}$</td><td style='text-align: center; word-wrap: break-word;'>0.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\lambda_{grad}$</td><td style='text-align: center; word-wrap: break-word;'>10.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\lambda_{cov}$</td><td style='text-align: center; word-wrap: break-word;'>1.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Valid-coverage interval</td><td style='text-align: center; word-wrap: break-word;'>[0.4, 0.8]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Predictor updates / iteration</td><td style='text-align: center; word-wrap: break-word;'>1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Maximum critic updates / iteration</td><td style='text-align: center; word-wrap: break-word;'>2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Critic margin threshold $\tau_C$</td><td style='text-align: center; word-wrap: break-word;'>0.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Predictor gradient clipping</td><td style='text-align: center; word-wrap: break-word;'>5.0</td></tr></table>

前两项分别用于区分生成的自我图像和真实的自我图像。具体来说，我们对$\widehat{I} = \alpha I_{\text{ego}} + (1 - \alpha)I_{\text{rob + ego}}^{\text{hist}}$进行插值，其中$\alpha \sim \mathcal{U}(0,1)$，然后应用

 $$ \mathcal{L}_{\mathrm{g r a d}}=\mathbb{E}_{\widehat{I}}\left[\left(\left\|\nabla_{\widehat{I}}\mathcal{C}(\widehat{I})\right\|_{2}-1\right)^{2}\right]. $$

最后，分数边界门控机制可防止评论器比预测器强大太多。借助$s_{\text{real}} = \mathbb{E}[\mathcal{C}(I_{\text{ego}})]$和$s_{\text{fake}} = \mathbb{E}[\mathcal{C}(I_{\text{rob+ego}}^{\text{hist}})]$，当$s_{\text{real}} - s_{\text{fake}} \geq \tau_C$时我们会暂停评论器的更新，同时仍继续更新几何预测器。

这一设计能促进插值路径上的梯度范数保持单位值，进而稳定Wasserstein训练过程。

c) 优化：每个独立的预测器使用五个步长为 2 的卷积层，宽度为 (32, 64, 128, 256, 512)。在每个尺度上，经平均池化的六通道输入与卷积特征拼接。得到的表示通过一个 256 维全连接层和一个线性八维输出头。除输出外，处处使用 ReLU。全卷积判别器使用五个 $4 \times 4$ 步长为 2 的层，通道宽度相同，随后是一个线性 $3 \times 3$ 卷积，生成空间得分图；其隐藏层使用斜率为 0.2 的 Leaky ReLU。两个网络都不使用归一化。我们将权重初始化为零均值高斯分布，偏置初始化为零。其余架构和训练设置总结于表 V。

4) 策略训练超参数：表VI–VIII汇总了第一阶段（人类到机器人学习）、第二阶段（人机协同训练）和第三阶段（机器人领域精细化）的策略训练参数。所有阶段均使用NVIDIA A100 GPU，第一阶段使用32个GPU，第二、三阶段各使用8个GPU。所有阶段均采用带热身的余弦学习率调度策略，动作块视野范围为$H = 50$；批量大小

<div style="text-align: center;">TABLE VI</div>

<div style="text-align: center;">STAGE 1 (HUMAN-TO-ROBOT LEARNING) HYPERPARAMETERS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Hyperparameter</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning-rate schedule</td><td style='text-align: center; word-wrap: break-word;'>Cosine decay</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Warmup steps</td><td style='text-align: center; word-wrap: break-word;'>5,000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Peak learning rate</td><td style='text-align: center; word-wrap: break-word;'>$7.0 \times 10^{-5}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Decay steps</td><td style='text-align: center; word-wrap: break-word;'>100,000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Final learning rate</td><td style='text-align: center; word-wrap: break-word;'>$7.0 \times 10^{-6}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Training steps</td><td style='text-align: center; word-wrap: break-word;'>100,000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Global batch size</td><td style='text-align: center; word-wrap: break-word;'>512</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Data-loader workers</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr></table>

<div style="text-align: center;">TABLE VII</div>

<div style="text-align: center;">STAGE 2 (HUMAN–ROBOT CO-TRAINING) HYPERPARAMETERS. THE DATA RATIO IS MAINTAINED WITHIN EACH BATCH.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Hyperparameter</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning-rate schedule</td><td style='text-align: center; word-wrap: break-word;'>Cosine decay</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Warmup steps</td><td style='text-align: center; word-wrap: break-word;'>2,800</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Peak learning rate</td><td style='text-align: center; word-wrap: break-word;'>$3.5 \times 10^{-5}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Decay steps</td><td style='text-align: center; word-wrap: break-word;'>50,000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Final learning rate</td><td style='text-align: center; word-wrap: break-word;'>$3.5 \times 10^{-6}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Training steps</td><td style='text-align: center; word-wrap: break-word;'>50,000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Global batch size</td><td style='text-align: center; word-wrap: break-word;'>128</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Data-loader workers</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Batch ratio (ego : glove : robot)</td><td style='text-align: center; word-wrap: break-word;'>$\approx 1:1:1$</td></tr></table>

<div style="text-align: center;">TARI F VIII</div>

<div style="text-align: center;">STAGE 3 (ROBOT-DOMAIN REFINEMENT) HYPERPARAMETERS.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Hyperparameter</td><td style='text-align: center; word-wrap: break-word;'>Value</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Learning-rate schedule</td><td style='text-align: center; word-wrap: break-word;'>Cosine decay</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Warmup steps</td><td style='text-align: center; word-wrap: break-word;'>2,800</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Peak learning rate</td><td style='text-align: center; word-wrap: break-word;'>$2.5 \times 10^{-5}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Decay steps</td><td style='text-align: center; word-wrap: break-word;'>50,000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Final learning rate</td><td style='text-align: center; word-wrap: break-word;'>$2.5 \times 10^{-6}$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Training steps</td><td style='text-align: center; word-wrap: break-word;'>50,000</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Global batch size</td><td style='text-align: center; word-wrap: break-word;'>128</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Data-loader workers</td><td style='text-align: center; word-wrap: break-word;'>8</td></tr></table>

尺寸是全局性的。在GEOFORMER训练完成并冻结后，第二阶段（人机协同训练）便开始启动。第二阶段的每个批次中，任务相关的自我演示、手套演示以及机器人演示的比例大致保持在1:1:1。

5) 稳定的遥操作、部署与在线校正：在操作员采集演示数据及进行恢复操作时，以及在推理阶段由学习到的策略控制机器人时，都需要可靠的机器人指令。因此，我们在三个层面稳定执行路径：操作员输入、策略指令执行以及人工接管。

a) 稳定的消费级遥操作：我们采用有线通信、数据包验证、间隙处理、控制器校准、平移-旋转滤波、速率限制以及时间初始化的逆运动学方法，来抑制跟踪抖动和指令不连续性。一旦发生跟踪丢失、逆运动学残差过大或检测到碰撞，系统会保持上一个安全指令或停止运行。具体的校准和滤波操作将在下文详述。

b) 混合集成力矩控制：在接触过程中，若指令目标位于物体内部稍靠内的位置，可能会产生巨大的相互作用力，从而导致刚性位置跟踪不稳定。此外，当测量到的机器人状态因接触而停滞时，

---

若利用下一个本体感知状态对策略进行监督，可能会抑制操作员继续施加接触意图。因此，我们基于指令动作对策略进行监督，并通过Piper机械臂SDK提供的混合集成力矩控制来执行生成的关节位置指令 [^58]：

 $$ \boldsymbol{\tau}_{t}=\mathbf{K}_{p}\left(\hat{\mathbf{q}}_{t}-\mathbf{q}_{t}\right)-\mathbf{K}_{d}\dot{\mathbf{q}}_{t}, $$

其中 $\tau_{t}$ 为关节力矩向量，$\hat{q}_{t}$ 为指令关节位置，$\mathbf{q}_{t}$ 和 $\dot{\mathbf{q}}_{t}$ 分别为测量的关节位置和速度，$\mathbf{K}_{p}$ 和 $\mathbf{K}_{d}$ 为对角比例增益矩阵和微分增益矩阵。公式(18)起到关节空间弹簧-阻尼器的作用：比例项驱使机器人趋向指令设定的构型，而微分项则对关节运动进行阻尼。这样既能保留指令设定的运动意图，又能顺应性地吸收接触引起的空间误差。

c) 流式动作块执行：与以往的流匹配式VLA部署类似 [^59]、[^60]，在推理时刻t，策略会预测包含H个未来动作的动作块 $\mathbf{A}_t$。如果在当前活动动作块 $\mathbf{A}_{t'}$ 尚未执行完毕时便预测出了新的动作块 $\mathbf{A}_t$（即 $t < t' < t + H$），那么这两个动作块会在 $N_{\mathrm{ov}} = H + t - t'$ 个时间步内重叠。在此窗口期内，我们将活动动作块中的动作 $A_{t' + r}^{old}$ 与新动作块中的动作 $A_{t' + r}^{new}$ 进行线性融合，从而得到最终执行的动作 $A_{t' + r}^{exec}$：

 $$ A_{t^{\prime}+r}^{\mathrm{e x e c}}=(1-\eta_{r})A_{t^{\prime}+r}^{\mathrm{o l d}}+\eta_{r}A_{t^{\prime}+r}^{\mathrm{n e w}},\quad\eta_{r}=\frac{r+1}{N_{\mathrm{o v}}+1}, $$

其中 $r \in \{0, \ldots, N_{\mathrm{ov}} - 1\}$ 用于标记重叠窗口内的索引，$\eta_r$ 为线性融合权重。重叠窗口过后，新预测的动作块便成为活动动作块。这种插值方式避免了连续策略预测之间出现指令的突变。

d) 锚定式增量指令DAgger：当策略进入分布外状态时，操作员可以介入以提供恢复指令 [^52]。操作员与机器人之间的初始姿态不匹配，可能导致直接切换为绝对重定位时产生指令跳变。我们会先短暂地将操作员预览姿态对齐，并以接管时刻的机器人指令作为后续运动的锚点 $t_{take}$。对于手部而言，仅将操作员手指信号在接管后的变化量叠加到已冻结的机器人指令上：

 $$ \begin{align*}\mathbf{m}_{j,t}^{\mathrm{exec}}=\mathrm{clip}\Big(\mathbf{m}_{j,t_{\mathrm{take}}}^{\mathrm{rob}}+\big[\mathcal{H}_{\mathrm{hand}}(\mathbf{b}_{j,t}^{\mathrm{finger}})-\mathcal{H}_{\mathrm{hand}}(\mathbf{b}_{j,t_{\mathrm{take}}}^{\mathrm{finger}})\big],\\ \mathbf{m}^{\mathrm{min}},\mathbf{m}^{\mathrm{max}}\Big),\end{align*} $$

其中 $\mathbf{m}_{j,t}^{exec}$ 表示执行的手部指令，$\mathbf{m}_{j,t_{take}}^{rob}$ 是在接管时冻结的机器人指令，而 $\mathbf{m}_{\min}^{min}$ 和 $\mathbf{m}_{max}^{max}$ 则是电机限制值。两个 $\mathcal{H}_{\text{hand}}$ 输出结果之间的差异仅反映了操作员在接管后的操作变化。在 $t_{take}$ 时刻，校正值为零，使得接管过程连续不断；此后，只有相对的操作员运动才会改变指令。机械臂遵循同样的锚定式相对运动原则，每次恢复操作都会被记录在共享的机器人原生动作空间中。

e) 控制器枢轴校准：为了弥补控制器追踪原点到手腕旋转中心之间的偏移，我们依据 $N_{cal}$ 校准姿态来估算一个固定的枢轴点：

 $$ \begin{align*}(\boldsymbol{\rho}^{\star},\bar{\mathbf{x}}^{w})&=\arg\min_{\boldsymbol{\rho},\mathbf{x}}\sum_{\kappa=1}^{N_{\mathrm{cal}}}\|\mathbf{x}^{c}_{\kappa}+\mathbf{Q}^{c}_{\kappa}\boldsymbol{\rho}-\mathbf{x}\|^{2},\\\mathbf{x}^{w}_{t}&=\mathbf{x}^{c}_{t}+\mathbf{Q}^{c}_{t}\boldsymbol{\rho}^{\star},\end{align*} $$

其中 $\mathbf{x}_{\kappa}^c$ 是测量得到的控制器位置，$\mathbf{Q}_\kappa^c \in \mathrm{SO}(3)$ 是其方向矩阵，$\boldsymbol{\rho}^\star$ 是以控制器坐标表示的枢轴点，而 $\bar{\mathbf{x}}^w$ 则是估算出的固定手腕中心。这种校正可防止单纯的手腕旋转产生错误的平移效果。

f) 姿态过滤与指令安全：经过校正的平移量和测量得到的方向会在重新定位及逆运动学计算之前先经过过滤和速率限制：

 $$ \begin{align*}\mathbf{x}^{f}_{t}&=\alpha_{x}\mathbf{x}^{w}_{t}+(1-\alpha_{x})\mathbf{x}^{f}_{t-1},\\\mathbf{Q}^{f}_{t}&=Slerp(\mathbf{Q}^{f}_{t-1},\mathbf{Q}^{c}_{t},\alpha_{Q}),\\\|\Delta\mathbf{x}^{f}_{t}\|&\leq v_{\max}\Delta t,\qquad\angle(\Delta\mathbf{Q}^{f}_{t})\leq\omega_{\max}\Delta t,\end{align*} $$

其中 $\mathbf{x}_t^f$ 和 $\mathbf{Q}_t^f$ 分别是过滤后的位置和方向，$\Delta \mathbf{x}_t^f = \mathbf{x}_t^f - \mathbf{x}_{t-1}^f$ 为平移增量，$\Delta \mathbf{Q}_t^f = (\mathbf{Q}_{t-1}^f)^\top \mathbf{Q}_t^f$ 为相对旋转量。系数 $\alpha_x$ 和 $\alpha_Q$ 用于控制平滑程度，而 Slerp 则表示球面线性插值。限制值 $v_{\max}$ 和 $\omega_{\max}$ 限定了在控制间隔 $\Delta t$ 内的平移与旋转速率。双臂逆运动学计算以之前的指令为初始值，并受关节速率约束。无效的数据包会被丢弃，短暂的间隙则通过保持或插值指令来填补；若发生长时间追踪丢失、逆运动学残差过大或检测到碰撞情况，系统会冻结最后一条安全指令或停止执行。

g) 预对齐与锚定式接管：在接管前，会将操作员的预览姿态与 $t_{take}$ 时刻冻结的机器人指令进行比较。只有当机械臂姿态与手部指令的差异均低于设定的安全阈值时，控制权才会切换。校正过程遵循上述的锚定式 Delta-Cmd 规则，相关记录也会被存入机器人原生动作空间。

## B. 实验细节

### 1) 基准模型

a) $\pi_{0}$：这款通用型视觉-语言-动作模型基于互联网预训练的 3B 视觉-语言模型初始化，并在 Open X-Embodiment 数据集上预训练，同时还使用了来自八种机器人平台的跨本体灵巧操控数据 [^22]。

b) $\pi_{0.5}$：作为 $\pi_{0}$ 的后续版本，它旨在通过多机器人、多环境动作数据、多模态网页任务、高层子任务标签以及语音指令演示进行异构协同训练，从而实现开放世界的泛化能力 [^23]。

c) GR00T-N1.7：这款开源的 3B 跨本体视觉-语言-动作模型采用了 Cosmos-Reason2-2B 作为骨干网络，并搭配流匹配扩散变换器作为动作头。它在各类双臂、半人形及人形机器人的演示数据上预训练，同时还使用了时长达 20,000 小时的 EgoScale 人类视频数据，采用共享的相对末端执行器动作表示方式 [^55]。

---

<div style="text-align: center;">TABLE IX</div>

<div style="text-align: center;">TASK-aligned Data Composition. Entries report total duration in hours; column headers give demonstration counts.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Task</td><td style='text-align: center; word-wrap: break-word;'>Ego (1,000, h)</td><td style='text-align: center; word-wrap: break-word;'>Glove (1,000, h)</td><td style='text-align: center; word-wrap: break-word;'>Robot (110, h)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Open-Box</td><td style='text-align: center; word-wrap: break-word;'>5.81</td><td style='text-align: center; word-wrap: break-word;'>5.11</td><td style='text-align: center; word-wrap: break-word;'>0.64</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Glue-Figure</td><td style='text-align: center; word-wrap: break-word;'>4.16</td><td style='text-align: center; word-wrap: break-word;'>4.37</td><td style='text-align: center; word-wrap: break-word;'>0.48</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ice-Water</td><td style='text-align: center; word-wrap: break-word;'>3.09</td><td style='text-align: center; word-wrap: break-word;'>3.07</td><td style='text-align: center; word-wrap: break-word;'>0.51</td></tr></table>

<div style="text-align: center;">TABLE X</div>

<div style="text-align: center;">DATA-SOURCE ABLATIONS DURING HUMAN-ROBOT CO-TRAINING. DOWNSTREAM RESULTS ARE REPORTED ON TASK I: OPEN-BOX.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Ego $^{TS}$</td><td style='text-align: center; word-wrap: break-word;'>Glove</td><td style='text-align: center; word-wrap: break-word;'>Robot</td><td style='text-align: center; word-wrap: break-word;'>Score</td><td style='text-align: center; word-wrap: break-word;'>Success Rate</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>6.6</td><td style='text-align: center; word-wrap: break-word;'>30.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>6.5</td><td style='text-align: center; word-wrap: break-word;'>30.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>5.8</td><td style='text-align: center; word-wrap: break-word;'>20.0%</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>7.5</td><td style='text-align: center; word-wrap: break-word;'>40.0%</td></tr></table>

![Image](images/1fab675bcb9076f01dc1391c8a8f671786132db31d2796ef8f0a699ffd24587c.jpg)

![Image](images/ec5dfb3bb8cf67c12c09e5bbfce52b3240a99a0a3ef9da7f72010fa06de682a4.jpg)

<div style="text-align: center;">Fig. 8. Human–Robot co-training optimization with a unified action representation. Each curve corresponds to the full Ego $^{TS}$+Glove+Robot mixture or one of the three data-source ablations, trained from the same base VLA without Human-to-Robot learning and with the same optimizer, batch size, and schedule. Left: training loss. Right: gradient norm.</div>

2) 数据组成与物理交互：表IX总结了各任务对应的任务对齐数据。每个任务均使用1,000个特定于任务的自我演示数据、1,000个手套演示数据，以及110条真实机器人轨迹：其中100条为专家演示轨迹，10条为DAgger修正轨迹。

3) 人机协同训练的消融实验：我们进一步分析了人机协同训练中所使用的三种数据源在去除“人向机器人学习”环节后的影响。每种变体均基于相同的基准VLA模型，遵循相同的优化流程，且保持相同的机器人领域微调设置；每次仅移除一个第二阶段的数据源。

移除任何第二阶段的数据源都会导致后续性能下降，其中移除机器人数据造成的性能降幅最大，降至5.8/20.0%。移除特定于任务的自我数据或手套演示数据后，成功率均为30.0%，但得分分别降至6.6和6.5。图8显示，若直接利用特定于任务的自我数据和机器人数据进行协同训练而不加入手套演示数据，训练过程会不稳定；而加入手套演示数据后，优化过程便能趋于稳定。这表明手套演示数据结合了人类操作信息与机器人视角观测结果，有助于在协同训练期间弥合自我-人类数据与机器人数据之间的差距。

4) 动作分布对齐指标：我们使用公式(6)中定义的机器人原生动作$A_{t}$，并将其坐标分为四组：左臂、左手、右臂和右手。在比较自我-人类动作与机器人动作之前，我们先利用两个域的汇总统计数据对完整的动作向量进行标准化处理：

   $$ \widehat{A}_{t}=\left(A_{t}-\mu\right)\oslash\boldsymbol{\sigma}, $$

其中，$\mu$和$\sigma$分别为各动作坐标的汇总均值和标准差，$\varnothing$表示逐元素除法。

针对图5(a)，我们将标准化的自我-人类动作与机器人动作共同进行PCA分析，并将两个域的数据投影到前两个主成分上。我们将这个共享的二维平面划分为$40 \times 40$网格。设$B_{ego}$和$B_{robot}$分别为两个域的样本所占的网格单元集合，它们的支撑集重叠度为：

 $$ \mathrm{I o U}_{\mathrm{P C A}}=\frac{\left|\mathcal{B}_{\mathrm{e g o}}\cap\mathcal{B}_{\mathrm{r o b o t}}\right|}{\left|\mathcal{B}_{\mathrm{e g o}}\cup\mathcal{B}_{\mathrm{r o b o t}}\right|}, $$

其中，$|\cdot|$表示集合中单元格的数量。

对于图5(b)，我们取每个标准化后的手臂或手部子向量的欧几里得模长：即其各坐标平方和的平方根。这一非负值反映了该组指令与汇总均值之间的偏离程度。我们为每个组分别估算这一模长分布。对于四个组中的任意一个，设$p_{\text{ego}}(x)$和$p_{\text{robot}}(x)$分别为在共享评估网格上点x处自我-人类动作与机器人动作的归一化核密度估计值，它们的密度重叠度为：

 $$ OVL=\sum_{x}\min(p_{ego}(x),p_{robot}(x)), $$

其中，求和运算覆盖整个网格，且每个密度值之和为1。在每个网格点上，较小的密度值即为两个域共享的概率质量；将这一下包络线求和后，若分布不相交则OVL=0，若分布完全相同则OVL=1。我们对左臂、左手、右臂和右手分别进行上述计算。所有报告的对齐值均基于从每个域中随机抽取的10,000个训练帧得出。

5) 基于动作的自我视角机器人片段与帧配对：在表III的图像相似性评估中，我们根据动作演变方式将自我视角观测与机器人观测进行配对。对于每一对连续动作$A_{t-1}$和$A_t$，我们首先计算各指令维度的变化量。随后通过均方根来汇总每个手臂和手部子向量内的变化：先将变化量平方，在子向量内取平均值，再开平方根。每个通道的数据会经过九帧移动平均滤波处理，再除以该片段内该通道的时间第90百分位数，因此归一化值为1时即表示该通道的运动水平达到了第90百分位。我们设定固定上限为3，相当于第90百分位水平的三倍，这样孤立的极端变化就不会主导后续的匹配成本。这四个归一化通道构成了运动特征向量$\mathbf{v}_t \in \mathbb{R}^4$。

a) 片段级配对：我们随机选取数量相等的自我视角片段和机器人片段。对于候选配对对，动态时间规整（DTW）算法[^61]会对它们由四通道运动特征向量组成的序列进行对齐，对齐时所采用的局部成本为两个向量之间的欧几里得距离。

---

因此，DTW能够对齐以不同速度执行的相似手臂-手部运动模式。最优DTW路径上这些局部距离的平均值记为$\bar{c}_{DTW}$。设$F_{ego}$和$F_{robot}$分别表示片段的帧数。配对成本为

 $$ C_{\mathrm{p a i r}}=\bar{c}_{\mathrm{D T W}}+\lambda_{\mathrm{d u r}}\left|\log\frac{F_{\mathrm{e g o}}}{F_{\mathrm{r o b o t}}}\right|. $$

第一项用于衡量运动模式的匹配程度差异，而$\lambda_{dur}$则用于对时长不同的片段施加惩罚。我们利用匈牙利指派算法[^62]对这些成本进行计算，从而得到成本最低的一对一配对结果。

b) 帧级配对：在每对配对的片段中，我们每隔15帧采样一次，将30Hz的序列降至约2Hz，再重新运行DTW算法。设i和j分别为采样的自我视角帧和机器人帧的索引，$u_i^{\text{ego}}$和$u_j^{\text{robot}}$表示它们从片段起始时的0到结束时的1的归一化进度。它们的局部匹配成本为

 $$ c(i,j)=\|\mathbf{v}_{i}^{\mathrm{e g o}}-\mathbf{v}_{j}^{\mathrm{r o b o t}}\|_{2}+0.2|u_{i}^{\mathrm{e g o}}-u_{j}^{\mathrm{r o b o t}}|, $$

其中$\mathbf{v}_i^{\text{ego}}$和$\mathbf{v}_j^{\text{robot}}$即为上文定义的四通道运动特征，第二项用于惩罚片段进度的差异。仅当$|u_i^{\text{ego}} - u_j^{\text{robot}}| \leq 0.15$时，才允许该候选匹配成立。通过DTW回溯即可得到单调的、可能为一对多的帧对应关系。原始自我视角数据、Project+Inpaint和GEOFORMER使用完全相同的对应关系，因此在相同的帧对上进行评估。

对于每种方法和指标，我们报告片段对中位数帧得分的未加权平均值。

## C. EgoWild的详细情况

## 1) 数据质量评估

a) 动作标注准确性：我们人工审核了Qwen3.8-Flash模型[^63]对50个视频（总计2,926秒；包含906个人工标注的动作）的标注结果。在989个预测片段中，97.7%的动作名称完全准确，98.6%的动作名称可接受（完全准确或语义相近）。

b) 时间分割质量：我们检查每个候选切割点前后$\pm0.6$秒内的五帧画面。只有当手和物体持续运动，且未发生完成、释放或暂停情况时，才判定为过度分割错误。经确认，过度分割率为1.6%；综合分割错误率为1.7%。

c) 手部追踪精度：我们在PICO 4 Ultra上使用OpenXR中指关节来测试无约束的三维伸手动作：先抬升37厘米，随后进行70厘米的平面移动。未使用辅助手部追踪器时，指尖位置误差的中位绝对值为4.21厘米；使用辅助追踪器后，该数值降至0.66厘米。因此，采集人员在录制过程中会佩戴该追踪器。

### 2) 数据集整理与多样性

a) 片段标注：每个片段都有一份结构化的JSON标注文件，包含10个字段，用于指定其标识符、开始和结束时间、原子动作、双语描述、参与动作的手部、目标物体类别，以及供后续检查的噪声和清洗标记。

![Image](images/967979b8cc4f95b6b0f9f16926b14a798164441648c164b047226eb089b1a78d.jpg)

<div style="text-align: center;">(a) Objects</div>

<div style="text-align: center;">(b) Skills</div>

<div style="text-align: center;">Fig. 9. Semantic word clouds for EgoWild. (a) Objects and (b) skills; font size indicates frequency.</div>

b) 辅助元数据与质量过滤：基于录制级别的过滤机制，利用同步的身体、手部和摄像头元数据，筛选出时长至少5秒且至少90%的帧中能看到任意一只手的、互不重叠的片段。我们还会剔除水平位移至少1.0米且持续时间不少于1.0秒的移动区间（以头部运动作为替代指标）、这些区间前后各1.0秒的时段，以及存在图像模糊、手部骨骼形态异常等问题的质量控制区间。有效时长占比是指剩余时长占完整录制时长的比例。有效时长占比低于0.5的录制片段被标记为低质量并予以丢弃；其余片段则标记为正常，完整保留以供下一步使用。

对于第二个片段级过滤步骤，视觉语言模型（VLM）会将每个保留下来的录制片段划分为带有描述、手部角色和目标物体的带时间戳语义动作片段。我们保留那些属于双手协作且非噪声片段，排除“闲置”“检查”类动作以及手动剔除的区间，同时要求每只手在至少90%的帧中处于活动状态，且两只手同时活动的时间占比不低于85%。

最后，视频、姿态和动作会在共享的30赫兹时间线上进行最近邻对齐。如果某帧的姿态或视频时间戳误差分别超过20毫秒或25毫秒，则该帧被视为无效。我们会在无效帧处拆分每个VLM标记的片段，保留时长至少2秒的连续有效部分作为最终片段。每个片段会保留原始的VLM描述作为其语言指令。

c) 定性覆盖情况：为了补充类别层面的分布信息，我们通过图9中的两个词云来可视化语义覆盖情况。图(a)中的物体词云涵盖了衣物、家居用品和包装材料。图(b)中的技能词云包含了抓取、折叠、放置、握住、展开和冲洗等常见动作，表明数据集的覆盖范围超出了简单的抓取-放置范畴。

d) 类别层面分布：图10和图11展示了1,282个物体类别和273个技能词元的类别内频率。常见的物体和技能拥有较多的标注数据，而出现频率较低的条目则在大多数类别中形成长尾分布。

### D. 贡献说明

作者们对本工作的贡献如下。

项目负责人：林昆阳。

核心贡献者：林昆阳、文旭涛、林景熙、林兰勇、刘佳明。

学习算法开发：林昆阳。

GeoFormer模型开发：文旭涛、林昆阳。

EgoWild数据集构建：刘佳明、林昆阳、李一多。

---

遥操作与数据采集系统开发：林景熙、林兰勇、林昆阳。

训练与部署工作：林昆阳、文旭涛、林景熙、林兰勇。

基线模型构建：文旭涛、林兰勇、林昆阳、陈先驰。

文字与插图：林昆阳、文旭涛、杨天硕、韩月。

讨论与反馈：罗平、张展鹏、杨天硕。

资源提供与学术指导：罗平。

---

![Image](images/9c2f4d81b5fc94fbac7a913eceb2963892aa9010cb71d262f4c5844fed7c4c85.jpg)

![Image](images/bee14fb5edbba1ee3bcd6f23b0a2e23345320a0fa6643ef1721f6a2985fc3c37.jpg)

![Image](images/c8aed38b794f6b496780de3196599ec3e5c4717a55bb59fcf38c0e3e4937a04d.jpg)

![Image](images/625f74be46998986909eedd0d71704865128d969915130d7f9c52e9c8158fce6.jpg)

![Image](images/3ab3f242f3deffc160caa5f34c207fe0294c25759726aad9cd92dfd2aaba0d8e.jpg)

![Image](images/0fbef65cf60f09b65a9b87a0f2a8b5d2d009d820592ac8416f2d6d5e97e9e367.jpg)

![Image](images/b3867907a69fbc18e8ad0db705d1df7659810c6fd378a9f390e65821a13a99b3.jpg)

![Image](images/f1516d939581423d9ddfcc1f41f02054474b4690aaa329931030da92c91cc4ae.jpg)

<div style="text-align: center;">Body, Living Things, Personal Care, Medical & Pet Supplies</div>

![Image](images/306204a7bfc5a6406c606205b2765af5b4e437aa0aed8d20633a6dcd2beddd27.jpg)

![Image](images/f1a31aaeb8aae67a302520249a57bf3f0658dca1471e55b0b47822dff1f806d3.jpg)

![Image](images/49485a1e2cefc1a67ebe57c0c8a76b90b369b875bb8b8809c04c619ca1b2ef75.jpg)

<div style="text-align: center;">Fig. 10. Object frequency distributions within broad semantic categories. The 1,282 fine-grained object classes are grouped into broad categories, sorted by frequency within each category, and displayed on a logarithmic scale.</div>

---

<div style="text-align: center;">Folding, Shaping & Textile Manipulation</div>

![Image](images/05fbcad098de9a77f1fb7f7c1b2ae85cdaa941ac374e73a00cbe06c479547b94.jpg)

<div style="text-align: center;">Opening, Closing, Connecting, Fastening, Wearing & Wrapping</div>

![Image](images/14dc0aa7c7b4b122022e95199ce67e48b5fbd3c2308c49ab497bbff47b959e94.jpg)

<div style="text-align: center;">Picking Up, Holding & Carrying</div>

![Image](images/fa8949159893204d259dcd5b3cc441fde6b27c974d044bfa40276c7d61cbf66b.jpg)

<div style="text-align: center;">Washing, Cleaning & Surface Care</div>

![Image](images/25d533602cbd98b8b00b5c43d5909046fbf65417d7a3162d2ba2cdf03816bcec.jpg)

<div style="text-align: center;">Moving, Placing & Body Movement</div>

![Image](images/6fbe68f45661223c0fc422044cf6056acd35dd875fd2b261c31e716e29002065.jpg)

<div style="text-align: center;">Cutting, Peeling, Separating & Removing</div>

![Image](images/0426e050b911de892b236585b3d50a086afc5e58ef42edc7cc64eb712ca4cad6.jpg)

<div style="text-align: center;">Arranging, Organizing, Sorting & Gathering</div>

![Image](images/2a0871a7e00611ebcd64ffb9cf40b7c8be65dcbe99367a30816dfebf8daa2636.jpg)

<div style="text-align: center;">Cooking. Mixing & Food Preparation</div>

![Image](images/4f6b679a499eebc8b2e486d9a3a928c47116ac6724beb2b4f45892f5daec54d5.jpg)

<div style="text-align: center;">Operating Devices & Tools, and Adjusting Controls</div>

![Image](images/341af1e9bd2f122187a67915052b0ac68deb8aab5f36db41f35461bbc14fddcd.jpg)

<div style="text-align: center;">Searching, Observing, Inspecting & Selecting</div>

![Image](images/42db6e5730c22f157ccc8dcd540dd326428f1c26e162c0eff04eaa980037f1f8.jpg)

<div style="text-align: center;">Task Execution. Preparation & Completion</div>

![Image](images/042b0b128316b1ddae309c2581900a307f49f8d85250c31fd30b54163d357372.jpg)

<div style="text-align: center;">Fig. 11. Skill frequency distributions within broad semantic categories. The 273 action-verb lemmas are grouped into broad skill categories, sorted by frequency within each category, and displayed on a logarithmic scale.</div>