Fig. 4: Illustration of our overall AINA framework. On the left, we show how the data is processed: the human hand pose is extracted directly by the Aria Gen 2 glasses, and stereo depth is estimated from the surrounding SLAM camera frames. This enables the 3D policy learning methods on the right to succeed while remaining robust to background clutter.
如今，人们会利用人类视频和图像等非机器人数据。无论是人类动作类型还是其他相关方面……
在部署环境中收集的域内演示数据能够提取出丰富的信息，比如三维手部姿态和物体点坐标 [^2]、[^5]、[^6]、[^7]，但每次部署都需要新的数据，因此难以规模化应用。相比之下，野外人类数据集 [^21]、[^22]、[^23] 具备更强的泛化能力，相关研究主要聚焦于视觉骨干网络 [^24]、[^25]、[^26]，或是手-物体轨迹 [^10]、[^11]、[^27] 及可操作性特征 [^9]、[^28] 等高层线索。然而，由于缺乏三维手部姿态这类可靠的低层信号，这些方法往往会在精度上有所牺牲，或者需要在部署阶段补充额外的演示数据 [^11]。
最近，智能眼镜 [^29] 简化了数据收集过程 [^30]、[^31]，能够实现更丰富的数据提取并提升泛化能力，AINA正是基于这一优势展开研究的。不过，这类研究大多针对两指夹持器，因为此类场景下的操作建模更为简单。在AINA项目中，我们采用Aria Gen 2眼镜 [^32] 来收集可扩展的人类数据，同时独特地实现了仅凭借人类演示数据就能为灵巧的多指机器人手训练策略的目标。
b) 基于人类数据的灵巧操作：早期关于灵巧操作的研究依赖于仿真到现实的迁移[^33]、[^34]，或通过遥操作来收集数据[^13]、[^14]、[^35]、[^36]，但这些方法要么受限于仿真与现实之间的差距，要么需要大量人力投入进行遥操作。为应对这些挑战并减少对大规模机器人演示数据的依赖，近期的研究转向了从人类数据中学习。然而，由于缺乏提取可靠信号所需的标注，利用大规模数据集对多指手而言更具挑战性。因此，以往的大多数研究都自行收集人类数据来训练策略。有些研究收集了领域内的人类视频并提取了3D手部姿态[^2]、[^37]；而另一些则使用便携的定制硬件（配备多个摄像头和手部姿态估计器）来采集真实场景中的演示数据[^1]、[^38]。尽管这些方法颇具前景，但它们都纳入了一些机器人数据，这些数据要么通过遥操作获得[^38]，要么通过在线修正得到[^1]、[^2]。虽然这类机器人数据有助于完成复杂的灵巧任务——尤其是考虑到人类演示中缺乏力反馈的情况——但在AINA中，我们证明了仅凭借通过Aria眼镜拍摄的离线人类视频，无需任何外部传感器、动作捕捉标记或外骨骼设备，就能学会用灵巧的多指手执行日常操作任务。
c) 模仿学习的策略架构：在超越传统的基于2D图像的模仿策略[^24]、[^39]、[^40]之后，近期的研究提出了利用几何结构进行操作的3D策略架构[^41]、[^42]、[^43]，从而提升了在杂乱场景和复杂物体交互中的泛化能力。除了原始像素和场景点云外，一些方法还引入了以物体为中心的中间表征，如关键点或轨迹。PointPolicy[^7]从3D手部和物体关键点中学习操作策略，而Track2Act[^10]则从视频数据集中预测未来的密集物体轨迹，并据此训练基于轨迹的策略。这些以物体为中心的方法凸显了与实体无关的线索在连接人类与机器人领域时的优势。基于这一见解，我们提出的方法AINA扩展了3D模仿学习框架，从人类视频中提取手部关键点和3D物体流，从而让策略能够跨实体泛化，并利用（非机器人的）人类数据实现灵巧操作。
### III. 方法
### A. 概述
AINA是一个从通过Aria Gen 2眼镜采集的真实场景人类演示中学习闭环策略的框架，无需任何机器人数据。我们的框架包含三个高层次步骤：(a) 人类使用Aria Gen 2眼镜在任意表面上采集真实场景的视频演示，同时在机器人环境中采集一段场景视频；(b) 对数据集进行处理以提取3D物体轨迹和手指尖端点，随后将其对齐以建立与机器人统一的参考坐标系；(c) 训练基于点的策略并将其部署在单臂机械手系统上。我们在图4中描述了框架的整体结构，并在本节中阐述了相关假设、挑战和细节。
---
我们使用Aria Gen 2眼镜在任意表面上采集真实场景的视频演示，同时采集机器人环境中的一段场景视频；(b) 对数据集进行处理以提取3D物体轨迹和手指尖端点，随后将其对齐以建立与机器人统一的参考坐标系；(c) 训练基于点的策略并将其部署在单臂机械手系统上。我们在图4中描述了框架的整体结构，并在本节中阐述了相关假设、挑战和细节。
a) 假设：在AINA中，我们的方法基于两个关键假设：(a) 能够访问一个经过校准的场景，以确保操作空间的一致性。为此，我们执行手眼校准，以计算机器人设备上摄像头相对于机器人基座的外参矩阵。这一过程非常简单，只需在机器人初始设置时执行一次，耗时约5–10分钟。(b) 能够获取单个场景内的演示以及多个真实环境中的演示。这两类演示均由人类收集（无需使用机器人）。场景内演示的收集时间不到一分钟，而针对每项任务收集50个真实环境演示则总共需要约10分钟。
b) 挑战：与以往那些人为限制手部动作需符合机器人特征[^44]或需要额外对齐硬件（如ArUco标记）[^31]的研究不同，我们的方法将真实环境中的人类视频视为自然交互。我们的方法无需预先知晓被操纵物体的距离，也不会对数据收集者的手部动作施加任何限制[^7]。这些放宽条件带来了重大挑战，因为手部动作的结构性更弱。在后续小节中，我们将介绍如何应对这些挑战。
### B. 智能眼镜数据的收集与处理
1) 数据收集：AINA使用Project Aria Gen 2[^32]眼镜来收集真实环境中的人类演示。该眼镜配备了一个前置RGB摄像头、四个安装在镜框周围的SLAM摄像头以及多个惯性测量单元。这些传感器能够实时估算用户的头部姿态以及左右手姿态[^12]。头部姿态是相对于初始化时任意指定的世界坐标系来定义的。该世界坐标系是利用惯性测量单元测得的重力矢量来初始化的[^29]、[^32]，以确保其z轴与重力方向对齐。针对每项任务，我们使用这些眼镜收集50个真实环境演示，并以15 Hz的频率记录摄像头流以及头部和手部姿态估计值。
在数据收集过程中，我们并不假设人类操纵物体时所处表面的高度是固定的。因此，我们需要将真实环境中的演示映射到机器人的场景中。为解决这一问题，我们利用机器人环境中的RGB-D摄像头收集单个场景内的演示。我们使用Hamer算法从两个摄像头视角估算二维手部姿态[^45]、[^46]，随后对这些估算值进行三角测量以获取三维姿态[^6]、[^7]。我们以10 Hz的频率收集这一场景内的演示。
2) 数据处理与物体跟踪：在策略学习过程中，AINA将物体点云作为观测数据。这种表示方式使得观测结果不受背景变化以及人与机器人之间视觉差异的影响。为了获取这些物体点云，我们利用了现成的计算机视觉模型。对于每个演示样本，我们首先通过语言提示结合Grounded-SAM [^47]来在初始帧中分割出参与交互的物体。各任务所使用的语言提示详见第IV-A节。接下来，我们利用CoTracker [^48]来跨帧跟踪被分割出的物体，从而为每个演示样本生成二维物体点。最后，借助每帧的深度信息，我们将这些二维点反投影为三维点，进而得到随时间变化的三维物体点云。虽然这一过程在场景内演示中较为简单，但Aria眼镜无法提供深度信息。因此，对于野外演示，我们采用了FoundationStereo [^49]——该框架能根据校正后的立体图像及摄像头间的基线来估算视差图。具体实现时，我们取用两台前置SLAM摄像头采集的数据流进行校正，并将Aria眼镜提供的平移量作为基线 $\mathcal{B}$。这些输入数据会被送入FoundationStereo以得到相对于左SLAM摄像头的视差图d。利用经典的立体几何原理，可据此计算出相对于左帧的深度Z，计算公式为：$Z = (f \cdot B)/d$，其中f为左摄像头的焦距。随后，野外演示中的二维物体轨迹便可基于这个估算出的深度进行反投影。为保证一致性，我们会将所有场景内的点转换到机器人基座坐标系下，而所有野外演示数据则转换到数据采集时所确定的世界坐标系下。由于Aria眼镜是利用重力矢量来确定世界坐标系的（详见第III-B.1节），因此这样处理能确保所有点都处于相近的水平面上。
3) 域对齐：在野外数据集中，针对Aria眼镜计算得到的三维物体轨迹在不同演示样本间存在差异，这种差异主要源于被操纵物体的高度不同或数据采集者的姿势不同。为解决这一问题，我们在训练策略之前会将所有三维点转换到机器人基座坐标系下，并以场景内的演示作为参照基准。
每个演示样本由物体点轨迹 $\mathcal{O}^t \in \mathbb{R}^{N \times 3}$ 和指尖点轨迹 $\mathcal{F}^t \in \mathbb{R}^{5 \times 3}$ 组成，其中物体数量N在所有任务中均固定为500个。我们将野外轨迹记为 $\mathcal{T}_w = \{\mathcal{O}_w^t, \mathcal{F}_w^t\}$，场景内轨迹记为 $\mathcal{T}_s = \{\mathcal{O}_s^t, \mathcal{F}_s^t\}$。为将这些轨迹转换到统一的空间中，给定单个场景内轨迹 $\mathcal{T}_s$ 和野外轨迹 $\mathcal{T}_w$，我们首先计算两者首帧中物体点的质心之间的平移量 $\Delta \mathcal{O} = \mathcal{O}_s^0 - \mathcal{O}_w^0$。接着将野外轨迹按此偏移量进行平移，即可得到 $\hat{\mathcal{T}}_w = \{\mathcal{O}^t + \Delta \mathcal{O}, \mathcal{F}^t + \Delta \mathcal{O}\}$。这一操作能使物体点云的质心对齐。然而，由于世界坐标系绕重力轴的旋转方向是任意设定的，仅依靠这种平移可能会导致z轴方向上的较大偏差。这可能会使某些演示样本中初始手部姿态发生完全旋转，进而导致物体位置互换。有关此问题的示意图可在我们的网站上查看。
---
为了估算绕z轴的可靠旋转，我们利用两条轨迹的初始手部姿态$\mathcal{F}_{s}^{0}$和$\mathcal{F}_{w}^{0}$，并应用Kabsch算法[^50]来计算它们之间的刚性变换。从该变换中，我们提取出绕z轴的旋转量$R_{z}$，并将其应用于真实场景中的演示数据，从而得到最终变换后的轨迹：
$$ \hat{\mathcal{O}}_{w}^{t}=\boldsymbol{R}_{z}\cdot\mathcal{O}_{w}^{t}+\Delta\mathcal{O} $$
$$ \hat{\mathcal{F}}_{w}^{t}=\boldsymbol{R}_{z}\cdot\mathcal{F}_{w}^{t}+\Delta\mathcal{O} $$
$$ \hat{T}_{w}=\{\hat{\mathcal{O}}_{w}^{t},\hat{\mathcal{F}}_{w}^{t}\} $$
我们将这种变换应用于每一个真实场景中的演示数据，随后将真实场景演示数据与室内场景演示数据一同用于策略学习，具体过程将在下一节中介绍。
### C. 在机器人上学习并部署智能眼镜策略
1) 策略学习：为应对机器人环境与真实人类演示之间的视觉差异，AINA采用了基于Transformer的点云策略，并基于最先进的模仿学习算法Point-Policy[^7]进行构建。我们向该策略输入指尖轨迹$\mathcal{F}^{t-T_{o}:t}$和物体点集$\mathcal{O}^{t-T_{o}:t}$，训练模型来预测后续的指尖轨迹$\mathcal{F}^{t:t+T_{p}}$，其中$T_{o}=10$和$T_{p}=30$分别表示观测历史和预测时域。在我们的架构中，每个点的观测历史会通过向量神经元多层感知机（MLP）[^51]编码为单个向量。这类向量神经元MLP与普通MLP存在两点关键区别：（1）点是用三维感知机而非一维感知机来表示；（2）它们采用了SO(3)等变激活层。我们选择向量神经元MLP，是因为事实证明它们能更好地捕捉三维几何信息[^51]。这些扁平化后的向量随后会作为标记传入Transformer编码器。只有指尖标记会学习位置编码，关键点标记则不会。编码器输出的表征随后会被送入MLP，以预测未来的指尖轨迹。从数学角度来看，这一过程可表述如下：
$$ \begin{array}{r}{\mathcal{\hat{F}}^{t:t+T_{p}}=\pi\big(\mathcal{F}^{t-T_{o}:t},\mathcal{O}^{t-T_{o}:t}\big).}\end{array} $$
整个系统采用监督方式端到端训练，利用预测指尖与真实指尖之间的均方误差作为损失函数：
$$ \mathcal{L}_{\mathrm{M S E}}=\mathbb{E}\left[\left(\mathcal{F}^{t:t+T_{p}}-\hat{\mathcal{F}}^{t:t+T_{p}}\right)^{2}\right]. $$
为提高模型的泛化能力，我们在训练过程中应用数据增强操作。对于每个数据点，我们会在范围$[-30\mathrm{cm}, 30\mathrm{cm}]$内均匀采样一个三维平移量，在范围$[0.8, 1.2]$内选取一个缩放因子，并在重力轴周围选取介于$[-60^\circ, 60^\circ]$之间的旋转角度。这些增强操作会被组合成单一变换，然后统一应用于模型的输入以及用于计算$L_{\mathrm{MSE}}$的真实输出。最后，为防止模型
Fig. 5: Illustration of our robot setup.
过度拟合指尖数据，我们会在输入的指尖数据中添加范围为[-2cm, 2cm]的高斯噪声，但预测出的动作数据则不会添加此类噪声。模型共训练2000个周期，通常每个任务需要约2小时才能完成训练。
## 2) 人类策略$\rightarrow$在机器人上的部署
a) 机器人配置：我们的机器人配置包括一台具有7个自由度（DOF）的Kinova Gen3机械臂[^52]，以及一只拥有五个手指的Psyonic Ability Hand[^3]。该Ability Hand具备六个自由度：每个手指各一个，拇指两个。它是一款假手，因此体积紧凑，尺寸与人类手相近。为了观察机器人的工作环境，我们在操作区域周围放置了两台RealSense RGB-D摄像头。我们的机器人配置如图5所示。
b) 逆运动学：人类手臂和手部的运动学与桌面操作器和机械手的运动学存在差异，因此要在机器人上复现人类的动作轨迹并非易事。虽然Ability Hand的小型化设计缩小了这一差异，但桌面操作器缺乏腕关节，导致单纯分别移动手臂和手部往往会产生不可行的配置。为解决这一问题，我们实现了一个定制的全臂-手逆运动学（IK）模块$\mathcal{I}$，其原理类似于[^2]。给定期望的指尖位置$\mathcal{F}^{t+1} \in \mathbb{R}^{5 \times 3}$以及Kinova和Ability关节的当前状态$\mathcal{J}^t \in \mathbb{R}^{13}$，该模块会输出下一时刻的关节角度$\mathcal{J}^{t+1} = \mathcal{I}(\mathcal{F}^{t+1}, \mathcal{J}^t)$。策略模型将指尖位置作为动作预测，最终得到的关节角度会在部署时应用于机器人。与训练阶段一致，我们会对物体进行三维分割和跟踪以获取物体点，再利用正运动学来计算指尖位置。
c) 实际实现细节：由于人类演示数据中不包含力信息，对于涉及抓取的任务，我们设定了一个抓取阈值：如果拇指与其他手指之间的距离小于5厘米，就将它们移得更近一些。这样能模拟人类在抓取时施加的力量。
---
✓：成功完成任务 ○：触碰到并抓住了物体，但未能完成任务 ✗：未能触及/抓住物体
Fig. 6: Robot rollouts of AINA across five tasks. Spatial generalization is shown in the leftmost column for each task. The meaning of each symbol is explained below the figure. For the Toaster Press task, dotted lines indicate the toaster's orientation; when not shown, the orientation remains the same as in the showcased rollout. Rollouts of more tasks can be found on
>
### IV. 实验评估
我们开展了多项真实机器人实验，并将AINA与多个基准方法进行比较，以回答以下问题：
1) AINA中使用的不同类型数据的重要性如何？
2) 当操作空间的高度发生变化时，AINA的表现如何？
3) 与人类数据学习中的基于图像的方法相比，AINA的表现如何？
### A. 任务描述
我们共在九项任务上对AINA进行了评估，每项任务都旨在代表一种特定的技能或运动模式（擦拭、拾取-放置、重新定位），并反映常见的日常操作活动。其中五项任务的机器人执行结果、成功率以及空间泛化结果如图6所示。其余任务包括转动烤箱门、收纳物品、打开抽屉以及打开烤箱门。关于这些任务的更多信息可在我们的网站上查看。
### B. AINA中使用的不同类型数据的重要性如何？
AINA是一种通过在野外场景和现场拍摄的人类视频演示上进行联合训练来学习机器人策略的新框架。现场演示既用于标准化输入观测数据，也用于优化策略。在本节中，我们将评估这种方法的重要性。
我们将AINA与以下基准方法进行比较，结果如表I所示：
1) 仅使用现场数据[^2]：仅利用单个现场演示训练出的策略。与HuDOR[^2]不同，我们并未对该基准方法应用任何强化学习技术。
2) 仅基于真实场景数据的方法 [^31]：一种完全依赖真实场景演示来训练的策略。这些演示是基于RGB摄像头的初始帧记录的，随后通过测量左侧摄像头到操作空间中心的距离，将坐标转换到机器人坐标系中。与之最接近的是EgoZero [^31]，但我们的基线方法在两个方面有所不同：(a) 我们不使用ArUco标记进行数据传输；(b) 我们对所有物体点执行闭环跟踪。
3) 场景内变换与真实场景数据结合的方法 [^11]：一种在训练时不使用场景内数据，但利用场景内的演示来转换真实场景数据的策略。这一基线方法受到ZeroMimic [^11]的启发——后者利用真实场景中的人类视频来训练策略，并使用一张场景内的目标图像来约束框架。
4) 场景内训练与真实场景数据结合的方法：一种在转换过程中不使用场景内数据，但在训练阶段纳入场景内数据的策略。其转换方式与非场景内基线方法中描述的一致。
从这些结果中，我们得出以下观察结论：真实场景演示能够提升空间泛化能力。“仅场景内”基线方法在物体放置在演示位置附近时表现良好，
---
TABLE I: Comparison of success of AINA to policies trained with different datasets. All methods are evaluated in similar deployment scenarios, with minimum of 10 trials each.
| Tasks | Toaster Press | Toy Picking |
| In-Scene Only [^2] | 30% | 10% |
| In-The-Wild Only [^31] | 0% | 0% |
| In-Scene Transform and In-The-Wild [^11] | 0% | 10% |
| In-Scene Training and In-The-Wild | 60% | 20% |
| In-Scene and In-The-Wild (AINA) | 86% | 86% |
但无法在该位置之外进行泛化。
场景内的演示有助于提升训练效果。由于部署时使用的是RGB-D摄像头而非Arias眼镜，因此“仅真实场景数据”基线和“场景内变换”基线所预测的动作会出现严重偏差，导致行为看起来不符合预期分布。
场景内的演示有助于转换真实场景数据。此处使用的真实场景数据是在不同表面、不同高度以及不同的初始头部视角下采集的。这使得“仅真实场景数据”基线中的物体点转换容易出现不稳定的旋转，从而导致策略精度较低。
### C. AINA与基于图像的人类数据学习方法相比如何？
TABLE II: Comparison of success of AINA to policies trained with RGB images as input.
AINA采用以物体为中心的点云作为输入，以减少人类与机器人观测之间的视觉差异。为了评估使用点云的影响，我们在两项任务中将AINA与两种基于图像的架构（无论是否包含历史信息）(BAKU [^53])进行了比较，结果如表II所示。
| Tasks | Oven Opening | Drawer Opening |
| Masked BAKU | 6/15 | 1/15 |
| Masked BAKU with History | 0/15 | 0/15 |
| AINA | 12/15 | 11/15 |
我们发现，AINA在这两项任务上的表现均优于这些基于图像的基线方法。在真实场景演示中，人的头部会自然移动，而机器人摄像头在部署期间保持固定。这种差异导致带有历史信息的Masked BAKU输入数据与训练数据分布不符，使得策略表现极差。Masked BAKU的表现稍好，在近一半的试验中取得成功；但我们仍发现，人类演示与机器人部署之间的视角差异会对性能产生负面影响。这些结果证明了采用3D输入而非图像对于实现有效的人机交互的重要性。
### D. 当操作空间的高度发生变化时，AINA的表现如何？
AINA并不假设对操作物体的高度、数据采集者或机器人的相关信息有先验认知。
Fig. 7: Illustration of the height experiments. Each yellow plate is 3.5 cm tall. Height 1 consists of 2 plates, Height 2 of 4 plates, and Height 3 of 5 plates. Thus, Height 1 is closest to the original deployment scenario, while Height 3 is the furthest.
操作空间。为了展示其在不同高度的操作空间中的应用，我们在机器人的工作台上放置了高度为3.5厘米的平板，从而创建了三个高度层级，如图7所示。对于每个高度层级，我们都会额外收集一次场景内的人类演示数据用于对齐（收集时间不到一分钟），具体描述见第III-B.1节；同时我们使用最初在野外采集的相同人类数据。相关结果展示在表III中。
TABLE III: Success rate of AINA deployed on plates with different height levels.
| Tasks | Toy Picking | Wiping |
| Height 1 | 5/10 | 5/10 |
| Height 2 | 6/10 | 5/10 |
| Height 3 | 2/10 | 8/10 |
我们发现，生成的政策在各项任务中表现稳健，能够可靠地适应不同高度。这证明了AINA在将野外数据中的操控技能迁移到新场景时具有极高的灵活性，且所需的人力成本极低。当场景内的人类演示轨迹与野外数据的分布差异较大时，偶尔会出现失误。例如，在高度3下的玩具拾取任务中，场景内的演示将玩具异常地靠近碗。这种非典型的轨迹导致策略在部署时复现了该行为，最终致使玩具推开了碗。
### E. 关于物体泛化能力的更多实验结果
我们通过将现有策略零样本部署到含有新物体的环境中，来评估AINA政策的泛化能力。由于篇幅限制，该实验的结果可在我们的网站上查看：。
### V. 讨论、局限性与结论
在这项工作中，我们提出了AINA——一种全新的框架，它利用Aria Gen 2眼镜的能力，从明确的野外人类演示中学习基于点的多指操控政策。
尽管前景广阔，但我们发现了三点局限性。首先，我们的框架难以集成力反馈功能，因为仅靠手部姿态估计无法捕捉这类信息，而力反馈往往对精准的灵巧操控至关重要 [^54] [^55] [^56]。其次，Aria Gen 2眼镜的RGB相机与SLAM相机在快门时序上存在细微差异。因此，数据采集过程中头部快速移动会导致RGB图像中的物体像素与SLAM中的对应深度出现错位。为缓解这一问题，
---
目前我们要求数据采集人员避免快速移动头部，不过其他解决方案还包括使用更稳健的3D物体追踪算法 [^57]。最后，由于用FoundationStereo获取实时深度估计较为困难，部署阶段我们目前使用的是Realsense相机。不过这一领域的研究仍在推进中，我们相信经过充分优化后，就能获得近乎实时的深度数据。
## 参考文献
[^1]: C. Wang, et al., “Dexcap: Scalable and portable mocap data collection system for dexterous manipulation,” in RSS, 2024.
[^2]: I. Guzey, et al., “Bridging the human to robot dexterity gap through object-oriented rewards,” in 2025 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2025, pp. 3344–3351.
[^3]: "Psyonic ability hand," 2023. [Online]. Available:
[^4]: A. Zorin, et al., “Ruka: Rethinking the design of humanoid hands with learning,” Robotics: Science and Systems (RSS), 2025.
[^5]: C. Wang, et al., “Mimicplay: Long-horizon imitation learning by watching human play,” arXiv preprint arXiv:2302.12422, 2023.
[^6]: S. Park, et al., “Demodiffusion: One-shot human imitation using pre-trained diffusion policy,” 2025. [Online]. Available:
[^7]: S. Haldar et al., “Point policy: Unifying observations and actions with key points for robot manipulation,” arXiv preprint arXiv:2502.20391, 2025.
[^8]: H. Bharadhwaj, et al., “Towards generalizable zero-shot manipulation via translating human interaction plans,” 2023.
[^9]: S. Bahl, et al., “Affordances from human videos as a versatile representation for robotics,” in CVPR, 2023.
[^10]: H. Bharadhwaj, et al., “Track2act: Predicting point tracks from internet videos enables generalizable robot manipulation,” in ECCV, 2024.
[^11]: J. Shi, et al., “Zeromimic: Distilling robotic manipulation skills from web videos,” in International Conference on Robotics and Automation (ICRA), 2025.
[^12]: Y. Li, et al., “Nimble: a non-rigid hand model with bones and muscles,” ACM Transactions on Graphics (TOG), vol. 41, no. 4, pp. 1–16, 2022.
[^13]: S. P. Arunachalam, et al., “Holo-dex: Teaching dexterity with immersive mixed reality,” in ICRA, 2023.
[^14]: A. Iyer, et al., “Open teach: A versatile teleoperation system for robotic manipulation,” in CoRL, 2024.
[^15]: K. He, et al., “Masked autoencoders are scalable vision learners,” in CVPR, 2022.
[^16]: H. Wu, et al., “Unleashing large-scale video generative pre-training for visual robot manipulation,” 2023.
[^17]: N. Karaev, et al., “Cotracker: It is better to track together,” in ECCV, 2024.
[^18]: C. Doersch, et al., “Tap-vid: A benchmark for tracking any point in a video,” in NeurIPS, 2022.
[^19]: Y. Ye, et al., “What’s in your hands? 3d reconstruction of generic objects in hands,” in CVPR, 2022.
[^20]: G. Pavlakos, et al., “Reconstructing hands in 3d with transformers,” in CVPR, 2024.
[^21]: K. Grauman, et al., “Ego4d: Around the world in 3,000 hours of egocentric video,” in CVPR, 2022.
[^22]: P. Banerjee, et al., “HOT3D: Hand and object tracking in 3D from egocentric multi-view videos,” CVPR, 2025.
[^23]: K. Grauman, et al., “Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives,” in CVPR, 2024.
[^24]: S. Nair, et al., “R3m: A universal visual representation for robot manipulation,” in CoRL, 2022.
[^25]: T. Xiao, et al., “Masked visual pre-training for motor control,” arXiv preprint arXiv:2203.06173, 2022.
[^26]: S. Karamcheti, et al., “Language-driven representation learning for robotics,” in RSS, 2023.
[^27]: K. Shaw, et al., “Videodex: Learning dexterity from internet videos,” in CoRL, 2023.
[^28]: M. K. Srirama, et al., “Hrp: Human affordances for robotic pretraining,” in RSS, 2024.
[^29]: J. Engel, et al., “Project aria: A new tool for egocentric multi-modal ai research,” arXiv preprint arXiv:2308.13561, 2023.
[^30]: S. Kareer, et al., “Egomimic: Scaling imitation learning via egocentric video,” 2024. [Online]. Available:
[^31]: V. Liu, et al., “Egozero: Robot learning from smart glasses,” 2025. [Online]. Available:
[^32]: "Aria gen 2 glasses," 2025. [Online]. Available:
[^33]: K. Shaw, et al., “Leap hand: Low-cost, efficient, and anthropomorphic hand for robot learning,” arXiv preprint arXiv:2309.06440, 2023.
[^34]: I. Akkaya, et al., “Solving rubik’s cube with a robot hand,” arXiv preprint arXiv:1910.07113, 2019.
[^35]: S. Yang, et al., “Ace: A cross-platform visual-exoskeletons system for low-cost dexterous teleoperation,” in CoRL, 2024.
[^36]: I. Guzey, et al., “See to touch: Learning tactile dexterity through visual incentives,” in 2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2024, pp. 13825–13832.
[^37]: S. Chen, et al., “Arcap: Collecting high-quality human demonstrations for robot learning with augmented reality feedback,” arXiv preprint arXiv:2410.08464, 2024.
[^38]: T. Tao, et al., “Dexwild: Dexterous human interactions for in-the-wild robot policies,” Robotics: Science and Systems (RSS), 2025.
[^39]: A. Brohan, et al., “Rt-1: Robotics transformer for real-world control at scale,” in RSS, 2023.
[^40]: Z. Mandi, et al., “Cacti: A framework for scalable multi-task multi-scene visual imitation learning,” arXiv preprint arXiv:2212.05711, 2022.
[^41]: M. Shridhar, et al., “Perceiver-actor: A multi-task transformer for robotic manipulation,” in Conference on Robot Learning. PMLR, 2023, pp. 785–799.
[^42]: Y. Ze, et al., “Gnfactor: Multi-task real robot learning with generalizable neural feature fields,” in Conference on robot learning. PMLR, 2023, pp. 284–301.
[^43]: T. Gervet, et al., “Act3d: 3d feature field transformers for multi-task robotic manipulation,” arXiv preprint arXiv:2306.17817, 2023.
[^44]: M. Lepert, et al., “Shadow: Leveraging segmentation masks for zero-shot cross-embodiment policy transfer,” in Conference on Robot Learning (CoRL), Munich, Germany, 2024.
[^45]: G. Pavlakos, et al., “Reconstructing hands in 3d with transformers,” in CVPR, 2024.
[^46]: J. Romero, et al., “Embodied hands: Modeling and capturing hands and bodies together,” arXiv preprint arXiv:2201.02610, 2022.
[^47]: T. Ren, et al., “Grounded sam: Assembling open-world models for diverse visual tasks,” arXiv preprint arXiv:2401.14159, 2024.
[^48]: N. Karaev, et al., “Cotracker3: Simpler and better point tracking by pseudo-labelling real videos,” arXiv preprint arXiv:2410.11831, 2024.
[^49]: B. Wen, et al., “Foundation stereo: Zero-shot stereo matching,” in Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, pp. 5249–5260.
[^50]: J. Lawrence, et al., “A purely algebraic justification of the kabschumeyama algorithm,” Journal of research of the National Institute of Standards and Technology, vol. 124, p. 1, 2019.
[^51]: C. Deng, et al., “Vector neurons: A general framework for so (3)-equivariant networks,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 12 200–12 209.
[^52]: “Kinova gen 3,” 2010. [Online]. Available:
[^53]: S. Haldar, et al., “Baku: An efficient transformer for multi-task policy learning,” arXiv preprint arXiv:2406.07539, 2024.
[^54]: C. Higuera, et al., “Tactile beyond pixels: Multisensory touch representations for robot manipulation,” arXiv preprint arXiv:2506.14754, 2025.
[^55]: A. Sharma, et al., “Self-supervised perception for tactile skin covered dexterous hands,” arXiv preprint arXiv:2505.11420, 2025.
[^56]: I. Guzey, et al., “Dexterity from touch: Self-supervised pretraining of tactile representations with robotic play,” arXiv preprint arXiv:2303.12076, 2023.
[^57]: L. Jin, et al., “Stereo4d: Learning how things move in 3d from internet stereo videos,” arXiv preprint, 2024.