# EgoInfinity：一种面向任意视角机器人重定向和视频到动作机器人学习的网络级4D手物交互数据引擎王高天莱斯大学任科佳莱斯大学陈一婷莱斯大学安德鲁·摩根机器人与人工智能研究所霍华德·H·钱莱斯大学波德沙拉·昌伦马内库尔莱斯大学杭凯宇莱斯大学 ![Image](images/57087480ae46d27b050ec2d8322ef015411577aaaec7c5d862fe2c3e679394e5.jpg)

Figure 1: EGOINFINITY pipeline. From filtered in-the-wild Action100M clips and their text descriptions, the engine recovers metric hand trajectories and object geometry/pose for the automatically extracted objects. An interaction-aware refinement stage uses detected interaction states to align hand and object motion and suppress drift, yielding a metric, agent-agnostic 4D hand-object representation for downstream cross-embodiment retargeting and policy learning.

摘要：互联网视频是具身人类操作知识的最大宝库，但将任意RGB视频转换为可执行的机器人训练数据仍是一个主要瓶颈。现有的实验室或工厂采集的数据集在规模和多样性上较为有限，难以支撑开放世界机器人学习的需求。我们没有提出一个静态数据集，而是推出了EgoInfinity——一款通用的4D手物交互数据引擎，能够生成用于机器人重定向和学习的网络级数据。EgoInfinity是一款模块化引擎，集成了感知、分割、重建、交互感知优化以及重定向组件，无需人工标注即可自动解决这一传统上难以扩展的视频到动作问题。其模块化设计使得引擎能够持续从所集成组件的进步中获益。借助EgoInfinity，野外的人类操作视频可被转化为与执行器无关的、量化的4D手物交互表征，包括手部轨迹、物体6自由度位姿等。 --- 接触相关状态。EgoInfinity并未简单拼接各独立组件，而是通过跨模块量化校准与交互感知优化来提升物理可靠性，减少纯视觉重建中常见的偏差和接触不一致问题。此外，我们提出了一种新颖的动作重定向器，可将还原出的3D手部动作编译为适用于不同机器人形态的可执行关节轨迹，从而实现从任意视角和拍摄尺寸（例如人体仅部分可见）的视频到动作的重定向。我们在感知保真度、运动学可行性、接触一致性、跨本体泛化能力以及真实机器人技能获取（如抓取、切割、擦拭、倾倒）等方面对EgoInfinity进行了验证，证明了其能从互联网视频到可执行机器人行为的可扩展桥梁作用，助力稳健的开放世界机器人学习。项目页面：关键词：自动数据生成；机器人学习基准与数据集；从人类视频中学习；跨本体重定向 ## 1 引言训练通用机器人需要具备可扩展性和多样性的操作数据。实验室或工厂采集的数据能够提供与机器人兼容的监督信息，而以第一人称视角记录的演示尤为宝贵，因为它们能从与机器人本体对齐的角度捕捉操作手、被操纵物体以及接触模式。然而，这类数据的规模化仍面临挑战，现有可穿戴设备或实验室采集的数据集在任务多样性、采集环境或参与者行为方面存在局限 [^1] [^2] [^3]。互联网视频提供了一种自然的替代方案，它们记录了人类在各种环境、视角和任务场景下对日常物品的操作；仅Action100M数据集就包含了跨越1.47亿个动作片段、时长达14.6年的视频资料 [^4]。不过这些视频无法直接用于机器人操作：它们缺乏精确的3D几何信息、6自由度物体状态、接触信息以及可执行的机器人动作指令，导致基于人类视频的学习方法在执行时缺乏依据，或者当把2D动作对齐转换到机器人动作空间时会出现偏差 [^5] [^6] [^7] [^8] [^9]。因此，将网络上的海量视频自动处理成有用的机器人操作数据，包括从任意视角提取类第一人称视角的数据，是实现可扩展机器人学习的关键一步。我们推出了EGOINFINITY，这是一款全自动的4D操作数据引擎，无需人工标注即可将网络上的RGB视频转换为与机器人无关的、具备度量标准的手-物表征。它采用模块化流程，涵盖手部姿态与网格估计、目标物体发现、物体分割、单目度量深度估计、相机/重力估计、物体跟踪与重建，以及交互感知优化等环节。这种设计使得EGOINFINITY能够随着各模块的改进而持续升级。重要的是，EGOINFINITY并非简单拼凑现成的组件：它通过统一坐标系、度量尺度对齐、物体侧先验信息以及交互感知优化来协调各模块，从而减少模块间的不一致性并提升物理合理性。此外，我们还提出了一种实用的重定位方法，能够将处理后的3D手部动作转换为适用于不同机器人本体的可执行动作。该方法并非简单复制人体的运动学特征，而是会估算出针对特定机器人的根节点变换参数，同时在目标机器人的约束范围内保留与任务相关的手部动作。这使得该方法能够应用于任意视角的视频以及部分身体被遮挡的情况，即便无法获取完整的身体姿态信息也能正常使用。我们的贡献包括：(i) 面向网络规模视频的全自动模块化4D操作数据引擎；(ii) 用于实现更一致的手-物重建的跨模块校准与交互感知优化技术；(iii) 经过运动学可行性、物理一致性及真实机器人技能获取测试验证的跨本体重定位器。 ## 2 相关工作机器人可使用的操作数据源。现有的操作数据在规模、实体一致性以及机器人可执行性方面存在权衡。如表1所示，Ego4D、EgoDex、HOT3D和OakInk2等以自我为中心的数据集提供了宝贵的人类操作观测数据，但这些数据往往依赖头戴设备、动作捕捉系统、Vision Pro追踪技术、人工解说或受控采集方式 [^10] [^1] [^2] [^3]。DROID [^13]和Open X-Embodiment [^12]虽然能提供可直接执行的机器人动作数据，但受硬件限制、任务设计及采集成本的影响；而UniHand-Mix虽通过数据聚合扩大了覆盖范围，却继承了标注异构性以及部分对可穿戴设备的依赖问题 [^11]。相比之下，EGOINFINITY针对互联网上的自然视频进行数据处理，无需借助可穿戴设备或深度传感器即可自动提取4D操作数据。 ---

Dataset	Source	Ann.	Wear. req.?	Auto gen.?	Manual obj.?	Scale
Ego4D [^10]	curated	narr.	headset	✗	✗	3.7K hr
EgoDex [^1]	curated	tracking	V. Pro	✗	✗	829 hr
HOT3D [^2]	curated	mocap	mocap	✗	✗	13.9 hr
OakInk2 [^3]	curated	mocap	mocap	✗	✗	6.5 hr
UniHand-Mix [^11]	aggregated	mixed	partial	✗	✗	1.2K-35K hr
Open-X [^12]	robot agg.	actions	robot	✗	✗	1M+ traj.
DROID [^13]	teleop	actions	robot	✗	✗	350 hr
EGOINFINITY (ours)	internet	auto 4D	✓ none	✓ full	✓ none	127K hr $^{\dagger}$

$^{\dagger}$ 目前的数据规模受限于Action100M；该数据引擎本身与具体语料库无关。表1：与以往以自我为中心的操作数据集及机器人数据集的对比。各列分别展示了数据源、标注类型、硬件要求、自动化程度、人工物体指定情况以及数据规模。EGOINFINITY的独特之处在于它结合了互联网级别的数据量、无需可穿戴设备、完全自动化的生成流程、无需人工指定物体，同时还能输出机器人可直接使用的4D数据。 CAD模型或人类指定的物体标注信息，使其具备类似互联网视频的可扩展性，同时通过度量级的手部运动、物体状态及交互线索为机器人使用做好准备。从人类视频到4D操作数据。按照[^5]提出的任务/观测/动作分类体系，面向任务的方法利用视觉语言模型来推断意图 [^14] [^15] [^16]；面向观测的方法则通过视频转换 [^17] [^18] [^19] 或视觉嵌入 [^20] [^21] [^22] [^23] 来弥补外观差异；而面向动作的方法则用于揭示物体的可利用性或潜在动作 [^24] [^25]。EGOINFINITY最接近动作层面、以交互为核心的方法，但它恢复的是度量级的手-物结构，而非2D伪动作。这一突破之所以成为可能，是因为关键组件已经成熟：RGB手部重建 [^26]、单目度量几何恢复 [^27] [^28]、开放词汇分割与跟踪 [^29] [^30]、物体重建 [^31]、光流/PnP跟踪 [^32] 以及重力/相机校准 [^33]。近期出现的单视频片段系统在从以自我为中心的视频中恢复基于现实世界的手-物关系方面取得了显著进展 [^34] [^35] [^36] [^37]。与我们感知设计最为相关的是同时期研发的EgoGrasp [^38]，它基于类似的基础模型架构，从动态的以自我为中心的视频中重建现实世界中的手-物交互关系，同样利用抓取状态来判断手部运动何时会驱动物体姿态 [^39]，但它通过类似SLAM的相机估计来获取世界坐标系，依赖全身SMPL-X先验，并通过学习得到的扩散先验来优化轨迹。相比之下，EGOINFINITY针对的是近似静态相机的自然场景视频，无需在线SLAM或人体模型，通过交互状态分类和刚性手部绑定来确定性地确定抓取状态的可信度，并将这些组件与统一表示、跨模块校准以及作为语料库级数据引擎的自动目标物体发现功能整合在一起。功能性跨形态重定向。以往的重定向方法通常针对特定的形态类别，例如灵巧手[^40] [^41]、平行夹爪[^42] [^43]或类人上半身[^44]。当演示数据与目标形态相匹配时，这些方法效果良好；但互联网上的视频往往仅包含手部、不完整的手臂图像或视角多变的画面，导致精确的肢体姿态恢复和运动模仿不可靠。EGOINFINITY则提出了一种与机器人无关的4D操作表征，并实现了功能性重定向：它能估算出适用于特定机器人的根节点变换参数，同时在目标机器人的约束范围内保留与任务相关的手部运动，从而将同一段恢复后的视频数据转化为适用于不同形态的可执行轨迹。 ## 3 EGOINFINITY数据引擎 EGOINFINITY将原始的互联网RGB视频及其语义注释处理为结构化的4D操作数据。该引擎可输出精确的手部状态、物体点云和网格、6自由度物体姿态轨迹、接触相关状态，以及供后续重定向和学习使用的坐标变换后的输出结果。图1展示了其概览示意图。 --- 这些状态以及经过坐标重定帧处理的输出，可用于后续的重新定位与学习。图1展示了其示意图。 ### 3.1 模块化流水线架构 EGOINFINITY被设计为一种模块化流水线，用于将互联网RGB视频转换为结构化的4D操作数据。它集成了手部网格估计、精确几何恢复、相机与重力校准、目标物体发现、物体重建与跟踪，以及交互感知优化等功能，这些功能都在统一的中间表示层上协同工作。这种模块化设计使得引擎的各个组件可替换：随着更强大的基础模型或几何模型的出现，每个模块都能独立升级。为了提升可扩展性，EGOINFINITY采用了两阶段策略：第一阶段进行轻量级的时间扫描，根据手部运动统计数据和相机运动线索识别出包含手部的片段并过滤掉无关视频，从而保留可能含有有用操作信息的片段；第二阶段仅对活跃片段运行完整的重建流程。目前，我们主要针对视图相对固定的互联网视频，这类视频在教程和操作类内容中较为常见。 ### 3.2 经过度量校准的手部-物体跟踪统一的度量几何。EGOINFINITY的核心设计原则之一是跨模块校准：我们并非直接使用各模块的原始输出，而是将它们对齐到共享的度量尺度、统一的相机坐标系、物体侧的几何先验以及交互感知优化结果上。手部与物体的预测结果由不同模块生成，它们在尺度或三维参考框架上原本并不对齐。为了实现可靠的手部-物体关联、接触推理以及后续的重定向，EGOINFINITY首先通过RGB视频将它们校准到共享的度量相机坐标系下。具体而言，我们利用MOGE-2 [^27]来估算相机焦距和全局度量尺度，用FLOW3R [^28]来预测密集深度图，并通过GEOCALIB [^33]来估算重力矢量$^c$g。这种共享的度量重建过程将图像空间中的手部与物体预测结果映射到同一校准后的三维空间中，从而为一致的手部姿态、物体点云以及后续姿态跟踪提供了几何基础。度量3D手部追踪。我们利用WIOR [^26] 从RGB帧中估算MANO手部参数 [^45]，包括姿态 $\boldsymbol{\theta}_t^h$ 和形状 $\boldsymbol{\beta}_t^h$。这些参数用于定义手部网格 $\{\mathcal{M}_t^h\}_{t=1}^T$、3D手部关键点 $\{\mathcal{K}_t^h\}_{t=1}^T$ 以及全局手部姿态 $c_{\mathbf{p}_t^h} = (c_{\mathbf{R}_t^h}, c_{\mathbf{t}_t^h}) \in SE(3)$。填充模块会补全缺失或不稳定的手部估计结果，恢复出的手部轨迹便基于上述共享的度量几何结构。因此，最终得到的相机坐标系下的手部运动可与物体几何结构在同一尺度下校准，从而支持可靠的物体关联。物体发现、重建与追踪。被操控的物体可通过语义提示和视觉证据自动发现，无需人工标注。我们将视频描述作为语义提示，利用SAM-3 [^30] 进行检测，随后通过SAM-2 [^29] 将检测到的掩码在片段中传播，并结合深度信息生成每帧的物体点云 $\{\mathcal{P}_t^o\}_{t=1}^T$。当有足够的视觉证据时，SAM-3D [^31] 便会重建物体网格 $\mathcal{M}^o$。有了物体网格、掩码和点云后，FOUNDATIONPOSE++ [^46] 就能在与手部相同的度量框架下追踪物体的6自由度姿态轨迹 $\{^c\mathbf{p}_t^o\}_{t=1}^T$，针对静态或观测较弱的帧还会进行额外稳定化处理。这些组件共同构成了初始的4D操控状态。 $$ \mathcal{H}_{t}=\{\mathcal{M}_{t}^{h},\mathcal{K}_{t}^{h},{}^{c}\mathbf{p}_{t}^{h},\mathcal{P}_{t}^{o},\mathcal{M}^{o},{}^{c}\mathbf{p}_{t}^{o}\}. $$ ### 3.3 交互感知优化纯视觉物体追踪在时间上可能不稳定：静态物体的姿态可能会漂移，在手部遮挡时会失效，或者当视觉对应关系较弱时会出现波动。我们并不单纯依赖视觉追踪，而是利用检测到的交互状态来优化物体轨迹。每一帧首先会根据物体掩码和深度得到初始的6自由度提议 $\tilde{\mathbf{p}}_t^o = (\mathbf{R}^{\text{cano}}, \text{center}(\mathcal{S}_t^o \odot D_t))$，同时保留SAM-3D的基准方向 $\mathbf{R}^{\text{cano}}$，并根据反向投影的掩码点来估算平移量。接着，我们利用MEMFOF [^32] 的光流和手部关键点对每一帧进行分类 $s_t \in \{\text{static}, \text{grasped}, \text{moving}\}$。基于分类结果 $s_t$，被抓取的物体会以刚体形式附着在手部坐标系中 $c \hat{\mathbf{p}}_t^o = c \mathbf{p}_t^h \cdot \mathbf{T}^{\text{cano}}$，并采用与手掌对齐的基准变换 $\mathbf{T}^{\text{cano}}$；静态物体则锁定在其稳定的点云质心处；而移动物体则保留原有的提议 $\tilde{\mathbf{p}}_t^o$。最后，我们会执行轻量级的合理性检查，以排除不合理的尺寸和虚假的背景检测结果；这三个阶段对应图1中的优化模块。我们的实现中提供了更细粒度的交互状态；更多细节详见附录A。 --- ![Image](images/9e66eabc5352458e785984ed11584e630def5243727a5cdc1bf358391b363a85.jpg)

Figure 2: Retargeting pipeline. Recovered 3D hand trajectories and gravity are fed into a simulation-trained, robot-specific root estimator $\Phi$, which generates candidate root frames. After clustering and scoring, the best candidate (e.g., the torso frame for Unitree G1) is selected, and the hand motion is retargeted through IK followed by post-optimization.

### 3.4 输出清理与坐标重定对于需要干净物体点云的使用者，EGOINFINITY会选择性地应用掩码腐蚀、深度梯度过滤以及统计异常值移除操作。最后，在相机近似静止的场景下，系统会在恢复的3D空间中执行外到内的坐标重定，而非采用基于2D的生成式视频翻译方式。这种方式既避免了修复或GAN-based翻译 [^17] [^47] [^48] 带来的像素幻觉问题，又能保持几何一致性。 ## 4 跨本体机器人运动映射重定目标技术能够将不依赖于特定机器人的3D手部动作转换为适用于特定机器人的动作。我们无需依赖精确的人体姿态或完整的运动学数据，而是估算出适用于目标机器人形态的可行根坐标系变换，从而实现跨机器人形态的动作迁移。这对于互联网视频而言尤为重要——这类视频中往往只能看到手部，手臂或身体部分可见甚至完全不可见。我们的目标是实现功能性重定目标：在保留与任务相关的手部动作的同时，无需刻意模仿精确的人体或手臂动作。 ### 4.1 运动学根坐标系的等变神经估计给定重建得到的手部轨迹$\{(c\mathbf{R}_t^h, c\mathbf{t}_t^h) \in SE(3)\}_{t=1}^T$以及可选的重力信息$c^g$，我们使用神经网络$\Phi(\cdot)$来估算共享的运动学根坐标系，例如类人机器人的躯干坐标系。该网络会预测相机坐标系下的$c^p r = (c\mathbf{R}^r, c\mathbf{t}^r) \in SE(3)$，从而将恢复出的手部动作转换为用于重定目标的根坐标系相对坐标，具体如图2所示。关于该网络$\Phi$的更多架构细节详见附录B。 Vector-Neuron $SE(3)$等变架构。我们设计的$\Phi$具备$SE(3)$等变性：如果输入轨迹发生刚性变换，或者相机坐标系发生变化，预测得到的根坐标系也会相应变换。对于任意作用于观测数据$G \in SE(3)$上的$\mathbf{x}$， $$ G\cdot\Phi(\mathbf{x})=\Phi(G\cdot\mathbf{x}), $$ 其中x包含手部轨迹和可选的重力信息。我们通过Vector Neuron（VN）层[^49]来实现这种映射，这类层能够处理3D向量特征，且天生具备旋转等变性。通过将手部位置以其质心c为中心进行居中处理，即可获得平移等变性。每个时间步的数据由居中的手部位置、手部方向轴以及可选的重力信息编码而成；双边轨迹会通过VN线性层融合，再经VN-Transformer编码器处理，最后进行时间维度上的池化。旋转头通过Gram–Schmidt正交化方法将两个向量输出解码为$^c\mathbf{R}^r \in SO(3)$。对于平移部分，网络会预测一个根坐标系相对的偏移量$\mathbf{v}$，并将其映射回$^c\mathbf{t}^r = {}^c\mathbf{R}^r\mathbf{v} + \mathbf{c}$，这种方式既避免了直接的相机坐标系平移回归问题，又能保持等变性。流匹配估计。我们并未采用确定性回归方法，而是将根坐标系预测建模为流匹配条件生成过程[^50]，对可能的根坐标系$p(c^p \mid \mathbf{x})$进行建模。这种方法能够覆盖不同躯干姿态产生相同手部动作的情况，尤其适用于身体部分不可见的情形。从先验样本($c^R_0, c^q_0$)出发，结合$c^R_0 \sim \mathcal{U}(SO(3))$和$c^q_0 \sim \mathcal{N}(c, 0.5^2 \mathbb{I})$，学习到的流会映射到以$\mathbf{x}$为条件的根坐标系假设上。推理时，通过20步欧拉积分来求解学习到的常微分方程，从而生成样本。 --- ### 4.2 特定机器人模型的训练该网络的训练完全在MuJoCo仿真环境[^51]中进行，无需真实世界的监督数据。针对每台目标机器人，我们都会程序化地生成配对的手部轨迹和真实根坐标系姿态。各手臂的笛卡尔手部轨迹是在操作工作空间内采样的：从带噪声的参考关节配置出发，通过正运动学确定手部锚点；随后以该锚点为导向，通过Ornstein–Uhlenbeck随机游走生成平滑的控制点，再将其转换为关节空间的节点，这一过程采用预热启动的仅位置逆运动学算法，最后用三次样条曲线进行插值。针对每条轨迹，我们会在机器人周围采样一个随机相机姿态，用以将手部轨迹和根坐标系都转换到相机坐标系中。数据增强。为了提升对现实世界中重建错误的鲁棒性，我们引入了跟踪噪声、跟踪跳变、手部遮挡和重力噪声。这些增强方式模拟了有噪声的手部姿态估计、临时追踪器故障、部分或单手观测，以及不准确或缺失的重力估计情况。此外，我们对30%的样本会随机忽略重力信息，以便网络在无法获取重力信息时仍能平稳运行。 ### 4.3 轨迹后处理与机器人重定位根轨迹假设选择。在推理阶段，我们将视频划分为重叠的时间窗口，并从流模型中采样多个根坐标系假设$\{(c\mathbf{R}_k^r, c\mathbf{t}_k^r)\}$。这些假设通过k均值聚类，最终保留一小部分具有代表性的候选结果。由于摄像头或人体都可能存在运动，这些窗口级别的估计会被视为关键帧，再通过线性插值处理平移部分、通过SLERP算法处理旋转部分，从而生成平滑的逐帧根轨迹。随后，每个候选结果都会经过下游逆运动学（IK）模块的评估：将手部姿态转换到时变的根坐标系中，借助热启动和零空间正则化技术逐帧进行追踪。候选结果的评分依据包括IK收敛程度、残余追踪误差、可操纵性、关节极限余量以及平滑度，最终选出最优结果。更多实现细节详见附录B。运动与手部后处理。选定的关节轨迹会经过插值处理以修复失败的IK帧，再应用多次均匀滤波来消除高频抖动。对于灵巧手而言，手指关节会与重建出的MANO手部关键点分开进行重定位，这一过程采用基于几何的、针对特定机器人的映射规则。因此，手臂关节会遵循腕部的IK目标，而手指关节则直接根据手部关键点推导得出。 ## 5 实验与验证我们从四个维度对EGOINFINITY进行评估：交互式数据访问、精选数据集统计、跨本体重定位，以及真实机器人执行与学习。 ### 5.1 基于浏览器的数据服务器与可视化工具我们开发了一款基于浏览器的在线数据服务器，用于搜索、处理、可视化和下载EGOINFINITY生成的4D操作数据。如图3(a)所示，用户可以使用自然语言关键词检索互联网视频库，查看检索到的视频片段，启动在线处理流程，并可视化中间及最终结果，包括MANO手部网格轨迹、6自由度物体轨迹、重建的物体几何形状、点云、3D边界框、深度图、光流以及检测到的抓取事件。该界面使用户能够直接检查输出结果以诊断故障，从而将EGOINFINITY转化为一款交互式数据整理工具。 ### 5.2 精选的Action100M数据集我们从Action100M中筛选出一个可扩展的子集，其中包含106个经过处理的操作视频，这些视频托管在我们的数据服务器上。每个视频都会经过EGOINFINITY的处理，生成可下载的4D输出结果。我们在图4中展示了数据集的统计信息，包括视频时长、物体类别、常见动作动词，以及被操作物体上的逐帧交互状态分布。精选数据集的更多示例详见附录C。 ### 5.3 跨本体运动重定位我们针对三种差异显著的机器人平台评估了动作重定向技术：Unitree G1、NASA的Robonaut2以及双Franka FR3系统。对于每种机器人，重定向器会先估算出特定于该机器人的根节点变换参数，再通过逆运动学计算将恢复出的3D手部动作转化为符合其运动学约束的可执行关节轨迹。我们 --- ![Image](images/2c48f7866d1557cfa065ee8572449aaafe0ff01a81889327d9bc180a286dbcf1.jpg)

Figure 3: EGOINFINITY experiments. (a) Project page visualization (3D viewer, intermediate results, text descriptions, track summaries). (b) 4D HOI reconstructions retargeted to multiple embodiments in simulation and on real robots. (c) Extracted hand trajectories used as priors for downstream policy use, generalizing across objects. (d) Real-robot demons on Cut, Pour, and Wipe.

Robot	IK Rate	Pos. Error	Ori. Error	Int. -Limit Margin	Manipulability	Smoothness
Unitree G1	0.821	2.86 cm	$6.73^{\circ}$	0.619 rad	0.012	0.00693
Robonaut2	0.774	6.67 cm	$8.25^{\circ}$	0.134 rad	0.058	0.00343
Dual-Franka	0.706	10.27 cm	$12.17^{\circ}$	0.572 rad	0.080	0.00582

Table 2: IK Rate: per-frame IK success rate. Pos./Ori. Error: mean hand position ( $\ell_2$, cm) and orientation (geodesic, $^{\circ}$) error between IK target and achieved pose. Jnt.-Limit Margin: mean minimum joint clearance (rad). Manipulability: mean manipulability index $\sqrt{\det(JJ^{\top})}$. Smoothness: mean squared joint velocity $\dot{q}$.

在表2中报告了数据集层面的统计结果，包括逆运动学求解成功率、手部姿态跟踪残差误差、关节极限余量、可操作度以及轨迹平滑度。图3(b)展示了在仿真环境中跨多种机器人平台重定向的动作示例，以及在实际机器人上的部署情况；更多重定向示例详见附录C。 ### 5.4 实际机器人上的动作重定向与技能学习我们进一步验证了EGOINFINITY生成的动作是否支持实际机器人上的学习与执行。首先，我们将提取出的手部动作作为先验知识，用于在真实的LEAP灵巧手上训练抓取策略，从而实现对各类物体的抓取（见图3(c)）。其次，我们直接将提取出的动作重定向到真实的双臂Franka FR3系统上，成功实现了切割、倾倒和擦拭等技能的功能性执行（见图3(d)）。这些结果验证了从视频到动作的完整流程 --- ![Image](images/5a33e8cf4af695b6bd72d6ff618a81224eb750b223bb145146a0cd4950ff9857.jpg) ![Image](images/d0dd47a6bd42dee0e5544e8a1a06b9da785fe9b87134672d1646b8af8bd483bc.jpg) ![Image](images/8ce16a8cb8c1c70e484787e2c3cd3519ae90b12a40664f9f7668f9cba4d63200.jpg) ![Image](images/600ea3260a9cf26035f501733c2129a182bf5e6cf475f4f324045bb920f4aa60.jpg)

Figure 4: Statistics of the curated Action100M subset. (a) Clip durations. (b) Object category mix. (c) Top action verbs. (d) Per-frame state distribution averaged across manipulated objects (d). 88% of clips and 47% of objects are manipulated, with balanced use of left, right, and bimanual grasps.

pipeline, from in-the-wild RGB videos to 4D manipulation data, robot-specific retargeting, downstream policy use, and real-world execution. Additional real-robot examples are provided in Appendix C.

## 6 结论我们提出了EGOINFINITY——一款通用的4D操控数据引擎，它无需动捕设备、深度传感器、CAD模型、可穿戴设备或人工标注的物体信息，就能将纯RGB互联网视频转化为与机器人无关的、可供机器人使用的手-物表征。EGOINFINITY优先关注度量级3D几何结构、6自由度物体状态以及交互感知的精细化处理，而非2D伪动作，从而提升了从人类视频中提取数据的物理真实性。借助无需额外设备的非脚本化互联网视频，EGOINFINITY还能捕捉到在精心设计的实验室数据集中难以复现的多样化操控行为、教学演示以及自然的多模态语境。结合功能性的跨机器人平台动作重定向技术，EGOINFINITY为将网络规模的人类视频转化为可执行的机器人行为提供了可扩展的基础设施，助力机器人学习、多模态语义对齐以及人机交互领域的未来研究。 ## 7 局限性 EGOINFINITY目前仅适用于摄像头相对固定的视频，无法处理佩戴在身上或手持拍摄的视频。这一设定既简化了网络规模视频的处理流程，也避免了在线SLAM运算，但限制了数据来源的多样性；随着具备SLAM感知能力的深度模型逐渐成熟，我们的模块化架构便可集成更强大的几何处理模块来放宽这一限制。EGOINFINITY也无法实现精确的手-物物理对齐：其交互感知的精细化处理只能提供粗略的抓取检测结果，并能建立手部与物体轨迹的空间关联，但无法保证接触级别的精度，比如指尖的精准位置、受力一致性或无滑动约束等。此外，EGOINFINITY不提供触觉观测数据，而这类数据对于细粒度的接触推理至关重要，相关研究已在专门的触觉数据集中展开 [^52]。最后，动作重定向器是针对特定机器人设计的，若更换新的机器人型号，可能需要重新训练或校准；该技术侧重于功能性动作迁移而非细粒度的运动学模仿，因此对于需要精确手部姿态、精准接触时机、触觉反馈或高度灵巧操控的任务而言可能并不适用。 ## 参考文献 [^1]: R. Hoque, P. Huang, D. J. Yoon, M. Sivapurapu, and J. Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025. [^2]: P. Banerjee, S. Shkodrani, P. Moulon, S. Hampali, S. Han, F. Zhang, L. Zhang, J. Fountain, E. Miller, S. Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7061–7071, 2025. [^3]: X. Zhan, L. Yang, Y. Zhao, K. Mao, H. Xu, Z. Lin, K. Li, and C. Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 445–456, 2024. ## [^4]: D. Chen, T. Kasarla, Y. Bang, M. Shukor, W. Chung, J. Yu, A. Bolourchi, T. Moutakanni, and P. Fung. Action100m: A large-scale video action dataset. arXiv preprint arXiv:2601.10592, 2026 --- [^5]: J. Ma, E. Zhang, H. Yang, D. Li, C. Xu, G. Wang, and H. Wang. Robot learning from human videos: A survey. arXiv preprint arXiv:2604.27621, 2026. [^6]: H. Bharadhwaj, R. Mottaghi, A. Gupta, and S. Tulsiani. Track2act: Predicting point tracks from internet videos enables generalizable robot manipulation. In European Conference on Computer Vision, pages 306–324. Springer, 2024. [^7]: C. Wen, X. Lin, J. So, K. Chen, Q. Dou, Y. Gao, and P. Abbeel. Any-point trajectory modeling for policy learning. arXiv preprint arXiv:2401.00025, 2023. [^8]: S. Bahl, R. Mendonca, L. Chen, U. Jain, and D. Pathak. Affordances from human videos as a versatile representation for robotics. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13778–13790, 2023. [^9]: S. Ye, J. Jang, B. Jeon, S. J. Joo, J. Yang, B. Peng, A. Mandlekar, R. Tan, Y.-W. Chao, B. Y. Lin, et al. Latent action pretraining from videos. In International Conference on Learning Representations, volume 2025, pages 28213–28239, 2025. [^10]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 18995–19012, 2022. [^11]: H. Luo, Y. Wang, W. Zhang, H. Yuan, Y. Feng, H. Xu, S. Zheng, and Z. Lu. Joint-aligned latent action: Towards scalable vla pretraining in the wild. arXiv preprint arXiv:2602.21736, 2026. [^12]: A. O'Neill, A. Rehman, A. Maddukuri, A. Gupta, A. Padalkar, A. Lee, A. Pooley, A. Gupta, A. Mandlekar, A. Jain, et al. Open x-embodiment: Robotic learning datasets and rt-x models: Open x-embodiment collaboration 0. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 6892–6903. IEEE, 2024. [^13]: A. Khazatsky, K. Pertsch, S. Nair, A. Balakrishna, S. Dasari, S. Karamcheti, S. Nasiriany, M. K. Srirami, L. Y. Chen, K. Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024. [^14]: G. Chen, M. Wang, T. Cui, Y. Mu, H. Lu, T. Zhou, Z. Peng, M. Hu, H. Li, L. Yuan, et al. Vlmimic: Vision language models are visual imitation learner for fine-grained actions. Advances in Neural Information Processing Systems, 37:77860–77887, 2024. [^15]: V. Jain, M. Attarian, N. J. Joshi, A. Wahid, D. Driess, Q. Vuong, P. R. Sanketi, P. Sermanet, S. Welker, C. Chan, et al. Vid2robot: End-to-end video-conditioned policy learning with cross-attention transformers. arXiv preprint arXiv:2403.12943, 2024. [^16]: N. Wake, A. Kanehira, K. Sasabuchi, J. Takamatsu, and K. Ikeuchi. Gpt-4v (ision) for robotics: Multimodal task planning from human demonstration. IEEE Robotics and Automation Letters, 9(11):10567–10574, 2024. [^17]: M. Lepert, J. Fang, and J. Bohg. Phantom: Training robots without robots using only human videos. arXiv preprint arXiv:2503.00779, 2025. [^18]: G. Li, Y. Lyu, Z. Liu, C. Hou, J. Zhang, and S. Zhang. H2r: A human-to-robot data augmentation for robot pre-training from videos. arXiv preprint arXiv:2505.11920, 2025. [^19]: M. Lepert, J. Fang, and J. Bohg. Masquerade: Learning from in-the-wild human videos using data-editing. arXiv preprint arXiv:2508.09976, 2025. [^20]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, and A. Gupta. R3m: A universal visual representation for robot manipulation. arXiv preprint arXiv:2203.12601, 2022. ## [^21]: Y. J. Ma, S. Sodhani, D. Jayaraman, O. Bastani, V. Kumar, and A. Zhang. Vip: Towards universal visual reward and representation via value-implicit pre-training. arXiv preprint arXiv:2210.00030, 2022 --- [^22]: I. Radosavovic, T. Xiao, S. James, P. Abbeel, J. Malik, and T. Darrell. Real-world robot learning with masked visual pre-training. In Conference on Robot Learning, pages 416–426. PMLR, 2023. [^23]: C.-L. Cheang, G. Chen, Y. Jing, T. Kong, H. Li, Y. Li, Y. Liu, H. Wu, J. Xu, Y. Yang, et al. Gr-2: A generative video-language-action model with web-scale knowledge for robot manipulation. arXiv preprint arXiv:2410.06158, 2024. [^24]: X. Chen, H. Wei, P. Zhang, C. Zhang, K. Wang, Y. Guo, R. Yang, Y. Wang, X. Xiao, L. Zhao, et al. Villa-x: enhancing latent action modeling in vision-language-action models. arXiv preprint arXiv:2507.23682, 2025. [^25]: M. K. Govind, D. Reilly, P. Wang, and S. Das. Unilact: Depth-aware rgb latent action learning for vision-language-action models. arXiv preprint arXiv:2602.20231, 2026. [^26]: R. A. Potamias, J. Zhang, J. Deng, and S. Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025. [^27]: R. Wang, S. Xu, Y. Dong, Y. Deng, J. Xiang, Z. Lv, G. Sun, X. Tong, and J. Yang. Moge-2: Accurate monocular geometry with metric scale and sharp details. Advances in Neural Information Processing Systems, 38:35928–35959, 2026. [^28]: Z. Cong, Q. Zhao, M. Jeon, and S. Tulsiani. Flow3r: Factored flow prediction for scalable visual geometry learning. arXiv preprint arXiv:2602.20157, 2026. [^29]: N. Ravi, V. Gabeur, Y.-T. Hu, R. Hu, C. Ryali, T. Ma, H. Khedr, R. Rädle, C. Rolland, L. Gustafson, et al. Sam 2: Segment anything in images and videos. In International Conference on Learning Representations, volume 2025, pages 28085–28128, 2025. [^30]: N. Carion, L. Gustafson, Y.-T. Hu, S. Debnath, R. Hu, D. Suris, C. Ryali, K. V. Alwala, H. Khedr, A. Huang, et al. Sam 3: Segment anything with concepts. arXiv preprint arXiv:2511.16719, 2025. [^31]: S. D. Team, X. Chen, F.-J. Chu, P. Gleize, K. J. Liang, A. Sax, H. Tang, W. Wang, M. Guo, T. Hardin, X. Li, A. Lin, J. Liu, Z. Ma, A. Sagar, B. Song, X. Wang, J. Yang, B. Zhang, P. Dollár, G. Gkioxari, M. Feiszli, and J. Malik. Sam 3d: 3dfy anything in images. 2025. URL . [^32]: V. Bargatin, E. Chistov, A. Yakovenko, and D. Vatolin. Memfof: High-resolution training for memory-efficient multi-frame optical flow estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8187–8196, 2025. [^33]: A. Veicht, P.-E. Sarlin, P. Lindenberger, and M. Pollefeys. Geocalib: Learning single-image calibration with geometric optimization. In European Conference on Computer Vision, pages 1–20. Springer, 2024. [^34]: J. Zhang, J. Deng, C. Ma, and R. A. Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1805–1815, 2025. [^35]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. [^36]: B. Wen, W. Yang, J. Kautz, and S. Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 17868–17879, 2024. [^37]: Y. Ye, J. Li, R. Rong, and C. K. Liu. Whole: World-grounded hand-object lifted from egocentric videos. arXiv preprint arXiv:2602.22209, 2026. ### [^38]: H. Fu, W. Wang, X. Qiao, R. A. Potamias, T. Komura, S. Yang, Z. Liu, and B. Zhao. Egograsp: World-space hand-object interaction estimation from egocentric videos. arXiv preprint arXiv:2601.01050, 2026 --- [^39]: J. Shin, J. Lee, J. Lee, I. Bae, D. Lee, H. Im, Y. Lee, and H.-G. Jeon. Compose: When to trust hands for object pose tracking. arXiv preprint arXiv:2605.23523, 2026. [^40]: K. Li, P. Li, T. Liu, Y. Li, and S. Huang. Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6991–7003, 2025. [^41]: Z. Chen, S. Chen, E. Arlaud, I. Laptev, and C. Schmid. Vividex: Learning vision-based dexterous manipulation from human videos. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 3336–3343. IEEE, 2025. [^42]: S. Kareer, D. Patel, R. Punamiya, P. Mathur, S. Cheng, C. Wang, J. Hoffman, and D. Xu. Egomimic: Scaling imitation learning via egocentric video. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 13226–13233. IEEE, 2025. [^43]: S. Park, H. Bharadhwaj, and S. Tulsiani. Demodiffusion: One-shot human imitation using pre-trained diffusion policy. arXiv preprint arXiv:2506.20668, 2025. [^44]: R.-Z. Qiu, S. Yang, X. Cheng, C. Chawla, J. Li, T. He, G. Yan, D. J. Yoon, R. Hoque, L. Paulsen, et al. Humanoid policy~human policy. arXiv preprint arXiv:2503.13441, 2025. [^45]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), Nov. 2017. [^46]: W. Yan and J. Chu. FoundationPose++, Mar. 2025. URL . [^47]: H. Li, I. Zhang, R. Ouyang, X. Wang, Z. Zhu, Z. Yang, Z. Zhang, B. Wang, C. Ni, W. Qin, et al. Mimicdreamer: Aligning human and robot demonstrations for scalable vla training. arXiv preprint arXiv:2509.22199, 2025. [^48]: H. Ci, X. Liu, P. Yang, Y. Song, and M. Z. Shou. H2r-grounder: A paired-data-free paradigm for translating human interaction videos into physically grounded robot videos. arXiv preprint arXiv:2512.09406, 2025. [^49]: C. Deng, O. Litany, Y. Duan, A. Poulenard, A. Tagliasacchi, and L. J. Guibas. Vector neurons: A general framework for so (3)-equivariant networks. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12200–12209, 2021. [^50]: Y. Lipman, R. T. Chen, H. Ben-Hamu, M. Nickel, and M. Le. Flow matching for generative modeling. arXiv preprint arXiv:2210.02747, 2022. [^51]: E. Todorov, T. Erez, and Y. Tassa. Mujoco: A physics engine for model-based control. In 2012 IEEE/RSJ international conference on intelligent robots and systems, pages 5026–5033. IEEE, 2012. ### [^52]: J. Zhou, Z. Gao, F. Hong, Z. Liu, G. Zhang, W. Dai, R. Zhen, C. Lyu, H. Wu, Y. Mao, et al. Touchanything: A dataset and framework for bimanual tactile estimation from egocentric video. arXiv preprint arXiv:2605.13083, 2026 --- ### 附录：实现细节与数据说明这份补充材料分为三个部分。A节详细介绍了第3节中的数据引擎，包括赋予EGOINFINITY名称的以自我为中心的视图合成技术、完整的交互状态定义、刚性手部绑定机制、鲁棒统计原语、现成的感知模块配置、我们的坐标约定、对不合理检测结果的合理性过滤，以及所有（非学习型）阈值的汇总表。B节涵盖了第4节中的跨本体重定向器相关内容，包括其网络架构、训练设置和滑动窗口推理机制。C节提供了额外的定性结果，从精心挑选的以自我为中心的重建图像和交互式浏览器，到完整的视频转机器人流程，再到后续的抓取策略。 ### A 数据引擎实现细节本附录对第3节中的数据引擎进行了扩展说明。它详细阐述了EGOINFINITY名称背后的以自我为中心的视图合成技术、支撑第3.3节中三方描述的基础——完整交互状态定义、依赖状态的姿态源、刚性手部绑定机制、在整个系统中重复使用的鲁棒统计原语、现成感知模块的配置、我们的坐标约定，以及所有（非学习型）阈值的汇总表。 ### A.1 以自我为中心的视图合成 EGOINFINITY的一项核心能力是将任意视角的源视频转化为一致的以自我为中心的观测结果，这也正是其名称的由来。第3.4节中提到的外部视角到自我视角的转换，实际上是对恢复出的3D场景进行刚性重构，而非2D生成式翻译。由于所有手部和物体的几何信息早已存在于A.7节所述的度量相机世界坐标系中，因此只需从合成的自我相机位置重新渲染，就能得到以自我为中心的视图：对于每一帧，我们会在手部生成的锚点（双手中点）上方固定偏移处放置一个虚拟相机，将其上轴设置为GeoCalib重力矢量$^c$g，并使其指向手-物体交互区域，同时逐帧跟随该锚点移动。这种重构过程本质上就是将对重构点应用自我外部参数$^c$p $_t$，从而精确保留度量几何关系和接触状态。这种以交互为中心的位置设定并非旨在还原真实的头部视角，而是经过刻意设计的。与原始的外部视角帧相比，这种方式能让交互内容始终居中、靠近镜头且视角一致；相较于假设恢复出的头部轨迹，它能避免真实头部因转头或遮挡而产生的无效帧，将这些帧保留为可用的以自我为中心的观测结果，从而提高每个视频片段中可用帧的数量。需要强调的是，这只是确定性的功能近似，无法还原真实的头部姿态（这与第7节中的部分观测设定相符），也体现了我们的重定向器所遵循的“功能优先于精确性”原则（见第4节）。将任意视角统一为一致的以自我为中心的观测结果，且能在大规模数据集上实现，这正是EGOINFINITY的运行本质。图5展示了这种合成以自我为中心视角下的重建示例（详见C.1节讨论）。 ### A.2 完整交互状态定义第3.3节将每个物体帧划分为三种状态$s_t \in \{\text{STATIC}, \text{GRASPED}, \text{MOVING}\}$，这些状态足以描述细化逻辑。在引擎内部，我们使用更细致的六种状态标签来区分固定场景中的物体与暂时静止的物体，并确定哪只手与之接触： $$ \sigma_{t}\in\Sigma=\{\mathrm{S T A T I C\_{G} L O B A L,~S T A T I C,~G R A S P E D\_{L},~G R A S P E D\_{R},~G R A S P E D\_{B} O T H,~M O V I N G}\}. $$ 这些状态与主文本中的状态对应关系为：{STATIC_GLOBAL, STATIC} → STATIC，{GRASPED_L, GRASPED_R, GRASPED_BOTH} → GRASPED，MOVING → MOVING。全局静态门控。设 $\mathbf{c}_t \in \mathbb{R}^2$ 为图像坐标下的物体掩码质心，$\Delta_{[10,90]} = \|\mathbf{p}_{90}(\mathbf{c}) - \mathbf{p}_{10}(\mathbf{c})\|_2$ 为其裁剪区域内的百分位数跨度。若满足 $\Delta_{[10,90]} \leq 0.02 \cdot \min(H, W)$，则该物体在整个裁剪区域内被标记为 STATIC_GLOBAL。这种短路处理方式能够高效地处理固定物体（如炉灶、砧板、盘子），并避免对真正静止的物体产生每帧的运动噪声。每帧运动门控。对于非全局静态物体，我们计算其质心位移 $d_t = \|\mathbf{c}_t - \mathbf{c}_{t-1}\|_2$，并将其输入施密特触发器（见第 A.5 节），设定阈值为 $d_{\text{lo}}, d_{\text{hi}}) = (2, 4)$ 像素，从而生成具有迟滞稳定性的二进制运动信号 $m_t$，该信号不会在阈值附近频繁跳变。 --- ![Image](images/66e720d53fba0a9b6132c4520c2d51e52f39ec0c347d11d08559beb4941be639.jpg)

Figure 5: Curated Action100M reconstructions in synthesized egocentric view. Each pair shows the original exocentric source frame (left) and the corresponding egocentric re-rendering (right) with recovered hand meshes, object meshes and point clouds, and 6-DoF poses, produced by the gravity-aligned interaction-following camera described above. The source clips share no common capture viewpoint, yet all are reframed into a consistent egocentric observation.

单手抓取信号。对于每只手 $h \in \{L, R\}$，我们将三个二进制接触指示符按可靠性顺序合并为 $g_h^{(t)}$：(i) 二维掩码重叠（主要依据）：MANO 手部掩码与物体掩码的重叠面积至少为 30 像素；(ii) 三维指尖接近度（备用依据）：某个指尖关节距离物体点云的背投影 $\mathcal{P}_t^o$ 在 6 厘米以内；(iii) 三维手腕接近度（备用依据）：手腕关节距离 $\mathcal{P}_t^o$ 在 5 厘米以内。二维重叠是主要依据，因为它不受单目深度噪声的影响，也不会因手部完全包裹物体而导致三维点云丢失；三维备用依据则用于补充那些 WILOR 输出网格不完整的帧。 --- 时间平滑处理。每个单手信号均通过第 A.5 节所述的形态学闭运算与丢弃操作进行滤波：长度小于 $\leq$ 30 帧（即 15 fps 下 $\sim$ 2 秒）的内部间隙会被填补（用于处理动作中途的短暂手指抬起情况），而长度不足 8 帧（$\sim$ 0.5 秒）的信号则会被移除。最终得到的平滑后单手信号记为 $\hat{g}_{h}^{(t)}$，它将作为下文分层分配的依据。状态合成。借助上述门控机制，标签会按照层级关系进行分配（见图 6a）。 $$ \sigma_{t}=\left\{\begin{aligned}{}&{{}{S T A T I C\_{G} L O B A L}}&{}&{{}{g l o b a l l y~s t a t i c}}\\ {}&{{}{G R A S P E D\_{B} O T H}}&{}&{{}{e l s e~i f~}\hat{g}_{L}^{(t)}\wedge\hat{g}_{R}^{(t)}}\\ {}&{{}{G R A S P E D\_{L}}}&{}&{{}{e l s e~i f~}\hat{g}_{L}^{(t)}}\\ {}&{{}{G R A S P E D\_{R}}}&{}&{{}{e l s e~i f~}\hat{g}_{R}^{(t)}}\\ {}&{{}{M O V I N G}}&{}&{{}{e l s e~i f~}m_{t}}\\ {}&{{}{S T A T I C}}&{}&{{}{o t h e r w i s e.}}\\ \end{aligned}\right. $$ 主导手确定。对于 GRASPED_BOTH 帧，为了执行刚性绑定（见第 A.4 节），需将其简化为单一主导手，这一过程采用两级策略。第一级利用裁剪区域内明确的单手帧的多数结果（一侧有明确帧而另一侧没有，或非 BOTH 帧中占比 5:1 的多数）；整个裁剪区域将据此确定为该手。第二级仅在没有明确单手帧时使用：计算每帧中每只手的指尖到点云的最小距离，并取裁剪区域内的多数结果；选择指尖最小距离而非手腕接近度，是因为前者对工具过长导致质心远离握持点的情形更具鲁棒性。 ### A.3 依赖状态的姿态源每帧姿态 ${}^{c}\mathbf{p}_{t}^{o}={}^{c}\mathbf{R}_{t}^{o},{}^{c}\mathbf{t}_{t}^{o}$ 可分解为平移和旋转两部分，每一部分均由取决于 $\sigma_{t}$ 的不同信号驱动（见表 3）。核心设计思路是让交互状态决定哪种几何信号足够可靠，从而驱动相应的自由度，而非依赖单一的状态无关估计器。

State	Translation $^{c}\hat{\mathbf{t}}_{t}^{o}$	Rotation $^{c}\hat{\mathbf{R}}_{t}^{o}$
STATIC_GLOBAL	med $_{t}$ $c_{t}^{pca}$ (whole clip)	$\mathbf{R}^{cano}$ (SAM-3D)
STATIC	med $_{t \in S}$ $c_{t}^{pca}$ (per stretch)	$\mathbf{R}^{cano}$ (SAM-3D)
MOVING	mask-bbox-center back-projection (smoothed)	per-frame PCA, sign-corrected
GRASPED_*	$^{c}\mathbf{R}_{t}^{h}$ $t_{canon} + c^{t}t_{h}^{h}$	$^{c}\mathbf{R}_{t}^{h}$ $t_{canon}$

1able 3: State-dependent pose sources. $c_{t}^{ra}$ is the robust point-cloud centroid (defined below, using the MAD filter of Sec. A.5); the GRASPED rows are the rigid hand bind of Sec. A.4.

鲁棒的静态质心。两类静态物体均通过背投影掩码点云的鲁棒质心来确定平移位置 $\mathcal{P}_t^o$：经过 MAD 异常值过滤（见第 A.5 节）后，我们取内点均值 $\mathbf{c}_t^{\text{pca}}$。将网格锁定在此质心处（而非原始点均值或边界框中心，前者易受密度偏差影响，后者对异常值敏感），可确保每张静态帧中建模网格与其渲染后的边界框完全重合。移动翻译。对于移动帧，我们使用背投影中侵蚀掩膜边界框的中心点 (min + max)/2，并沿轨迹进行高斯平滑处理（$\sigma = 2$ 帧）。移动帧较为罕见且短暂（抓取/放置操作），因此此处的残差误差对后续流程的影响有限。逐段深度重对齐。手–物体边界处的边缘模糊在被抓取物体与手之间留下一个小的（1–10 cm）系统性深度偏移。在每个抓取段内，我们通过将位姿化后的物体网格与接触区域内手部顶点的表面进行匹配来估计 z 校正量：对于每一帧，我们取最近的 $K=20$ 对（手部顶点、网格点）配对；若最近的一对超过 20 cm 则剔除该帧（残余抓取假阳性），然后计算 $\Delta z_t = \overline{z_{\text{hand}}} - \overline{z_{\text{mesh}}}$。Savitzky–Golay 滤波器（窗口 7，阶数 2）对段内的 $\Delta z$ 进行平滑，校正量上限为 $\pm 0.1$ m，并将其联合应用于网格平移、缓存的物体点和包围盒，使所有表面保持一致。使用集成网格（规范化尺度 + 鲁棒质心）作为深度参考，而非噪声较大的逐帧观测，从而锚定一个稳定的接触平面。 --- ![Image](images/e1b08cc161af576ec05ecec78f3f1092d773ab3c44b43c1e9bca3c951210c288.jpg)

(a) Interaction-state classifier and dominant-hand resolution (Sec. A.2): the global-static gate, the per-frame motion gate (Schmitt), the per-hand grasp signal (2D overlap with 3D fallbacks) and its morphological smoothing, the hierarchical assignment into the six states $\Sigma$, and the two-tier resolution branching off GRASPED_BOTH.

(b) Hand body frame and chirality-aware grasp placement (Sec. A.4): the palm-landmark construction of $(^{c}\mathbf{R}_{t}^{h}, ^{c}\mathbf{t}_{t}^{h})$ from $\mathbf{j}_{0}, \mathbf{j}_{5}, \mathbf{j}_{17}$ with +y out of the palm (left), and a mesh-thickness extreme seated on the y=0 palm surface with the chirality flip (right).

Figure 6: Geometry of the data engine: the per-object interaction-state classifier (a) and the rigid hand bind used for GRASPED segments (b).

### A.4 刚性手部绑定本节详细阐述了第3.3节中关于抓取段的$^c\hat{\mathbf{p}}_t^o = ^c\mathbf{p}_t^h \cdot \mathbf{T}^{\text{cano}}$规则，其中$\mathbf{T}^{\text{cano}} = (\mathbf{R}_{\text{canon}}, \mathbf{t}_{\text{canon}})$是在一个抓取段内累积得到的恒定手部相对变换。需注意，尽管名称相似，它与SAM-3D物体朝向$\mathbf{R}^{\text{cano}}$（见A.7节）并不相同。手部本体坐标系。如图6b所示，对于每个仅存在一只主要手部的帧，我们会根据三个手掌标志点（腕部$c_{\mathbf{p}_t^h} = (c\mathbf{R}_t^h, c\mathbf{t}_t^h)$、食指掌指关节$\mathbf{j}_0$、小指掌指关节$\mathbf{j}_5$）构建一个不受关节活动影响的SE(3)手部坐标系$\mathbf{j}_{17}$： $$ \mathbf{x}=\frac{\mathbf{j}_{5}-\mathbf{j}_{0}}{\|\mathbf{j}_{5}-\mathbf{j}_{0}\|},\quad\mathbf{v}=(\mathbf{j}_{17}-\mathbf{j}_{0})-\big((\mathbf{j}_{17}-\mathbf{j}_{0})^{\top}\mathbf{x}\big)\mathbf{x},\quad\mathbf{y}=\frac{\mathbf{x}\times\mathbf{v}}{\|\mathbf{x}\times\mathbf{v}\|},\quad\mathbf{z}=\mathbf{x}\times\mathbf{y}, $$ 其中$^{c}\mathbf{R}_{t}^{n}=[\mathbf{x}\,\mathbf{y}\,\mathbf{z}]\,\text{and}\,^{c}\mathbf{t}_{t}^{n}=\mathbf{j}_{0}$。该坐标系仅取决于手掌，与手指弯曲程度无关。对于右手而言，叉积构造遵循右手定则；由此得到的$+y$轴在右手情况下指向手掌外侧，在左手情况下则指向手掌内侧，下方的放置逻辑会专门处理这种手性差异。 --- 逐段规范姿态。抓取段是指共享同一GRASPED_*状态和同一主要手部的最大连续帧序列；抓取过程中手部的更换会导致该段被拆分。根据预处理前的观测姿态计算出逐帧相对姿态$\mathbf{T}_t^{\text{rel}} = (^c\mathbf{p}_t^h)^{-1}c\mathbf{p}_t^o$（旋转$\mathbf{R}_t^{\text{rel}} = (^c\mathbf{R}_t^h)^{-1}c\mathbf{R}_t^o$、平移$\mathbf{t}_t^{\text{rel}} = (^c\mathbf{R}_t^h)^T (^c\mathbf{t}_t^o - c\mathbf{t}_t^h)$），我们可汇总得到一个恒定的规范姿态：$\mathbf{R}_{\text{canon}}$是基于$SO(3)$上的$\{\mathbf{R}_t^{\text{rel}}\}$的弦均值（见A.5节），计算时会排除与稳健初始值（段中间帧）偏差超过$30^\circ$的旋转；$\mathbf{t}_{\text{canon}}$则是$\{\mathbf{t}_t^{\text{rel}}\}$经各轴MAD滤波后的中位数；此平移值为临时值，会被下方的几何放置结果取代，而$\mathbf{R}_{\text{canon}}$为最终值。该姿态会以$^c\hat{\mathbf{p}}_t^o = ^c\mathbf{p}_t^h$ $\mathbf{T}_{\text{canon}}$的形式传播至$t \in \mathcal{S}$，从结构上确保物体与手部刚性绑定（相对运动为零）。几何放置。由于被抓取物体的可见部分在握持端附近呈不对称分布，因此基于观测得到的$\mathbf{t}_{\mathrm{canon}}$会产生偏差。我们用基于网格和手掌解剖结构的几何放置方式来替代它。设$\mathbf{p}' = \mathbf{R}_{\mathrm{canon}}\mathbf{p}_i$为手坐标系中的网格点，其质心为$\overrightarrow{\mathbf{p}}'$；设$\overrightarrow{\mathbf{q}}_{\mathrm{palm}}$为五个手掌标志点的质心，即$\{\mathbf{j}_0, \mathbf{j}_5, \mathbf{j}_9, \mathbf{j}_{13}, \mathbf{j}_{17}\}$。平面内的分量用于对齐这两个质心$\mathbf{t}_{\mathrm{canon}}^{(x,z)} = \overrightarrow{\mathbf{q}}_{\mathrm{palm}}^{(x,z)} - \overrightarrow{\mathbf{p}}''(x,z)$，而平面外的分量则将网格厚度极值处贴合到手掌表面（$y = 0$）：对于右手而言为$\mathbf{t}_{\mathrm{canon}}^{(y)} = -\min_i \mathbf{p}_i''^{(y)}$，左手则为$-\max_i \mathbf{p}_i''^{(y)}$（由于从身体坐标系构建时存在左右手对称性差异）。最终效果就是让物体朝向手掌的一面紧贴手掌，双手均适用。边界平滑处理。当相邻段落采用不同的标准姿态（如换手或重新抓取）时，我们通过在5帧的过渡区间内对旋转采用SLERP插值、对平移采用线性插值的方法，来消除这种不连续性。该方法既适用于两个抓取段落之间，也适用于抓取段与相邻的非抓取段之间。 ### A.5 鲁棒统计原语细化过程会复用一小套鲁棒运算符。 MAD异常值过滤器。对于数据点$\{\mathbf{p}_i\}$，其中位数为$\mathbf{m}$，残差为$d_i = \|\mathbf{p}_i - \mathbf{m}\|_2$、$\tilde{d} = \text{med}(d_i)$，MAD值为$\text{med}(|d_i - \tilde{d}|)$；满足$d_i \leq \tilde{d} + 3 \cdot 1.4826 \cdot \text{MAD}$的点被视为内点。常数1.4826使得MAD在数据服从正态分布时能作为标准差的一致估计量。按轴处理的变体则对每个坐标独立应用相同测试，仅保留所有轴上均为内点的数据点。基于$SO(3)$的弦均值计算。对于内点旋转量$\{\mathbf{R}^{(k)}\}$、$\bar{\mathbf{R}} = \text{Proj}_{SO(3)}\left(\frac{1}{K} \sum_{k} \mathbf{R}^{(k)}\right)$，投影过程采用SVD Procrustes映射：其中$M = U \Sigma V^\top$、$\bar{\mathbf{R}} = U \text{diag}(1, 1, \det(UV^\top)) V^\top$。施密特触发器滞回。对于信号 $x_t$ 和阈值 $(x_{\text{lo}}, x_{\text{hi}})$，当 $x_t > x_{\text{hi}}$ 时二值状态开启，当 $x_t < x_{\text{lo}}$ 时关闭，从而防止在单一阈值附近出现抖动。形态学闭运算与删除操作。对于一个包含桥接区域B和最小连续长度L的二进制序列：所有长度为$\leq B$且两侧为1的0连续段会被填充为1；随后所有长度为$< L$的1连续段会被删除；位于边缘的连续段不会被桥接。 ## A.6 感知模块配置第3.2节中使用的现成模块配置如下。MOGE-2（ViT-L，fp16）会生成每帧的度量深度图$D_t$以及拟合后的焦距，这些数据无需进行时间聚合即可直接使用。FLOW3R则提供用于反向投影的密集深度图；每帧深度会与静态背景模板（对经流分类后的背景像素取逐像素中位数）进行时间对齐，动态遮罩区域除外。GEOCALIB会在三个等间距的帧上运行，以恢复重力矢量$^c$g。手部重建过程首先使用YOLO检测器来识别手部框及手性，接着利用WILOR（DINOv2-L骨干网络，fp16）生成每个检测结果的MANO网格（21个关节，778个顶点），并通过指尖投影与$D_t$的多尺度对齐，将MANO根节点的平移量转换为度量单位；通过片段级别的手性投票可消除标签翻转现象，一个拥有3500万个参数的$\sim$运动填充器用于填补缺失的帧，生物力学中的摆动-扭转限制会约束手指关节的活动范围，而萨维茨基-戈莱滤波器（窗口大小为9，阶数为3，在四元数空间中运算）则用于消除抖动。MEMFOF（fp16）提供每帧的密集光流数据，仅用于为上述FLOW3R深度模板区分静态背景像素与动态像素；物体姿态本身由几何信息驱动，无需依赖光流数据。 --- 针对每个物体，在其最清晰且无遮挡的帧上运行一次SAM-3D，即可获得其规范网格$\mathcal{M}^{o}$、规范方向以及规范度量尺度。 ### A.7 坐标约定所有几何数据均位于OpenCV相机-世界坐标系下（右手系，+x轴向右，+y轴向下，+z轴指向场景内部），该坐标系以静态相机为中心；焦距由MOGE-2提供，因此无需额外校准。SAM-3D返回的规范方向为PyTorch3D的四元数q（行形式）；我们将其转换为正文中所用的左乘列形式旋转矩阵$\mathbf{R}^{\text{cano}}$，转换方式如下： $$ \mathbf{R}^{\mathrm{c a n o}}=F\mathbf{R}_{q}^{\top},\qquad F=\mathrm{d i a g}(-1,-1,+1), $$ 其中$\mathbf{R}_q$是q对应的矩阵，F负责将PyTorch3D的相机约定转换为OpenCV的约定。物体规范点$\mathbf{p}_c$映射到相机坐标系下的坐标为$c\mathbf{p}_t = c\mathbf{R}_t^o(s_o\mathbf{p}_c) + c\mathbf{t}_t^o$，其规范尺度为$s_o$。 ### A.8 合理性过滤第 3.3 节末尾提到的健全性检查是两个自动化测试。尺度健全性检查：SAM-3D 的单目尺度 $s_o$ 偶尔偏差 $2-5\times$；若缩放后网格范围超过 $1.8\times$，则掩码所暗示的尺寸 $s^{\text{mask}} = \max(W_{\text{mask}}, H_{\text{mask}})$。$\bar{D}/f$，我们用掩码所暗示的尺度覆盖 $s_o$。误标检测：3D 质心距所有手部活动均超过 0.5 m 且 2D 质心在整个片段中移动小于 10 px 的物体会被标记为背景误匹配；被标记的物体将被淡化而非删除，以便下游使用者可以选择保留或丢弃它们。 ### A.9 Action100M注释字段与整合参数语义提示词。用于驱动SAM-3检测的文本提示词（见第3.2节）直接取自Action100M的层次化注释，处理时无需额外的视觉语言模型。我们使用简短及详细的行为描述以及每个片段的标题；物体名词从这些字段中提取（例如，标注为“切番茄”的片段会生成提示词“番茄”），输出轨迹上的语言锚定也会沿用相同的标签。参数。表4列出了引擎中的所有阈值。这些均为通过开发集上的测试选定的固定常数，并非通过学习得到，且在106个视频片段的数据集中保持不变。

Parameter	Value	Use
Global-static span threshold	0.02 $\cdot$ min( H, W)	state gate (Sec. A.2)
Motion Schmitt thresholds	(2, 4) px	state gate
Mask-overlap grasp threshold	30 px	grasp signal
Fingertip grasp distance	6 cm	grasp signal
Wrist grasp distance	5 cm	grasp signal
Grasp gap bridge / min run	30 / 8 frames	temporal smoothing
Rotation outlier threshold	30°	chordal mean (Sec. A.4)
MAD inlier multiplier	3 $\cdot$ 1.4826	all robust filters
Moving-state Gaussian $\sigma$	2 frames	moving translation
Depth-realign K / far-reject	20 / 0.2 m	depth realignment
Depth-realign SavGol / cap	win 7, ord 2 / $\pm$0.1 m	depth realignment
Boundary SLERP/LERP ramp	5 frames	segment boundaries
MANO SavGol window / order	9 / 3	hand smoothing
Scale-sanity factor	1.8 $\times$	sanity (Sec. A.8)
Spurious distance / 2D-motion	0.5 m / 10 px	sanity

Table 4: Consolidated engine parameters. All values are fixed constants, not learned, and stable across the dataset.

## B 机器人运动重定向细节本附录提供了第4节所述跨本体重定向器的额外实现细节。 --- ![Image](images/31455522ad0414f5ef201ca90c6343fee675bc74270292045644091d15f71b5b.jpg)

Figure 1: Root-frame estimator architecture. Bilateral hand trajectories and the optional gravity vector (upper left) are encoded as Vector-Neuron (VN) features and processed by a transformer-based temporal encoder. The encoder output is passed to rotation and translation output heads, which predict flow-matching velocities used to denoise a noisy root-frame sample into the final root-frame estimate (yellow, lower right).

### B.1 网络架构图7展示了神经根帧估计器$\Phi$的架构。给定双侧手部轨迹$\{(c_{\mathbf{R}, t}^{h}, c_{\mathbf{t}, t}^{h}) \in SE(3)\}_{t=1}^{T}$以及可选的重力向量$c_{\mathbf{g}}$后，$\Phi$会预测出一组可行的根帧姿态分布，用于后续的基于IK的重定向。该网络采用向量神经元（VN）流模型实现：所有内部几何特征均以3D向量集合的形式表示，从而在整个架构中保持SO(3)-等变性。输入表示。每条手部轨迹被表示为形状为$(T, 7)$的张量，其中T为轨迹长度（即时间步数），这7个维度包含相机坐标系下的3D手部位置以及4D单位四元数$(w, x, y, z)$。我们通过对所有2T个手部位置取平均值来计算双侧手部质心$c \in \mathbb{R}^3$，并在VN编码前将其减去以消除全局平移影响。在每个时间步，每个手部状态会被转换为五个VN通道： $${\left[\begin{matrix}{c\mathbf{t}_{t}^{h}-c,}\quad{}^{c}\mathbf{R}_{t}^{h}[:,0],\quad{}^{c}\mathbf{R}_{t}^{h}[:,1],\quad{}^{c}\mathbf{R}_{t}^{h}[:,2],\quad{}^{c}\mathbf{g}\\ \end{matrix}\right]},$$ 其中$^c\mathbf{R}_t^h \in SO(3)$为手部旋转矩阵，$^c\mathbf{g}$为相机坐标系下的重力方向，它会随时间广播，若不可用则置零。因此，每条左/右手轨迹被编码为形状为$(T, 5, 3)$的VN特征，其中五个向量通道分别对应居中后的手部位置、三个手部朝向轴以及重力方向。 VN轨迹编码器。左右手轨迹特征首先分别通过VN-Linear$(5,d)$层进行投影，得到每条手的特征，形状为$(T,d,3)$，其中d为通道宽度（即VN特征通道的数量）。两个流沿通道维度拼接后，再通过VN-Linear$(2d,d)$进行融合，得到形状为$(T,d,3)$的双侧轨迹特征。为了对流匹配模型进行条件化，我们将流时间$(c\mathbf{R}_{\tau}^{r}, c\mathbf{t}_{\tau}^{r}) \in SE(3)$下的带噪根帧状态$\tau \in [0,1]$编码为四个VN通道： $$ \left[{}^{c}\mathbf{t}_{\tau}^{r}-{\boldsymbol c},{}^{c}\mathbf{R}_{\tau}^{r}[:,0],{}^{c}\mathbf{R}_{\tau}^{r}[:,1],{}^{c}\mathbf{R}_{\tau}^{r}[:,2]\right]. $$ 这些通道通过VN-Linear(4, d)投影为形状$(d, 3)$的特征，再经正弦$\tau$-MLP调制，该MLP为每个通道输出一个标量缩放因子，广播为$(T, d, 3)$后与融合后的双侧轨迹特征相加。这种条件化方式 ---

Parameter	Symbol	Value
Channel width	d	128
Attention heads	H	4
Transformer layers	L	4
FFN hidden width	$d_{{ff}}$	512
Dropout	-	0.1
Input VN channels per hand	-	5
Conditioning VN channels	-	4
Input shape per hand	-	(T, 7)
VN feature shape per hand	-	(T, 5, 3)
Fused feature shape	-	(T, d, 3)
Pooled output shape	-	(d, 3)
Flow ODE steps at inference	N	20

Table 5: Model hyperparameters for the root-frame estimator.

被注入到Transformer之前，使得注意力层能够建模带噪$SE(3)$状态与轨迹特征之间的等变交互。形状为$(T,d,3)$的条件化序列会由包含L个块的VN-Transformer编码器处理。每个块依次执行LayerNorm、带有H个头且含正弦时间注意力偏置的多头注意力操作，随后是dropout以及宽度为$d_{\mathrm{ff}}$的前馈网络。对时间维度取均值池化后可得到形状为$(d,3)$的轨迹级特征，该特征会被传递给输出头。输出头。在流匹配框架下，网络会预测旋转和平移的速度场。对于旋转而言，形状为$(d,3)$的池化VN特征会通过$(c\mathbf{R}_{\tau}^{r})^{\top}$被旋转到当前机体坐标系下，随后展平、传入不变性MLP处理，最后映射回相机坐标系。对于平移而言，VN-线性头会根据池化的向量特征预测机体坐标系下的偏移速度$\dot{\mathbf{v}}$。根部的平移量则由预测的偏移量计算得出，即$c\mathbf{t}^{r} = c\mathbf{R}^{r}\mathbf{v} + c$，其中c代表双手位置的质心。这种参数化方式能确保学习到的流场与根部估计器的等变结构保持一致。推理时，通过用N个欧拉步对学习到的模型进行积分来采样根部假设。完整的架构和推理超参数，包括VN通道数、张量形状、Transformer宽度/深度、dropout以及流步数，均在表5中汇总说明。 ### B.2 训练配置所有模型均在单张显存为12GB的NVIDIA GeForce RTX 3060上训练。每个机器人模型独立训练500个轮次，每轮次包含20个梯度步。每个梯度步中，我们会从基于JAX加速的物理环境中抽取一批全新的1024条模拟轨迹。训练每个机器人模型大约需要1.5至2小时。我们采用Adam优化器，设定固定学习率为$10^{-3}$，梯度裁剪阈值为1.0。所有训练超参数均在表6中汇总说明。轨迹生成。训练所用的轨迹是通过任务空间采样在线生成的。对于每个环境，我们会以正向运动学锚定姿态为中心，利用Ornstein-Uhlenbeck随机游走算法采样$N_{ctrl} = 7$个笛卡尔控制点，每步噪声约为0.025米，弹簧常数为0.05。这些控制点通过逆运动学求解得到关节角度，再用三次样条插值处理，最终得到T=60帧、帧率f=30 fps的轨迹，对应2秒的时间窗口。不同机器人的模拟轨迹示例如图8所示。流匹配目标函数。我们采用基于根部姿态的流匹配目标函数来训练网络。每个训练步中，我们会沿着先验样本与真实根部姿态之间的概率路径，采样一个带噪声的中间根部状态。先验旋转是从$SO(3)$中均匀采样的，先验平移偏移则采样于双手质心附近。网络会预测使该中间状态向真实姿态移动的速度，并对旋转速度和机体坐标系下的平移速度应用$\ell_{2}$损失函数。旋转和平移的损失权重设为相等，即$w_{R} = w_{t} = 1.0$。 --- ![Image](images/7b25ad8ba01512e3ea44f7355c81700dec5cebf89e4a60de23e8c20ae36909d2.jpg)

Figure 8: Example sampled training trajectories in simulation for Unitree G1, Robonaut2, dual-Franka, and XLeRobot (left to right). Left-hand trajectories are shown in blue and right-hand trajectories in orange. The robots are rendered semi-transparently for visualization. For each example, the root frame and hand trajectories are projected into a randomly sampled camera frame (green).

Parameter	Value
GPU	NVIDIA RTX 3060 (12 GB)
Training time per robot	$\approx$ 1.5-2 hours
Epochs	500
Steps per epoch	20
Batch size	1024
Optimizer	Adam
Learning rate	$10^{-3}$
Gradient clip norm	1.0
Trajectory length T	60 frames
Frame rate f	30 fps
Control points $N_{ctrl}$	7
OU step noise	0.025 m
OU spring constant	0.05
Loss weights $(w_R, w_t)$	(1.0, 1.0)
Position noise $\sigma_p$	0.01 m
Orientation noise max	0.05 rad
Tracking jump probability $p_j$	0.20
Tracking jump magnitude max	0.15 m
Occlusion probability $p_o$	0.20
Gravity noise max	0.10 rad
Gravity dropout $p_g$	0.30
Rear-camera probability $p_c$	0.15

Table 6: Training hyperparameters for the root-frame estimator.

数据增强。为了模拟真实的自我中心捕捉条件，我们对每个批次独立应用以下增强操作。位置噪声会为所有手部位置添加均值为零、方差为$\sigma_p = 0.01$米的高斯噪声，用以模拟手部姿态跟踪的抖动。方向噪声会使每个手部四元数产生最多0.05弧度的随机旋转。跟踪跳变的发生概率为$p_j = 0.20$，此时一条手臂的轨迹会被随机位移最多0.15米，用以模拟跟踪丢失与重新获取的情况。手部遮挡会以$p_o = 0.20$的概率发生，即在一连串帧中让一条手臂的VN特征置零，从而提升模型对单手可见性变化的鲁棒性。重力噪声会使相机坐标系下的重力向量$^c g$产生最多0.10弧度的扰动；当概率为$p_g = 0.30$时，重力通道会完全置零，以便模型在无重力信息的情况下也能正常工作。最后，后置摄像头增强会以$p_c = 0.15$的概率将合成摄像头放置在受试者身后，以增加视角的多样性。 ### B.3 滑动窗口推理与优化给定一段包含WiLOR估算的相机帧内手部轨迹的视频片段，我们首先在居中的滑动窗口上评估根帧估算器。可根据对时间分辨率与计算量之间的权衡需求来调整窗口步长。每个窗口都会由训练好的估算器生成一个$SE(3)$根帧估算结果。 --- 这种方式能让预测结果捕捉到身体或相机的缓慢运动，而无需仅依赖稀疏的关键帧。随后，这些估算结果会在$K = 5$测地距离度量下，通过k均值算法聚类为$SE(3)$个候选结果。每个候选结果会通过以该候选结果为静态参考根帧、对整个轨迹执行批量逆运动学计算来打分，最终选取双向逆运动学收敛率最高的候选结果作为锚点($^{c}\mathbf{R}^{r,*}, ^{c}\mathbf{t}^{r,*}$)。接着，我们使用分别针对平移和旋转的$\alpha_t = 0.3$与$\alpha_r = 0.7$因子，将每个帧级的估算结果向锚点融合。锚点提供了全局稳定性，而帧级估算结果则能保留随时间变化的缓慢根帧变动。我们会对融合后的根轨迹应用窗口大小为$\sigma = 10$帧的高斯滤波器，以减少残留的帧间噪声。每个相机帧内的手部姿态会利用对应的平滑后帧级$SE(3)$估算结果投影到移动的根帧中，从而为每个时间步生成根帧逆运动学目标。逆运动学优化目标会追踪这些手部目标，同时采用零空间正则化来提升操作灵活性、避免自碰撞、遵守关节限制，并惩罚偏离机器人默认姿态的情况。对于无法收敛的帧，会通过相邻已收敛解之间的线性插值来填补空缺。 ### C 补充结果本附录提供了第5节中提到的额外示例，内容涵盖从数据层面（精心筛选的第一人称重建数据与交互式浏览器）到完整的视频转机器人流程（仿真与真实机器人重定位），再到后续的策略应用。 ### C.1 精心筛选的Action100M第一人称重建数据图5（附录A）展示了第5.2节中精选子集上的引擎输出结果：每个视频片段都包含原始的第三人称源帧，以及其合成的第一人称重新渲染结果（手部网格、物体网格与点云，以及6自由度位姿），这些结果由第A.1节所述的第三人称转第一人称重构模块生成。没有共同拍摄视角的源视频都会被重构为一致的、与实体形态对齐的第一人称观测结果，这也是浏览器中第三人称/第一人称切换功能（第C.2节）所呈现的视角，也是EGOINFINITY生成大规模第一人称数据的维度。同一图库也展示了该引擎的运行范围。我们没有单独用一张图展示失败案例，而是指出图5中可见的典型情况：当手部遮挡严重或手部完全包裹住物体时，物体点云会部分缺失，恢复出的网格也可能不完整；反光或透明表面会导致深度信息嘈杂、点云不稳定；不完美的SAM-3D网格或SAM-3对目标物体的错误分割偶尔会产生错误或粗糙的物体几何形状。这些情况与第7节讨论的局限性一致；第A.8节的合理性检查会抑制或标记最不合理的情况，而非直接删除它们。 ### C.2 交互式数据集浏览器还有一个经过精心挑选的子集以交互式网页查看器的形式发布，它仅在正文系统的图示（图1）中以缩略形式展示，而在图9中则放大显示。每个视频片段的重建场景是通过Viser（get_scene_serializer()）离线序列化，并编译成独立客户端（viser-build-client），因此页面完全在浏览器中运行，无需运行时后端，且所使用的资源与第C.1节中的静态图示以及交互式视图所用的资源相同。出于匿名考虑，托管网址被保密，将在最终定稿版本中提供。对于每一个视频片段，浏览器都会展示与离线引擎输出相同的数据，且所有内容都可在同步时间线上进行拖动浏览。Viser查看器会渲染MANO手部轨迹、SAM-3D网格形式的物体姿态、点云和3D边界框、恢复出的交互状态以及摄像头锥体；用户可在原始外摄视角与合成的内摄视角之间切换（见第A.1节）。侧边栏会显示每帧的中间结果（原始视频、SAM-2掩码、深度图和光流）、Action100M文本描述、视频级统计数据，以及包含每帧接触信号、运动信号和可信度信号的轨迹摘要，还有物体交互状态。同一个视频片段也能直接在查看器中编译到所支持的机器人形态上。 ### C.3 视频到机器人流水线图库图10展示了第5.3节中完整的视频到动作流水线，该流水线针对从精选子集中抽取的十个视频片段进行了端到端演示。每一行从左到右依次为：原始外摄源帧、重建出的内摄手-物视图、在仿真环境中重新定位到双臂Franka FR3装置、Unitree G1、Robonaut2和XLeRobot上的运动，以及 --- ![Image](images/919c17ac9410be63fea5ae8960d47c6c598069cb7bbeb143fa48e1ef740fc129.jpg)

Figure 9: The interactive dataset browser. A static Viser client served with no runtime backend lets a reader browse and inspect the curated subset. Homepage and clip list: a searchable gallery of all episodes in grid or table layout. Viser viewer: the interactive 3D scene exposing the hand trajectory, object SAM-3D mesh, point cloud and bounding box, interaction state, and camera cone, with a robot-retargeting panel. Side panels: video statistics, the Action100M text description, per-frame intermediate results (raw video, SAM-2 mask, depth, optical flow), and a track summary with per-frame contact / motion / trust signals and the object interaction state (Sec. C.2).

最终在同一运动在两个真实机器人平台上执行的结果。由此可见，单一条恢复的4D轨迹能够适配截然不同的机器人形态，并能从仿真环境迁移到硬件上，这充分体现了引擎输出的与机器人无关的特性。 ### C.4 真实机器人技能执行图11展示了第5.4节中扩展的双臂Franka FR3执行案例：将重新定位后的动作直接在硬件上复现，用于切割、往碗中倒水、往玻璃杯中倒水、擦拭盒子以及擦拭电脑等操作。每一行都是某项技能按时间顺序排列的影片片段，证明了从自然场景中视频恢复出的动作能够驱动多种不同操作任务的功能性执行。 ### C.5 下游抓取策略除了直接复现外，图12展示了基于真实LEAP灵巧手训练的抓取策略的推演结果，该策略使用EGOINFINITY提取的手部动作作为先验知识（见第5.4节）。我们分别展示了抓取苹果、香蕉和番茄罐头的三种推演结果，这些结果体现了对不同物体形状的泛化能力，也证明了恢复出的动作不仅能用于开环复现，还能为学习到的策略提供支持。 --- ![Image](images/1967b8ed6a8b5f4e9cdcca341b2cc7fb6ad59a274dbe4ad71181b7c54abf4423.jpg)

Figure 10: End-to-end video-to-robot pipeline on ten sampled clips. From left: raw exocentric frame, reconstructed egocentric view, simulation retargeting on dual-arm Franka FR3, Unitree G1, Robonaut2, and XLeRobot, and real-robot execution. One recovered trajectory compiles onto multiple embodiments and transfers from simulation to hardware.

--- ![Image](images/b332173c299afa07335b975a17c0dcf511d38aadc97355a3490d911ae0c5e67d.jpg)

Figure 11: Real-robot skill execution on the dual-arm Franka FR3. Each row is a time-ordered filmstrip of a retargeted skill: Cut, Pour Bowl, Pour Glass, Wipe Box, and Wipe Computer.

![Image](images/66b7e20d2ccaba57f436bcf5ca0e5eb3101775bcb305b0fa5668a5e11e4071e9.jpg)

Figure 12: Downstream grasping policy on a real LEAP hand, trained with EGOINFINITY-extracted hand motions as priors. Three rollouts each are shown for an apple, a banana, and a tomato can, generalizing across object shape.