# 照我这样做：源自日常人类视频的灵巧操作数据 Bhawna Paliwal $^{*}$ Haritheja Etukuru $^{*}$ William Liang $^{*}$ Pieter Abbeel、Nur Muhammad “Mahi” Shafiullah以及Jitendra Malik 加州大学伯克利分校摘要：我们该如何大规模生成机器人操作数据，尤其是针对类人平台（如灵巧的多指手）的数据呢？从人类视频中学习最近被视为解决这一问题的可行方案。然而，手部与物体交互的估计难度，以及跨越人类到机器人的实体形态差异问题，阻碍了人们将大量仅含单目RGB图像的人类视频用作机器人操作数据的主要来源。在这项工作中，我们提出了DO AS I DO算法，用于将单目RGB人类视频重构并适配到多指灵巧机器人手上。DO AS I DO算法能够从各种以自我为中心及非自我为中心的野外视频源中重构手部与物体的交互过程。随后，该算法会将这些手部与物体交互的估计结果转化为可在现实世界中执行的动作序列，从而从不同的人类视频中生成完整的机器人操作数据。我们在带有真实标注的数据集以及在线收集的视频片段数据集上开展的实验表明，DO AS I DO在估计手部与物体交互、从RGB视频中提取灵巧操作轨迹方面，均优于以往的最优方法。我们的实验结果也为从事人类操作数据收集工作的从业者提供了一份实用的指南。 ![Image](images/cd705a00b9ffb8d529e6b1d0a86e08d4e3be163cb04a51bf11550284ad70f672.jpg) ![Image](images/3b5bb18b0c1f6374da4fe3288c0b93f301f93a8db519a5cc62623dec71002bc9.jpg) ![Image](images/6352c4ffad036c565f334557326aac1491a57235969bcec7dff54a73f44cf647.jpg) ![Image](images/224974cc98de99159b43df6554b8f2ae12c108ed938bb1f0f36010a817590f6c.jpg) ![Image](images/c4a7c4e4ff4fd539b8cfeed465183cf138fddc8c0aef1e6146d3411d878a2935.jpg) ![Image](images/432827ead2ba2fd733ed4e6ba74160d912b57e40b2ae7720a2f6ff1605fea0a9.jpg)

Figure 1: We introduce Do as I Do, an algorithm that takes in-the-wild monocular RGB videos of hand-object interaction (top) and generates dexterous hand manipulation data (bottom).

--- ## 1 引言数据是包括机器人学习在内的任何学习算法的关键组成部分。不过，对于初学的智能体而言——无论是儿童、学徒还是机器人——任何任务的可获取数据大多属于观察性数据：并非通过亲身实践获得，而是通过观看专家的操作来学习。儿童能够轻松弥补“观看”与“实践”之间的差距[^1] [^2]，但对如今的机器人而言，这却是一道难以逾越的障碍，因为它们主要依赖通过现实世界遥操作或模拟探索收集的经验性数据。以图1所示的多指灵巧行为为例，生成此类经验性数据面临着诸多挑战：遥操作受限于操作员的技能水平、运营成本以及遥操作设备的机械透明度；模拟环境中的探索同样受限于多样化环境与奖励函数设计的复杂性。在这项工作中，我们提出的核心问题便是：如何将人类产生的易获取的观察性数据转化为机器人的经验性数据，从而填补这一差距。从观察人类行为来推断机器人动作的研究，也就是所谓的“照我做的那样做”，其历史几乎与人工智能领域一样悠久。这一研究在1970年麻省理工学院的“复制演示”[^3]、通过人类直接演示来生成“机器人指令”[^4]，以及结合动作合成与重定位的“照我做的那样做”[^5]中均有体现。两大主要算法挑战在于对人类行为的识别或重建，以及将这种行为适配到（可能差异极大的）机器人本体上。对行为类型的限定（如仅限抓取与放置操作）以及对物体的限定（如仅限3D扫描物体）曾帮助人们攻克这一难题[^6] [^7]。随着时间推移，对数据形式的进一步假设——比如利用专用硬件采集的数据中包含深度信息、3D数据或手部关键点——也让“照我做的那样做”研究取得了更多进展[^8] [^9]。然而，如今我们获得的大部分观测数据都是单目RGB格式的人类视频，因此能够应对这种通用情况的算法有望带来机器人数据量的最大增幅。在此背景下，相邻领域的两项最新进展为我们提供了解决这一问题的新思路。首先，如今的3D计算机视觉模型能够仅凭单目RGB视频就重建出深度[^10]、物体[^11]以及手部[^12]的3D模型，从而实现4D手-物状态估计。与此同时，Mujoco Warp[^13]和Isaac[^14]等支持GPU并行计算的物理模拟器，能够实现基于采样的快速优化算法[^15]，我们借此便能在几分钟内根据4D手-物状态推断出机器人的灵巧手动作。值得注意的是，这两种方法对问题结构的假设极少，比如对观察到的行为或目标物体均无特殊要求。受这些进展的启发，本研究提出了Do AS I Do方法，旨在填补观测数据与经验数据之间在灵巧操作领域的鸿沟。Do AS I Do能够从日常的单目RGB视频中识别并适配人类的灵巧动作，进而生成多指机器人手与手臂的动作，使其能在环境中完成相同的任务。更重要的是，该方法无需对展示的行为（如无需预设抓取规则）或物体类别做出限制性假设，可适用于任意刚体物体。具体而言，本研究的贡献如下： 1. 我们提出了DO AS I DO算法，这是一种从单目RGB视频中重建并适配行为到多指灵巧手的两步算法。 2. 我们的手-物重建过程在相关指标上优于现有最先进方法，且能处理各类视频——包括自拍视角或第三人称视角视频，涵盖从互联网上的自然视频片段到生成式视频模型的输出结果。 3. 我们的动作适配过程在现有可扩展的动态感知型适配技术基础上进行了改进，引入了能够增强噪声环境下重建参考轨迹鲁棒性的新组件。 4. 我们生成的机器人数据可在灵巧机器人手与手臂上运行；据我们所知，这构成了首个能从互联网视频直接生成真实灵巧手动作的完整流程。 ## 2 相关工作基于人类视频的灵巧操作。以往诸多研究都探索了如何利用人类视频中的语义与动作信息。其中一些研究通过预训练提取先验知识，要么作为视觉表征…… ---

Table 1: Related Work. We summarize methodology and data sources used by prior work, in rough order of difficulty. Self refers to data collected by the authors.

	Method		Data Sources
	Reconstruction	Retargeting	Self	Gen.	Ego.
H2Sim2Robot [^16]	LiDAR Scan + FPose [^17]	RL	✓
VideoManip [^18]	MeshyAI [^19] + FPose	DRO [^20] + DP3 [^21]	✓		✓
DexMan [^22]	TRELLIS [^23] + FPose + SpaTrack [^24]	RL	✓	✓
DexInit [^7]	SAM 3D [^11] + FPose++ [^25]	Motion planning	✓	✓
Ours	SAM 3D + Guided Diffusion	Sampling-based opt.	✓	✓	✓

运动预测[^26] [^27] [^28]、灵巧策略[^29] [^30] [^31] [^32] [^33]，或是前向动力学模型[^34] [^35]。其他研究方法则会构建更结构化的先验，例如可供性[^36] [^37]、流场[^38] [^39]，以及用于重定位的3D重建结果[^6] [^40] [^41] [^42] [^16] [^7] [^22] [^18]。我们的研究属于最后一类，旨在拓展利用各类自然场景数据的能力，如表1所示。手-物体重建。从单目RGB视频中重建4D手-物体交互过程可分解为三个互补的环节：手部姿态估计、物体形状与姿态估计，以及二者的联合建模。人类手部具有规则的形状和运动特征[^43]，这使得手部跟踪模型[^12] [^44] [^45]能够有效应对运动模糊、遮挡和低分辨率问题。但在同样的自然场景噪声环境下，物体重建与跟踪的难度要大得多，因为日常物体的多样性极高。近期的相关进展主要来自两方面：(1) 图像条件驱动的3D生成基础模型[^46] [^23] [^11]，这类模型具备鲁棒的形状与姿态先验，能够处理遮挡和低分辨率情况；(2) 基于模型的6自由度跟踪器[^17] [^47]，它们能在已知或共同重建的网格基础上估计物体姿态。不过，这些方法大多仅在干净的实验室视频上经过验证，在噪声较多的自然场景视频中表现不佳，下文将对此进行说明。最后，手-物体联合重建方法能同时处理手部与物体信号，在实验室数据[^48]以及自然场景视频[^49] [^50] [^51]上都取得了进展。近期的视频相关方法适用范围仍较窄：有些仅适用于第一人称视角[^52]，而类别条件化方法[^53] [^54]则假设物体分类是封闭的。与这些联合方法不同，“照我这样做”采用了模块化分解方案：用HaWoR进行手部跟踪，用SAM3D处理单图像物体网格生成，再用我们基于SAM3D的跟踪算法（见第3.1节）来刻画物体姿态的变化。人机机器人重定位。灵巧的重定位算法会将人类手部姿态映射到几何结构差异极大的机器人实体上（例如手指连杆长度和关节结构不同）。运动学重定位方法通过求解几何、任务空间或关节空间优化问题[^55] [^56] [^57] [^58]来实现这一目的，但这类方法仅针对机器人配置进行优化，并未考虑手部与物体之间的作用力，因此常常会导致穿透、指尖滑动和抓取不稳定等问题。为解决这一问题，动态感知型重定位框架会对物理模拟下的手-物体轨迹进行优化，通常是通过强化学习来追踪基于参考的奖励[^59] [^60] [^16] [^61]，或是采用基于采样的优化方法[^62] [^63] [^15]。不过，大多数以往的重定位方法都有一个共同的前提假设：即存在来自动作捕捉系统等渠道的、干净且带有真实手-物体姿态信息的参考样本。相比之下，我们面对的是更具挑战性的场景：参考样本噪声更大，可能存在时间上的不连续性，且手-物体对齐误差严重。 ## 3 方法 “照我做的去做”分为两个部分，如图2所示。首先，我们重建手部与物体的三维模型，并随时间对其进行跟踪（第3.1节）。随后，我们将这些重建结果映射到机器人实体上，生成在现实世界中切实有效的、符合动力学约束的运动轨迹（第3.2节）。 ### 3.1 重建从自然场景视频中识别并重建手与物体的交互过程可分为两个环节：（1）追踪人类手部；（2）确定物体的形状与 --- ![Image](images/caa783b4985dcf5bb15f4cb85c4262ad5f44956db0e21728eed184a72cd118cc.jpg)

Figure 2: Method Overview. Our method leverages vision foundation models to reconstruct the hand and object, and retargets them onto the robot via sampling-based optimization in simulation.

追踪其姿态。关键在于，这些能力必须能够应对嘈杂的网络视频中存在的各种视觉条件。我们发现，诸如HawoR [^45]之类的现有模型满足这一标准，可直接用于手部追踪且性能尚可。然而，对于存在手部遮挡的开放式刚性物体，以往的研究 [^17] [^47] 往往会出现姿态锁定丢失、漂移现象，一旦视觉信息变差便无法重新捕捉到物体，如图5所示。因此，我们基于经过遮挡场景训练的3D生成式基础模型开发了专属的追踪方法，即SAM3D [^11]。完成追踪后，会将三维手部、物体和相机数据整合为一致的近似度量空间。我们执行三个处理步骤：（a）使用SAM3 [^64]进行手部与物体分割；（b）利用MoGe [^10]估计深度与相机内参；（c）借助SAM3D [^11]生成物体三维网格。基于引导扩散的物体追踪。我们将SAM 3D [^11]——一种对遮挡和低分辨率情况具有鲁棒性的图像转3D生成模型——改造为视频物体追踪器。它能在给定单张二维图像和物体掩码的条件下，学习形状与姿态的联合分布 $p_{\theta}(x^s, x^p \mid c)$。若单独对各帧应用该模型，它会为每一帧生成不同的网格，且产生的姿态序列缺乏时间连贯性。我们的关键发现是：在学到的联合分布中，形状和姿态共享同一个潜空间；因此我们可以固定形状，在推理阶段为每一帧获取更新后的姿态。具体而言，我们在锚定帧固定形状 $\bar{x}^s$，再根据上一帧的姿态 $x_{k-1}^p$ 预测第k帧的姿态 $x_k^p$。如此一来，追踪过程就简化为从偏向于 $p_{\theta}(x_k^p \mid x_k^s = \bar{x}^s, c_k)$ 的 $x_{k-1}^p$ 中采样。由于SAM 3D拥有庞大的生成式骨干网络，在6自由度连续姿态空间中对所有可能姿态进行边缘化计算是不可行的。我们转而利用流匹配推理本身：样本是通过沿线性路径 $\dot{x} = v_{\theta}(x_t, t, c)$ 对ODE $x_0 \sim \mathcal{N}(0, \mathbf{I})$ 从 $x_t = (1-t)x_0 + t x_1$ 进行积分得到的。在流模型中，前向加噪目标仅仅是其在模型自身概率路径上的插值 [^65] [^66]。在每个欧拉步中，我们取模型对每个块的自由欧拉更新结果，并将其向目标插值方向融合，从而推动形状块趋向规范形状 $\bar{x}^s$，姿态块趋向上一帧的姿态 $x_{k-1}^p$： $$ x_{t}^{s}=\underbrace{(1-\alpha_{s})(x_{t-\Delta}^{s}+\Delta v_{\theta}^{s})}_{\mathrm{d e n o i s i n g}}+\underbrace{\alpha_{s}z_{\mathrm{r e f}}^{s}(t)}_{\mathrm{b l e n d i n g}},\quad x_{t}^{p}=\underbrace{(1-\alpha_{p})(x_{t-\Delta}^{p}+\Delta v_{\theta}^{p})}_{\mathrm{d e n o i s i n g}}+\underbrace{\alpha_{p}z_{\mathrm{r e f}}^{p}(t)}_{\mathrm{b l e n d i n g}} $$ 其中 $\alpha_s, \alpha_p \in [0,1]$ 为引导强度参数；$z_{\mathrm{ref}}^s(t) = (1-t)\epsilon^s + t\bar{x}^s$ 和 $z_{\mathrm{ref}}^p(t) = (1-t)\epsilon^p + t x_{k-1}^p$ 为目标插值；$\epsilon^s, \epsilon^p$ 为各块的初始噪声，$v_\theta^s, v_\theta^p$ 则是速度 $v_\theta(x_{t-\Delta}, t-\Delta, c)$ 中的形状和姿态分量。自适应引导参数。由于我们专注于刚性物体，任何固定的形状引导 $\alpha_s \in [0.9, 1]$ 都能取得不错的效果。我们并未采用固定的姿态引导 $\alpha_p$（这可能导致过度刚性或虚假翻转现象），而是根据从数据中估算出的物体旋转速度来推导该参数。 --- ![Image](images/89151edfc08d9fb852feb763df1e0859f7d53dc6052fe05dd95e0809c0d83c2d.jpg)

Figure 3: Verbs and Objects. We visualize 20 distinct actions from our pipeline: placing, picking, scrubbing, spreading, squeezing, ironing, painting, dusting, digging, erasing, pouring, writing, whisking, stirring, poking, tamping, drilling, hammering, cutting, and basting.

二维点轨迹 [^67]。这会在每个视频中增加一次离线跟踪过程，但如附录所示，能显著改善姿态跟踪效果。每帧姿态采样。如上所述，公式1中的引导式姿态采样是随机的。因此，在每一帧k，我们的算法会生成N个候选姿态 $\{x_{k,i}^{p}\}_{i=1}^{N}$，它们具有固定的形状 $\tilde{x}^{s}$，需要从中选取一个作为该帧的姿态。理论上，应按模型给出的给定形状下姿态的条件对数密度对候选姿态进行排序。然而，这一过程所需的计算量比生成姿态本身高出数个数量级，在视频尺度下甚至无法承受。因此，我们采用加权SE(3)距离来对姿态进行采样和聚类。经验表明，置信度高的样本会集中在同一姿态模式上，而估计器的噪声则会在SE(3)空间中分散开来；因此，通过共识过滤和掩码IoU就能恢复出最佳姿态模式，而无需重新调用扩散模型骨干网络。手-物体对齐。在我们独立重建出手和物体（可能处于不同尺度）之后，需要对齐二者。我们将手部重建的尺度视为基准，调整物体的平移参数s以与手部对齐。我们计算物体在物体尺度下的质心 $\mathbf{c}_{\text{hand}}^{\text{M}}, \mathbf{c}_{\text{obj}}^{\text{M}}$，以及手部网格可见部分的质心 $\mathbf{c}_{\text{hand}}^{\text{H}}$（接近实际度量）。根据质心z值确定的缩放比例 $k = z_{\text{hand}}^{\text{H}} / z_{\text{hand}}^{\text{M}}$，我们优化目标物体位置 $\mathbf{obj}_{\text{target}} = \mathbf{c}_{\text{hand}}^{\text{H}} + k \left( \mathbf{c}_{\text{obj}}^{\text{M}} - \mathbf{c}_{\text{hand}}^{\text{M}} \right)$，其中每帧的平移缩放通过最小二乘法求解。最后，我们使用GeoCalib [^68] 来使轨迹与重力方向对齐。 ### 3.2 姿态映射接下来，我们的目标是将重建出的手-物体轨迹在机器人手上重现。然而，这一参考轨迹并不完整：人类与机器人的形态存在差异，且运动信号中缺少接触信息和作用力数据。以往的研究通过运动学求解器 [^22] 或机器人启发式方法 [^18] [^7] 来解决这一问题，但它们无法保证物理合理性，也会丧失通用表达能力。 DO AS I DO方法则实现了动态感知的姿态映射，它能在遵循参考轨迹的同时确保物理模拟中的真实性。基于Pan等人 [^15] 提出的框架，我们采用了MPPI风格的基于采样的优化方法，其核函数在迭代过程和预测范围内逐渐退火，从而实现从广泛探索到局部精细调整的过渡。为了应对噪声较大的重建参考轨迹，我们进一步提出了几项创新技术，如图4所示。预热步骤。初始轨迹范围H中存在两个问题：(1) 第一帧的噪声可能导致手和物体初始化在一个无法挽回的状态（例如物体未被握持）；(2) 退火采样无法充分探索这H个步骤，因为它们仅出现在起始阶段。 --- ![Image](images/2a090591480f7e5ee44564f1ffabbf6f19c75a364258176d9502f82828e74cc9.jpg)

Figure 4: Retargeting. Our method succeeds in common failure modes (top) and excels at handling noisy references (bottom), despite, e.g., incorrect depth estimation causing poor alignment.

因此，我们在参考轨迹前增加了额外的H个预热步骤。预热期间，物体被固定在原位（例如悬空），而机器人手可以自由移动；随后物体被释放，模拟正常进行。这使得机器人能够在追踪参考轨迹前调整自身姿态（例如避免如图4中出现的物体掉落情况），同时自然地引导优化器最大化其追踪目标。关键在于，这种预热设计不依赖任何抓取采样或启发式方法，仅利用现有的核心优化流程即可实现。随机力扰动。其次，滚动视界可能会使优化过程陷入局部最小值，导致物体间的交互不稳定：这些物体只能短暂保持平衡，却无法恢复稳定状态（例如图4中指尖上的平衡）。为解决这一问题，我们认为交互过程应具备抵抗微小干扰的能力：借鉴从仿真到现实领域的经验[^69] [^70]，我们引入随机力来生成滚动样本，从而促使控制策略具备对这种扰动的鲁棒性。重要的是，该解决方案具有通用性，无需依赖高精度的参考模型，这与其它方法（如接触引导[^15]）不同。过渡奖励。第三，物体从“静止”状态到“被手握持”状态的转变是轨迹中的关键转折点，但由于参考信号存在噪声，仅靠跟踪奖励难以精确且有效地激励由这种转变引发的阶跃函数式交互（例如图4中的抓取失败情况）。因此，我们对失败的过渡过程施加恒定的惩罚项：(1) 在静止参考时间步内物体未与地面接触；(2) 在手握持参考时间步内手与物体未接触。我们通过测量参考状态下手与物体的距离是否低于阈值$\epsilon$来定义参考时间步阶段。 ## 4 实验 ### 4.1 实验设置我们在各自任务的标准基准测试上评估框架的各个环节。首先，在手物重建方面，我们遵循先前研究中的设置[^51] [^53] [^54]：我们在DexYCB [^71]和HOI4D [^72]数据集上进行评估，这两个数据集分别包含160个和12个标注视频；我们通过提供真实的手部数据来衡量物体重建与跟踪质量，从而单独评估物体层面的性能。我们将其与两类基线方法进行比较：(1) 手物联合重建方法，包括基于图像的[^48] [^49] [^50]以及基于视频的[^51] [^54]方法；(2) 物体跟踪器[^17] [^47]，我们将自己的物体跟踪方法替换为这些基线方法，同时保持流程中的其他组件不变。为了进一步评估在更接近日常视频的场景下的性能，我们收集了一个包含150个视频的基准集，这些视频来自网络上的自然视频、第一人称视角数据集以及生成的视频。由于这些视频没有真实的物体姿态数据，我们通过人类偏好评估来测试性能：每段视频请3名志愿者比较我们基于SAM3D的跟踪方法得出的物体姿态与当前最先进方法的结果。各类基线方法及人类评估设置的详细信息详见附录。最后，在重定位方面，我们基于包含655个重建参考样本的真实场景重建数据集进行评估，同时也会使用OakInk2 [^73]——这是一个包含1,352条干净的双人手-物体任务轨迹的大型动作捕捉数据集。我们将其与SPIDER [^15]进行对比，后者是灵巧重定位领域的最先进方法。 --- ![Image](images/9bf40c43caf0495eaf4b819aef5daf8d70447ddaabc2f61b68574a5808e5cf69.jpg)

Figure 5: Object Tracking Comparison. We compare Ours and FoundationPose [^17] for object tracking with head-to-head human evaluations on 150 videos (left), and visualize samples (right).

Table 2: Reconstruction Results. F-5, F-10, and Chamfer distance (CD) on two hand-object tracking datasets.

	DexYCB			HOI4D
	F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$	F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$
HO [^48]	0.24	0.48	4.76	0.28	0.51	3.86
IHOI [^49]	-	-	-	0.42	0.70	2.7
HORSE [^50]	0.23	0.42	6.97	0.26	0.45	6.69
MCC-HO [^51]	0.36	0.60	3.74	0.52	0.78	1.36
G-HOP [^54]	0.31	0.49	8.11	0.69	0.91	0.63
FoundationPose [^17]	0.69	0.89	0.89	0.71	0.91	0.49
Any6D [^47]	0.69	0.88	0.97	0.71	0.91	0.50
Ours	0.71	0.93	0.66	0.72	0.91	0.49

同时也是唯一为这种规模设计的前期方法；SPIDER被用作退火采样基线，我们逐步引入框架中的三个组件以评估它们的作用。遵循近期文献中的做法[^15] [^59] [^60]，我们将平均位置误差不超过$E_{pos} < 0.1$米且平均旋转误差不超过$E_{rot} < 0.5$弧度的轨迹定义为成功轨迹。技术细节详见附录。在所有任务中，我们均使用22自由度的Sharpa Wave手。此处展示的实际部署结果是在双机械臂系统上实现的，该系统由Sharpa Wave手和UR3e机械臂组成，控制频率均为50 Hz。 ### 4.2 重建结果如图5（左）所示，在包含150个视频的野外基准测试中，人类评估者选择我们的物体追踪方法的比例达到了67%，且大多数视频都获得了完全一致的评价。从定性结果来看（图5），FPose在轻微运动模糊和遮挡情况下会丢失物体，而我们的方法则能在整个视频片段中恢复时间上一致的平移与旋转信息。这一优势也体现在表2所列的标准手-物重建基准测试中：我们在DexYCB和HOI4D两个数据集上均创造了新的最佳性能记录，超越了所有基线方法。此外，我们在附录中详细分析了物体追踪模块中的各项设计选择。结果表明，通过点追踪实现的自适应姿态引导能够稳定提升重建质量；基于聚类的选择策略虽与基于姿态概率的选择策略效果相当，但计算速度却快了$30\times$倍之多。 ### 4.3 重定位结果表3展示了重定位结果。在我们重建的野外数据上，DO AS I DO方法的成功率达到71%，相比基准方法的25%有了显著提升。其主要优势在于预热阶段——该阶段能找到比嘈杂的初始帧稳定得多且更自然的状态，从而为后续时间步的追踪奠定基础。此外，我们发现扰动处理虽然对定量指标影响甚微，但却能明显改善定性结果（例如生成更自然的抓取动作）。 ---

Table 3: Retargeting Results. Success rate and average position and orientation error on two human-object reference datasets.

Method	Reconstruction			OakInk2
Method	Success $\uparrow$	Pos $\downarrow$	Rot $\downarrow$	Success $\uparrow$	Pos $\downarrow$	Rot $\downarrow$
Annealed Sampling	0.25	0.08	0.40	0.72	0.08	0.32
+ Warmup	0.66	0.06	0.28	0.77	0.06	0.25
+ Perturbation	0.67	0.06	0.30	0.79	0.03	0.14
+ Transition Reward	0.71	0.05	0.28	0.81	0.03	0.15

![Image](images/efb18d613c38ba6cb8be44ebee2b347e73ddf394ca5341cb0649acabd011281f.jpg)

Figure 6: Real-World Deployment. We showcase trajectories for 10 tasks: whisking, pouring, dusting, squeezing, tamping, erasing, stirring, hammering, spreading, and picking.

这种扰动处理还能促使机器人在关键过渡时刻成功完成物体的拾取与放置，从而弥补原本可能错失物体的情况。我们在OakInk2数据集上进一步验证了该方法的有效性，发现每增加一个组件都能带来持续的性能提升，最终准确率从基准的72%提升至81%。这表明，即便针对的是不完美的重建参考数据，我们的重定位方法仍能产生显著效果；即便使用干净的动作捕捉轨迹，该方法同样适用，并且能很好地扩展到该基准中包含的1,000多种双机械臂任务中。 ### 4.4 实际部署总体而言，我们的流程共生成了500条经过人工验证的高质量灵巧操作轨迹，这些轨迹分别来自互联网视频（53%）、第一人称视角视频（31%）以及合成视频（16%）。为了证明这些轨迹的质量，我们在现实世界中执行了其中具有代表性的部分。我们选取了10种涉及不同物体几何形状与抓取类型的动作[^74]，包括书写三脚架式抓取、强力抓取、腹侧抓取以及平行伸展抓取。在重力对齐后，重建结果仍会遵循视频中的相机坐标系；因此，在计算机械臂逆运动学并部署到现实世界之前，我们需要手动将初始姿态$(x, y, z, \text{yaw})$与仿真环境中的机器人工作空间对齐。结果如图6所示，更多的影片片段详见附录，相关视频可在我们的网页上查看。 ### 4.5 人类数据过滤指南鉴于近期人们对用于扩展机器人技术的人类数据日益关注[^30] [^33] [^75]，本节旨在指出在线人类数据源中常见的质量问题。我们在分析常用数据集时发现了这些模式，并对100DOH进行了相关分析[^76]。不过，这些经验具有更广泛的适用性。我们从100DOH中选取了2000个时长10秒、已经筛选出包含手-物体交互内容的视频片段，发现其中仅有187个片段（占比9%）存在有意义的手-物体交互。在这187个候选片段中，有41个片段的手或物体超出了视频画面范围，29个片段没有活动，或者活动跨越了镜头边界；另有14个片段因摄像机运动而无法正常使用，还有10个片段因其他原因无法使用。 --- SAM 3D模型的问题，这些问题未来有望借助更先进的模型得到解决。另外还有10个片段因其他原因无法使用。在从100DOH抽取的2000个视频中，只有83个（占比4%）通过了我们的重建环节质量检查。即便在最佳情况下，我们预计也只有107个片段——约占数据总量的5%——能直接用于灵巧操作学习，这意味着如果不对互联网视频进行恰当的预处理和筛选以用于机器人学习，将会产生$20\times$的损耗。 ## 5 结论我们提出了DO AS I DO框架，用于重构日常人类视频并将其适配到灵巧机器人手上。我们的方法在 Egocentric、Exocentric 以及在线视频源上均表现出色，为通过观察人类行为来扩展机器人数据指明了道路。我们希望DO AS I DO能推动人类视频成为机器人学习数据领域的重要组成部分。局限性：我们的方法假设物体是刚性的，且单目RGB图像能给出较为准确的深度预测，一旦这些假设不成立，该方法就可能失效。单目观测还存在手-物体真实距离的歧义性问题，因此难以区分物理接触与单纯的视觉遮挡。此外，我们的方法仅能重构手和物体，无法还原完整场景，因此无法考虑障碍物或铰接结构等环境约束。即便有完全精准的参考信息，这类场景级推理依然十分重要，因为人类的意图不仅体现在手-物体的交互中，还体现在手-场景的交互上。最后，当前的物理模拟器只能近似还原现实世界的动力学特性，这也限制了我们框架在现实世界中能达到的性能上限。 ## 致谢我们感谢Kyutai为本项目提供的计算资源。我们感激Chaoyi Pan在适配方面的指导与富有洞见的讨论。我们还要感谢Jane Wu和Hongsuk Choi在手-物体重构方面给出的宝贵建议与讨论。本研究得到了ONR MURI N00014-21-1-280项目的资助。Haritheja Etukuru和William Liang由NSF研究生研究奖学金计划资助，授予编号为DGE 2146752。Pieter Abbeel同时担任加州大学伯克利分校教授以及亚马逊公司的亚马逊学者。本文所述工作是在加州大学伯克利分校完成的，与亚马逊公司无关。 ## 参考文献 [^1]: A. N. Meltzoff and M. K. Moore. Imitation of Facial and Manual Gestures by Human Neonates. Science, 198(4312):75–78, Oct. 1977. doi:10.1126/science.198.4312.75. URL . [^2]: A. N. Meltzoff. Infant imitation after a 1-week delay: Long-term memory for novel acts and multiple stimuli. Developmental Psychology, 24(4):470–476, 1988. ISSN 1939-0599, 0012-1649. doi:10.1037/0012-1649.24.4.470. URL . [^3]: D. M. Bernard Meltzer. Machine Intelligence 7. 1972. URL . [^4]: S. B. Kang and K. Ikeuchi. Toward automatic robot instruction from perception-mapping human grasps to manipulator grasps. IEEE Transactions on Robotics and Automation, 13(1): 81–95, 1997. doi:10.1109/70.554349. [^5]: A. A. Efros, A. C. Berg, G. Mori, and J. Malik. Recognizing action at a distance. In IEEE International Conference on Computer Vision, pages 726–733, Nice, France, 2003. ## [^6]: Y. Qin, Y.-H. Wu, S. Liu, H. Jiang, R. Yang, Y. Fu, and X. Wang. Dexmv: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision, pages 570–587. Springer, 2022 --- [^7]: J. Mu, S. Yang, Y. Bao, H. Bae, T. Wei, L. Xu, B. Li, H. Xu, and J. Pang. Deximit: Learning bimanual dexterous manipulation from monocular human videos. arXiv preprint arXiv:2602.10105, 2026. [^8]: I. Guzey, H. Qi, J. Urain, C. Wang, J. Yin, K. Bodduluri, M. Lambeta, L. Pinto, A. Rai, J. Malik, et al. Dexterity from smart lenses: Multi-fingered robot manipulation with in-the-wild human demonstrations. arXiv preprint arXiv:2511.16661, 2025. [^9]: V. Liu, A. Adeniji, H. Zhan, S. Haldar, R. Bhirangi, P. Abbeel, and L. Pinto. Egozero: Robot learning from smart glasses. arXiv preprint arXiv:2505.20290, 2025. [^10]: R. Wang, S. Xu, Y. Dong, Y. Deng, J. Xiang, Z. Lv, G. Sun, X. Tong, and J. Yang. Moge2: Accurate monocular geometry with metric scale and sharp details, 2025. URL . [^11]: S. D. Team, X. Chen, F.-J. Chu, P. Gleize, K. J. Liang, A. Sax, H. Tang, W. Wang, M. Guo, T. Hardin, X. Li, A. Lin, J. Liu, Z. Ma, A. Sagar, B. Song, X. Wang, J. Yang, B. Zhang, P. Dollár, G. Gkioxari, M. Feiszli, and J. Malik. Sam 3d: 3dfy anything in images, 2025. URL . [^12]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. [^13]: Google DeepMind and NVIDIA. Mujoco warp (MJWarp). , 2025. GPU-accelerated implementation of the MuJoCo physics engine built on NVIDIA Warp. [^14]: NVIDIA. NVIDIA Isaac Sim: Robotics simulation and synthetic data generation. , 2025. GPU-accelerated robotics simulator built on NVIDIA Omniverse. [^15]: C. Pan, C. Wang, H. Qi, Z. Liu, H. Bharadhwaj, A. Sharma, T. Wu, G. Shi, J. Malik, and F. Hogan. Spider: Scalable physics-informed dexterous retargeting, 2026. URL . [^16]: T. G. W. Lum, O. Y. Lee, C. K. Liu, and J. Bohg. Crossing the human-robot embodiment gap with sim-to-real rl using one human demonstration, 2025. URL . [^17]: B. Wen, W. Yang, J. Kautz, and S. Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects, 2024. URL . [^18]: H. Chen, T. Dong, T. Wu, L. Wang, Y. Jangir, Y. Niu, Y. Ye, H. Bharadhwaj, Z. Erickson, and J. Ichnowski. Dexterous manipulation policies from rgb human videos via 3d hand-object trajectory reconstruction. arXiv preprint arXiv:2602.09013, 2026. [^19]: Meshy AI. Meshy ai: The #1 ai 3d model generator for creators. , 2025. Accessed: 2025-04-17. [^20]: Z. Wei, Z. Xu, J. Guo, Y. Hou, C. Gao, Z. Cai, J. Luo, and L. Shao. $\mathcal{D}(\mathcal{R}, \mathcal{O})$ grasp: A unified representation of robot and object interaction for cross-embodiment dexterous grasping, 2025. URL . [^21]: Y. Ze, G. Zhang, K. Zhang, C. Hu, M. Wang, and H. Xu. 3d diffusion policy: Generalizable visuomotor policy learning via simple 3d representations. In Proceedings of Robotics: Science and Systems (RSS), 2024. ## [^22]: J. Hsieh, K.-H. Tu, K.-H. Hung, and T.-W. Ke. Dexman: Learning bimanual dexterous manipulation from human and generated videos. arXiv preprint arXiv:2510.08475, 2025 --- [^23]: J. Xiang, Z. Lv, S. Xu, Y. Deng, R. Wang, B. Zhang, D. Chen, X. Tong, and J. Yang. Structured 3d latents for scalable and versatile 3d generation. arXiv preprint arXiv:2412.01506, 2024. [^24]: Y. Xiao, J. Wang, N. Xue, N. Karaev, Y. Makarov, B. Kang, X. Zhu, H. Bao, Y. Shen, and X. Zhou. Spatialtrackerv2: 3d point tracking made easy, 2025. URL . [^25]: W. Yan and J. Chu. Foundationpose-plus-plus: Real-time 6d pose tracker in high-dynamic scenes. GitHub repository, 2025. URL . [^26]: Y. J. Ma, S. Sodhani, D. Jayaraman, O. Bastani, V. Kumar, and A. Zhang. VIP: Towards universal visual reward and representation via value-implicit pre-training, 2023. URL . [^27]: Y. J. Ma, W. Liang, V. Som, V. Kumar, A. Zhang, O. Bastani, and D. Jayaraman. Liv: Language-image representations and rewards for robotic control, 2023. URL . [^28]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, and A. Gupta. R3m: A universal visual representation for robot manipulation, 2022. URL . [^29]: K. Shaw, S. Bahl, and D. Pathak. Videodex: Learning dexterity from internet videos, 2022. URL . [^30]: R. Zheng, D. Niu, Y. Xie, J. Wang, M. Xu, Y. Jiang, F. Castañeda, F. Hu, Y. L. Tan, L. Fu, T. Darrell, F. Huang, Y. Zhu, D. Xu, and L. Fan. Egoscale: Scaling dexterous manipulation with diverse egocentric human data, 2026. URL . [^31]: R. Yang, Q. Yu, Y. Wu, R. Yan, B. Li, A.-C. Cheng, X. Zou, Y. Fang, X. Cheng, R.-Z. Qiu, H. Yin, S. Liu, S. Han, Y. Lu, and X. Wang. Egovla: Learning vision-language-action models from egocentric human videos, 2025. URL . [^32]: H. Luo, Y. Feng, W. Zhang, S. Zheng, Y. Wang, H. Yuan, J. Liu, C. Xu, Q. Jin, and Z. Lu. Being-h0: Vision-language-action pretraining from large-scale human videos, 2025. URL . [^33]: R. Punamiya, S. Kareer, Z. Liu, J. Citron, R.-Z. Qiu, X. Cai, A. Gavryushin, J. Chen, D. Liconti, L. Y. Zhu, P. Aphiwetsa, B. Li, A. Cheluva, P. Kuppili, Y. Liu, D. Patel, A. Gao, H.-Y. Chung, R. Co, R. Zbizika, J. Liu, X. Xu, H. Xiong, G. Chen, S. Oliani, C. Yang, X. Wang, J. Fort, R. Newcombe, J. Gao, J. Chong, G. Matsuda, A. Doriwala, M. Pollefeys, R. Katzschmann, X. Wang, S. Song, J. Hoffman, and D. Xu. Egoverse: An egocentric human dataset for robot learning from around the world, 2026. URL . [^34]: R. G. Goswami, A. Bar, D. Fan, T.-Y. Yang, G. Zhou, P. Krishnamurthy, M. Rabbat, F. Khorrami, and Y. LeCun. World models for learning dexterous hand-object interactions from human videos, 2026. URL . [^35]: S. Gao, W. Liang, K. Zheng, A. Malik, S. Ye, S. Yu, W.-C. Tseng, Y. Dong, K. Mo, C.-H. Lin, Q. Ma, S. Nah, L. Magne, J. Xiang, Y. Xie, R. Zheng, D. Niu, Y. L. Tan, K. R. Zentner, G. Kurian, S. Indupuru, P. Jannaty, J. Gu, J. Zhang, J. Malik, P. Abbeel, M.-Y. Liu, Y. Zhu, J. Jang, and L. J. Fan. Dreamdojo: A generalist robot world model from large-scale human videos, 2026. URL . ## [^36]: J. Shi, Z. Zhao, T. Wang, I. Pedroza, A. Luo, J. Wang, J. Ma, and D. Jayaraman. Zeromimic: Distilling robotic manipulation skills from web videos, 2025. URL --- [^37]: A. Agarwal, S. Uppal, K. Shaw, and D. Pathak. Dexterous functional grasping, 2023. URL . [^38]: H. Bharadhwaj, R. Mottaghi, A. Gupta, and S. Tulsiani. Track2act: Predicting point tracks from internet videos enables generalizable robot manipulation, 2024. URL . [^39]: C. Wang, L. Fan, J. Sun, R. Zhang, L. Fei-Fei, D. Xu, Y. Zhu, and A. Anandkumar. Mimicplay: Long-horizon imitation learning by watching human play, 2023. URL . [^40]: H. G. Singh, A. Loquercio, C. Sferrazza, J. Wu, H. Qi, P. Abbeel, and J. Malik. Hand-object interaction pretraining from videos, 2024. URL . [^41]: Y. Qin, H. Su, and X. Wang. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation, 2023. URL . [^42]: J. Li, Y. Zhu, Y. Xie, Z. Jiang, M. Seo, G. Pavlakos, and Y. Zhu. Okami: Teaching humanoid robots manipulation skills through single video imitation, 2024. URL . [^43]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), Nov. 2017. [^44]: R. A. Potamias, J. Zhang, J. Deng, and S. Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild, 2024. [^45]: J. Zhang, J. Deng, C. Ma, and R. A. Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1805–1815, 2025. [^46]: M. Liu, C. Xu, H. Jin, L. Chen, M. Varma T, Z. Xu, and H. Su. One-2-3-45: Any single image to 3d mesh in 45 seconds without per-shape optimization. Advances in Neural Information Processing Systems, 36, 2024. [^47]: T. Lee, B. Wen, M. Kang, G. Kang, I. S. Kweon, and K.-J. Yoon. Any6D: Model-free 6d pose estimation of novel objects. In Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR), 2025. [^48]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. [^49]: Y. Ye, A. Gupta, and S. Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3895–3905, 2022. [^50]: A. Prakash, M. Chang, M. Jin, R. Tu, and S. Gupta. 3d reconstruction of objects in hands without real world 3d supervision. In European Conference on Computer Vision, pages 126–145. Springer, 2024. [^51]: J. Wu, G. Pavlakos, G. Gkioxari, and J. Malik. Reconstructing hand-held objects in 3d. arXiv preprint arXiv:2404.06507, 2024. [^52]: Y. Ye, J. Li, R. Rong, and C. K. Liu. Whole: World-grounded hand-object lifted from egocentric videos. CVPR Findings, 2026. ## [^53]: Y. Ye, P. Hebbar, A. Gupta, and S. Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In ICCV, 2023 --- [^54]: Y. Ye, A. Gupta, K. Kitani, and S. Tulsiani. G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In CVPR, 2024. [^55]: K. Zakka. Mink: Python inverse kinematics based on MuJoCo, Feb. 2026. URL . [^56]: C. M. Kim, B. Yi, H. Choi, Y. Ma, K. Goldberg, and A. Kanazawa. Pyroki: A modular toolkit for robot kinematic optimization, 2025. URL . [^57]: Y. Qin, W. Yang, B. Huang, K. V. Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system, 2024. URL . [^58]: Z.-H. Yin, C. Wang, L. Pineda, K. Bodduluri, T. Wu, P. Abbeel, and M. Mukadam. Geometric retargeting: A principled, ultrafast neural hand retargeting algorithm, 2025. URL . [^59]: K. Li, P. Li, T. Liu, Y. Li, and S. Huang. Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning, 2025. URL . [^60]: Z. Mandi, Y. Hou, D. Fox, Y. Narang, A. Mandlekar, and S. Song. Dexmachina: Functional retargeting for bimanual dexterous manipulation, 2025. URL . [^61]: S. Xu, Y.-W. Chao, L. Bian, A. Mousavian, Y.-X. Wang, L.-Y. Gui, and W. Yang. Explore: Scalable neural control for dexterous manipulation from reference-scoped exploration, 2025. URL . [^62]: L. Yang, H. J. T. Suh, T. Zhao, B. P. Graesdal, T. Kelestemur, J. Wang, T. Pang, and R. Tedrake. Physics-driven data generation for contact-rich manipulation via trajectory optimization, 2026. URL . [^63]: Z. Si, J. E. Chen, M. E. Karagozler, A. Bronars, J. Hutchinson, T. Lampe, N. Gileadi, T. Howell, S. Saliceti, L. Barczyk, I. O. Correa, T. Erez, M. Shridhar, M. F. Martins, K. Bousmalis, N. Heess, F. Nori, and M. Bauza. Exostart: Efficient learning for dexterous manipulation with sensorized exoskeleton demonstrations, 2025. URL . [^64]: N. Carion, L. Gustafson, Y.-T. Hu, S. Debnath, R. Hu, D. Suris, C. Ryali, K. V. Alwala, H. Khedr, A. Huang, J. Lei, T. Ma, B. Guo, A. Kalla, M. Marks, J. Greer, M. Wang, P. Sun, R. Rädle, T. Afouras, E. Mavroudi, K. Xu, T.-H. Wu, Y. Zhou, L. Momeni, R. Hazra, S. Ding, S. Vaze, F. Porcher, F. Li, S. Li, A. Kamath, H. K. Cheng, P. Dollár, N. Ravi, K. Saenko, P. Zhang, and C. Feichtenhofer. Sam 3: Segment anything with concepts, 2026. URL . [^65]: A. Lugmayr, M. Danelljan, A. Romero, F. Yu, R. Timofte, and L. V. Gool. Repaint: Inpainting using denoising diffusion probabilistic models, 2022. URL . [^66]: Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, and B. Poole. Score-based generative modeling through stochastic differential equations, 2021. URL . [^67]: C. Doersch, P. Luc, Y. Yang, D. Gokay, S. Koppula, A. Gupta, J. Heyward, I. Rocco, R. Goroshin, J. Carreira, and A. Zisserman. Bootstap: Bootstrapped training for tracking-any-point, 2024. URL . ## [^68]: A. Veicht, P.-E. Sarlin, P. Lindenberger, and M. Pollefeys. GeoCalib: Single-image Calibration with Geometric Optimization. In ECCV, 2024 --- [^69]: OpenAI, I. Akkaya, M. Andrychowicz, M. Chociej, M. Litwin, B. McGrew, A. Petron, A. Paino, M. Plappert, G. Powell, R. Ribas, J. Schneider, N. Tezak, J. Tworek, P. Welinder, L. Weng, Q. Yuan, W. Zaremba, and L. Zhang. Solving rubik’s cube with a robot hand, 2019. URL . [^70]: N. Rudin, D. Hoeller, P. Reist, and M. Hutter. Learning to walk in minutes using massively parallel deep reinforcement learning, 2022. URL . [^71]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Handa, J. Tremblay, Y. S. Narang, K. Van Wyk, U. Iqbal, S. Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9044–9053, 2021. [^72]: Y. Liu, Y. Liu, C. Jiang, K. Lyu, W. Wan, H. Shen, B. Liang, Z. Fu, H. Wang, and L. Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. [^73]: X. Zhan, L. Yang, Y. Zhao, K. Mao, H. Xu, Z. Lin, K. Li, and C. Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion, 2024. URL . [^74]: T. Feix, J. Romero, H.-B. Schmiedmayer, A. M. Dollar, and D. Kragic. The grasp taxonomy of human grasp types. IEEE Transactions on human-machine systems, 46(1):66–77, 2015. [^75]: R. Hoque, P. Huang, D. J. Yoon, M. Sivapurapu, and J. Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025. [^76]: D. Shan, J. Geng, M. Shu, and D. F. Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9869–9878, 2020. [^77]: Y. Lipman, R. T. Q. Chen, H. Ben-Hamu, M. Nickel, and M. Le. Flow matching for generative modeling, 2023. URL . [^78]: X. Wei, M. Liu, Z. Ling, and H. Su. Approximate convex decomposition for 3d meshes with collision-aware concavity and tree search. ACM Transactions on Graphics, 41(4):1–18, 2022. ISSN 1557-7368. doi:10.1145/3528223.3530103. URL . ## [^79]: E. Todorov, T. Erez, and Y. Tassa. Mujoco: A physics engine for model-based control. In 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 5026–5033. IEEE, 2012. doi:10.1109/IROS.2012.6386109 --- ## A 重构 ![Image](images/8658ad8b568840257288f3e67699578101c9961f8328862f7910fcd776bcc0b7.jpg)

Figure 7: Reconstruction Architecture. SAM 3D [^11] generates the object mesh from a single frame, while HaWoR [^45] tracks the hand across the video. We then track the object frame-by-frame via guided diffusion (Section 3.1), anchoring each step to the predicted object shape and the previous frame's pose. Per frame, we sample N candidate poses and select the best using a clustering-based heuristic. Finally, a depth-map-based alignment step registers the HaWoR hand to our predicted object, yielding a consistent 4D hand-object trajectory.

自适应引导。在此，我们解释如何利用点跟踪来获取姿态引导强度参数 $\alpha_p$。对于每一对连续帧，我们在物体掩码内采样20个点，并用BootsTAPIR对它们进行跟踪 [^67]。我们保留那些仍位于下一个掩码内的点，并通过SVD以封闭形式拟合出它们的二维刚体变换。在每一帧k，由此可得到物体估计的平面内旋转角度 $\Delta\theta_k$ 以及其质心平移量。随后，我们将姿态引导强度 $\alpha_p$ 设为旋转幅度的受限仿射函数。通常，我们使用以下函数来估算 $\alpha_p(k)$：$\alpha_p(k) = \max(0.1, 0.7 - 0.09 \left|\Delta\theta_k\right|)$。我们在DexYCB和HOI4D基准测试集上进行评估 [^71] [^72]，结果显示自适应姿态引导在性能上始终优于固定姿态引导，这一结果见表5。逐帧姿态采样。在每一帧k，我们的算法会生成N个候选姿态 $\{x_{k,i}^{p}\}_{i=1}^{N}$，它们共享固定的形状 $\bar{x}^{s}$，且每帧需从中选取一个姿态。合理的选择是根据模型针对给定形状的姿态条件对数密度对候选姿态进行排序。对于流模型而言，通过瞬时变量变换公式可精确计算出该密度 [^77]，且仅限于姿态部分： $$ \log p_{\theta}\Big(x_{k,i}^{p}\Big|\bar{x}^{s},c_{k}\Big)\;=\;\log p_{0}(x_{0}^{p})\;+\;\int_{0}^{1}\mathrm{t r}\Bigg(\frac{\partial v_{\theta}^{p}(x_{t},t,c_{k})}{\partial x_{t}^{p}}\Bigg)\;d t, $$ 其中 $x_{0}^{p}$ 是通过从t=1到t=0反向积分常微分方程得到的 $x_{k,i}^{p}$ 的噪声预图像。精确计算迹需要每个欧拉步中对每个姿态坐标进行一次向量-雅可比乘积运算；当姿态维度为 $D_{p}=13$、常微分方程步数为T=25、每帧候选姿态数为N=25时，评分过程每帧需要 $NT(1+D_{p}) \approx 8.7k$ 次前向+反向传播通过扩散骨干网络——这一开销比生成本身高出两个数量级，在视频尺度下根本无法承受。 --- 因此，我们采用了一种基于聚类的启发式方法，一旦生成候选姿态后，该方法几乎能实现实时处理。我们按照下文描述的加权SE(3)距离对 $N = 25$ 个姿态进行采样和聚类： $$ \begin{array}{c} d(x_{i}^{p},x_{j}^{p})\;=\;w_{t}\left\|t_{i}-t_{j}\right\|_{2}\;+\;w_{r}\cdot2\operatorname{a r c c o s}\left|\left\langle q_{i},q_{j}\right\rangle\right|,\end{array} $$ 其中 $(t_{i}, q_{i}) := x_{i}^{p}$ 分别表示 $x_{i}^{p}$ 的平移分量和单位四元数分量，第二项则是SO(3)上的测地角。我们将尺寸小于阈值的簇视为异常值予以丢弃，并对剩余簇的二维轮廓IoU与输入掩码进行比较排序。实验表明，置信度高的样本会集中在同一姿态模式下，而估计器的噪声则会在SE(3)空间中分散开来。如表5所示，这种启发式方法的性能与基于姿态似然的排序方法相当，且相比生成过程几乎不增加任何计算开销。手-物体对齐。由于SAM 3D是使用来自单目几何估计模型MoGe的点图训练的 [^10]，为了获得最佳性能，我们在推理阶段也使用MoGe点图。为了将姿态预测结果与HaWoR手部预测结果对齐（如图8所示），我们首先通过分割掩码中的每个像素发射射线，并对射线与手部网格的首个交点取平均值，从而计算出HaWoR手部网格可见部分的质心 $\mathbf{c}_{\text{hand}}^{\text{H}}$。接着，在每帧的MoGe点图中，手部质心 $\mathbf{c}_{\text{hand}}^{\text{M}}$ 是对用于确定 $\mathbf{c}_{\text{hand}}^{\text{H}}$ 的相同像素（即击中HaWoR网格的射线）所对应的3D数值取均值；而物体质心 $\mathbf{c}_{\text{obj}}^{\text{M}}$ 则是对所有分割掩码像素对应的3D数值取均值。设 $z_{\text{hand}}^{\text{H}}$ 和 $z_{\text{hand}}^{\text{M}}$ 分别表示手部质心的深度（z）分量，则每帧的缩放比例为 $$ k=\frac{z_{\mathrm{h a n d}}^{\mathrm{H}}}{z_{\mathrm{h a n d}}^{\mathrm{M}}}. $$ 对于每一帧，我们都会将物体相对于手的位置进行设定：先获取点图空间中手到物体的偏移量，通过参数k将其重新缩放为近度量（HaWoR）单位，再将其加到HaWoR手质心上。 $$ \mathbf{o b j}_{\mathrm{t a r g e t}}=\mathbf{c}_{\mathrm{h a n d}}^{\mathrm{H}}+k\left(\mathbf{c}_{\mathrm{o b j}}^{\mathrm{M}}-\mathbf{c}_{\mathrm{h a n d}}^{\mathrm{M}}\right). $$ 给定目标物体的位置后，我们保持SAM 3D预测的网格方向不变，仅优化一个标量——即网格在相机坐标系下的平移量$\mathbf{t}$对应的缩放系数s。物体可见表面的质心为$\mathbf{obj_{pos}}(s) = \mathbf{c_{mesh}} + s\mathbf{t}$，其中$\mathbf{c_{mesh}}$是指投影到物体掩码内且排除平移因素后的可见网格顶点的质心。我们求解的是一维最小二乘问题。 $$ s^{\star}=\arg\operatorname*{m i n}_{s}\left\|\mathbf{o b j}_{\mathrm{p o s}}(s)-\mathbf{o b j}_{\mathrm{t a r g e t}}\right\|^{2}=\frac{\mathbf{t}^{\top}\left(\mathbf{o b j}_{\mathrm{t a r g e t}}-\mathbf{c}_{\mathrm{m e s h}}\right)}{\mathbf{t}^{\top}\mathbf{t}}, $$ 该过程会使物体沿其视线方向滑动，直至到达与目标位置匹配的深度，同时保留其恢复后的朝向。对每一帧重复此操作，就能得到对齐后的4D手-物运动轨迹。 ![Image](images/b3b9274a3abcb391713df05b7f46f46e7d44ea50c7fd4f42f57f391a260d465f.jpg)

Figure 8: Hand-Object Alignment. The translation and scale of the object mesh are converted from MoGe pointmap space to HaWoR hand mesh space using relative distance between hand and object.

--- ## B 重定向仿真设置。我们在MuJoCo Warp仿真器中进行重定向实验，仿真时间步长为0.005秒（200赫兹）。我们使用CoACD [^78]对物体网格进行凸分解；为了稳定手-物交互，尤其是针对涉及多次接触的任务，我们将物体网格增厚并扩张2毫米。 ![Image](images/17740f4d5853a6d64a97db098633423f2a4c02caa967f2a6373bb1a6a8b85872.jpg)

Figure 9: Retargeting Optimization. We visualize multiple iterations of the sampling-based optimization process for a trajectory: blue and red traces indicate converged fingertip and object trajectories, respectively. The ghost hand and object indicate reference (blue) and warmup (red).

算法细节。为了准备基于动力学的重定向，我们首先通过运动学方式将人手映射到机械手（不考虑力、接触等因素）来计算参考轨迹，利用mink匹配指尖位置[^55]。接着，我们运行基于采样的动力学感知重定向算法，如图9所示，每0.5秒（2赫兹）规划一次，规划时域为3秒。每个规划步骤中，我们会评估1024个样本并优化32次迭代；奖励机制会鼓励物体（位置和朝向）以及手（位置、朝向和手指关节）的跟踪效果，同时对过度穿透行为（避免利用仿真器的漏洞）和正文中所介绍的过渡奖励给予惩罚。更多超参数详情见表4。最后，除了正文中描述的内容外，我们还会列出几个重要的细节和经验教训。 1. 参考值混合。在每个规划时间步长中，初始样本以先前规划的控制量为中心，随后追加下一段参考步骤。如果直接将参考值附加到已优化的控制量上，会导致突变和抖动现象；为避免这种情况，我们通过插值将优化后的控制量混合到参考值中。 2. 鲁棒的运动学重定向。重定向过程会以参考值为中心抽取样本，因此需要合理的参考值才能找到符合动力学约束的控制量。由于运动学重定向的计算成本较低，提升参考值质量的一个简单而有效的方法是：从不同的随机初始姿态出发，计算多个运动学重定向结果，从而避开可能的局部最小值。 3. 物体基座。在某些视频中，感兴趣的物体可能不会平放在表面上（例如勺子竖直立在容器中）。为了准确稳定其初始姿态，我们会在物体网格底部添加一个 ---

Table 4: Retargeting Hyperparameters. All results from our method use the following setup.

Parameter	Value	Parameter	Value
Algorithm	Sampling
num_samples	1024	knot_dt	0.2
max_num_iterations	32	pos_noise_scale	0.01
sim_dt	0.005	rot_noise_scale	0.01
ctrl_dt	0.5	joint_noise_scale	0.1
horizon	3.0	final_noise_scale	0.01
		first_ctrl_noise_scale	1.0
		last_ctrl_noise_scale	4.0
Rewards	Perturbation
pos_rew_scale	1.0	num_perturb_samples	4
rot_rew_scale	0.3	perturb_force_scale	0.5
base_pos_rew_scale	0.1	perturb_torque_scale	0.5
base_rot_rew_scale	0.03	perturb_prob	0.05
joint_rew_scale	0.01	perturb_continue_prob	0.95
terminal_rew_scale	10.0
penetration_penalty_scale	3000.0
transition_penalty_scale	0.5

平坦的“底板”，该底板仅与地面接触（不与机器人接触）。这样我们就能从任意初始姿态开始对物体进行重定向，无需依赖特定任务的假设或额外的场景重建。 ## C 实验设置与结果重建效果评估。我们将其与两类基线方法进行比较：(1) 手部与物体的联合重建方法，以及(2) 物体追踪器 [^17] [^47]。在第一组中，我们将其与HO [^48]、IHOI [^49]、HORSE [^50] 和 MCC-HO [^51] 进行比较，这些方法的数值源自Wu等人的研究 [^51]。我们还将其与一种较新的基于视频的RGB手部与物体联合重建方法G-HOP [^54] 进行比较。对于HOI4D数据集，我们直接评估作者发布的逐片段检查点模型；这些检查点是利用专为HOI4D设计的扩散先验优化得到的。对于DexYCB数据集，原始的GHOP论文在训练扩散先验时使用了DexYCB的形状与姿态数据（以及其他数据集），但并未报告其在DexYCB上的视频重建结果。因此，我们自行使用作者发布的混合数据先验，在包含160个测试片段的完整测试集上执行逐片段测试时优化。在第二组基线方法中，我们采用了最先进的6自由度物体追踪器：FoundationPose [^17] 和 Any6D [^47]。由于这些方法仅用于物体追踪，我们将它们分别嵌入我们的框架以替代原有的物体追踪模块，同时保持其他组件不变，从而能够与我们自己的追踪器进行可控对比。在针对互联网上的自然视频进行评估时，由于没有真实的物体姿态数据，我们依赖人类偏好来进行判断。每位评分员会观看原始的手部与物体交互视频，以及两个投影视频：一个使用我们追踪器生成的物体网格，另一个使用FoundationPose [^17] 生成的物体网格，并将它们投影到二维平面上，然后被问及哪个视频中物体的运动轨迹与其真实运动更一致。为避免位置偏差，我们对每个视频中两种方法的左右顺序进行随机化处理，并对150个视频中的每个视频收集三个评分，每个评分来自五名评分员中的不同人员。结果显示，67%的情况下评分员更喜欢我们的方法，而FoundationPose仅占18%，另有15%的评分认为两者相当。在非平局判定中，我们的方法胜率高达79%。75%的视频得到了三位评分员的一致认可，评分员之间的一致性也较高（Fleiss’ $\kappa = 0.65$）。图10展示了呈现给每位评分员的用户界面截图。 ---

Table 5: Object Tracking Ablation. We ablate two design axes of our object tracking method.

Pose Guidance Strategy	Candidate Selection	DexYCB			HOI4D
Pose Guidance Strategy	Candidate Selection	F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$	F-5 $\uparrow$	F-10 $\uparrow$	CD $\downarrow$
Fixed	Clustering	0.70	0.91	0.74	0.69	0.91	0.50
Adaptive	Random	0.70	0.91	0.74	0.62	0.87	0.66
Adaptive	Log-likelihood	0.72	0.93	0.65	0.72	0.91	0.49
Adaptive	Clustering	0.71	0.93	0.66	0.72	0.91	0.49

![Image](images/361e3fcbd5112da546757aefab8496d04d398089a8a0d498d2fbc304da03f553.jpg)

Figure 10: A screenshot of the user interface shown to the human evaluators for in-the-wild object tracking. In this instance shown in the figure, option 1 is regarded as better because the object pose is aligned with true object position.

## D机器人部署双UR3e机械臂与Sharpa手部的仿真设置。我们在配备UR3e机械臂和Sharpa Wave手部的双臂系统上，通过仿真重现重新定位后的轨迹，动力学计算采用MuJoCo物理模拟器 [^79]，可视化则使用Viser工具。来自重新定位阶段（第3.2节）的轨迹无法直接在机器人上执行；我们首先通过逆运动学将它们映射到机械臂与手部结构上，这一过程借助mink工具完成 [^55]。如图11所示，我们构建了现实世界设置的数字孪生模型，以便在真实执行前，能在仿真环境中直观验证每条轨迹是否存在自碰撞、与桌面接触等问题。 ![Image](images/b39dba2f04b2f2bf967be67c3288fb6e9a51b369e0b7331b8ce9e1a0a0362cf5.jpg)

Figure 11: Digital Twin. A simulated replica of our real-world bimanual setup (UR3e arms with Sharpa Wave hands) in MuJoCo, visualized with Viser.

--- 真实世界部署。经仿真验证后，我们以大约一半的速度在真实世界的双臂系统上执行这些轨迹，双臂与手部均以50 Hz的频率接收指令。图12展示了6种不同任务的真实世界执行结果。 ![Image](images/7b847b46a2dc6887519cceb21d35d5ca75485c8eadcfaf9fcfc93f3e2781f2e0.jpg)

Figure 12: Real-World Rollouts. Frames from our robot rollouts for spreading, whisking, dusting, pouring, erasing, and picking. More tasks and videos are available on our webpage.