# 基于RGB人类视频的灵巧操作策略：通过3D手-物体轨迹重建实现
陈宏毅$^{1}$、董托尼$^{1}$、吴天成$^{1}$、王立权$^{2}$、扬吉尔·亚什$^{1}$、牛雅茹$^{1}$、叶宇飞$^{3}$、巴拉德瓦杰·霍曼加$^{1}$、埃里克森·扎科里$^{1,†}$、伊奇诺夫斯基·杰弗里$^{1,†}$
$^{1}$ 卡内基梅隆大学，$^{2}$ 佐治亚理工学院，$^{3}$ 斯坦福大学，$^{\dagger}$ 共同指导
Input: RGB Human Videos
videomanip.github.io
无需机器人数据
一段视频可生成多条轨迹
无需可穿戴或外部传感器
从自然场景视频中学习
Output: 3D Hand & Object Traj
Train Robot Policy from Reconstructed Traj
Fig. 1: Given RGB human videos, including both in-scene and in-the-wild recordings (left), the proposed VIDEOMANIP framework reconstructs trajectories of hand and object meshes (middle, projected onto RGB frames) and retargets them into robot actions to train policies. This enables dexterous manipulation learning directly from human videos without robot data or wearable/external sensing devices (right), offering a scalable alternative to conventional multifinger robot data collection pipelines.
摘要—由于动作空间维度高且难以获取大规模训练数据，多指机械手的操控与抓取任务极具挑战性。现有方法主要依赖佩戴可穿戴设备或专用传感设备的人类遥操作来收集机器人演示数据，这限制了其可扩展性。在本研究中，我们提出了VIDEOMANIP——一种无需额外设备的框架，可直接从RGB人类视频中学习灵巧的多指操控技能。借助计算机视觉领域的最新进展，VIDEOMANIP通过估计人手姿态和物体网格，从单目视频中重建明确的机器人-物体轨迹，并将重建后的人体动作映射到机器人手上以用于操控学习。为使重建的机器人数据适用于灵巧操控训练，我们引入了结合交互中心抓取建模的手-物体接触优化机制，以及能从单段视频中生成多样化训练轨迹的演示合成策略，从而无需额外的机器人演示即可实现泛化能力强的策略学习。仿真实验表明，所学习的抓取模型在Inspire Hand上针对20种不同物体可达到70.25%的成功率。在现实世界中，基于RGB视频训练出的操控策略在LEAP Hand上针对七项任务的平均成功率达62.86%，较基于动作映射的方法高出15.87%。项目相关视频可在videomanip.github.io查看。
## 一、引言
仅利用人类视频进行监督，能在多大程度上实现灵巧机器人操控的学习？现有研究已通过手持夹具[^1]、智能眼镜[^2]和头戴设备[^3]等可穿戴设备、[^4]，或多摄像头摄影棚设置[^5]获取的人类数据来训练操控策略。尽管这些方法效果显著，但通常需要专用硬件、受控采集环境或直接的人力参与，限制了其可扩展性。相比之下，RGB视频无处不在且规模庞大，具备无需专用硬件即可实现规模化学习的潜力。然而，从这类数据中提取用于机器人-物体交互的精确监督信息仍具挑战性，因为此类视频缺乏机器人动作信息和精确的3D数据。在本研究中，我们提出了一种仅利用RGB人类视频学习灵巧操控的框架。我们在逐步放宽数据条件的情况下对该框架进行了评估，从场景内视频到自然场景视频均纳入测试范围。
以往的研究探讨了利用以自我为中心的视频来进行操控学习；然而，这些方法要么未能成功应用于多指机械手 [^6], [^7]，要么依赖机器人演示来微调在野外数据集上预训练的模型 [^8], [^9], [^10]，要么是在特定部署场景下采集的视频上训练的 [^11]，要么假设能够获取预先扫描的物体模型 [^12]。一些研究从人类操作物体的图像或视频中重建人手姿态或物体网格。不过，这些方法要么未能证明所重建的信息能有效用于灵巧机械手操控的学习 [^13], [^14], [^15]，要么无法利用重建的轨迹进行直接模仿学习，而是依赖设计的奖励函数来进行操控策略学习 [^16]，或者需要额外的策略微调 [^9]。与此同时，另一类研究
---
专注于人类对机械手的远程操控 [^17], [^18]，这类方法通常需要头戴式视觉设备或专门的传感装置来追踪人手 [^4], [^3], [^19]。对专用硬件的依赖限制了其可扩展性并制约了数据的多样性。
为解决这些挑战，我们提出了VIDEOMANIP框架，该框架完全基于RGB人类视频来学习灵巧抓取与操控能力，无需可穿戴设备或外部传感器、无需训练后的机器人演示，也无需预先扫描的物体网格（见图1）。借助计算机视觉领域的最新进展，如度量深度估计和图像到网格的重建技术，VIDEOMANIP通过估算人手姿态、物体网格及物体尺寸，从单目视频中恢复出明确的手-物三维轨迹，随后将重建的人体动作映射到机械手上。对于场景内拍摄的视频，我们假设已知相机与机器人的外部标定参数，并利用它把重建的轨迹从相机坐标系转换到机器人基座坐标系，以便进行策略训练。而对于在机器人环境外录制且无外部标定的野外视频，我们则从视觉观测中估算重力方向，进而将以相机为中心的轨迹对齐到具有物理意义的世界坐标系中。
为使重建的机器人数据能适用于灵巧操控训练，我们引入了两个组件来提升抓取模型的训练效果以及操控策略的泛化能力。首先，我们执行：(i) 通过预测手-物接触图来进行差分手姿优化，以促进符合物理规律的互动；(ii) 采用以互动为中心的抓取建模方式，利用优化后的接触图来实现有效的抓取学习。其次，我们利用DemoGen [^20] 从单一重建视频轨迹中合成多样化的演示数据，从而实现一对多的轨迹生成，用于泛化性强的操控策略训练。我们在两类任务上对VIDEOMANIP进行了评估：仿真环境中的物体抓取，以及现实世界中的物体操控。综合评估与消融实验表明，所学习的抓取模型在使用Inspire Hand时，针对20个物体的抓取成功率达到70.25%；而使用LEAP Hand时，所学习的操控策略在七项现实世界操控任务中的平均成功率为62.86%，其中三项任务基于场景内视频学习，四项任务基于野外视频学习。
研究成果：(i) VIDEOMANIP：一种仅利用RGB人类视频即可学习多指机器人手抓取与操控的框架，无需机器人演示、可穿戴设备或外部传感硬件；(ii) 一种可从场景内及自然环境中拍摄的人类视频中显式提取并训练的3D机器人手-物体轨迹重建流程；(iii) 借助重建出的机器人数据，我们能使灵巧的机器人手仅凭每个物体或任务对应的单段RGB人类视频，就能完成各类物体抓取及泛化操控任务。
### 二、相关工作
### A. 基于人类视频的操控学习
大规模的人类与世界交互的RGB视频资源十分丰富，但从中学习灵巧操控策略仍颇具挑战性，因为人类视频无法直接提供机器人可执行的动作，且手-物体交互往往存在歧义。以往的研究利用人类视频来学习操控先验知识[^8]、[^9]、[^21]、[^22]，但通常仍需借助机器人演示进行微调，限制了仅从人类数据中实现泛化的能力。其他方法会提取中间表征，如物体可供性[^23]、[^24]、[^6]、点流[^7]、[^25]、[^26]、[^27]，或是手部姿态[^12]、[^11]。不过这些方法大多仅适用于粗略操控或夹爪类任务[^28]、[^16]、[^29]、[^15]。
另一类研究实现了无需机器人演示的灵巧操控，但依赖专门的传感硬件。AINA[^2]利用智能眼镜捕捉手-物体点云，相关方法则依赖可穿戴头戴设备[^3]、[^19]或手部动作捕捉系统[^12]、[^30]，这增加了额外的硬件依赖。与此同时，世界模型[^31]、[^32]和视频生成模型[^27]、[^33]、[^34]通过预测未来的物体轨迹来实现零样本操控，主要应用于夹爪类任务。LVP[^35]将这种方法拓展到灵巧手上，通过重新定位预测出的人类手部动作，但它并未显式建模手-物体接触关系，可能会生成不可行的动作。相比之下，我们的工作侧重于考虑接触的抓取建模，能从人类视频中重建可靠且可学习的3D手-物体轨迹，同时与基于视频生成的方法形成互补。
### B. 基于视频的人-物体交互重建
从图像和视频中重建手部与物体是一项研究已久的领域。现代方法利用Transformer等强大的模型来推断低维度的手部姿态和形状表示 [^36], [^37]。在强三维监督下，利用网格 [^38]、点云 [^39] 以及基本几何体 [^40] 等多种物体表示形式，就能够学习跨多个物体类别的共享模型。借助这些进展，从图像和视频中进行手部与物体交互的联合推理变得越来越可行 [^41], [^42], [^43], [^44], [^45], [^46], [^47]。近期的研究利用从图像和视频中重建的手部-物体交互数据来训练灵巧机器人的抓取与操作策略 [^14], [^15], [^16], [^17]。相比之下，所提出的方法在真实系统上的模型性能方面也显示出显著提升，包括数据采集、برگزاری 和检测系统。事实证明，这种方法在ூட்டு உயர்ந்த நிலையில் 更为有效。
### 三、方法
在本节中，我们将介绍：(i) 第III-A节中从RGB人体视频中重建手部网格H和物体网格O的整体流程，该流程可生成明确的三维机器人
---
Fig. 2: Overview of the VIDEO MANIP framework. We first reconstruct 3D robot–object interaction trajectories from RGB human videos via recent advances in 3D vision (Sec. III-A). To utilize the reconstructed data for dexterous grasping and manipulation learning, we perform grasp contact optimization and interaction-centric grasp modeling, and synthesize trajectories for generalizable manipulation (Sec. III-B). Finally, we deploy the trained models for real-world dexterous grasping and manipulation.
手部轨迹、手指级操作以及由此产生的物体姿态变化；(ii) 第III-B节中基于这些重建的手部动作和物体点云来学习抓取与操作策略。
假设条件。(i) 原始数据集仅包含用固定摄像头拍摄的以人为主的视频，既包括场景内录制内容，也包括野外录制内容。每个任务或物体仅对应一个视频。(ii) 假设无法获取预先扫描的物体网格、物体尺寸信息、深度测量数据或相机内参。(iii) 不使用机器人数据，也不使用可穿戴式及外部传感设备。
### A. 从视频中重建三维手部-物体轨迹
给定一段人类与物体交互的RGB视频 $\mathcal{V} = \{I_1, \ldots, I_T\}$，其中包含图像帧 $I_t \in \mathbb{R}^{H \times W \times 3}$，我们利用现有三维视觉技术来重建物体网格 $\mathcal{O}$、估计其6D姿态，并恢复人手姿态，随后进行机器人手部的映射。为此，我们首先采用MoGe-2 [^51] 来估计度量深度图和相机内参，从而定义一个统一的度量三维坐标系，确保后续所有重建过程中手部与物体的空间对齐具有物理一致性。
物体网格重建与姿态估计。我们的下一步是从视频中重建物体网格 $\mathcal{O}$ 及其6D姿态。我们直接从RGB观测数据重建完整的三维物体网格，以实现精确的抓取接触建模。我们首先识别视频中被操作的物体，并利用Segment Anything Model 2（SAM 2）[^52] 获取物体掩码。我们对掩码区域进行裁剪以生成以物体为中心的图像，再将其输入MeshyAI进行图像到网格的生成 [^53]。虽然重建出的物体网格 $\mathcal{O}$ 能够反映物体的外观和整体形状，但缺乏准确的度量尺度。FoundationPose [^54] 等姿态估计方法要求所用物体网格具备精确的实际尺寸；一旦这一假设不成立，就会得出错误的姿态估计结果。
为了解决未知物体的尺度问题，我们采用了两阶段的尺度估计策略。首先，我们调用GPT-4.1语言模型来获取物体物理尺寸的粗略估计值，并据此对网格进行缩放。接着，我们利用先前估计出的物体掩码和度量深度信息，通过FoundationPose评估多个候选缩放比例（例如从$0.5\times$到$2\times$），从而进一步细化物体尺度。我们选取能使渲染误差最小的缩放比例，以实现精细的尺度验证。渲染误差是通过将每一帧中渲染出的物体网格与视频帧中由SAM 2生成的物体掩码进行对比来计算得出的。
人手网格估计与机械手动作映射。为了从视频中提取机器人动作，我们首先恢复人手运动，再将其映射到机械手上。我们使用手部网格恢复模型HaMeR [^37]来为所有视频帧重建手部网格$\mathcal{H}$。HaMeR采用低维参数化方式来表示手部网格$\mathbf{h} = (\theta, \beta)$，其中$\theta$代表手部姿态，
---
$\beta$代表手部形状。HaMeR采用弱透视相机模型，该模型本身存在深度歧义性，且对焦距误差较为敏感。为了将重建出的手部网格$\mathcal{H}$在关节坐标空间内与物体对齐，我们复用了MoGe-2预测的度量深度图——这些深度图与物体姿态估计所用的深度图一致——以确保$\mathcal{H}$与$\mathcal{O}$具有相同的深度参考基准。随后，我们通过取HaMeR预测的2D关键点处的度量深度平均值，计算出校正后的手部深度$t_z'$。对于每一帧$I_t$，重建出的人手姿态$(\theta_t$和$\beta_t)$会通过优化过程被映射到机械手配置$q_t$上，包括腕部姿态和手指关节角度，该优化过程旨在最小化选定的机器人连杆关键点与对应人手关节之间的误差[^49]。给定机器人的URDF文件后，便可针对任意机械手配置q生成对应的机器人网格$\mathcal{R}$。
野外视频校准。野外视频中的轨迹与场景内视频不同，后者可通过已标定的变换$^{world}T_{cam}$转换为机器人基座坐标系下的轨迹；而野外视频缺乏这种变换，其动作是在相机坐标系中表达的，由于相机方向和姿态未知，这些动作与世界坐标系存在偏差。如图2所示，在重力对齐之前，由于相机倾斜，重建出的物体（如碗和瓶子）并未位于水平面上。基于此类数据训练出的策略会学到特定于相机框架的动作，这些动作无法直接迁移到物理世界坐标系中。为解决这一问题，我们采用了GeoCalib [^55]——这是一种单图像相机校准方法，它利用3D几何的通用视觉线索来估计相机方向。GeoCalib能从视频第一帧中推断出相机坐标系下的重力方向，以及使重力与负z轴对齐的对应旋转$^{grav}R_{cam} \in \mathrm{SO}(3)$，即$\mathbf{g}_{cam} = [0, 0, -1]^{\top}$。我们将这一旋转应用于所有重建出的网格$\mathcal{R}, \mathcal{O}$以及机器人配置q，从而得到适合策略训练的重力对齐后的轨迹和点云。虽然这种方法无法还原完整的相机到世界的变换$^{world}T_{cam}$，但所估计出的$^{grav}R_{cam}$足以将第一人称视角的野外视频中的轨迹与场景内视频（如安装在机器人上的桌子）所在的共享参考平面对齐，最终得到的轨迹与场景内录制出的轨迹高度吻合。
### B. 灵巧抓取与操控学习
在此，我们探讨如何利用重建的轨迹来训练机器人的灵巧操控能力。为了应对机器人视频与人类RGB视频中手部形态及背景环境的视觉差异，我们采用基于点云的策略，即从网格表面采样点。实践中，尽管重建的轨迹能够捕捉到正确的运动，但由于物体几何结构的重建误差，以及手部网格的尺寸、形状或姿态的不准确，导致生成的机器人-物体交互往往不具备物理可行性，进而可能出现物体穿插或无效接触的情况（详见图5(b)中的示例）。执行过程中，此类误差可能导致机器人无法触及物体，或无法牢固抓取物体。此外，虽然单段人类视频可能包含多个抓取实例，但仅能生成一条操控轨迹，这不足以用于学习鲁棒的操控策略。
为了提高手-物交互的物理有效性，并增加单段视频产生的轨迹多样性，我们采用可微分的手-物接触优化方法[^47]，同时借助DemoGen[^20]从单条重建的人类轨迹中合成空间随机化的操控演示。遵循DemoGen的技能-动作分解思路，我们将重建的轨迹分为抓取和操控两个阶段，每个阶段由专门的策略负责学习。抓取阶段的时间范围是从手部在时刻$t_{1}$足够接近物体，到在时刻$t_{2}$实现稳定抓取、尚未开始物体操控为止。操控阶段则涵盖$[t_{2}, T]$，即手部对已抓取物体的操作过程。抓取策略负责学习正确的手-物交互方式，而操控策略则控制物体的相对平移与旋转，以及精细的手指动作。
接触优化与以交互为中心的抓取建模。为解决抓取重建失败的问题，在抓取阶段$[t_1, t_2]$，我们利用预训练的ContactOpt[^47]来优化抓取结果。手部参数h决定了重建的手部网格$\mathcal{H}$相对于物体网格$\mathcal{O}$的几何关系。因此，我们计算出依赖于手部姿态的接触图$C_{\mathcal{H}}(\mathbf{h})$和$C_{\mathcal{O}}(\mathbf{h})$，它们会根据顶点与另一网格的邻近程度，为每个顶点赋予平滑的、基于距离的接触值。例如，物体顶点$v_O^c$处的接触值可表示为：
$$ C_{\mathcal{O}}(v_{\mathcal{O}}^{i};\mathbf{h})=\operatorname*{m a x}\Big(0,1-\frac{\operatorname*{m i n}_{j}\|v_{\mathcal{H}}^{j}(\mathbf{h})-v_{\mathcal{O}}^{i}\|}{c_{\mathrm{r a d}}}\Big), $$
其中，$v_{\mathcal{H}}^{j}(\mathbf{h})$是姿态为$\mathbf{h}$时的手部顶点，$c_{\mathrm{rad}}$是控制衰减范围的半径参数。类似地，针对手部顶点也会计算出$C_{\mathcal{H}}(\mathbf{h})$。这些接触图具有可微分性，能够为优化手部姿态提供梯度。随后，ContactOpt会预测手部网格$\hat{C}_{\mathcal{H}}$和物体网格$\hat{C}_{\mathcal{O}}$上的理想接触区域，并通过可微分的目标函数调整手部姿态参数$\mathbf{h}$，使当前接触状态与这些目标相匹配（完整公式请参考[^47]）：
$$ E(\mathbf{h})=|C_{\mathcal{O}}(\mathbf{h})-\hat{C}_{\mathcal{O}}|+|C_{\mathcal{H}}(\mathbf{h})-\hat{C}_{\mathcal{H}}|. $$
优化后的类人手部姿态随后会被映射到机器人手部配置$q_t^{\text{opt}}, t \in [t_1, t_2]$上，这些配置将作为训练抓取模型的抓取演示。
给定来自$\mathcal{R}$的机器人网格$q_t^{\text{opt}}$以及物体网格$\mathcal{O}$，我们随后采用DRO模型[^56]来捕捉它们之间的交互，从而实现鲁棒的抓取建模。DRO能够预测机器人手部的点云$\mathbf{P}^\mathcal{O} \in \mathbb{R}^{N_\mathcal{O} \times 3}$与物体点云$\mathbf{P}^\mathcal{O} \in \mathbb{R}^{N_\mathcal{O} \times 3}$之间的密集点对距离，有效捕捉由ContactOpt提供的交互模式和空间关系。具体而言，DRO以从网格中采样的随机初始化的机器人手部点云$\mathbf{P}_{\text{init}}^{\mathcal{O}}$和零中心的物体点云$\mathbf{P}^{\mathcal{O}}$作为输入，预测距离矩阵$\mathcal{D}(\mathcal{R}, \mathcal{O})^{\text{Pred}} \in \mathbb{R}^{N_\mathcal{O} \times N_\mathcal{O}}$，如图2所示。训练损失即为预测距离矩阵与真实距离矩阵之间的差异。
---
Fig. 3: Quantitative Results on Grasping and Manipulation. Grasping: (a) Success rates across object groups, with comparison between models trained with and without grasp optimization; (b) Ablation study on incorporating additional videos for previously failed objects. Manipulation: (c) Performance comparison between our method and baselines across seven manipulation tasks; (d) Ablation study on the number of DemoGen-synthesized trajectories.
$\mathcal{L}_{\mathrm{L1}}\left(\mathcal{D}(\mathcal{R}, \mathcal{O})^{\mathrm{Pred}}, \mathcal{D}(\mathcal{R}, \mathcal{O})^{\mathrm{GT}}\right)$。利用$\mathcal{D}(\mathcal{R}, \mathcal{O})^{\mathrm{Pred}}$和物体点云$\mathbf{P}^{\mathcal{O}}$，我们可以通过多边测量法$\mathbf{P}_{\mathrm{grasp}}^{\mathcal{R}}$将机器人点云定位到目标抓取姿态[^57]，并通过优化计算出相对于物体的抓取配置$q^{\mathrm{grasp}}$。
操作演示合成与训练。通用的操作策略通常需要大量演示数据，而我们的目标是仅从单个重建的人类视频中学习，以避免重复收集及重建人类视频。为此，我们采用DemoGen [^20]通过物体空间随机化来合成额外的操作演示。DemoGen通过对物体点云及相关机器人轨迹应用一致的SE(3)变换来强制实现空间等变性。由于三维点云和机器人本体感知状态可直接进行变换，因此能够合成多样化的轨迹，同时保留手与物体的接触以及精细的手指动作。对于操作策略的学习，我们采用基于三维扩散的策略（DP3）[^58]，它以抓取姿态下的机器人手部点云和本体感知状态$\mathbf{P}_{\text{grasp}}^{\mathcal{R}}$、$q_{\text{grasp}}$，以及物体点云$\mathbf{P}^{\mathcal{O}}$作为初始观测输入。该策略输出的动作表现为机器人配置的预测变化$\Delta q$，并通过更新的观测数据以闭环方式执行。
### 四、实验
我们使用该框架开展了两组实验：物体抓取实验和不同物体的操作实验。主要结果展示在图3中。相关结果的视频演示可在我们的网站上查看。
### A. 抓取实验
实验设置。我们收集了20段人类抓取物体的视频，每种物体对应一段视频；物体类别如图5(a)所示。每段视频的帧率为30 fps，时长3至6秒。我们在所有物体上训练模型，并在IsaacGym模拟器中评估抓取成功率，使用的是18自由度的Inspire机器人手，因为其尺寸与人类手相近。模拟器初始化时采用了从录制视频中重建的物体网格和姿态。每次抓取$q^{\text{grasp}} \in \mathbb{R}^{18}$在IsaacGym中会经历300步的扰动阶段，力会从六个方向依次施加：$\pm x$、$\pm y$和$\pm z$。所施加的力大小设定为物体质量的0.5倍。如果物体在受力扰动下的位移不超过其初始位置的3厘米，则认为抓取成功。通过这些实验，我们旨在回答以下问题：
- 问题1：当基于从人类RGB视频中重建的抓取数据训练时，该抓取模型在不同物体类别上的泛化能力如何？
- 问题2：对于初始抓取难度较高的物体，加入从不同视角拍摄的额外视频能否提升模型性能？
回答1：我们的抓取模型基于视频重建的抓取数据进行训练，在15个成功抓取的物体上平均成功率达到82.13%，而在包含5个失败案例的所有物体上平均成功率为63.75%，如图4所示。模型预测的抓取动作与输入视频中观察到的人类抓取动作高度相似；例如，在肥皂液和喷雾瓶的抓取场景中，中指分别放置在分配器顶部和喷嘴处。我们进一步通过ContactOpt [^47]来研究抓取优化的影响，具体做法是对所有物体用未经优化的抓取数据重新训练DRO抓取模型，结果显示在20个物体上的平均成功率仅为30.7%；而使用优化后的抓取数据时，成功率达到63.75%，如图3(a)所示。如图5(b)所示，未经优化的抓取往往会穿透物体表面，或因重建误差而无法与物体有效接触，而优化后的抓取能实现更精准的手部-物体接触，这也体现在更高的抓取成功率上。
回答2：不过，有5个物体（图4中红色虚线框标出）的抓取成功率较低。这些失败主要源于物体姿态估计错误——比如在平底锅的案例中，手柄被人手遮挡严重导致姿态估计不准确；同时也缺乏力感知能力，眼镜盒和手提包的抓取动作在运动学上虽合理，但无法形成有效的力闭合，进而导致抓取不稳定。为解决这些问题，我们研究了加入不同视角和抓取风格的视频是否能提升模型性能。其背后的逻辑是：某些视频中的重建可能因遮挡或抓取方式不佳而失败，但在遮挡较少或力闭合更稳定的其他视频中却能成功。因此，针对每个抓取失败的物体，我们收集了另外两段人类操作视频来扩充数据集，最终用于重新训练的视频数量达到30段（20+5×2）。如表I所示，用扩充后的数据集训练后，这5个原本抓取失败的物体上的成功率从8.6%提升至40.8%，整体成功率也从63.75%提高到70.25%。尽管手提包的抓取对干扰较为敏感，其成功率并未提升，但其余物体上的性能改善表明：仅增加视频多样性就能显著提升模型的鲁棒性和泛化能力。
---
Fig. 4: Predicted grasps and success rates in IsaacGym. The DRO grasping model is trained on 20 object categories. Each object is evaluated over 100 trials and sorted by descending success rate; red dotted box denotes failed grasps.
Fig. 5: (a) Visualization of the 20 objects used for video collection and grasp model training. (b) Grasp optimization results on Bottle, Spray Bottle, and Apple. Left: unoptimized reconstructed grasps; right: grasps optimized using ContactOpt [^47].
TABLE I: Quantitative ablation of grasp performance with multiple videos. Success rates on the five initially failed objects in Fig. 4, comparing models trained with the original 20 videos and with additional videos for the failed objects.
| Pan | Hat | Bowl | Glasses Case | Hand bag |
| Single Video | 27 | 14 | 1 | 1 | 0 |
| Multi Videos | 36 | 52 | 48 | 68 | 0 |
### B. 操控实验
实验设置：我们在安装在7自由度xArm机械臂上的四指LEAP手上评估七项操控任务，每项任务对应一段人类演示视频。其中三项任务使用现场拍摄的视频：倒茶（拿起瓶子并倾斜以将茶水倒入碗中）、关闭抽屉（将抽屉完全推入书架）、拾取并放置易拉罐（拿起易拉罐并将其放入盒子中）。剩下的四项任务则使用自然场景下的视频，并通过重力进行校准：无需摄像头-机器人校准即可完成倒茶任务、挂帽子（将手中的帽子挂在衣架上）、移动积木盒（拿起积木盒并将其放在衣架上）。
TABLE II: Quantitative comparison of our method and baselines across different video sources and tasks over 10 trials with randomized target object locations. Our DP3 model is trained on 1000 trajectories synthesized by DemoGen from a single reconstructed source trajectory.
| Video Type | Task | $\pi_{0.5}$ | LVP(-H) | LVP | Ours |
| In-scene Videos | Pour Tea | 0/10 | 1/10 | 7/10 | 8/10 |
| Close Drawer | 1/10 | 2/10 | 6/10 | 9/10 |
| Pick&Place Can | - | 0/10 | 4/10 | 5/10 |
| In-the-wild Videos | Pour Tea | 0/10 | 1/10 | 7/10 | 7/10 |
| Hang Hat | 0/10 | - | 4/10 | 6/10 |
| Screw Bulb | 1/10 | 0/10 | 1/10 | 4/10 |
| Move Jenga Box | 0/10 | 0/10 | 2/10 | 5/10 |
一个置物架），以及螺旋灯泡（将灯泡拧入灯座直至点亮）。对于Pick&Place Can任务，DP3的动作空间$\Delta q_t$和状态空间$q_t$均为22自由度，其中包括6自由度的delta腕部姿态和16自由度的delta手指关节，以实现物体的释放。对于所有其他任务，我们采用6自由度的delta腕部动作空间。我们针对所有抓取物体训练单一的DRO模型，这些物体包括瓶子、罐子、抽屉、帽子、积木盒和灯泡；同时为每个任务分别训练独立的DP3操控策略。每个任务中的第二个物体（如碗、盒子、架子）被称为目标物体。
在评估过程中，我们利用经过校准的ZED相机，通过FoundationPose [^54]结合重建的物体网格$\mathcal{O}$来估算物体姿态。随后，训练好的DRO模型会根据物体点云预测抓取姿态，由LEAP Hand在自由空间中执行抓取操作$q^{\text{grasp}} \in \mathbb{R}^{22}$。后续操控阶段的初始观测数据包括被抓取物体和目标物体的点云$\mathbf{P}^{\mathcal{O}}$、预测抓取姿态下的机器人手的点云$\mathbf{P}^{\mathcal{R}}_{\text{grasp}}$，以及相应的本体感知状态$q^{\text{grasp}}$。接着，DP3会基于当前观测数据以闭环方式运行。在每个时间步，预测出的动作$\Delta q_t$会更新机器人配置及相关的手部点云。在执行过程中，被抓取物体的点云$\mathbf{P}^{\mathcal{O}}$常常会被体积较大的LEAP Hand遮挡，从而导致闭环DP3控制变得困难。因此，我们假设抓取时建立的手部与物体的相对姿态在后续运行过程中保持不变。
---
在后续运行过程中，我们利用从$q^{grasp}$计算得出的手部到物体的变换来更新物体点云。这种近似处理对大多数任务而言已经足够；而Pick&Place Can任务中的物体释放过程则是在执行过程中隐式处理的，无需在点云更新中显式建模。
由于我们的策略仅通过RGB人类视频训练而成，没有任何机器人演示数据作为参考，因此可直接比较的基准方法较少。为此，我们选取了两种具有代表性的替代方案：（1）$\pi_{0.5}$，一种具备泛化能力的视觉-语言-动作模型[^59]，用作零样本操控的基准；（2）大型视频规划器（LVP），这是一种基于重定位的方法，能将视频生成器预测出的人类手部动作映射为机器人动作[^35]。我们在自己的场景中使用200次机器人演示数据对$\pi_{0.5}$-DROID进行微调，这些演示涉及LEAP Hand执行的任务，且与前述七种任务互不重叠。由于$\pi_{0.5}$-DROID是用平行夹爪训练的，因此每次运行之初都假设物体已被LEAP Hand抓取，仅评估后续的操控阶段。对于LVP，我们测试了两种变体：LVP需以包含人类手部的初始观测数据作为输入，以预测后续的手部抓取和操控动作；而LVP(-H)则以仅包含物体的初始观测数据作为输入，用于评估模型仅凭借物体观测数据推断操控方式的能力，无需人类手部线索。通过一系列实验，我们旨在回答以下问题：
- Q3：仅凭单个场景内及自然环境下的RGB人类视频训练出的操控策略，其表现如何？
Q4：自然环境下的校准过程以及合成演示数据的数量，会对策略性能产生何种影响？
A3：VIDEOMANIP能够从人类视频中捕捉手与物体的运动，为操控策略学习提供时空监督信息。如图6所示，重建出的轨迹与对应的RGB人类视频高度吻合。利用这些重建轨迹以及由DemoGen生成的额外合成轨迹，训练得到的DP3策略在所有任务中的总体成功率达到了最高的62.86%（见表II）。这些合成轨迹使我们的策略能够泛化到不同的目标物体位置（相关视频可在我们的网站上查看）。不过，对于“关闭抽屉”和“拧灯泡”这类物体（灯泡和灯座）紧密贴合的任务而言，基于DemoGen的轨迹增强作用较小，但物体位置的变化仍有助于已训练策略的泛化。
此外，我们的模型性能优于LVP基线模型——后者无法为积木盒稳定生成可行的抓取方案，且在“移动积木盒”（物体未被放置在架子上）和“拧灯泡”（缺少必要的旋转动作）等任务中会出现运动失误。而且，在机器人操控中常见的初始观测中缺少人类右手的情况时，即使被明确指示使用右手，LVP(-H)也经常生成错误的未来帧。这些失误包括虚构出机械夹爪而非人类手部、无法执行预定任务（例如保持静止而非推开抽屉）、尝试不可行的抓取、混淆左右手，或生成无法被检测到的手部。相比之下，我们的方法能重建明确的3D几何结构，将监督信息建立在具有物理意义的网格之上，而非像素级的视频幻觉。结合合成轨迹，我们的结果表明，基于重建的轨迹能为灵巧操控策略学习提供可靠且可泛化的监督信息。最后，$\pi_{0.5}$取得的成果有限，因为它主要是在平行夹爪数据集上训练的，而我们用于LEAP Hand微调的演示样本数量较少，不足以显著提升其灵巧操控性能。
A4：“倒茶”任务分别在场景内和野外视频类别上使用$worldT_{cam}$和$graR_{cam}$进行评估。表II显示两种视频来源之间的性能差异并不显著；然而，若不对野外“倒茶”任务应用$graR_{cam}$，成功率会降至0%，这凸显了重力对齐校准的重要性。我们进一步通过向源视频中重建的目标物体“碗”的位置添加不超过$[-0.2, 0.2]$米的x-y平面扰动，并合成1到1000条轨迹，来研究DemoGen对场景内“倒茶”任务的影响。评估时，碗会被放置在该扰动区域内的15个不同位置上。随着合成轨迹数量的增加，成功率从1/15稳步提升至13/15（见图3(d)），这表明DemoGen能让DP3学会可泛化到不同目标物体位置的动作。
### V. 结论、局限性与未来工作
我们提出了一种基于重建的框架，该框架无需依赖专用传感设备，就能以低成本从仅含RGB信息的野外人类视频中恢复手与物体的3D轨迹。事实证明，重建出的轨迹能有效用于训练灵巧抓取与操控策略，且与依赖生成视频的重定向式方法相比，它能提供更符合物理规律的监督信息。
尽管有这些优势，VIDEOMANIP仍存在若干局限性。(1) VIDEOMANIP框架依赖多种3D视觉模型，包括图像到网格的重建以及物体姿态估计，这可能会导致各阶段出现累积误差。目前我们通过从以自我为中心的视角录制人类视频来规避这一问题，这种视角有助于可靠地重建手部与物体，而非从互联网下载通用视频。在未来的工作中，我们计划加入轨迹验证模块，以自动检测并过滤掉错误的重建结果，同时扩展到更多真实场景中的视频。(2) 当前框架假设相机设置为静态或近似静态。我们计划利用动态场景重建领域的最新进展，将该方法拓展至动态相机设置场景 [^60]，[^61]。(3) 操控策略学习目前依赖于DemoGen生成的、以3D点云形式呈现的合成轨迹。然而在现实世界的操控中，由于机器人手造成的遮挡，物体点云往往难以被追踪。我们目前假定抓取过程中形成的手-物相对接触关系会在整个执行过程中得以保持。
---
Fig. 6: Visualization of VIDEOMANIP Execution Using In-Scene (top) and In-the-Wild (bottom) Video Data Sources. For each task, given RGB human videos (row 1), we reconstruct 3D trajectories of the human hand and objects (row 2). Trained with these trajectories, we executed on a real-world LEAP Hand (row 3).
从而更新物体点云以及机器人手的点云。在未来的工作中，我们计划探索点云之外的其他轨迹合成方式，例如基于图像的表示方法。
## 参考文献
[^1]: K. Liu, Z. Jia, Y. Li, P. Chen, S. Liu, X. Liu, P. Zhang, H. Song, X. Ye, N. Cao et al., “Fastumi-100k: Advancing data-driven robotic manipulation with a large-scale umi-style dataset,” arXiv preprint arXiv:2510.08022, 2025.
[^2]: I. Guzey, H. Qi, J. Urain, C. Wang, J. Yin, K. Bodduluri, M. Lambda, L. Pinto, A. Rai, J. Malik et al., “Dexterity from smart lenses: Multifingered robot manipulation with in-the-wild human demonstrations,” arXiv preprint arXiv:2511.16661, 2025.
[^3]: Z. Jiang, Y. Xie, K. Lin, Z. Xu, W. Wan, A. Mandlekar, L. J. Fan, and Y. Zhu, "Dexmimicgen: Automated data generation for bimanual dexterous manipulation via imitation learning," in 2025 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2025, pp. 16923–16930.
[^4]: Y. Niu, Y. Zhang, M. Yu, C. Lin, C. Li, Y. Wang, Y. Yang, W. Yu, T. Zhang, Z. Li, J. Francis, B. Chen, J. Tan, and D. Zhao, "Human2locoman: Learning versatile quadrupedal manipulation with human pretraining," in Robotics: Science and Systems (RSS), 2025.
[^5]: R. Fu, D. Zhang, A. Jiang, W. Fu, A. Funk, D. Ritchie, and S. Sridhar, "Gigahands: A massive annotated dataset of bimanual hand activities," in CVPR, 2025, pp. 17461–17474.
[^6]: C. Bao, J. Xu, X. Wang, A. Gupta, and H. Bharadhwaj, “Handsonvlm: Vision-language models for hand-object interaction prediction,” arXiv preprint arXiv:2412.13187, 2024.
[^7]: H. Bharadhwaj, R. Mottaghi, A. Gupta, and S. Tulsiani, "Track2act: Predicting point tracks from internet videos enables diverse zero-shot robot manipulation," CoRR, 2024.
[^8]: K. Shaw, S. Bahl, A. Sivakumar, A. Kannan, and D. Pathak, “Learning dexterity from human hand motion in internet videos,” IJRR, 2022.
[^9]: H. G. Singh, A. Loquercio, C. Sferrazza, J. Wu, H. Qi, P. Abbeel, and J. Malik, "Hand-object interaction pretraining from videos," in ICRA, 2025.
[^10]: T. Tao, M. K. Srirama, J. J. Liu, K. Shaw, and D. Pathak, "Dexwild: Dexterous human interactions for in-the-wild robot policies," Robotics: Science and Systems (RSS), 2025.
[^11]: T. G. W. Lum, O. Y. Lee, C. K. Liu, and J. Bohg, “Crossing the human-robot embodiment gap with sim-to-real rl using one human demonstration,” arXiv preprint arXiv:2504.12609, 2025.
[^12]: Y. Qin, Y.-H. Wu, S. Liu, H. Jiang, R. Yang, Y. Fu, and X. Wang, "Dexmv: Imitation learning for dexterous manipulation from human videos," in European Conference on Computer Vision. Springer, 2022, pp. 570–587.
[^13]: J. Wu, G. Pavlakos, G. Gkioxari, and J. Malik, “Reconstructing handheld objects in 3d,” arXiv preprint arXiv:2404.06507, 2024.
[^14]: H. Chen, Y. Yao, Y. Ye, Z. Xu, H. Bharadhwaj, J. Wang, S. Tuliani, Z. Erickson, and J. Ichnowski, “Web2grasp: Learning functional grasps from web images of hand-object interactions,” arXiv preprint arXiv:2505.05517, 2025.
[^15]: J. Yu, L. Fu, H. Huang, K. El-Refai, R. A. Ambrus, R. Cheng, M. Z. Irshad, and K. Goldberg, “Real2render2real: Scaling robot data without dynamics simulation or robot hardware,” arXiv preprint arXiv:2505.09601, 2025.
[^16]: W. Ye, F. Liu, Z. Ding, Y. Gao, O. Rybkin, and P. Abbeel, "Video2policy: Scaling up manipulation tasks in simulation through internet videos," arXiv preprint arXiv:2502.09886, 2025.
[^17]: C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song, “Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots,” arXiv preprint arXiv:2402.10329, 2024.
## [^18]: T. Z. Zhao, V. Kumar, S. Levine, and C. Finn, “Learning fine-grained bimanual manipulation with low-cost hardware,” RSS, 2023
---
[^19]: R.-Z. Qiu, S. Yang, X. Cheng, C. Chawla, J. Li, T. He, G. Yan, D. J. Yoon, R. Hoque, L. Paulsen et al., “Humanoid policy—human policy,” arXiv preprint arXiv:2503.13441, 2025.
[^20]: Z. Xue, S. Deng, Z. Chen, Y. Wang, Z. Yuan, and H. Xu, “Demogen: Synthetic demonstration generation for data-efficient visuomotor policy learning,” arXiv preprint arXiv:2502.16932, 2025.
[^21]: S. Nair, A. Rajeswaran, V. Kumar, C. Finn, and A. Gupta, “R3m: A universal visual representation for robot manipulation,” in 6th Annual Conference on Robot Learning.
[^22]: Y. J. Ma, S. Sodhani, D. Jayaraman, O. Bastani, V. Kumar, and A. Zhang, “Vip: Towards universal visual reward and representation via value-implicit pre-training,” in The Eleventh ICLR.
[^24]: A. Agarwal, S. Uppal, K. Shaw, and D. Pathak, “Dexterous functional grasping,” in 7th Annual Conference on Robot Learning.
[^25]: A. Goyal, A. Mousavian, C. Paxton, Y.-W. Chao, B. Okorn, J. Deng, and D. Fox, “Ifor: Iterative flow minimization for robotic object rearrangement,” in CVPR, 2022, pp. 14787–14797.
[^26]: C. Wang, L. Fan, J. Sun, R. Zhang, L. Fei-Fei, D. Xu, Y. Zhu, and A. Anandkumar, “Mimicplay: Long-horizon imitation learning by watching human play,” in 7th Annual Conference on Robot Learning.
[^27]: H. Li, L. Sun, Y. Hu, D. Ta, J. Barry, G. Konidaris, and J. Fu, "Novaflow: Zero-shot manipulation via actionable flow from generated videos," arXiv preprint arXiv:2510.08568, 2025.
[^28]: V. Jain, M. Attarian, N. J. Joshi, A. Wahid, D. Driess, Q. Vuong, P. R. Sanketi, P. Sermanet, S. Welker, C. Chan et al., “Vid2robot: End-to-end video-conditioned policy learning with cross-attention transformers,” arXiv preprint arXiv:2403.12943, 2024.
[^29]: C. Tang, A. Xiao, Y. Deng, T. Hu, W. Dong, H. Zhang, D. Hsu, and H. Zhang, "Mimicfunc: Imitating tool manipulation from a single human video via functional correspondence," arXiv preprint arXiv:2508.13534, 2025.
[^30]: C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu, "Dexcap: Scalable and portable mocap data collection system for dexterous manipulation," arXiv preprint arXiv:2403.07788, 2024.
[^31]: R. G. Goswami, A. Bar, D. Fan, T.-Y. Yang, G. Zhou, P. Krishnamurthy, M. Rabbat, F. Khorrami, and Y. LeCun, “World models can leverage human videos for dexterous manipulation,” arXiv preprint arXiv:2512.13644, 2025.
[^32]: W. Huang, Y.-W. Chao, A. Mousavian, M.-Y. Liu, D. Fox, K. Mo, and L. Fei-Fei, “Pointworld: Scaling 3d world models for in-the-wild robotic manipulation,” arXiv preprint arXiv:2601.03782, 2026.
[^33]: J. Liang, P. Tokmakov, R. Liu, S. Sudhakar, P. Shah, R. Ambrus, and C. Vondrick, "Video generators are robot policies," arXiv preprint arXiv:2508.00795, 2025.
[^34]: S. Patel, S. Mohan, H. Mai, U. Jain, S. Lazebnik, and Y. Li, "Robotic manipulation by imitating generated videos without physical demonstrations," arXiv preprint arXiv:2507.00990, 2025.
[^35]: B. Chen, T. Zhang, H. Geng, K. Song, C. Zhang, P. Li, W. T. Freeman, J. Malik, P. Abbeel, R. Tedrake et al., “Large video planner enables generalizable robot control,” arXiv preprint arXiv:2512.15840, 2025.
[^36]: Y. Rong, T. Shiratori, and H. Joo, “Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration,” arXiv preprint arXiv:2008.08324, 2020.
[^37]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik, "Reconstructing hands in 3d with transformers," in CVPR, 2024, pp. 9826–9836.
[^38]: G. Gkioxari, J. Malik, and J. Johnson, "Mesh r-cnn," in ICCV, 2019.
[^39]: C.-H. Lin, C. Kong, and S. Lucey, “Learning efficient point cloud generation for dense 3d object reconstruction,” in AAAI, 2018.
[^40]: B. Deng, K. Genova, S. Yazdani, S. Bouaziz, G. Hinton, and A. Tagliasacchi, "Cvxnet: Learnable convex decomposition," in CVPR, 2020.
[^41]: Y. Hasson, G. Varol, D. Tzionas, I. Kalevatykh, M. J. Black, I. Laptev, and C. Schmid, “Learning joint reconstruction of hands and manipulated objects,” in CVPR, 2019, pp. 11807–11816.
[^42]: Y. Liu, X. Long, Z. Yang, Y. Liu, M. Habermann, C. Theobalt, Y. Ma, and W. Wang, “Easyhoi: Unleashing the power of large models for reconstructing hand-object interactions in the wild,” arXiv preprint arXiv:2411.14280, 2024.
[^43]: Y. Ye, P. Hebbar, A. Gupta, and S. Tulsiani, “Diffusion-guided reconstruction of everyday hand-object interaction clips,” in Proceedings of the IEEE/CVF international conference on computer vision, 2023, pp. 19717–19728.
[^44]: J. J. Park, P. Florence, J. Straub, R. Newcombe, and S. Lovegrove, "Deepsdf: Learning continuous signed distance functions for shape representation," in CVPR, 2019.
[^45]: Z. Fan, M. Parelli, M. E. Kadoglou, X. Chen, M. Kocabas, M. J. Black, and O. Hilliges, “Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video,” in CVPR, 2024, pp. 494–504.
[^46]: Z. Cao, I. Radosavovic, A. Kanazawa, and J. Malik, “Reconstructing hand-object interactions in the wild,” in Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 12417–12426.
[^47]: P. Grady, C. Tang, C. D. Twigg, M. Vo, S. Brahmbhatt, and C. C. Kemp, “Contactopt: Optimizing contact to improve grasps,” in CVPR, 2021, pp. 1471–1481.
[^48]: K. Li, P. Li, T. Liu, Y. Li, and S. Huang, “Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning,” in CVPR, 2025, pp. 6991–7003.
[^49]: Y. Qin, W. Yang, B. Huang, K. Van Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox, "Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system," in Robotics: Science and Systems, 2023.
[^50]: C. Pan, C. Wang, H. Qi, Z. Liu, H. Bharadhwaj, A. Sharma, T. Wu, G. Shi, J. Malik, and F. Hogan, “Spider: Scalable physics-informed dexterous retargeting,” arXiv preprint arXiv:2511.09484, 2025.
[^51]: R. Wang, S. Xu, Y. Dong, Y. Deng, J. Xiang, Z. Lv, G. Sun, X. Tong, and J. Yang, “Moge-2: Accurate monocular geometry with metric scale and sharp details,” arXiv preprint arXiv:2507.02546, 2025.
[^52]: N. Ravi, V. Gabeur, Y.-T. Hu, R. Hu, C. Ryali, T. Ma, H. Khedr, R. Rädle, C. Rolland, L. Gustafson et al., “Sam 2: Segment anything in images and videos,” in The Thirteenth ICLR.
[^53]: Meshy AI, “Meshy ai: The #1 ai 3d model generator for creators,” 2025, accessed: 2025-04-17. [Online]. Available:
[^54]: B. Wen, W. Yang, J. Kautz, and S. Birchfield, “Foundationpose: Unified 6d pose estimation and tracking of novel objects,” in CVPR, 2024, pp. 17868–17879.
[^55]: A. Veicht, P.-E. Sarlin, P. Lindenberger, and M. Pollefeys, “Geocalib: Learning single-image calibration with geometric optimization,” in European Conference on Computer Vision. Springer, 2024, pp. 1–20.
[^56]: Z. Wei, Z. Xu, J. Guo, Y. Hou, C. Gao, Z. Cai, J. Luo, and L. Shao, "D (r, o) grasp: A unified representation of robot and object interaction for cross-embodiment dexterous grasping," in 2025 ICRA. IEEE, 2025, pp. 4982–4988.
[^57]: A. Norrdine, “An algebraic solution to the multilateration problem,” in Proceedings of the 15th international conference on indoor positioning and indoor navigation, Sydney, Australia, vol. 1315, 2012.
[^58]: Y. Ze, G. Zhang, K. Zhang, C. Hu, M. Wang, and H. Xu, "3d diffusion policy: Generalizable visuomotor policy learning via simple 3d representations," in RSS, 2024.
[^59]: P. Intelligence, K. Black, N. Brown, J. Darpinian, K. Dhabalia, D. Driess, A. Esmail, M. Equi, C. Finn, N. Fusai et al., “pi_0.5: a vision-language-action model with open-world generalization,” arXiv preprint arXiv:2504.16054, 2025.
[^60]: S. Wang, Z. Jiang, X. Yang, and X. Wang, "C4d: 4d made from 3d through dual correspondences," in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2025, pp. 7570–7580.
[^61]: Z. Yu, S. Zafeiriou, and T. Birdal, "Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera," in Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, pp. 27716–27726.