# HAND2ROBOT：基于人类演示的物体中心式4D手部重建技术及其在机器人领域的应用

杜泽涛 $^{1*}$ 王伟青 $^{1,2*}$ 张汉兵 $^{1}$ 周一苗 $^{1}$

石烨 $^{1,2}$ 王亮 $^{3}$ 王静雅 $^{1\dagger}$

 $^{1}$上海科技大学 $^{2}$InstAdapt

 $^{3}$中国科学院自动化研究所

{duzt2022,zhanghb2025,zhouym2025,shiye,wangjingya}@shanghaitech.edu.cn <mailto:wangweiqing@instadapt.com> <mailto:wangliang@nlpr.ia.ac.cn>

## 摘要

人类演示能够在不使用目标机器人的情况下捕捉与任务相关的操作信息，但记录下来的手部动作无法直接作为机器人的动作监督信号。手部重建与动作重定向为获取此类监督信号提供了直接途径，然而仅恢复手部动作并不足以保证手部与物体间的交互符合物理规律。为解决这一问题，我们提出了Hand2Robot——一种用于机器人策略训练后阶段的物体中心式4D手部重建框架。给定人类执行目标任务时的视频，Hand2Robot会提取交互片段、重建物体几何形状，并通过手部与物体的交互优化及动作重定向来生成机器人动作监督信号。在物体跟踪方面，我们结合观测置信度与时间运动约束，从每帧的姿态候选结果中筛选出全局一致的物体姿态轨迹；在手部精细化处理方面，我们以物体几何形状与运动为参考，通过分阶段的2D对齐与物体局部接触约束来优化手部轨迹及手指关节配置。在DexYCB和HO3D-v3数据集上的实验表明，该方法提升了物体姿态的精确度以及手部与物体间的交互质量。在三个真实机器人灵巧操作任务上的实验进一步证实：重建并重定向后的人类演示能够有效补充有限的机器人数据，助力目标任务策略的训练后阶段优化。项目页面：<https://Hand2Robot.github.io/>。

## 1 引言

将预训练的机器人策略部署到目标机器人上以实现灵巧操作，通常需要在训练后阶段加入与任务相关的演示数据。由于受限于目标硬件要求以及对熟练遥操作员的依赖等因素，低成本收集机器人演示数据仍颇具挑战性。这些限制促使研究人员将人类操作视频（Grauman等人，2022年；Hoque等人，2025年）作为补充数据源：人类无需操作目标机器人就能直接演示与任务相关的物体交互过程。利用这些视频进行策略训练后阶段优化时，需要将人类动作转换为机器人的动作空间，同时保留所演示的交互关系。因此，我们研究了如何从人类演示中生成可靠的机器人动作监督信号，以补充有限的机器人数据。

现有研究通过视觉表征、奖励信号或潜在动作预训练等方式，利用人类视频来支持机器人学习（Hu等人，2024年；Guzey等人，2025年；Ye等人，2025a年）。另一类研究则从视频中恢复人类动作，再通过动作对齐或重定向生成机器人动作监督信号（Kareer等人，2025年；Yang等人，2025年）。针对灵巧操作场景，恢复手部动作时还需保留所演示的手部与物体间的关系：物体几何形状会制约可行的手部位置以及相对于物体的关节配置。

---

![Image](images/45e659863baa6d253943cec52972d09532175d632cd037e85a4976a724503e24.jpg)

<div style="text-align: center;">Figure 1: Overview of the Hand2Robot pipeline. Given human demonstration videos, we first parse them into several semantic tasks by VLM. Then we apply our hand-object reconstruction and refinement framework for physically realistic hand trajectories. Finally, these hand trajectories are retargeted to the robot action space, enabling human-robot data co-training on a Vision-Language-Action model for real-world deployment.</div>

物体本身描述了其几何属性，而接触关系则说明了手与物体之间的交互方式（Fan等人，2024年；Xu等人，2026年）。忽略这些关系可能会导致生成视觉上看似合理但存在接触缺失或手-物穿插现象的运动，进而损害所生成监督信号的可靠性。以往的研究通过几何优化、接触优化或交互状态约束来改进从视频中恢复出的操作轨迹（Chen等人，2026年；Wang等人，2026年；Zhang等人，2026年）。

然而，在几何和接触约束下优化手部运动仍需依赖对物体几何形状和姿态的可靠估计。遮挡和姿态歧义会导致物体姿态估计出现误差和时间上的不一致性（Paliwal等人，2026年），这可能会使手部优化偏离实际演示的交互模式。此外，局部上合理的接触并不保证手部运动能与图像观测结果一致且保持时间上的连贯性。为解决这些难题，我们提出了Hand2Robot——一种以物体为中心的4D手部重建框架，它结合了全局物体轨迹选择与基于观测和接触的手部优化。给定人类执行目标任务的RGB-D视频后，Hand2Robot会重建物体几何形状，并结合观测证据与时间连续性，从每帧的姿态候选中挑选出全局一致的物体姿态轨迹。随后，它以恢复出的物体几何形状和运动为参考，利用图像对齐技术以及接触和时间约束，共同优化手部的全局姿态轨迹和手指关节配置。最后，优化后的运动会被重新映射到目标机器人的动作空间中，从而为策略的后续训练生成动作监督信号。

在这一重建过程中，物体姿态会受到手部遮挡和物体对称性的影响，而手部运动则会受到部分遮挡和接触歧义的影响（Fan等人，2024年；Xu等人，2026年）。在物体跟踪方面，若逐帧独立选取单一姿态，在遮挡情况下容易引入误差并积累漂移，还可能导致对称物体的等效姿态之间频繁切换。因此，Hand2Robot会在每帧保留多个姿态候选，并结合它们的观测置信度与相邻帧间的时间连续性，来选出全局一致的物体姿态轨迹。对于手部重建而言，通用的手部估计器往往在接触区域会产生不完整的估计结果，且未利用物体几何信息，所以其输出仅能作为初始轨迹（Fan等人，2024年；Xu等人，2026年）。Hand2Robot采用了基于接触感知的分阶段优化方法：

---

该方法首先通过2D观测对齐来稳定手部位置，随后在物体坐标系中加入接触一致性约束以及穿插惩罚项，以抑制手-物穿插现象和接触位置的突变。

我们从重建质量和下游策略学习两个维度对Hand2Robot进行评估。首先，在DexYCB（Chao等人，2021年）和HO3D-v3（Hampali等人，2020年）等公开的手-物交互基准测试中，我们采用统一的评估协议，对物体姿态、物体几何形状、手部运动、手-物交互质量以及时间稳定性进行评估，并与初始化结果及基线方法进行比较。其次，在三项真实机器人灵巧操作任务中，我们将重建并重新映射后的人类演示数据与有限的机器人演示数据结合用于策略的后续训练，并与仅使用机器人演示数据进行训练的情况进行对比，以验证生成的人类数据是否能提供有用的动作监督信号。

我们的主要贡献如下：

- 我们提出了Hand2Robot框架，该框架能将人类演示视频转化为灵巧机器人策略训练后的动作监督数据。该框架结合了手-物交互重建与运动映射技术，从而让人类演示能够补充有限的机器人数据。

- 我们提出了一种以物体为中心的4D手部重建流程，该流程能够估算物体的几何形状与姿态轨迹，随后将其作为固定参考来优化手部运动。通过结合基于置信度的时序物体追踪技术与观测到接触的手部优化方法，我们的方法能够在物体遮挡、对称性以及接触模糊的情况下保持交互一致性。

• 我们在三项真实机器人灵巧操控任务中验证了所生成动作监督数据在策略训练后的有效性。结果表明，重建并映射后的人类演示能够有效补充有限的机器人数据。

## 2 相关工作

基于人类视频的机器人学习。人类视频为机器人遥操作数据提供了可扩展的补充，但其对策略学习的效用取决于视觉演示能否被转化为类似动作的监督信息。以往的研究利用人类视频进行表征学习（Ma等人，2022；Nair等人，2022；Radosavovic等人，2023）、轨迹或规划提取（Bharadhwaj等人，2024；Wen等人，2023；Wang等人，2023）、跨本体映射（Qin等人，2022；Chen等人，2022b；2025b），以及用于视觉-语言-动作模型的动作空间学习（Ye等人，2025a；Bu等人，2025；Bjorck等人，2025）。更近期的第一人称视角方法则通过恢复手部运动或交互线索，来衔接人类演示与机器人操控（Mandikal & Grauman，2022；Yang等人，2025；Luo等人，2025；Bi等人，2026）。然而，原始视频通常缺乏物理上可信的手-物轨迹，因此难以直接与机器人演示混合使用。我们的工作填补了这一空白：从人类视频中重建手-物交互轨迹，并将得到的标注作为额外的训练数据，用以优化诸如$\pi_{0.5}$之类的策略（Intelligence等人，2025）。

手-物姿态估计。近期出现的HaMeR和WiLoR等手部基础模型提供了强大的单目手部网格初始化能力（Pavlakos等人，2024；Potamias等人，2025），而视频类方法则能优化时序手部轨迹（Yu等人，2025；Ye等人，2025b；Zhang等人，2025）。不过，仅基于手部的估计缺乏物体几何信息与接触约束，会导致深度漂移、穿透现象，以及在遮挡情况下接触不稳定。手-物重建方法进一步引入物体信息来约束交互过程。基于模板或RGB-D/多视角的方法会利用明确的物体几何形状与姿态（Tekin等人，2019；Liu等人，2021；Grady等人，2021；Yang等人，2021；Chao等人，2021；Hampali等人，2020；Yang等人，2022）；而近期的无模板方法则利用隐式场、SDF、NeRF、扩散模型或基础模型来还原未知物体及手-物配置（Hasson等人，2019；Karunratanakul等人，2020；Chen等人，2022a；2023；Fan等人，2024；Ye等人，2023；Wang等人，2025；Liu等人，2025）。这些研究均表明物体几何信息与接触约束至关重要，但由于遮挡、深度模糊等问题，从人类操控视频中获取可靠的手-物轨迹仍具挑战性。

---

![Image](images/0753800a7a189aa781d0a6d7e4212683448189f2929706e7446d6f3b62092e81.jpg)

<div style="text-align: center;">Figure 2: Overview of our object-centric 4D hand reconstruction pipeline.</div>

基于这些研究成果，我们利用基础模型来初始化物体与手部状态，并引入了两个优化模块：针对物体的置信度引导式物体姿态轨迹估计模块，以及针对手部的观测到接触的手部优化模块。

## 3 方法

我们考虑将人类演示转化为灵巧机器人策略训练后的动作监督问题。输入包括人类执行目标操作任务的RGB-D视频，以及对应的相机内参。每段视频可能包含一个或多个交互片段。Hand2Robot会重建手与物体的交互过程，并将优化后的手部动作映射到目标机器人上，从而生成与视频观测时间对齐的机器人动作标签序列。这些生成的观测-动作对可作为补充训练数据，与有限的机器人演示一起使用。

### 3.1 视频解析与物体定位

我们首先利用视觉语言模型（VLM）（Singh等人，2025年）将输入视频分割成交互片段，并为每个片段标注任务描述及被操纵物体的信息。针对每个片段，我们利用物体描述引导Rex-Omni（Jiang等人，2025年）定位被操纵物体。得到的检测结果会作为SAM3（Carion等人，2025年）的输入提示，从而生成逐帧的物体掩码$\{M_t\}_{t=1}^T$，用于后续的物体重建以及基于观测的姿态候选评分。我们还使用MapAnything（Keetha等人，2025年）来恢复每帧RGB-D图像的相机外参。

### 3.2 物体重建与鲁棒姿态跟踪

物体重建。我们使用SAM 3D（Chen等人，2025a）根据RGB图像及其对应的物体掩码，将被操纵物体重建为具有实际尺度的3D网格$\mathcal{O}$。重建后的网格为后续物体姿态跟踪及手-物交互优化提供了几何参考。

连续候选选择。由于手部遮挡和物体对称性，逐帧的物体姿态估计可能存在歧义。因此，我们在每一帧保留来自Foundation-Pose（Wen等人，2024年）的N个优化后的姿态候选，同时保留它们对应的ScoreNet评分。这样就得到了候选集__

---

$\mathcal{P}_t = \{P_t^{(i)}\}_{i=1}^N$，其中$P_t^{(i)} = (\mathbf{R}_t^{(i)}, \mathbf{t}_t^{(i)})$表示第t帧上的第i个姿态候选，其原始评分为$\sigma_t^{(i)}$。随后我们结合观测一致性与时间连续性，选出整个序列中的物体姿态轨迹。

我们将每个候选$P_t^{(\imath)}$与一个一元权重$u_t^{(\imath)} \in [0,1]$相关联，该权重用于衡量其与视觉观测的一致性；相邻帧候选之间的转移成本定义为：

 $$ d(P_{t}^{(i)},P_{t+1}^{(j)})=\lambda_{\mathrm{t r a n s}}\|\mathbf{t}_{t}^{(i)}-\mathbf{t}_{t+1}^{(j)}\|_{2}+\lambda_{\mathrm{r o t}}\arccos\left(\frac{\mathrm{t r}\left((\mathbf{R}_{t}^{(i)})^{\top}\mathbf{R}_{t+1}^{(j)}\right)-1}{2}\right), $$

其中$\lambda_{\mathrm{trans}}$和$\lambda_{\mathrm{rot}} > 0$分别用于控制平移和旋转的平滑度。完整的优化问题表述为：

 $$ \max_{z_{1},\ldots,z_{T}}\left[\sum_{t=1}^{T}u_{t}^{(z_{t})}-\sum_{t=1}^{T-1}d(P_{t}^{(z_{t})},P_{t+1}^{(z_{t+1})})\right]. $$

公式(2)中的优化过程会在所有T帧中分别为每一帧选择一个候选索引$z_t \in \{1, \ldots, N\}$。这会形成一个具有T层和每层N个节点的图：第t层的节点i携带一元权重$u_t^{(i)}$，从第t层的节点i到第$t+1$层的节点j的有向边则携带权重$-d(P_t^{(i)}, P_{t+1}^{(j)})$。由于所有边都严格从t指向$t+1$，该图是无环且分层的，因此公式(2)可简化为可通过Viterbi解码（Rabiner，1989年）求解的最长路径问题，计算复杂度为$O(TN^2)$。

一元权重的构建。我们利用ScoreNet评分$\{\sigma_t^{(\imath)}\}$对每帧内的姿态候选进行排序，并应用逐帧的最小-最大归一化处理：

 $$ \bar{\sigma}_{t}^{(i)}=\frac{\sigma_{t}^{(i)}-\min_{j}\sigma_{t}^{(j)}}{\max_{j}\sigma_{t}^{(j)}-\min_{j}\sigma_{t}^{(j)}}, $$

这种归一化方法保留了帧内的排名，但即便所有候选结果都不准确，得分最高的候选也会获得值为1的评分。因此，我们用图像空间的一致性来补充这些归一化后的分数。对于每个候选$P_t^{(i)}$，我们生成物体掩码，并计算它与观测到的掩码$M_t$之间的IoU：

 $$ c_{t}^{(i)}=\mathrm{I o U}\left(\mathcal{R}_{\mathrm{m a s k}}(\mathcal{O},P_{t}^{(i)}),M_{t}\right), $$

一元权重将归一化后的ScoreNet分数与这种观测一致性权重结合起来：

 $$ u_{t}^{(i)}=c_{t}^{(i)}\cdot\bar{\sigma}_{t}^{(i)}. $$

这种加权方式降低了那些生成的掩码与观测结果不一致的候选所占的权重。当某一帧内所有候选的掩码一致性较低时，降低后的一元权重会增大式(2)中时间过渡成本对轨迹选择的相对影响。

### 3.3 观测到接触点的手部精细化处理

我们从WiLoR（Potamias等人，2025年）中获取每帧的MANO估计结果（Romero等人，2017年），并利用基于跟踪和深度的对齐方法来初始化度量参数。以重建的物体几何形状和姿态轨迹作为固定参考，我们共同精细化整个序列中手部的全局姿态轨迹以及手指关节配置。这种精细化处理在获得可靠的接触信息之前就优先强调2D观测对齐，并在交互过程中纳入接触约束。

动作阶段分割。我们利用物体的运动情况和手与物体的接近程度，将每个动作划分为抓取阶段和交互阶段。设$T_t^o$为物体的平移量，$d_t^{ho}$为手与物体之间的最小距离：

 $$ e_{t}=\alpha\frac{\|T_{t}^{o}-T_{t-1}^{o}\|_{2}}{\delta_{\mathrm{t r a n s}}}+\beta\max\left(0,1-\frac{d_{t}^{\mathrm{h o}}}{\delta_{\mathrm{h o}}}\right), $$

其中$\alpha, \beta$为提示权重，$\delta_{\mathrm{trans}}$、$\delta_{\mathrm{ho}}$为归一化阈值。我们选择满足$e_{t} > \delta_{\mathrm{on}}$条件的最早帧作为锚点$t_{a}$。在$t_{a}$处进行的单帧精细化处理会产生一个手部平移偏移量$\Delta\tau = \tau_{a}^{\star} - \tau_{a}^{0}$，这里$\tau_{a}^{0}$是锚定帧处的初始手部平移量，$\tau_{a}^{\star}$是单帧优化后的精细化平移量。这个偏移量用于初始化整个片段。

---

随后，我们在保持物体姿态$\Theta_t = \{s_t, \tau_t, \omega_t, \theta_t, \beta_t\}$固定的前提下，优化MANO参数$\mathcal{O}_t = (R_t^o, T_t^o)$（详见附录A.3）：

 $$ \mathcal{L}=\lambda_{\mathrm{2d}}\mathcal{L}_{\mathrm{2d}}+\lambda_{\mathrm{m a t c h}}\mathcal{L}_{\mathrm{m a t c h}}+\lambda_{\mathrm{t e m p}}\mathcal{L}_{\mathrm{t e m p}}+\lambda_{\mathrm{s d f}}\mathcal{L}_{\mathrm{s d f}}+\lambda_{\mathrm{s m}}\mathcal{L}_{\mathrm{s m}}+\lambda_{\mathrm{r e g}}\mathcal{L}_{\mathrm{r e g}}. $$

在这里，$\mathcal{L}_{\mathrm{2d}}$用于对齐掩码，$\mathcal{L}_{\mathrm{match}}$旨在促进每帧的接触匹配，$\mathcal{L}_{\mathrm{temp}}$用于提升接触的时间一致性，$\mathcal{L}_{\mathrm{sdf}}$会对穿透现象进行惩罚，而$\mathcal{L}_{\mathrm{sm}}+\mathcal{L}_{\mathrm{reg}}$则用于规整轨迹。所有的$\lambda_{(\cdot)}$均为标量权重。

基于2D引导的手部对齐。在抓取阶段，我们在获得可靠的接触约束之前就优先强调2D对齐。我们使用带阶段权重的掩码损失$\mathcal{L}_{2d} = \frac{1}{B} \sum_{t} \gamma_{t}$ SoftIoU $(M_{h}^{t}, M_{h}^{t})$，其中B表示需要优化的帧数，$\hat{M}_{h}^{t}$和$M_{h}^{t}$分别为生成的手部掩码和观测到的手部掩码，SoftIoU是一种可微的软IoU损失。对于抓取帧，我们设置$\gamma_{t} = \gamma_{g} > 1$；对于交互帧，设置$\gamma_{t} = 1$。

逐帧接触匹配。在交互过程中，我们采用基于射线的2D到3D接触匹配方法（Lin等人，2025年）。对于每个活跃的MANO接触候选$v_{t,k}$，通过其图像投影形成的相机射线会在$o_{t,k}$处与已建模的物体网格相交。我们最小化匹配损失：

 $$ \mathcal{L}_{\mathrm{m a t c h}}=\frac{1}{|\mathcal{I}_{\mathrm{i n t e r}}|}\sum_{t\in\mathcal{I}_{\mathrm{i n t e r}}}\frac{1}{\max(|\mathcal{C}_{t}|,1)}\sum_{k\in\mathcal{C}_{t}}\|v_{t,k}-o_{t,k}\|_{2}, $$

其中$\mathcal{I}_{\text{inter}}$为交互帧集合，$C_t$为活跃接触点集合。

时间上的接触点稳定化。每帧匹配可能会将同一手部候选点分配到相邻帧中不同的物体区域。为了提高时间一致性，我们在物体坐标系中对接触位置进行正则化，同时考虑物体的刚性运动。我们将射线命中点和手部候选点分别转换为 $\tilde{o}_{t,k} = (R_{t}^{o})^{\top}(o_{t,k} - T_{t}^{o})$ 和 $\tilde{v}_{t,k} = (R_{t}^{o})^{\top}(v_{t,k} - T_{t}^{o})$。对于在连续两帧中均活跃的候选点 $C_{t,t+1} = C_{t} \cap C_{t+1}$，我们使用平均射线命中位置作为停止梯度局部锚点 $a_{t,k} = \frac{1}{2}(\mathrm{sg}(\tilde{o}_{t,k}) + \mathrm{sg}(\tilde{o}_{t+1,k}))$，并最小化该值。

 $$ \mathcal{L}_{\mathrm{t e m p}}=\sum_{t,t+1\in\mathcal{I}_{\mathrm{i n t e r}}}\sum_{k\in\mathcal{C}_{t,t+1}}\left[\rho(\|\bar{v}_{t,k}-a_{t,k}\|_{2})+\rho(\|\bar{v}_{t+1,k}-a_{t,k}\|_{2})\right]. $$

此处，sg 表示停止梯度，而 $\rho(x) = \sqrt{x^2 + \epsilon}$ 是带有较小参数 $\epsilon > 0$ 的 Charbonnier 鲁棒损失函数，用于保证数值稳定性。该项促使同一手部候选点在相邻帧中始终位于共同的局部接触区域内，从而减少不一致的接触偏移现象。

预热完成后，我们启用 $\mathcal{L}_{\mathrm{sdf}}$ 来惩罚手部与物体的穿透现象，同时 $\mathcal{L}_{\mathrm{sm}}$ 会抑制突然的运动变化，$\mathcal{L}_{\mathrm{reg}}$ 则限制其与初始状态的偏差。更多细节详见附录 A.3。

### 3.4 从人手到灵巧手

最后一步是将优化后的 MANO 动作转化为机器人动作指令。我们利用 GeoRT（Yin 等人，2025）来获取目标灵巧手的关节配置。首先，根据第 3.1 节中的相机外参，将全局手部姿态轨迹从相机坐标转换到世界坐标。接着，借助人类和机器人演示中的代表性初始物体姿态，估算出世界坐标到机器人坐标的转换关系，并将轨迹映射到机器人坐标系中。对齐后的姿态和重新映射的关节配置采用与机器人演示相同的动作表示方法，并与对应的视频观测数据配对，用于策略的后续训练。

## 4 实验结果

我们的实验从两个维度评估 Hand2Robot 的性能。首先，我们检验所提出的以物体为中心的重建方法是否能提升公共基准测试中的手-物轨迹质量；其次，我们验证重建并重新映射后的人类演示数据是否能改善真实机器人灵巧操作任务中的策略学习效果。

---

### 4.1 手-物重建评估

我们首先在两个公开的手-物交互基准测试中评估 Hand2Robot 的重建模块。我们考察物体重建质量、全局物体姿态路径选择的准确性，以及经过以物体为中心的手部优化后的手-物轨迹质量。

数据集与评价指标。我们在 DexYCB（Chao 等人，2021）和 HO3D-v3（Hampali 等人，2020）上进行评估。对于 DexYCB，我们选取 1,000 个序列用于物体姿态评估，再从中抽取 120 个序列进行手部评估。HO3D-v3 包含更长的操作序列，我们选取其中的 12 个序列进行评估。在物体姿态方面，我们报告平移误差、旋转误差以及 ADD/ADD-S AUC（Xiang 等人，2017）。为了将 Hand2Robot 与 WiLoR 基线进行比较，我们评估手部姿态精度（如 MPJPE、MRPE）、物理交互指标（如穿透体积、IV）以及抖动幅度（JM）。评价指标的定义和对齐流程详见附录 C。

物体重建质量。我们还在 DexYCB 上对物体重建效果进行了评估。附录 D.1 中的表 5 列出了 HOLD、MagicHOI 以及我们的流程所对应的 CD、F@5 和 F@10 值。我们的流程得到的 CD 为 0.57 cm²，F@5 和 F@10 分别为 49.35% 和 87.54%。

物体姿态跟踪结果。表1报告了在DexYCB数据集上的物体姿态跟踪结果。与默认的FoundationPose输出相比，我们采用的全局姿态路径选择方法将平移误差从6.80厘米降低至3.44厘米，旋转误差从$27.14^{\circ}$降至$18.47^{\circ}$。ADD AUC值从98.96提升至99.48，而ADD-S AUC值则从99.15提高到99.62。这些结果表明，通过结合观测分数和时间约束来选择轨迹时，物体姿态的精度得到了提升。

<div style="text-align: center;">Table 1: Quantitative object pose results on DexYCB using reconstructed meshes and first-frame alignment. See Appendix C for evaluation details.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Translation error (cm) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Rotation error (°) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD AUC $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>ADD-S AUC $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FoundationPose (Wen et al., 2024)</td><td style='text-align: center; word-wrap: break-word;'>6.80</td><td style='text-align: center; word-wrap: break-word;'>27.14</td><td style='text-align: center; word-wrap: break-word;'>98.96</td><td style='text-align: center; word-wrap: break-word;'>99.15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o  d,  c</td><td style='text-align: center; word-wrap: break-word;'>4.88</td><td style='text-align: center; word-wrap: break-word;'>61.63</td><td style='text-align: center; word-wrap: break-word;'>99.07</td><td style='text-align: center; word-wrap: break-word;'>99.44</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o  d</td><td style='text-align: center; word-wrap: break-word;'>3.62</td><td style='text-align: center; word-wrap: break-word;'>38.20</td><td style='text-align: center; word-wrap: break-word;'>99.37</td><td style='text-align: center; word-wrap: break-word;'>99.61</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours w/o  c</td><td style='text-align: center; word-wrap: break-word;'>3.44</td><td style='text-align: center; word-wrap: break-word;'>19.86</td><td style='text-align: center; word-wrap: break-word;'>99.47</td><td style='text-align: center; word-wrap: break-word;'>99.62</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>3.44</td><td style='text-align: center; word-wrap: break-word;'>18.47</td><td style='text-align: center; word-wrap: break-word;'>99.48</td><td style='text-align: center; word-wrap: break-word;'>99.62</td></tr></table>

<div style="text-align: center;">Table 2: Quantitative evaluation for in-scene object manipulation. We evaluate on HO3D-v3 and DexYCB, comparing the WiLoR initialization with our refined hand trajectories. We highlight the best values in bold.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MRPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>IV-mean $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>IV-max $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>JM $\downarrow$</td></tr><tr><td rowspan="2">DexYCB (Chao et al., 2021)</td><td style='text-align: center; word-wrap: break-word;'>WiLoR (Potamias et al., 2025)</td><td style='text-align: center; word-wrap: break-word;'>8.35</td><td style='text-align: center; word-wrap: break-word;'>97.31</td><td style='text-align: center; word-wrap: break-word;'>2.57</td><td style='text-align: center; word-wrap: break-word;'>5.41</td><td style='text-align: center; word-wrap: break-word;'>2.58</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>7.58</td><td style='text-align: center; word-wrap: break-word;'>38.49</td><td style='text-align: center; word-wrap: break-word;'>1.07</td><td style='text-align: center; word-wrap: break-word;'>3.25</td><td style='text-align: center; word-wrap: break-word;'>2.49</td></tr><tr><td rowspan="2">HO3D-v3 (Hampali et al., 2020)</td><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>4.22</td><td style='text-align: center; word-wrap: break-word;'>24.22</td><td style='text-align: center; word-wrap: break-word;'>20.11</td><td style='text-align: center; word-wrap: break-word;'>64.82</td><td style='text-align: center; word-wrap: break-word;'>0.86</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>4.40</td><td style='text-align: center; word-wrap: break-word;'>16.99</td><td style='text-align: center; word-wrap: break-word;'>3.42</td><td style='text-align: center; word-wrap: break-word;'>22.40</td><td style='text-align: center; word-wrap: break-word;'>0.34</td></tr></table>

手部姿态与轨迹优化结果。表2报告了在DexYCB（Chao等人，2021年）和HO3D-v3（Hampali等人，2020年）数据集上的实验结果。虽然WiLoR能提供出色的逐帧初始化效果，但它缺乏时间约束和接触约束，从而导致轨迹漂移和物体穿透现象。通过整合2D掩码对齐、基于射线的接触检测、SDF以及时间平滑性约束，我们的优化算法能够生成时间上连贯且符合物理规律的轨迹。具体而言，我们的优化方法降低了DexYCB数据集上的手腕轨迹误差（MRPE），同时减少了两个数据集中的手-物穿透现象。这些结果反映出手-物穿透情况的减少，以及手腕轨迹精度和平滑度的提升。

### 4.2 真实机器人实验

#### 4.2.1 实验设置与评估流程

我们旨在评估Hand2Robot生成的动作监督信息是否能为真实机器人上的目标任务提供训练后的策略支持。我们的实验平台由Franka机械臂和xHand灵巧手组成。

---

人类与机器人的演示均通过同一固定的侧视摄像头系统记录。人类RGB-D演示数据会通过手-物交互重建和运动映射，转换为目标机器人坐标系下的动作监督信息，再与有限的机器人演示数据结合，用于$\pi_{0.5}$阶段的训练。这种设置使我们能够在可控的观察视角下，探究人类演示数据的处理方式对后续策略性能的影响。

<div style="text-align: center;">Place Vase</div>

<div style="text-align: center;">Open Box</div>

![Image](images/6dca74b635570d2d2a30736392fab410bba25aff3a54f342f7140468c40ffe31.jpg)

<div style="text-align: center;">Insert Toast</div>

<div style="text-align: center;">Figure 3: Examples of real-robot manipulation tasks. Each column shows one task, with the three rows corresponding to its initial, intermediate, and successful final states. The tasks are Place Vase, Open Box, and Insert Toast, from left to right.</div>

我们的主要对比涵盖了图3中展示的三项真实机器人任务：放置花瓶、打开盒子以及插入吐司，分别用于评估策略在抓取放置、开启物体和插入操作方面的性能。所有对比条件均采用相同的策略架构和训练流程。在动作生成方法的对比中，我们固定每项任务所需的20个机器人演示数据和100个源人类视频，仅改变人类动作监督信息的生成方式；而单独的预算研究则改变了演示数据的数量。在混合数据训练阶段，人类和机器人的训练样本按1:1的比例抽取。更多细节详见附录F。

我们将任务成功率作为主要评估指标。每个训练好的策略会在每项任务上接受20次试验测试，初始物体位置从训练分布中随机采样。成功率即为成功试验次数除以20。我们分别报告放置花瓶、打开盒子和插入吐司任务的成功率，并通过它们的未加权平均值来概括整体性能。

#### 4.2.2 人类动作监督信息的后续影响

我们使用每项任务中相同的100个人类演示数据和20个机器人演示数据来进行$\pi_{0.5}$阶段的训练，以此对比WiLoR、基础映射方法、MagicHOI和Hand2Robot的性能差异。MagicHOI在其通用流程中使用了手部优化模块；仅用机器人数据训练的结果则作为参照组。

表3显示，Hand2Robot的平均成功率为80.0%，而WiLoR为18.3%，MagicHOI为26.7%，纯机器人训练则为48.3%。Hand2Robot在所有三项任务上的表现均优于两种基于人类监督的基线方法，且相较于纯机器人训练，在放置花瓶、打开盒子和插入吐司任务上的成功率分别提高了35、25和35个百分点。这些结果表明，Hand2Robot生成的动作监督比对比方法更有效，能够在有限的机器人数据下改善策略训练后的效果。

---

<div style="text-align: center;">Table 3: Task success rates (%) after policy post-training with different sources of human action supervision. R and H denote the numbers of robot and human demonstrations per task. The mixed-data conditions use the same 20 robot demonstrations and 100 source human videos. Mean is the unweighted average across the three tasks.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Training data and method</td><td style='text-align: center; word-wrap: break-word;'>Place Vase</td><td style='text-align: center; word-wrap: break-word;'>Open Box</td><td style='text-align: center; word-wrap: break-word;'>Insert Toast</td><td style='text-align: center; word-wrap: break-word;'>Mean</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>20R</td><td style='text-align: center; word-wrap: break-word;'>45.0</td><td style='text-align: center; word-wrap: break-word;'>60.0</td><td style='text-align: center; word-wrap: break-word;'>40.0</td><td style='text-align: center; word-wrap: break-word;'>48.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>20R + 100H, WiLoR</td><td style='text-align: center; word-wrap: break-word;'>25.0</td><td style='text-align: center; word-wrap: break-word;'>20.0</td><td style='text-align: center; word-wrap: break-word;'>10.0</td><td style='text-align: center; word-wrap: break-word;'>18.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>20R + 100H, MagicHOI</td><td style='text-align: center; word-wrap: break-word;'>40.0</td><td style='text-align: center; word-wrap: break-word;'>25.0</td><td style='text-align: center; word-wrap: break-word;'>15.0</td><td style='text-align: center; word-wrap: break-word;'>26.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>20R + 100H, Hand2Robot</td><td style='text-align: center; word-wrap: break-word;'>80.0</td><td style='text-align: center; word-wrap: break-word;'>85.0</td><td style='text-align: center; word-wrap: break-word;'>75.0</td><td style='text-align: center; word-wrap: break-word;'>80.0</td></tr></table>

#### 4.2.3 机器人演示预算与人类数据的价值

我们进一步将20R+100H与仅含20R、40R、60R的机器人演示预算进行对比，以评估Hand2Robot生成的监督是否能降低策略训练后对机器人演示的需求。

<div style="text-align: center;">Table 4: Success rates (%) under different demonstration budgets and action-supervision sources. R and H denote the numbers of robot and human demonstrations per task, respectively. Do As I Do includes Sharpa-to-xHand adaptation after dynamics-based post-optimization. Mean is the unweighted average across the three tasks. Conditions shared with Table 3 use the same results.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Robot R</td><td style='text-align: center; word-wrap: break-word;'>Human H</td><td style='text-align: center; word-wrap: break-word;'>Place Vase</td><td style='text-align: center; word-wrap: break-word;'>Open Box</td><td style='text-align: center; word-wrap: break-word;'>Insert Toast</td><td style='text-align: center; word-wrap: break-word;'>Mean</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Robot-only</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>45.0</td><td style='text-align: center; word-wrap: break-word;'>60.0</td><td style='text-align: center; word-wrap: break-word;'>40.0</td><td style='text-align: center; word-wrap: break-word;'>48.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Robot-only</td><td style='text-align: center; word-wrap: break-word;'>40</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>60.0</td><td style='text-align: center; word-wrap: break-word;'>65.0</td><td style='text-align: center; word-wrap: break-word;'>55.0</td><td style='text-align: center; word-wrap: break-word;'>60.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Robot-only</td><td style='text-align: center; word-wrap: break-word;'>60</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>80.0</td><td style='text-align: center; word-wrap: break-word;'>90.0</td><td style='text-align: center; word-wrap: break-word;'>75.0</td><td style='text-align: center; word-wrap: break-word;'>81.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Do As I Do (Paliwal et al., 2026)</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>50</td><td style='text-align: center; word-wrap: break-word;'>50.0</td><td style='text-align: center; word-wrap: break-word;'>45.0</td><td style='text-align: center; word-wrap: break-word;'>40.0</td><td style='text-align: center; word-wrap: break-word;'>45.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hand2Robot</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>50</td><td style='text-align: center; word-wrap: break-word;'>50.0</td><td style='text-align: center; word-wrap: break-word;'>70.0</td><td style='text-align: center; word-wrap: break-word;'>45.0</td><td style='text-align: center; word-wrap: break-word;'>55.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hand2Robot</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>100</td><td style='text-align: center; word-wrap: break-word;'>80.0</td><td style='text-align: center; word-wrap: break-word;'>85.0</td><td style='text-align: center; word-wrap: break-word;'>75.0</td><td style='text-align: center; word-wrap: break-word;'>80.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hand2Robot</td><td style='text-align: center; word-wrap: break-word;'>0</td><td style='text-align: center; word-wrap: break-word;'>100</td><td style='text-align: center; word-wrap: break-word;'>15.0</td><td style='text-align: center; word-wrap: break-word;'>10.0</td><td style='text-align: center; word-wrap: break-word;'>0.0</td><td style='text-align: center; word-wrap: break-word;'>8.3</td></tr></table>

如表4所示，使用20R+100H进行训练时，平均成功率达到80.0%，接近使用60R时的81.7%，且分别高于使用20R和40R时的48.3%和60.0%。在任务层面，20R+100H在放置花瓶和插入吐司任务上的成功率与60R持平，仅在打开盒子任务上低5个百分点。这些结果证明了Hand2Robot生成的监督对于在较小的机器人演示预算下实现高任务成功率具有重要价值。

我们进一步在固定机器人演示预算为20的前提下，研究了人类演示数量的影响。当人类演示数量从0分别增加到50和100时，平均成功率也从48.3%分别提升至55.0%和80.0%。在评估范围内，经Hand2Robot处理的额外人类演示对策略训练后的效果有进一步的提升作用。我们还评估了Do As I Do方法（Paliwal等人，2026），保留了其基于动力学的后优化机制，并将Sharpa的输出适配到xHand上。在20R+50H的配置下，这一适配后的基线方法在放置花瓶、打开盒子和插入吐司任务上的成功率分别为50.0%、45.0%和40.0%，平均成功率为45.0%，而相同演示预算下Hand2Robot的平均成功率则达到55.0%。

仅使用100H进行训练时，平均成功率仅为8.3%，而20R+100H的平均成功率却达到80.0%，这凸显了在此场景下结合人类与机器人演示的优势。

## 5 结论

在本文中，我们提出了Hand2Robot框架，该框架可将人类演示视频转化为灵巧机器人策略训练后的动作监督。该框架结合了全局物体位姿轨迹选择与在几何及接触约束下的手部精细化调整，在将手部轨迹和关节配置映射到机器人动作空间之前先对其进行优化。在DexYCB和HO3D-v3上的实验表明，该框架能提升物体位姿精度以及手-物交互质量。在三项真实机器人灵巧操控任务中，每项任务中在20次机器人演示的基础上再加入经Hand2Robot处理的100次人类演示，可使平均成功率从48.3%提升至80.0%，这证明了重构的人类演示可作为有限机器人数据的补充，用于策略训练。未来的工作将把该框架扩展到可变形物体以及更具动态性的复杂接触操控场景。

---

对DexYCB和HO3D-v3的实验结果表明，物体姿态估计的精度以及手与物体的交互质量均有所提升。在三项真实机器人灵巧操作任务中，若每项任务中将经Hand2Robot处理的100个人类演示数据与20个机器人演示数据相结合，平均成功率便能从48.3%提升至80.0%。这一结果证明了重构后的人类演示数据可作为有限机器人数据的补充，用于策略的后续训练。未来的工作将把该框架拓展至可变形物体以及更具动态性的接触密集型操作场景。

## 致谢

本研究得到了国家自然科学基金（项目编号：62406195和62303319）、上海科技大学高性能计算平台、上海科技大学计算机与通信基础实验中心、教育部智能感知与人机协作重点实验室以及上海智能视觉与成像工程技术研究中心的支持。

## 参考文献

Homanga Bharadhwaj、Roozbeh Mottaghi、Abhinav Gupta和Shubham Tulsiani。Track2act：从互联网视频中预测点轨迹以实现可泛化的机器人操控。载于《欧洲计算机视觉会议》，第306–324页。施普林格出版社，2024年。

Hongzhe Bi、Lingxuan Wu、Tianwei Lin、Hengkai Tan、Zhizhong Su、Hang Su和Jun Zhu。H-rdt：增强人类操控能力的双臂机器人操控方法。载于《美国人工智能协会人工智能会议论文集》，第40卷，第18135–18143页，2026年。

Johan Bjorck、Fernando Castañeda、Nikita Cherniadev、Xingye Da、Runyu Ding、Linxi Fan、Yu Fang、Dieter Fox、Fengyuan Hu、Spencer Huang等。Gr00t n1：面向通用人形机器人的开源基础模型。arXiv预印本arXiv:2503.14734，2025年。

Qingwen Bu、Yanting Yang、Jisong Cai、Shenyuan Gao、Guanghui Ren、Maoqing Yao、Ping Luo和Hongyang Li。Univla：通过以任务为中心的潜在动作实现任意场景下的操控学习。arXiv预印本arXiv:2505.06111，2025年。

Nicolas Carion、Laura Gustafson、Yuan-Ting Hu、Shoubhik Debnath、Ronghang Hu、Didac Suris、Chaitanya Ryali、Kalyan Vasudev Alwala、Haitham Khedr、Andrew Huang等。SAM 3：基于概念的图像分割技术。arXiv预印本arXiv:2511.16719，2025年。

Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield等。Dexycb：用于捕捉物体抓取动作的基准测试。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第9044–9053页，2021年。

Hongyi Chen、Tony Dong、Tiancheng Wu、Liquan Wang、Yash Jangir、Yaru Niu、Yufei Ye、Homanga Bharadhwaj、Zackory Erickson和Jeffrey Ichnowski。通过3D手-物体轨迹重建，从RGB人类视频中提取灵巧操控策略。arXiv预印本arXiv:2602.09013，2026年。

Xingyu Chen、Fu-Jen Chu、Pierre Gleize、Kevin J Liang、Alexander Sax、Hao Tang、Weiyao Wang、Michelle Guo、Thibaut Hardin、Xiang Li等。SAM 3D：图像中的任意3D物体分割技术。arXiv预印本arXiv:2511.16624，2025a年。

Zerui Chen、Yana Hasson、Cordelia Schmid和Ivan Laptev。AlignSDF：用于手-物体重建的姿势对齐有向距离场。载于《欧洲计算机视觉会议》，第231–248页。施普林格出版社，2022a年。

Zerui Chen、Shizhe Chen、Cordelia Schmid和Ivan Laptev。GSDF：用于3D手-物体重建的几何驱动有向距离函数。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第12890–12900页，2023年。

Zerui Chen、Shizhe Chen、Etienne Arlaud、Ivan Laptev和Cordelia Schmid。VIVIDEX：从人类视频中学习基于视觉的灵巧操控技术。载于《2025年IEEE国际机器人与自动化会议（ICRA）》，第3336–3343页。IEEE出版社，2025b年。

---

Zoey Qiuyu Chen、Karl Van Wyk、Yu-Wei Chao、Wei Yang、Arsalan Mousavian、Abhishek Gupta和Dieter Fox。DexTransfer：仅需少量人类演示即可实现现实世界中的多指灵巧抓取。arXiv预印本arXiv:2209.14284，2022b年。

范子聪、玛丽亚·帕雷利、玛丽亚·埃莱尼·卡多格卢、陈旭、穆罕默德·科卡巴斯、迈克尔·J·布莱克和奥特马尔·希利格斯。Hold：基于视频的类别无关手与物体交互三维重建。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第494–504页，2024年。

帕特里克·格雷迪、程程唐、克里斯托弗·D·特威格、明·沃、萨马斯·布拉姆巴特和查尔斯·C·肯普。Contactopt：通过优化接触点来改善抓取效果。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第1471–1481页，2021年。

克里斯滕·格劳曼、安德鲁·韦斯特伯里、尤金·伯恩、扎卡里·查维斯、安东尼诺·富尔纳里、罗希特·吉尔达尔、杰克逊·汉堡、姜浩、刘淼、刘星宇等。Ego4d：基于3000小时自我中心视频的全球场景记录。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第18995–19012页，2022年。

伊尔马克·古泽伊、戴银龙、乔治·萨瓦、劳纳克·比兰吉和勒雷尔·平托。通过面向对象的奖励机制缩小人类与机器人灵巧度之间的差距。载于2025年IEEE国际机器人与自动化会议（ICRA），第3344–3351页。IEEE出版社，2025年。网址：<https://object-rewards.github.io/>。

什雷亚斯·汉帕利、马赫迪·拉德、马库斯·奥伯韦格和文森特·勒佩蒂。Honnotate：一种用于手与物体姿态的三维标注方法。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第3196–3206页，2020年。

雅娜·哈松、古尔·瓦洛尔、季米特里奥斯·齐奥纳斯、伊戈尔·卡列瓦蒂赫、迈克尔·J·布莱克、伊万·拉普捷夫和科迪莉亚·施密德。学习手与被操纵物体的联合重建。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第11807–11816页，2019年。

瑞安·霍克、黄培德、大卫·J·尹、穆利·西瓦普拉普和张健。Egodex：从大规模自我中心视频中学习灵巧操作。arXiv预印本arXiv:2505.11709，2025年。

胡宇成、郭彦江、王鹏超、陈晓宇、王彦杰、张建科、苏里斯纳特、陆超超和陈建宇。视频预测策略：一种具备预测性视觉表征的通用机器人策略。arXiv预印本arXiv:2412.14803，2024年。

Physical Intelligence团队、凯文·布莱克、诺亚·布朗、詹姆斯·达皮尼亚、卡兰·达巴利亚、丹尼·德里斯、阿德南·埃斯梅尔、迈克尔·埃基、切尔西·芬恩、尼科洛·富萨伊等。$\pi_{0.5}$：一种具备开放世界泛化能力的视觉-语言-动作模型。arXiv预印本arXiv:2504.16054，2025年。

蒋青、霍俊楠、陈星宇、熊玉达、曾昭阳、陈一豪、任天赫、虞俊志和张磊。Detect anything via next point prediction。arXiv预印本arXiv:2510.12798，2025年。

西马尔·卡雷尔、德鲁夫·帕特尔、瑞安·普纳米亚、普拉奈·马图尔、程硕、王晨、朱迪·霍夫曼和丹菲·徐。Egomimic：通过自我中心视频扩展模仿学习。载于2025年IEEE国际机器人与自动化会议（ICRA），第13226–13233页。IEEE出版社，2025年。

科拉韦·卡伦拉塔纳库尔、杨金龙、张燕、迈克尔·J·布莱克、克里卡莫尔·穆安德特和西宇·唐。Grasping field：学习用于人类抓取的隐式表征。载于2020年3D视觉国际会议（3DV），第333–344页。IEEE出版社，2020年。

尼希尔·基塔、诺曼·穆勒、约翰内斯·舍恩贝格尔、洛伦佐·波尔齐、张宇辰、托比亚斯·菲舍尔、阿诺·克纳皮奇、邓肯·佐斯、伊桑·韦伯、纳尔逊·安图内斯等。Mapanything：通用的前馈度量三维重建方法。arXiv预印本arXiv:2509.13414，2025年。

林迪轩、王天佑、潘卓阳、王宇甫、刘凌杰和Kostas Daniilidis。基于视频的场景中物体操作的零样本重建。arXiv预印本arXiv:2512.19684，2025年。

---

刘少伟、姜涵文、徐佳瑞、刘思飞和王小龙。结合时间交互的半监督3D手-物体姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第14687–14697页，2021年。

刘雨萌、龙晓晓、杨泽民、刘远、Marc Habermann、Christian Theobalt、马跃新和王文平。Easyhoi：释放大模型的潜力以重建野外场景中的手-物体交互。载于计算机视觉与模式识别会议论文集，第7037–7047页，2025年。

罗浩、冯一诚、张万鹏、郑思鹏、王烨、袁浩奇、刘家正、徐超逸、金琴和卢宗庆。Being-h0：基于大规模人类视频的视觉-语言-动作预训练。arXiv预印本arXiv:2507.15597，2025年。

Yecheng Jason Ma、Shagun Sodhani、Dinesh Jayaraman、Osbert Bastani、Vikash Kumar和Amy Zhang。VIP：通过价值隐式预训练实现通用的视觉奖励与表征。arXiv预印本arXiv:2210.00030，2022年。

Priyanka Mandikal和Kristen Grauman。Dexvip：利用视频中的人类手部姿态先验学习灵巧抓取。载于机器人学习会议论文集，第651–661页。PMLR，2022年。

Suraj Nair、Aravind Rajeswaran、Vikash Kumar、Chelsea Finn和Abhinav Gupta。R3M：一种用于机器人操控的通用视觉表征。arXiv预印本arXiv:2203.12601，2022年。

Bhawna Paliwal、Haritheja Etukuru、William Liang、Pieter Abbeel、Nur Muhammad Mahi Shafullah和Jitendra Malik。Do as I Do：源自日常人类视频的灵巧操控数据。arXiv预印本arXiv:2606.19333，2026年。

Georgios Pavlakos、单丹丹、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Jitendra Malik。基于Transformer的3D手部重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9826–9836页，2024年。

Rolandos Alexandros Potamias、张静玲、邓建康和Stefanos Zafeiriou。Wilor：野外场景下端到端的3D手部定位与重建。载于计算机视觉与模式识别会议论文集，第12242–12254页，2025年。

秦玉哲、吴岳华、刘少伟、姜涵文、杨瑞涵、付阳和王小龙。DexMV：从人类视频中通过模仿学习实现灵巧操控。载于欧洲计算机视觉会议论文集，第570–587页。Springer，2022年。

Lawrence R Rabiner。隐马尔可夫模型教程及其在语音识别中的部分应用。IEEE会议录，77(2)：257–286页，1989年。

Ilija Radosavovic、肖特特、Stephen James、Pieter Abbeel、Jitendra Malik和Trevor Darrell。基于掩码视觉预训练的真实世界机器人学习。载于机器人学习会议论文集，第416–426页。PMLR，2023年。

Javier Romero、Dimitrios Tzionas和Michael J. Black。具身化手部：手部与身体的联合建模与捕捉。ACM图形学交易刊（SIGGRAPH Asia会议论文集），36(6)，2017年11月。

Aaditya Singh、Adam Fry、Adam Perelman、Adam Tart、Adi Ganesh、Ahmed El-Kishky、Aidan McLaughlin、Aiden Low、AJ Ostrow、Akhila Ananthram等。OpenAI GPT-5系统卡。arXiv预印本arXiv:2601.03267，2025年。

Bugra Tekin、Federica Bogo和Marc Pollefeys。H+ o：统一的以自我为中心的3D手-物体姿态与交互识别。载于IEEE/CVF计算机视觉与模式识别会议论文集，第4511–4520页，2019年。

Chen Wang、Linxi Fan、Jiankai Sun、Ruohan Zhang、Li Fei-Fei、Danfei Xu、Yuke Zhu和Anima Anandkumar。Mimicplay：通过观察人类操作实现长时域模仿学习。载于机器人学习会议论文集，第201–221页。PMLR出版社，2023年。

---

Gaotian Wang、Kejia Ren、Andrew Morgan、Yiting Chen、Howard H. Qian、Podshara Chanrung-maneekul和Kaiyu Hang。EgoInfinity：一个面向任意视角机器人重定向及视频到动作机器人学习的网络级4D手-物体交互数据引擎，2026年。网址：<https://arxiv.org/abs/2606.17385>。

Shibo Wang、Haonan He、Maria Parelli、Christoph Gebhardt、Zicong Fan和Jie Song。Magicho：利用3D先验从短单目视频片段中精确重建手-物体交互。载于IEEE/CVF国际计算机视觉会议论文集，第5957–5968页，2025年。

Bowen Wen、Wei Yang、Jan Kautz和Stan Birchfield。Foundationpose：统一的新物体6D姿态估计与跟踪。载于IEEE/CVF计算机视觉与模式识别会议论文集，第17868–17879页，2024年。

Chuan Wen、Xingyu Lin、John So、Kai Chen、Qi Dou、Yang Gao和Pieter Abbeel。用于策略学习的任意点轨迹建模。arXiv预印本arXiv:2401.00025，2023年。

Yu Xiang、Tanner Schmidt、Venkatraman Narayanan和Dieter Fox。Posecnn：一种用于杂乱场景中6D物体姿态估计的卷积神经网络。arXiv预印本arXiv:1711.00199，2017年。

Hao Xu、Yilin Liu、Yinqiao Wang、Chi-Wing Fu和Niloy J Mitra。Choir：基于接触感知的4D手-物体交互重建。arXiv预印本arXiv:2605.20992，2026年。

Lixin Yang、Xinyu Zhan、Kailin Li、Wenqiang Xu、Jiefeng Li和Cewu Lu。CPF：通过学习接触势场来建模手-物体交互。载于IEEE/CVF国际计算机视觉会议论文集，第11097–11106页，2021年。

Lixin Yang、Kailin Li、Xinyu Zhan、Fei Wu、Anran Xu、Liu Liu和Cewu Lu。Oakink：一个用于理解手-物体交互的大规模知识库。载于IEEE/CVF计算机视觉与模式识别会议论文集，第20953–20962页，2022年。

Ruihan Yang、Qinxi Yu、Yecheng Wu、Rui Yan、Borui Li、An-Chieh Cheng、Xueyan Zou、Yunhao Fang、Xuxin Cheng、Ri-Zhao Qiu等。Egovla：从以自我为中心的人类视频中学习视觉-语言-动作模型。arXiv预印本arXiv:2507.12440，2025年。

Seonghyeon Ye、Joel Jang、Byeongguk Jeon、Se June Joo、Jianwei Yang、Baolin Peng、Ajay Mandlekar、Reuben Tan、Yu-Wei Chao、Bill Yuchen Lin等。基于视频的潜在动作预训练。载于国际学习表征会议论文集，第2025卷，第28213–28239页，2025a年。

Yufei Ye、Poorvi Hebbar、Abhinav Gupta和Shubham Tulsiani。基于扩散模型引导的日常手-物体交互片段重建。载于IEEE/CVF国际计算机视觉会议论文集，第19717–19728页，2023年。

Yufei Ye、Yao Feng、Omid Taheri、Haiwen Feng、Shubham Tulsiani和Michael J Black。从单目视频预测4D手部轨迹。arXiv预印本arXiv:2501.08329，2025b年。

尹兆恒、王昌浩、路易斯·皮内达、克里希纳·博杜里、吴廷凡、皮特·阿贝尔和穆斯塔法·穆卡丹。几何重定向：一种原则性、超快的神经手部位重定向算法。收录于2025年IEEE/RSJ智能机器人与系统国际会议（IROS），第17376–17382页。IEEE，2025年。

余正迪、斯特凡诺斯·扎费里欧和托尔加·比尔达尔。Dyn-hamr：从动态摄像头恢复4D交互式手部运动。收录于计算机视觉与模式识别会议论文集，第27716–27726页，2025年。

张景雷、邓建康、马超和罗兰多斯·亚历山德罗斯·波塔米亚斯。Hawor：从第一人称视频中重建世界空间下的手部运动。收录于计算机视觉与模式识别会议论文集，第1805–1815页，2025年。

张宇宏、高子涵、李盛鹏、陈凌浩、刘凯升、程润庆、林晓、刘俊佳、李卓恒、冯静怡、何子燕、林锦添、黄哲言、刘志芳和王浩谦。RoboWheel：一个基于真实人类演示数据、用于跨本体机器人学习的数据引擎。收录于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第6664–6674页，2026年6月。

---

## 附录

## 方法细节

### A.1 基于VLM的分割与标注提示词

由于篇幅较长，我们未在附录中直接嵌入完整的提示词，以免严重影响可读性。取而代之的是，我们在补充材料中提供了完整的提示词模板文件prompt.txt。该文件包含了用于将人类演示视频分割成单次交互任务片段，并为每个片段标注任务描述、直接接触的物体、手部标签以及简洁的交互摘要时所使用的精确提示词。

### A.2 基于IoU的姿态权重解读

IoU指标用于衡量渲染出的物体轮廓与观测到的掩码之间的一致性。高IoU意味着轮廓一致性较好，不过对于对称物体而言，不同的姿态也可能产生相似的投影效果。相反，部分可见性或分割错误即便在姿态准确的情况下也会降低IoU值。因此，在选择物体轨迹时，我们会将这一观测一致性权重与ScoreNet得分及时间过渡成本结合起来考虑。

### A.3 从观测到接触的手部精细化处理

本节将介绍主论文中所述的手部精细化模块的实现细节。给定来自WiLoR（Potamias等人，2025年）的每帧MANO初始化参数以及固定的物体轨迹，我们会在保持物体网格和物体姿态不变的前提下，优化手部轨迹和姿态。

## 输入与参数化

对于每个视频片段，该模块的输入包括初始的MANO手部参数、手部与物体掩码、相机内参、重建的物体网格$\Omega = (\mathcal{V}_o, \mathcal{F}_o)$、物体SDF以及物体姿态$\mathcal{O}_t = (R_t^o, T_t^o)$。第t帧的手部表示为：

 $$ \Theta_{t}=\{s_{t},\tau_{t},\omega_{t},\theta_{t},\beta_{t}\}, $$

其中$s_t$表示全局手部缩放比例，$\tau_t$为手部平移量，$\omega_t$为全局朝向，$\theta_t$是MANO关节参数，$\beta_t$则为MANO形状参数。在手部精细化过程中，我们会优化$s_t$以及其他MANO参数，同时保持来自SAM 3D的度量尺度物体网格及其姿态轨迹保持不变。

## 动作阶段分割与锚点初始化

我们通过物体的运动以及手与物体之间的接近程度来识别从抓握到交互的过渡。首先，将物体的姿态投影到有效的$SE(3)$变换中，并进行轻微平滑处理。设$T_{t}^{o}$为物体的平移量，$d_{t}^{ho}$为手与物体之间的最小距离。交互得分计算如下：

 $$ e_{t}=\alpha\frac{\|T_{t}^{o}-T_{t-1}^{o}\|_{2}}{\delta_{\mathrm{t r a n s}}}+\beta\max\left(0,1-\frac{d_{t}^{\mathrm{h o}}}{\delta_{\mathrm{h o}}}\right), $$

其中$\alpha, \beta$为提示权重，$\delta_{\mathrm{trans}}$和$\delta_{\mathrm{ho}}$为归一化阈值。我们选取满足$e_t > \delta_{\mathrm{on}}$条件的最早帧作为交互起始点，并将其记为$t_a$。在$t_a$之前的帧被标记为抓握阶段，而从$t_a$开始的帧则被标记为交互阶段。

在批量优化之前，我们先使用单帧优化器对锚定帧进行优化，并计算出片段级别的平移偏移量$\Delta\tau = \tau_a^\star - \tau_a^0$，其中$\tau_a^0$和$\tau_a^\star$分别表示锚定点的初始平移量和优化后的平移量。该偏移量会被加到该片段中的所有关键帧上。

## 批量优化目标

锚定初始化完成后，同一动作片段中的关键帧会被联合优化。优化目标如下：

 $$ \mathcal{L}=\lambda_{\mathrm{2d}}\mathcal{L}_{\mathrm{2d}}+\lambda_{\mathrm{m a t c h}}\mathcal{L}_{\mathrm{m a t c h}}+\lambda_{\mathrm{t e m p}}\mathcal{L}_{\mathrm{t e m p}}+\lambda_{\mathrm{s d f}}\mathcal{L}_{\mathrm{s d f}}+\lambda_{\mathrm{s m}}\mathcal{L}_{\mathrm{s m}}+\lambda_{\mathrm{r e g}}\mathcal{L}_{\mathrm{r e g}}. $$

---

此处，$\mathcal{L}_{2d}$用于对齐手部掩码，$\mathcal{L}_{\mathrm{match}}$用于强制实现每帧的光线接触，$\mathcal{L}_{\mathrm{temp}}$用于维持长时间的接触稳定性，$\mathcal{L}_{\mathrm{sdf}}$则用于惩罚穿透现象并促进表面接触；而$\mathcal{L}_{\mathrm{sm}}$和$\mathcal{L}_{\mathrm{reg}}$则用于规范时间上的平滑度以及与初始状态的偏差。

## 基于阶段加权的2D掩码对齐

在抓握阶段，尚无法获得接触信息，因此图像证据成为主要约束条件。我们渲染手部掩码$\hat{M}_h^t$，并通过软IoU损失将其与观测到的手部掩码$M_h^t$进行比较：

 $$ \mathcal{L}_{\mathrm{2d}}=\frac{1}{B}\sum_{t=1}^{B}\gamma_{t}\left(1-\frac{\langle\hat{M}_{h}^{t},M_{h}^{t}\rangle+\epsilon}{\|\hat{M}_{h}^{t}\|_{1}+\|M_{h}^{t}\|_{1}-\langle\hat{M}_{h}^{t},M_{h}^{t}\rangle+\epsilon}\right), $$

其中B表示被优化的帧数，$\epsilon$用于稳定除法运算，$\gamma_t = \gamma_g > 1$在抓握帧中取相应值，其他帧则为1。

## 基于光线的接触匹配

在交互阶段，手部应受到物体几何形状的限制。我们采用了REISOM（Lin等人，2025年）提出的基于光线的2D到3D接触构建方法。设$\mathcal{Z}$为MANO接触区顶点集，$v_{t,k}$表示第t帧中第k个接触顶点的3D位置。如果某个接触候选点的2D投影落在物体掩码内，则该候选点被视为有效：

 $$ \mathcal{C}_{t}=\{k\in\mathcal{Z}\mid\Pi_{K}(v_{t,k})\in M_{o}^{t}\}. $$

对于每个有效的候选点，我们沿投影像素发射一条相机光线，并将其与已建模的物体网格$\Omega_t$相交，从而得到物体侧的表面点$o_{t,k}$。匹配损失计算如下：

 $$ \mathcal{L}_{\mathrm{m a t c h}}=\frac{1}{|\mathcal{I}_{\mathrm{i n t e r}}|}\sum_{t\in\mathcal{I}_{\mathrm{i n t e r}}}\frac{1}{\max(|\mathcal{C}_{t}|,1)}\sum_{k\in\mathcal{C}_{t}}\|v_{t,k}-o_{t,k}\|_{2}. $$

这一损失提供了一个由物体掩码和当前物体姿态共同支持的3D接触目标。

## 物体局部的时间接触稳定化

逐帧的光线匹配可能会将同一个手部候选点在不同时间分配到不同的物体区域。因此，我们需要在物体坐标系中对接触点进行比较：

 $$ \bar{o}_{t,k}=(R_{t}^{o})^{\top}(o_{t,k}-T_{t}^{o}),\qquad\bar{v}_{t,k}=(R_{t}^{o})^{\top}(v_{t,k}-T_{t}^{o}). $$

对于在相邻交互帧中均活跃的候选点$C_{t,t+1} = C_t \cap C_{t+1}$，我们定义一个停止梯度的局部锚点：

 $$ a_{t,k}=\frac{1}{2}\left(\operatorname{s g}(\bar{o}_{t,k})+\operatorname{s g}(\bar{o}_{t+1,k})\right), $$

并最小化以下数值：

 $$ \mathcal{L}_{\mathrm{t e m p}}=\sum_{t:\;t,t+1\in\mathcal{I}_{\mathrm{i n t e r}}}\sum_{k\in\mathcal{C}_{t,t+1}}\left[\rho(\|\bar{v}_{t,k}-a_{t,k}\|_{2})+\rho(\|\bar{v}_{t+1,k}-a_{t,k}\|_{2})\right], $$

其中sg表示停止梯度操作，$\rho(x) = \sqrt{x^2 + \epsilon}$是一个带有小常数$\epsilon$的平滑距离惩罚项。在实现过程中，我们会剔除那些非有限值或对或物体局部距离过大的配对，以避免不稳定的光线对应关系。

## SDF预热、平滑度及正则化

SDF接触与穿透损失仅在预热阶段之后才会被启用。这能防止早期的SDF梯度与图像对齐及光线接触产生冲突，尤其是在初始手部位置距离物体较远时。预热完成后，SDF项会消除穿透现象并改善表面级接触效果。平滑项基于关键帧进行计算，用于惩罚手部姿态、方向和位移中的高频变化。我们默认采用二阶平滑处理，它能在允许近似匀速运动的同时抑制加速度。正则化项则使尺度、位移、姿态和形状参数保持接近初始基础模型预测值。

---

### A.4 世界坐标系到机器人坐标系的对齐

在重新定位重建后的人手运动轨迹后，这些轨迹仍是以相机坐标系表示的。我们首先利用估计的相机外参，将所有重建的手部和物体轨迹转换到共享的世界坐标系中。为了得到世界坐标系到机器人坐标系的转换关系，我们分别针对人类演示和机器人演示估算具有代表性的初始物体姿态。对于人类演示，我们收集每个有效序列在世界坐标系下的首帧物体姿态；代表性位移是拟合这些初始位置所得高斯分布的平均值，而代表性旋转则是通过在旋转流形上取平均得到的。对于机器人演示，我们利用机器人设置中的相机来估算物体姿态，并通过手眼标定将其转换到机器人坐标系，进而计算出相应的代表性初始物体姿态。将人类域的代表性姿态映射到机器人域代表性姿态的刚体变换矩阵，便被用作世界坐标系到机器人坐标系的对齐矩阵。应用该变换后，重建及重新定位后的人手轨迹的全局姿态就能与机器人演示所用的坐标系保持一致。

## B 超参数选择

### B.1 物体姿态跟踪的超参数

在物体姿态估计阶段，我们将姿态候选数量设为$(N = 252)$。遵循FoundationPose的做法，这些候选姿态是通过均匀采样物体视点和平面内旋转生成的，从而在姿态优化与评分前能够覆盖广泛的旋转空间。对于时序候选选择目标，我们设定$(\lambda_{\text{trans}} = 1)$和$(\lambda_{\text{rot}} = 10)$。这些权重并非针对特定任务调整的参数，仅用于平衡过渡成本中不同项的数值尺度。我们在所有实验中均使用相同的超参数。

### B.2 手部优化的超参数

手部优化超参数。我们在NVIDIA 4090 GPU上执行手部优化。每个动作片段通过Adam优化器迭代400步，其中手部尺度的学习率固定为$1 \times 10^{-5}$，位移为$2 \times 10^{-3}$，全局取向为$1 \times 10^{-4}$，关节动作为$2 \times 10^{-4}$，MANO形状参数也为$1 \times 10^{-4}$。我们设定$\lambda_{2d} = 10$、$\lambda_{sdf} = 10$、$\lambda_{reg} = 6$和$\lambda_{temp} = 8$。光线接触权重$\lambda_{match}$在前100步SDF预热期间为30，之后降为20。SDF接触基础权重为5，抓取阶段掩码乘数为$\gamma_g = 2$，二阶平滑权重$\lambda_{sm}$为0.5，步长为1。

## C 评估协议

### C.1 物体姿态跟踪指标

物体姿态是通过重建的物体网格而非真实CAD模型来估计的。在评估时，我们将预测姿态与基于每条轨迹第一帧的真实姿态进行对齐，以修正规范坐标系之间的不匹配问题。

对于所有物体姿态估计指标，我们首先计算每条轨迹内的指标值，随后将各轨迹的结果汇总到整个评估子集上。设$\mathbf{t}$和$\hat{\mathbf{t}}$分别表示真实的平移向量和预测的平移向量，$\mathbf{R}$和$\hat{\mathbf{R}}$分别表示真实的旋转矩阵和预测的旋转矩阵。令$\mathcal{M}$为一组包含m个采样物体表面点的集合。平移误差以厘米为单位报告，旋转误差以度为单位报告。

平移误差：

 $$ \left\| \mathbf{t}-\mathbf{t} \right\|_{2} $$

旋转误差：

 $$ \arccos\left(\frac{\mathrm{tr}(\hat{\mathbf{R}}^{\top}\mathbf{R})-1}{2}\right) $$

---

以下的ADD和ADD-S定义通过物体直径对表面点距离进行归一化。ADD采用对应点匹配方式，而ADD-S则采用最近点匹配方式来应对难以区分的表面形态。表1报告的是每个距离下的准确率阈值曲线下面积（AUC），而非平均距离本身。

ADD：

 $$ \frac{1}{m}\sum_{\mathbf{x}\in\mathcal{M}}\frac{\|(\hat{\mathbf{R}}\mathbf{x}+\hat{\mathbf{t}})-(\mathbf{R}\mathbf{x}+\mathbf{t})\|_{2}}{\max_{\mathbf{x}_{1},\mathbf{x}_{2}\in\mathcal{M}}\|\mathbf{x}_{1}-\mathbf{x}_{2}\|_{2}} $$

ADD-S：

 $$ \frac{1}{m}\sum_{\mathbf{x}_{1}\in\mathcal{M}}\min_{\mathbf{x}_{2}\in\mathcal{M}}\frac{\|(\hat{\mathbf{R}}\mathbf{x}_{1}+\hat{\mathbf{t}})-(\mathbf{R}\mathbf{x}_{2}+\mathbf{t})\|_{2}}{\max_{\mathbf{x}_{3},\mathbf{x}_{4}\in\mathcal{M}}\|\mathbf{x}_{3}-\mathbf{x}_{4}\|_{2}} $$

### C.2 手部精细化度量

借鉴以往的手部-物体运动重建研究，我们报告手部姿态精度的平均关节位置误差（MPJPE），以及经过第一帧对齐后的手腕轨迹精度的平均根部位置误差（MRPE）。我们使用相互穿透体积（IV）来衡量手部与物体的相互穿透程度，同时报告其平均值和最大值；用抖动幅度（JM）来衡量时间上的平滑度。MPJPE和MRPE是在可见手部帧上计算的，而IV和JM则是在交互帧上计算的。所有指标均为数值越低越好，其中MPJPE/MRPE的单位为毫米，IV的单位为立方厘米，JM的单位为毫米/秒³。

设$\hat{J}_{t,j}$和$J_{t,j}$分别表示第t帧预测的和真实的3D手部关节坐标，其中$j = 0, \ldots, J-1$且J=21。我们用$\hat{r}_t = \hat{J}_{t,0}$和$r_t = J_{t,0}$表示预测的和真实的手腕/根部关节坐标。姿态指标是在可见手部帧$\mathcal{V}$上计算的，而穿透和平滑度指标则是在交互帧$\mathcal{I}_{\text{inter}}$上计算的。

我们报告基于根部对齐的MPJPE，以独立于全局手腕平移来评估手部姿态精度：

 $$ \mathrm{MPJPE}=\frac{1}{|\mathcal{V}|J}\sum_{t\in\mathcal{V}}\sum_{j=0}^{J-1}\left\|\left(\hat{J}_{t,j}-\hat{r}_{t}\right)-\left(J_{t,j}-r_{t}\right)\right\|_{2}. $$

对于手腕/根部轨迹精度，我们采用经第一帧对齐后的MRPE。设$t_0 = \min \mathcal{V}$和$\tilde{r}_t = \hat{r}_t - \hat{r}_{t_0} + r_{t_0}$。那么

 $$ \mathrm{MRPE}=\frac{1}{|\mathcal{V}|}\sum_{t\in\mathcal{V}}\|\tilde{r}_{t}-r_{t}\|_{2}. $$

为了衡量物理合理性，我们报告手部与物体的相互穿透体积。对于每个交互帧，我们通过体素网格$\mathcal{G}_t$来近似计算手部的网格$\hat{\mathcal{H}}_t$与物体的网格$\hat{\mathcal{O}}_t$重叠区域的体积：

 $$ \mathrm{I V}_{t}=p^{3}\sum_{x\in\mathcal{G}_{t}}\mathbf{1}[x\in\hat{\mathcal{H}}_{t}]\mathbf{1}[x\in\hat{\mathcal{O}}_{t}], $$

其中p为体素边长，$1[\cdot]$为占据指示器。最终得到的体积以$\mathrm{cm}^{3}$为单位报告。

为了衡量时间平滑度，我们在预测的手腕/根部轨迹上计算抖动幅度。在下面的定义中，$\tau$表示以秒为单位的物理时间，手腕位置则以毫米为单位表示：

 $$\mathrm{J M}=\frac{1}{|\mathcal{I}_{\mathrm{i n t e r}}|}\sum_{t\in\mathcal{I}_{\mathrm{i n t e r}}}\left\|\left.\frac{d^{3}\hat{r}(\tau)}{d\tau^{3}}\right|_{\tau=\tau_{t}}\right\|_{2}.$$

## D 扩展重建评估

### D.1 物体重建质量

我们在 DexYCB 上评估物体重建质量，并将我们的流程与 HOLD (Fan et al., 2024) 和 MagicHOI (Wang et al., 2025) 进行比较。Chamfer 距离 (CD) 衡量双向

---

最近表面差异通过倒角距离（CD）来衡量，而表面F分数则综合了在指定距离阈值内匹配的精确度与召回率。表5报告了以$cm^2$为单位的CD值，以及F@5和F@10的百分比数值。在所评估的数据集上，我们的流程在对比方法中取得了最低的CD值和最高的F分数。

<div style="text-align: center;">Table 5: Object reconstruction quality on DexYCB. Lower CD and higher F-scores are better. Best values are highlighted in bold.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>CD ( $cm^{2}$) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F@5 (%) $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F@10 (%) $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOLD (Fan et al., 2024)</td><td style='text-align: center; word-wrap: break-word;'>19.30</td><td style='text-align: center; word-wrap: break-word;'>33.20</td><td style='text-align: center; word-wrap: break-word;'>54.94</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MagicHOI (Wang et al., 2025)</td><td style='text-align: center; word-wrap: break-word;'>2.05</td><td style='text-align: center; word-wrap: break-word;'>45.67</td><td style='text-align: center; word-wrap: break-word;'>67.14</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>0.57</td><td style='text-align: center; word-wrap: break-word;'>49.35</td><td style='text-align: center; word-wrap: break-word;'>87.54</td></tr></table>

<div style="text-align: center;">Table 6: We ablate the object grounding module. “Valid” denotes the percentage of sequences with a valid prediction and non-zero overlap with the ground-truth mask. Metrics are reported as full/valid, where full counts detection failures and zero-overlap predictions as IoU = 0, and valid is computed only over valid sequences.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>VLM</td><td style='text-align: center; word-wrap: break-word;'>Detector</td><td style='text-align: center; word-wrap: break-word;'>Valid (%) $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>mIoU $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Acc@0.25 (%) $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Acc@0.50 (%) $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Acc@0.75 (%) $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>20.2</td><td style='text-align: center; word-wrap: break-word;'>0.08/0.38</td><td style='text-align: center; word-wrap: break-word;'>13.2/65.3</td><td style='text-align: center; word-wrap: break-word;'>7.3/36.1</td><td style='text-align: center; word-wrap: break-word;'>2.5/12.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>84.5</td><td style='text-align: center; word-wrap: break-word;'>0.56/0.66</td><td style='text-align: center; word-wrap: break-word;'>76.0/89.9</td><td style='text-align: center; word-wrap: break-word;'>70.2/83.1</td><td style='text-align: center; word-wrap: break-word;'>42.3/50.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>87.0</td><td style='text-align: center; word-wrap: break-word;'>0.58/0.67</td><td style='text-align: center; word-wrap: break-word;'>83.5/96.0</td><td style='text-align: center; word-wrap: break-word;'>71.1/81.7</td><td style='text-align: center; word-wrap: break-word;'>38.8/44.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>95.8</td><td style='text-align: center; word-wrap: break-word;'>0.66/0.69</td><td style='text-align: center; word-wrap: break-word;'>93.8/97.9</td><td style='text-align: center; word-wrap: break-word;'>81.1/84.7</td><td style='text-align: center; word-wrap: break-word;'>44.8/46.8</td></tr></table>

### D.2 物体定位消融实验

我们还在DexYCB数据集上评估了物体重建和姿态跟踪之前使用的物体定位模块。完整的定位流程包含三个步骤：首先由视觉语言模型（VLM）预测被操纵物体的名称，随后开放词汇检测器根据预测的文本提示定位该物体，最后SAM3利用检测到的边界框作为输入，在整个视频中生成物体掩码。为了评估每个组件的贡献，我们比较了四种变体：直接用“与人手接触的物体”这一提示词驱动SAM3；在SAM3之前使用相同的通用提示词来引导检测器；用VLM预测的物体文本来提示SAM3；以及采用完整的VLM-检测器-SAM3流程。

所有指标均在序列层面计算。具体来说，我们首先通过平均该序列内每帧的掩码IoU来计算每个序列的局部IoU得分，随后将得到的序列级得分汇总到整个数据集上。我们报告平均IoU和Acc@$\tau$，其中Acc@$\tau$表示序列级IoU高于$\tau$的序列所占的百分比。对于每个指标，我们以full/valid的形式报告两个数值。full设置包含所有序列，并将检测失败或零重叠预测的IoU设为0；valid设置仅针对那些方法能生成与真实掩码有非零重叠的有效预测的序列进行计算。我们还报告Valid，即这类有效序列占整个评估集的百分比。

如表6所示，直接用通用的交互描述来提示SAM3的效果较差，有效序列仅占20.2%，整体mIoU仅为0.08。这表明当目标物体未被明确定位时，仅靠掩码传播是不够的。引入基于检测器的定位或基于VLM的物体命名能显著提升定位性能：仅使用检测器的变体将有效率提高到84.5%，而仅使用VLM的变体则达到87.0%。完整流程的整体性能最佳，有效序列占比达95.8%，整体mIoU为0.66，且full设置下的Acc@0.25、Acc@0.50和Acc@0.75数值也最高。这些结果说明基于VLM的语义物体识别和基于检测器的空间定位具有互补性：VLM能提供更精确的物体级提示，而检测器则为SAM3提供明确的空间先验。尽管仅使用检测器的变体在valid设置下的Acc@0.75略高，但其较低的有效率和较弱的full设置结果表明，它作为端到端定位模块的稳定性较差。总体而言，这种完整设计既提升了成功定位的覆盖率，也改善了生成的物体掩码质量。

---

### D.3 手部优化消融实验

优化组件的有效性。我们在DexYCB数据集上开展消融实验，以考察主要优化组件的贡献。表7报告了完整目标函数以及移除单个损失项后的变体结果。

完整的目标函数反映了所有优化约束的综合效果。移除二维损失项后，IV-mean从1.07降至0.27，但MRPE却从38.49升至113.17，JM也从2.49增至9.93。这凸显了图像对齐在限制手部运动方面的作用，同时也表明仅靠较低的穿透程度并不能保证更精确的互动重建。移除光线接触损失项会削弱手部与物体间的直接耦合，使得轨迹受互动证据的约束减弱。移除时间维度上的光线接触损失项会使JM从2.49增加到3.19，说明这一约束有助于提升手腕轨迹的平滑度。完整的目标函数兼顾了几何精度、接触质量以及时间稳定性。

<div style="text-align: center;">Table 7: Ablation of the optimization losses on DexYCB. We report MPJPE, MRPE, and physics-based measures. The first row uses the full objective, while each following row removes one loss term to assess the role of each constraint.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{2d}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{match}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{temp}$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MRPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>IV-mean $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>IV-max $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>JM $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>7.58</td><td style='text-align: center; word-wrap: break-word;'>38.49</td><td style='text-align: center; word-wrap: break-word;'>1.07</td><td style='text-align: center; word-wrap: break-word;'>3.25</td><td style='text-align: center; word-wrap: break-word;'>2.49</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>8.38</td><td style='text-align: center; word-wrap: break-word;'>113.17</td><td style='text-align: center; word-wrap: break-word;'>0.27</td><td style='text-align: center; word-wrap: break-word;'>1.55</td><td style='text-align: center; word-wrap: break-word;'>9.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>7.64</td><td style='text-align: center; word-wrap: break-word;'>48.70</td><td style='text-align: center; word-wrap: break-word;'>0.53</td><td style='text-align: center; word-wrap: break-word;'>2.27</td><td style='text-align: center; word-wrap: break-word;'>2.53</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>7.58</td><td style='text-align: center; word-wrap: break-word;'>38.62</td><td style='text-align: center; word-wrap: break-word;'>1.07</td><td style='text-align: center; word-wrap: break-word;'>3.12</td><td style='text-align: center; word-wrap: break-word;'>3.19</td></tr></table>

额外基线。为了进一步评估我们手部重建优化方法的有效性，我们在表8中加入了MagicHOI作为额外的基线。由于我们的目标是在相同的重建流程下比较不同的手部优化策略，因此我们采用了MagicHOI中的手部优化模块，同时保持其他组件与我们的方法完全一致，包括物体重建、物体姿态估计以及初始化过程。这种设置能够分离出手部优化阶段的影响，从而实现两种优化策略之间更具控制性的比较。如表8所示，MagicHOI在所有报告指标上的表现均逊于我们的优化方法，甚至在多项指标上还不如WiLoR初始化阶段的性能。

<div style="text-align: center;">Table 8: We compare additional baseline MagicHOI with WiLoR initialization and our refined hand trajectories on HO3D-v3. Best values are highlighted in bold.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MRPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>IV-mean $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>IV-max $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>JM $\downarrow$</td></tr><tr><td rowspan="3">HO3D-v3</td><td style='text-align: center; word-wrap: break-word;'>MagicHOI</td><td style='text-align: center; word-wrap: break-word;'>5.90</td><td style='text-align: center; word-wrap: break-word;'>22.64</td><td style='text-align: center; word-wrap: break-word;'>13.24</td><td style='text-align: center; word-wrap: break-word;'>48.80</td><td style='text-align: center; word-wrap: break-word;'>1.25</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>4.22</td><td style='text-align: center; word-wrap: break-word;'>24.22</td><td style='text-align: center; word-wrap: break-word;'>20.11</td><td style='text-align: center; word-wrap: break-word;'>64.82</td><td style='text-align: center; word-wrap: break-word;'>0.86</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>4.40</td><td style='text-align: center; word-wrap: break-word;'>16.99</td><td style='text-align: center; word-wrap: break-word;'>3.42</td><td style='text-align: center; word-wrap: break-word;'>22.40</td><td style='text-align: center; word-wrap: break-word;'>0.34</td></tr></table>

## E 定性结果

### E.1 HO3D-V3数据集上的手-物重建效果

图4展示了在HO3D-v3数据集上的定性结果。对于几何复杂度各异的物体——从简单的盒状物体到极具挑战性的钻状物体，我们的方法在互动质量上始终优于初始化方法和MagicHOI。以钻状物体为例，初始化方法和MagicHOI无法恢复出有效的抓取姿势，而我们的方法却成功重建出手握钻的状态。尽管存在轻微的物体穿透现象，但重建出的互动关系明显更加合理且稳定。所提出的优化方法有效缓解了手-物穿透及错误接触问题，从而得到了更符合物理规律的重建结果。如绿色圆圈所示，我们的方法有时生成的互动配置在视觉上与图像观测结果的一致性甚至超过了提供的标注。

---

![Image](images/4e186fd899ff25b3d1c7d5cb2ffbb656e4384ec2036d7e897ff706613f4b661b.jpg)

WiLoR

MagicHOI

我们的方法

真实情况

<div style="text-align: center;">Figure 4: Qualitative results of hand-object reconstruction on HO3D-v3. The reconstruction result is visualized in both the front and side views.</div>

---

## F 真实机器人实验细节

![Image](images/01150eeba21505cb4ff4328432eaa4add36334d9d9fe644c39cffb9251edf65b.jpg)

<div style="text-align: center;">Figure 5: Hardware setup of real-world robot experiments.</div>

图5展示了用于真实机器人评估的Franka机械臂和xHand手。当前的对比实验涵盖了放置花瓶、打开盒子以及插入吐司这三个任务（见图3）。人类和机器人的演示过程均通过同一固定的侧视摄像头系统记录。

动作格式。策略预测的动作包含两个部分：第一部分代表机器人末端执行器的姿态，包括三维平移以及采用轴角形式参数化的三维旋转；第二部分对应灵巧手的关节角度。在我们的实现中，使用的是拥有12个自由度的xHand，因此完整的动作向量共有18个维度。策略预测的是相对动作偏移量，而非绝对目标值。

对于WiLoR、MagicHOI和Hand2Robot方法，我们在策略训练完成后，会对恢复出的人手运动应用相同的xHand映射、坐标转换以及相对动作编码流程。

对于《Do As I Do》（Paliwal等人，2026年）方法，我们保留了其基于动力学的后优化机制，并采用与Hand2Robot相同的数据映射方法，将优化后的Sharpa动作适配到xHand上。

训练数据与采样。我们利用表3和表4中列出的各任务演示数据预算，对$\pi_{0,5}$进行30,000步的后续训练。在动作生成对比实验中，WiLoR、MagicHOI和Hand2Robot三个方法均使用每个任务20个机器人演示样本以及100个人类源视频。预算研究则分别评估了20、40和60个机器人演示样本的情况，同时也在混合数据条件下进行测试：即使用20个机器人演示样本，搭配50或100个人类演示样本。在20R+50H配置下，《Do As I Do》和Hand2Robot方法会处理每个任务相同的50个人类源视频；纯人类数据条件则使用100个人类演示样本。

在所有混合数据条件下，无论人类和机器人演示样本的数量比例如何，两者被抽取用于训练的比例均为1:1。纯机器人数据条件和纯人类数据条件则分别从各自的数据源中采样。

物体摆放与评估。物体被放置在尺寸为40厘米×70厘米的桌面工作区上。在表3所示的动作生成对比实验中，人类和机器人的演示样本覆盖相同的空间区域。每个训练好的策略会在每个任务中接受20次试验评估，初始物体位置从训练数据分布中随机选取。任务成功率定义为成功试验次数除以20，报告平均值时对三个任务赋予同等权重。

任务成功判定。任务成功的标准如下：在“放置花瓶”任务中将花瓶放到盘子上，在“打开盒子”任务中打开盒子，在“插入吐司”任务中将吐司放入烤面包机。图3的最后一行展示了这三个任务的成功完成示例。