# WHOLE：基于第一人称视频的世界坐标系下手部与物体运动重建叶宇飞 $^{1}$ 李佳曼 $^{2}$ 荣瑞安 $^{1}$ 刘可然 $^{1,2}$ $^{1}$斯坦福大学 $^{2}$亚马逊FAR（前沿人工智能与机器人实验室） ![Image](images/ec4009d4ac4f1b7ff11f90950b6a7f66375490c659be383fbc4057a42c07bf9c.jpg)

Figure 1. Given a metric-SLAMed egocentric video of a person interacting with the scene and the corresponding object templates, WHOLE reconstructs the motions of both hands and the objects of interest. The reconstruction is shown from the egocentric camera view, an allocentric view, and through the full 4D hand-object trajectories. In the example above, the person moves a box from the table on the left to the shelf on the right, takes a can from the shelf and places it on the center table, and finally picks up an orange box. For visual clarity, multiple objects are overlaid into a single scene, and the hands are displayed only when interacting with the box.

## 摘要由于交互过程中存在严重遮挡，且人移动时物体会频繁进出摄像头视野，第一人称操作视频的处理难度极高。现有方法通常仅专注于单独恢复手部或物体的姿态，但这两类方法在交互场景下表现均不佳，也无法处理物体超出视野的情况。此外，它们独立做出的预测往往会导致手-物关系不一致。我们提出了WHOLE方法，该方法能够借助物体模板，从第一人称视频中整体重建世界坐标系下的手部与物体运动。我们的核心思路是学习手-物运动的生成式先验，从而共同推断二者的交互关系。测试时，预训练好的先验会被引导生成符合视频观测结果的轨迹。这种联合生成式重建的效果显著优于先分别处理手部与物体、再进行后处理的方法。WHOLE的性能达到了当前最优水平。该方法可用于手部运动估计、6D物体姿态估计以及二者相对交互关系的重建。 ### 1. 引言人类能够轻松地将所看到的画面（第一人称视角）与持久的三维世界（客观视角）联系起来——这是支撑空间推理和有目的性交互的核心认知能力。随着可穿戴摄像头的日益普及，第一人称视频已成为捕捉此类第一人称体验的强大媒介。这些录像记录了佩戴者视角的日常活动，比如走过房间、伸手去拿架子上的罐子、倒牛奶等，如图1所示。在这些场景中，手部与所操控的物体构成了人类作用于世界的最直接界面，因此它们的三维重建是理解第一人称体验的关键一步。 --- 实现这种对人类交互的空间推理能力，能够催生出诸多下游应用，比如基于人类演示的机器人学习[^21] [^24]以及沉浸式AR/VR环境。我们的目标是赋予计算机类似的能力：从记录了手部操作过程的经过度量级SLAM处理的第一人称视频中，在一致的世界坐标系下重建活动物体及双手的运动。然而，这项任务极具挑战性。由于摄像头安装在移动中的佩戴者身上，即便物体本身并未大幅移动，生成的视频也常会出现较大的自身运动。物体可能会离开并重新进入视野，而手部与物体之间的频繁遮挡还会进一步增加感知与重建的难度。以往的研究已经探索了几个密切相关的发展方向，但往往各自为政。有些方法专门致力于在统一的世界坐标系下重建人体[^45] [^69] [^70]或一般物体[^12] [^58]；而另一些方法则致力于估计相机运动[^31] [^37] [^51]，以便将以自我为中心的视角与世界空间对齐。然而，仅仅将这些独立的研究成果结合起来，还不足以从视频中重建以自我为中心的交互场景。另一类研究专注于手-物交互（HOI）重建[^11] [^22] [^63]，通常针对几秒钟的片段来恢复物体的精细几何结构与接触模式。不过，这些方法仍局限于局部参考系中，无法对持久性全局3D世界中的运动与交互进行建模。我们的核心见解在于：手与物体的运动本质上是相互依赖的，应当将其联合建模才能捕捉到连贯的手-物交互过程。基于这一理念，我们提出了WHOLE，它将重建任务表述为一种受引导的生成过程，该过程依赖于从手-物交互中学习到的生成式运动先验。具体而言，我们训练了一个基于扩散模型的运动先验，用以建模手与物体之间的相互动态关系以及它们之间的接触关系。在测试阶段，我们利用包括分割掩码和接触线索在内的视觉观测信息来引导这个预训练模型，从而生成与输入以自我为中心的视频相一致的全局3D轨迹。为了获取可靠的接触信息，我们进一步为视觉-语言模型（VLM）添加了基于空间的视觉提示，使其即便在杂乱场景中也能实现精准的接触定位。借助这些技术，WHOLE能够在全局3D空间中生成连贯且合理的长时序手-物交互序列重建结果。我们在HOT3D [^2]数据集上对WHOLE进行了训练和评估。实验表明，我们学到的运动先验能够生成多样化且合理的样本，同时生成的重建结果也与输入视频高度一致。在手、物体及交互评估指标上，与那些简单拼凑手部和物体估计领域最先进方法的基线模型相比，WHOLE的表现始终更优。我们还发现，由VLM标注的接触线索与真实标签的效果相当，这反映出所设计的视觉提示有效提升了VLM的空间定位能力。代码和模型将在论文被接收后公开。 ### 2. 相关工作以第一人称视角进行的视频理解。由于大规模数据集[^6] [^15] [^16]以及GoPro和Project Aria等可穿戴摄像头的出现，以第一人称视角进行的感知研究近来备受关注[^4] [^34] [^35]。虽然部分研究侧重于动作识别和语言定位等高层语义理解[^15] [^16] [^21] [^60]，但近期的研究已拓展到空间感知任务，包括二维检测、分割和跟踪[^7] [^76]。少数研究尝试从第一人称视角输入数据中进行三维理解，例如摄像头定位、全局人体运动重建以及全局手部运动重建[^28] [^40] [^54] [^67] [^73]。我们的工作属于这一三维第一人称理解的研究范畴，但有所不同的是，我们明确对交互过程进行建模，即同时重建双手、物体及其接触情况。这样一来就能在世界坐标系下重建全局连贯的手部-物体交互过程。基于视频的手部姿态估计。从视频中估计关节化的手部运动长期以来一直是个基础性问题。现有方法依赖多视角设置或深度、IMU数据等额外传感模式[^10] [^13] [^26] [^52] [^53]来获取精确的三维手部轨迹。近期的单目方法利用大规模数据集[^23] [^36] [^38] [^78]和基于Transformer的架构[^32] [^48] [^75]，直接从RGB视频中估计手部姿态，进而回归MANO[^43]参数。虽然这些模型在局部手部姿态估计上能达到较高精度，但其预测结果是以规范坐标或以摄像头为中心的坐标表示的，因此无法恢复世界坐标系下的全局轨迹。为了估计全局手部运动，近期的研究[^65] [^70] [^73]首先利用预训练的手部先验[^38]预测局部手部姿态，然后通过测试时优化或学习到的神经模型来推断世界空间中的轨迹。不过，这些方法仅关注孤立的手部运动。相比之下，我们是在世界坐标系中同时重建物体运动与手部运动，从而实现对手部-物体交互的精确且能感知接触情况的理解。手部-物体交互重建。除了姿态估计之外，另一条并行研究方向是重建或合成三维手部-物体交互。基于模板的方法[^17] [^18]针对给定的模板网格估计物体姿态，而无模板的方法[^11] [^22] [^56] [^62] [^64]则直接 --- ![Image](images/cc2c8c763ec3c317c0ee716b2971c1720208ffbdd7296c73c4ff7b5ba9b98f2b.jpg)

Figure 2. Reconstruction Using the Generative Motion Prior. Given a metric-SLAMed egocentric videos, and the object template O, we alternate the diffusion generation step and the guidance step to predict hand motion $\pmb{H}$, object 6D trajectory T, and binary contact $\pmb{C}$ as the final output $\pmb{x}_{0}$. The diffusion model $D_{\psi}$ is conditioned on object geometry and approximated hand $\pmb{H}$ from off-the-shelf hand estimator to diffuse the noisy parameters $\pmb{x}_{n}$. The guidance step refines the denoised output by optimizing task-specific objectives g to be consistent with the video observations $\hat{y}$ like 2D masks and contact. The contact labels $\hat{C}$ is automatically labeled by prompting a VLM.

恢复具有丰富形状细节的物体网格。这些方法在交互过程中会重建手部与物体的运动，但主要侧重于精细的几何结构，通常是在以手或物体为中心的坐标系中，且作用时间窗口较短。相比之下，我们的方法侧重于全局四维运动重建，即预测手部与被操纵物体如何在时空内协调运动，而非恢复细粒度的表面几何结构。世界坐标系下的4D重建。相关研究方向旨在恢复以世界坐标系表示的运动轨迹。全局人体运动重建方法[^14] [^45] [^46] [^61] [^72]通过分离人体与相机运动，或利用学习到的运动先验，来估计世界空间中的3D身体轨迹。在更广泛的4D跟踪领域，诸如STaR-Track [^12]和SpatialTracker [^58]之类的方法会执行具备3D感知能力的点跟踪，以捕捉场景级动态和相机运动，而无需显式建模人体或物体结构。FoundationPose [^55]则针对已知物体几何形状进行6D物体姿态估计，从而实现稳健的逐帧对齐。我们的方法同样以输入物体模板为前提，但还能从视频中联合估计物体姿态与手部运动，捕捉它们随时间变化的耦合轨迹。 ### 3. 方法给定经过度量级SLAM处理的物体操作第一人称视频以及3D物体模板（如图2所示），WHOLE能够整体重建世界空间中的手部动作与物体6D轨迹。我们首先学习一种在考虑重力因素的局部坐标系中描述手-物交互的生成式运动先验。测试时，我们借助视觉观测结果、物体掩码以及VLM生成的二元接触线索来引导这一预训练好的先验，从而生成与输入视频相符且全局一致的运动。 #### 3.1. 生成式手-物运动先验该生成式先验是一种以粗略估计的手部轨迹$\tilde{H}^{t=1:T}$和物体模板O为条件的扩散模型，即$c \equiv (\tilde{H}, O)$，它能生成精细化的手部运动$\tilde{H}^{t=1:T}$、表示为SE(3)变换的物体轨迹$T^{t=1:T}$，以及接触标签$C^{t=1:T}$——这两个二元指标分别指示与左手和右手的接触情况。该模型作用于固定长度的时间窗口($T = 120$)内，用于建模物体在考虑重力因素的局部坐标系中如何运动并与手部交互，即$p(\tilde{H}, T, C \mid O, \tilde{H})$。测试时，近似的手部姿态$\tilde{H}$由现成的手部估计器[^73]获取；训练期间，我们还会合成带噪声的手部轨迹，以避免模型过度拟合于某一特定估计器。交互运动表示。我们使用MANO参数[^43]来描述每只手，包括全局朝向$\Gamma$、平移量$\Lambda$、关节活动与形状$\Theta, \beta$，以及关节位置与速度J、J，即$H \equiv (\Gamma, \Lambda, \Theta, J, J)$。我们将左右手的特征拼接起来，并对近似的手部轨迹采用相同的表示方法$\bar{H}$。我们用9D公式[^77]来表示SE(3)中的物体姿态，并用BPS描述符[^42]在其规范坐标系中编码（作为条件输入的）物体几何信息$O \equiv BPS(O)$。为了更好地捕捉手部与物体之间的空间关系，并促使扩散模型能够细致地推理接触情况，我们还会计算两者间每个时间点的“环境传感器”特征[^47] [^74]。对于每个手部关节，我们测量其到经扩散姿态变换后的物体表面最近点的距离—— --- 物体表面上的估计点经过扩散姿态$T_{i}[O]$变换后，就相当于以手部关节作为向量基的已建模物体的BPS，即$BPS_{J}(T_{i}[O])$。重力感知的局部坐标系。在每个序列开始时，手部与物体的位置均采用与重力对齐的相机坐标系来表示[^44] [^66]。通过将每个序列锚定在物理上的向上方向以及一致的朝向，我们的模型能够专注于手部与物体之间的相对运动，而非任意的全局旋转。具体而言，我们会旋转相机坐标系，使z轴与重力矢量对齐。这些标准化后的片段随后可转换回世界坐标系，并在引导式重建过程中无缝拼接成连续的长序列。近似处理不精确的手部估计结果。我们的扩散模型会在测试阶段通过对手部与物体间相互作用的分析，来优化近似得到的手部估计结果$\tilde{H}$。为了提升模型的鲁棒性并避免其过度拟合某款特定的现成估计器，我们在训练期间通过扰动真实的MANO参数来合成不完美的条件化手部轨迹。我们向MANO参数中注入轨迹层面的噪声$\varsigma^g$以及逐帧噪声$\varsigma^t$，再通过正向运动学生成模拟真实跟踪噪声的扰动后关节位置$\tilde{H}_{\varsigma^g,\varsigma^t}$。我们还通过随机丢弃帧来模拟遮挡与截断现象，并同时利用合成的以及真实的手部估计条件进行训练。训练目标。该扩散模型通过从高斯噪声z开始迭代去噪，从而生成干净的交互轨迹$x_{n=0}$。我们采用条件性DDPM损失[^19]，训练去噪器$D_{\phi}$以从受损的轨迹中恢复出干净的轨迹$x_{n}$： $$ \begin{array}{r}{\mathcal{L}_{\mathrm{D D P M}}=\mathbb{E}_{t,\epsilon}\Big[w_{n}\left\|\tilde{\mathbf{x}}_{0}-D_{\phi}(\mathbf{x}_{n}\mid n,\bar{\boldsymbol{H}},\boldsymbol{O})\right\|_{2}^{2}\Big],}\end{array} $$ 其中$x_{n}$是在第n步被高斯噪声污染的扩散参数，而$\tilde{x}_{0}$则是真实值。$w_{n}$为方差调度权重。去噪器采用Transformer解码器实现。除了DDPM损失外，我们还引入了辅助目标以提升真实性。(1)交互损失($L_{inter}$)通过惩罚距离并确保接触点近似刚性传输，来促使手部与物体间的接触更真实[^29]。(2)一致性损失($L_{const}$)旨在让预测的手部特征与其MANO正向运动学结果保持一致。(3)时间平滑性约束($L_{smooth}$)则进一步惩罚过大的加速度。在加入辅助项之前，我们先仅使用$L_{DDPM}$对模型进行1万步的预热训练。具体实现细节请参阅附录。 #### 3.2. 作为引导式生成的重建从学习到的生成先验中采样可得到多样且真实的手部与物体运动。我们利用这种运动先验 ![Image](images/9ff545b47547cce1dbfa9df0e2437a5b7cbd709df62073e068b6770d63f91312.jpg)

Figure 3. Visual Prompt: We show two examples of the visual prompts provided to the VLM for contact detection.

通过分类器引导机制来指导从单目视频中的重建过程[^8]。与另一种常见的引导范式——分数蒸馏采样(SDS)[^41]相比，分类器引导的速度更快，仅需一次前向生成过程而无需数千次优化步骤，且更不容易出现模型崩溃现象。我们发现，输入视频中的两个观测信息对引导重建至关重要：用于分割物体与手部的2D掩码，以及指示当前时间步中手部是否与物体接触的接触信息。我们借助视觉语言模型(VLM)[^1]来获取接触信息。测试时引导分类器通过修改扩散模型的得分——即对数概率的梯度$\nabla_{\boldsymbol{x}_n} \log p(\boldsymbol{x}_n)$——来纳入特定任务的目标$g(\hat{\boldsymbol{y}}, \boldsymbol{x})$，其中$\hat{\boldsymbol{y}}$为视频中的观测数据。在采样过程中，扩散模型通过网络预测得分$D_{\psi}$，随后利用任务特定目标的梯度g对该得分进行调整： $$ \begin{array}{r}{\tilde{\nabla}_{\pmb x_{n}}\log p(\pmb x_{n}\mathrm{~}|~{\hat{\pmb y}})=\nabla_{\pmb x_{n}}\log p(\pmb x_{n})-w\nabla_{\pmb x_{n}}g({\hat{\pmb y}},\pmb x_{n}),}\end{array} $$ 这样一来，生成过程既能保持与学习到的先验分布相符的合理性，又能被引导生成与输入视频中的额外观测数据相一致的样本。针对重建任务，我们采用了三类目标：(1) 重投影项$g_{reproj}$，用于使生成的样本与二维观测结果对齐，包括接触二元体、二维手部关节以及物体掩码。我们采用重投影物体与分割掩码之间的单向Chamfer损失来处理遮挡和截断问题；(2) 交互项$g_{inter}$，通过最小化距离来强制实现逼真的手-物动态效果，在接触时鼓励刚性传输，而在连续帧中无接触时则对运动进行惩罚，其公式形式与模型训练时的$\mathcal{L}_{inter}$类似；(3) 时间平滑项$g_{temp}$，用于规范时间一致性并确保轨迹平滑。 VLM接触点判定。为了检测手-物接触情况，我们采用了经过空间提示和上下文学习增强的视觉-语言模型（VLM）[^49]。我们 --- ![Image](images/6f2eeef33482326ea08bb1626da6e68d75f5b6470f73ebfa71dc71b4375ba5ed.jpg)

Figure 4. HOI Generation Samples: We show two samples of interaction generated from our diffusion model with the same conditions. Objects are colored in red when contact is predicted and blue otherwise. We show 6 key frames among blended 150-frame generation.

对手部和候选物体进行分割与索引，并在图像上叠加掩码以提升复杂场景下的定位精度（见图3）。随后，VLM通过JSON输出结果来识别接触点，该结果需遵循验证规则——例如“k选一”的接触限制——以区分真正的触碰与邻近情况。由于我们发现VLM存在误判倾向，因此提供了五个标注示例用于校准。这些改进将接触检测的F1分数从57%提升至81%。为提高效率，我们将视频降采样至3帧/秒，且仅在这些帧上计算重投影项。长视频融合。我们的扩散模型在120帧的固定时间窗口内生成运动片段。为了重建超过该窗口长度的序列($L > 120$)，我们将序列划分为重叠的滑动窗口。在每个扩散步骤中，我们并行对所有窗口去噪，并将重叠区域[^3]及每帧的形状参数融合为共享参数。这确保了时间过渡的平滑性以及各窗口间的一致性。融合后的完整序列会在代价项g的引导下进一步细化，随后更新每个窗口的后验$x_n$，扩散过程也随之继续。 ### 4. 实验我们首先在HOT3D-CLIP数据集上训练扩散模型[^2]，并在第4节中展示其生成的运动效果。接着，我们在保留的测试序列上对重建后的运动进行定量与定性评估，将WHOLE模型与针对手部、物体的最先进基线模型，以及由性能最优的手部与物体方法组合而成的混合基线模型进行比较。此外，我们还创建了测试集的特定子集，包括物体与手部接触、被截断或超出视野范围的帧。我们从定性和定量两个维度报告重建后的手部运动、物体运动及交互运动结果（第4.2节）。最后，我们分析了模型关键组件的影响（第4.3节）。训练数据与设置。HOT3D是一个通过Aria Glasses [^9] 采集的以自我为中心的数据集，包含真实场景中的手-物体交互数据。我们采用了HOT3D-CLIP，这是一个经过筛选的子集，其中包含经过验证的手-物体姿态、模板以及来自重力感知型SLAM系统的相机轨迹标注。每个序列包含150帧（3秒）。我们基于2,443个序列来训练扩散模型 $D_{\psi}$。在评估阶段，我们从未见过的序列中选取了50条动态物体轨迹（位移超过5厘米）作为测试数据。训练时，接触标签根据距离阈值（< 5毫米）来定义，而重建标签则是通过提示GPT-5 [^1] 生成的。 #### 4.1. 手-物体运动生成的可视化我们在图4中展示了基于扩散模型的条件化混合生成结果。条件化的手部运动 $\bar{H}$ 取自测试集，我们展示了完整150帧序列中的六个关键帧。当预测到手-物体接触时，网格会以红色显示。两行图像展示了基于相同近似手部运动生成的不同样本。生成的手-物体运动既逼真又符合物理规律。在每一帧中，手与物体之间的空间关系都被准确捕捉，物体的运动也显得合理——没有接触预测时物体相对静止，一旦发生接触则随手部运动自然移动。 ---

	WA-MPJPE $\downarrow$	W-MPJPE $\downarrow$	ACC-NORM $\downarrow$	PA-MPJPE $\downarrow$
HaMeR [^38]	16.93	28.35	32.31	12.76
HaWoR [^73]	3.76	11.26	4.15	8.99
FP+HaWoR-simple	3.34	9.16	0.95	8.99
FP+HaWoR-contact	5.85	12.19	1.26	8.99
WHOLE (Ours)	3.26	10.41	0.58	6.67

Table 1. Hand Motion. We evaluate our method with state-of-the-art models in hand motion reconstruction. WA/W-MPJPE are in cm, PA-MPJPE is in mm.

生成的手部运动彼此相似，因为它们只是对近似手部运动的细化而已。不过，预测的接触时间点存在差异，从而体现出不同的抓取与释放时刻。因此，重建的物体轨迹也呈现出多样性。例如，在第二列中，第一行里的搅拌器被拾起的时间较晚。手-物体的相对姿态同样多样，比如最后一列中瓶子被以不同方式抓取。完整的生成运动动态可参见补充材料中的视频。 #### 4.2. 引导式重建评价指标。手部评估采用全身/手部姿态估计领域的标准指标 [^45] [^69] [^71] [^73]。W-MPJPE对所有手部关节进行全局对齐，WA-MPJPE基于第一帧进行对齐，而PA-MPJPE则执行逐帧的Procrustes对齐。ACC-NORM用于衡量关节加速度误差，反映时间上的平滑性。物体姿态评估采用6D姿态估计的常见指标：ADD和ADD-S的AUC值 [^20] [^55] [^57]。ADD衡量的是预测姿态与真实姿态下对应模型点之间的平均距离，ADD-S则扩展了该指标以处理对称物体。为了评估手-物体交互，即它们之间的相对空间对齐情况，我们报告了利用预测的手部轨迹进行全局对齐后，物体姿态的ADD和ADD-S的AUC值。基准方法。我们将WHOLE与各自领域内的先进方法进行比较：HaWoR [^73] 用于世界坐标系下的手部运动估计，Foundation Pose (FP) [^55] 用于6D物体姿态估计。由于FP需要RGB-D输入，我们采用Metric3D [^68] 从RGB视频中预测深度图以实现度量级深度估计。（我们也尝试了更先进的深度估计方法 [^39] [^59]，但发现性能反而下降。）为了进一步评估关节重建效果，我们引入了结合了两个领域最佳组件的混合基线，随后进行测试时优化：FP+HaWoR-simple/contact。这些基线采用与我们测试时引导方法相同的优化目标$g_{reproj}, g_{inter}, g_{temp}$（见4.2节）。FP+HaWoR-simple根据观测到的证据来优化手部和物体的轨迹，但排除了交互项$g_{inter}$；而FP+HaWoR-contact则包含该交互项，以强制保证手-物一致性。 ##### 4.2.1. 手部运动对比 HaMeR是一种基于图像的手部预测系统，因此其在世界坐标系下的4D轨迹对齐效果并不理想。我们发现HaWoR在手部运动质量方面表现相当不错。需要注意的是，与论文中报告的结果存在差异，是因为我们对更长的视频片段（150帧而非100帧）进行了评估。在不考虑物体轨迹的情况下，FP+HaWoR-simple中的联合优化能产生更平滑的轨迹（ACC-NORM值更低），且全局对齐效果更好。加入交互损失项（FP+HaWoR-contact）能提升物体相关的性能（见表2、表3），但却降低了手部精度，这反映出为获得更强的手-物一致性而牺牲手部精确姿态的权衡关系。相比之下，WHOLE取得了最佳的整体性能（其中一个指标排名第二），在全局对齐、时间平滑度以及局部姿态精度方面均表现突出。重要的是，我们的方法在局部手部姿态质量上明显优于HaWoR，这凸显了在统一的生成式框架内共同重建手部和物体的优势。 ##### 4.2.2. 物体运动当物体处于接触状态时，FoundationPose（FP）的表现尚可；但在物体被截断或超出视野的情况则表现不佳。需注意，对于超出视野的帧，我们会在世界空间中通过最近的可见帧来插值生成6D姿态。仅用重投影和时间平滑性来优化基线（FP+HaWoR-simple）有助于将姿态传递到超出视野的帧，但却降低了接触子集上的精度。这可能是因为被遮挡区域上的严重手-物遮挡-重投影损失具有误导性，最终降低了整体性能。加入交互项（FP+HaWoR-contact）能通过利用手部线索来改善接触性能，但仍不及现成的FoundationPose。相比之下，WHOLE在所有子集和指标上均表现出稳定的强劲结果。它对物体截断和遮挡情况的应对能力更强，能生成更平滑、更连贯的物体轨迹。通过利用学到的生成式先验来共同推理手部和物体的运动，即使物体部分缺失或超出视野，它也能推断出合理的运动轨迹。这表明，我们的统一方法比简单地将现成方法与后期优化相结合更为可靠。 ##### 4.2.3. 交互质量虽然我们分别报告了手部与物体的运动情况，但我们也通过测量与预测的手部轨迹对齐后的物体误差来评估二者的相对运动。混合基线（FP+HaWoR-contact）显示出明显的改进。 ---

Split	All			Contact			Truncated		Out-of-view
Split	ADD $\uparrow$	ADD-S $\uparrow$	ACC $\downarrow$	ADD $\uparrow$	ADD-S $\uparrow$	ADD $\uparrow$	ADD-S $\uparrow$	ADD $\uparrow$	ADD-S $\uparrow$	ADD-S $\uparrow$
FoundationPose(FP) [^55]	36.1	51.9	0.579	46.6	66.6	18.6	33.8	4.8	19.6
FP+HaWoR-simple	30.4	45.0	0.896	38.6	57.5	19.4	28.9	7.8	13.1
FP+HaWoR-contact	31.5	46.9	0.572	42.3	62.4	22.7	35.8	8.9	17.7
Ours	51.1	69.9	0.11	55.8	77.3	42.5	60.2	28.8	43.8

Table 2. Object Motion. We evaluate our method with state-of-the-art baselines in object motion reconstruction. We report AUC of ADD, ADD-S on the whole test split (All) and 3 subsets (Contact, Truncated, and Out-of-View).

Split	All			Contact		Truncated		Out-of-view
Split	ADD $\uparrow$	ADD-S $\uparrow$	ACC $\downarrow$	ADD $\uparrow$	ADD-S $\uparrow$	ADD $\uparrow$	ADD-S $\uparrow$	ADD $\uparrow$	ADD-S $\uparrow$
FP+HaWoR-simple	29.0	44.0	0.896	36.8	55.7	18.6	28.8	8.1	16.0
FP+HaWoR-contact	36.8	53.8	0.572	49.1	71.1	27.3	43.0	9.8	21.3

Table 3. Interactions Error. We evaluate our method with state-of-the-art baselines in object motion reconstruction. We report AUC of ADD, ADD-S on the whole test split (All) and 3 challenging subsets after aligning object motion with predicted hand motion.

相较于没有交互优化的变体，其性能有显著提升，这凸显了建模手-物耦合关系的重要性。最终，WHOLE大幅超越了这两种基线，展现出其捕捉连贯且物理上一致的手-物交互的强大能力。我们在图5中展示了视觉对比结果，这些结果与定量分析结果一致。在每个示例的上行，我们展示了从相机视角重建的手部和物体；下行则显示了基于物体中心坐标系的四个关键帧下的手-物运动情况。如图所示，基线方法常常会产生漂浮的物体（用红色标出），且手-物关系也不符合现实，尤其是在FP+HaWoR-simple变体中。相比之下，WHOLE能够生成时间上平滑且空间上连贯的重建结果，更准确地捕捉到自然且符合物理规律的手-物交互。 #### 4.3. 消融实验 VLM标注的接触标签质量如何？在表4中，我们将3 fps下VLM标注的接触标签替换为30 fps下的真实接触标注。尽管仍有改进空间，但基于VLM的结果在手部运动、物体运动及其相对空间对齐方面已接近上限性能。生成与优化过程必须相互结合吗？WHOLE在生成过程中会交替执行扩散步骤和任务特定的引导。为了验证这种耦合的重要性，我们将其与“Gen+Opt”变体进行比较：该变体先执行无引导的生成，随后使用相同的目标项进行事后优化。表4第2行的结果显示，在扩散过程中引入引导是至关重要的。它能使模型生成的样本保持在数据流形内，同时在任务约束下逐步优化运动效果。

	Hand			Object			Interaction
	W- $\downarrow$	WA- $\downarrow$	ACC $\downarrow$	ADD $\uparrow$	ADD-S $\uparrow$	ACC $\downarrow$	ADD $\uparrow$	ADD-S $\uparrow$	ACC $\downarrow$
GT contact	10.79	0.55	6.61	53.7	72.2	0.07	56.1	74.5	0.07
Gen+Opt	15.92	0.76	9.34	44.3	61.0	0.13	45.0	62.1	0.13
w/o $\mathcal{L}_{inter}$	10.47	0.61	6.70	28.5	42.9	0.09	30.6	45.5	0.09
WHOLE	10.41	0.58	6.67	51.1	69.9	0.11	53.5	72.3	0.11

Table 4. Ablation Study. We compare our full model on hand, object, and relative motion quality against variants that use ground-truth contact, not alternate diffusion and guidance step, or exclude the interaction objective.

Train Data		Test Data			Test Data
		HOT3D			H2O
		ADD $\uparrow$	ADD-S $\uparrow$	ACC $\downarrow$	ADD $\uparrow$	ADD-S $\uparrow$	ACC $\downarrow$
HOT3D	WHOLE (Ours)	51.1	69.9	0.11	44.7	64.9	0.23
H2O	H2OTR [^5]	3.2	7.7	25.4	62.1	77.1	0.48

Table 5. Zero-Shot Generalization. Gray lines denote zero-shot test dataset while unshaded line denotes in-domain test split.

交互损失能发挥多大作用？表4第3行显示，那些基于预测接触关系来捕捉空间关系和相对动态的交互目标，对于生成准确的物体运动和逼真的手-物交互同样至关重要。模型的泛化能力如何？在表5中，我们在未见过的H2O数据集上对WHOLE进行了零样本评估 [^27]。虽然WHOLE的性能有适度下降，但像H2OTR这样的RGB条件基线模型在分布外数据上的表现却出现灾难性崩溃 [^5]。我们将这种鲁棒性归因于我们的运动空间先验——与以往工作中使用的基于外观的表征相比，它的域差异更小。尽管成果令人鼓舞，但要实现真正具备泛化能力的重建，仍需扩展训练数据的多样性并进行更广泛的跨数据集评估。 #### 4.4. 应用：手部引导的HOI规划器我们的框架灵活性远超重建任务本身：给定粗略的手部轨迹$\bar{H}$、抓取与放置时间（接触标签C），再结合物体模板，我们就能直接合成多种多样的手部-物体交互动作，无需任何视频输入。这有望让机器人规划器针对特定的粗略手部动作以及特定的抓取与放置时机，枚举出候选的物体运动轨迹。 --- ![Image](images/8ebdc3c9a5c36daa417a2d2617d3706dbd87ad9b87371edd9b5c84e4b418bce7.jpg)

Figure 5. HOI Visualization. We show hand-object reconstructions from GT (green), FP+HaWor-Simple (purple), FP+HaWor-Contact (pink), and WHOLE (blue). Red circle highlights floating objects. We encourage readers to see videos in Sup. Mat.

具体而言，粗略的手部轨迹用作扩散条件，而接触标签则在每个引导步骤中通过二元接触预测的L2损失来注入，同时还会用到$g_{\text{inter}}$和$g_{\text{temp}}$。有关视频演示结果，请参阅我们的项目页面。 ### 5. 讨论局限性与未来工作。我们当前的框架独立重建每一对手-物体。下一步自然是将它扩展到场景级别的多物体重建，通过联合扩散和场景级目标来实现。该方法还假设物体模板是已知的，而这一限制可以通过引入基于大语言模型的检索机制 $^{[56]}$ 或无模板生成技术 $^{[11,64]}$ 来放宽。最后，由于我们的生成先验是在单一数据集上训练的，若能用近期的大规模手-物体数据集 $^{[25,33]}$ 来扩展它，就能提升其泛化能力和鲁棒性。结论。我们提出了WHOLE，这是一个从基于度量SLAM的 Egocentric 视频中重建手部动作和物体轨迹的统一框架。通过将学习到的生成运动先验与视觉及接触引导相结合，它能在极具挑战性的条件下实现连贯且合理的重建结果。我们认为这一框架为迈向可扩展的场景级手-物体理解，以及日常环境中人类交互的生成建模迈出了有前景的一步。 --- ## 参考文献 [^1]: Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023. 4, 5 [^2]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In CVPR, 2025. 2, 5 [^3]: Omer Bar-Tal, Lior Yariv, Yaron Lipman, and Tali Dekel. Multidiffusion: Fusing diffusion paths for controlled image generation.(2023). ICLR, 2023. 5 [^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 2 [^5]: Hoseong Cho, Chanwoo Kim, Jihyeon Kim, Seongyeong Lee, Elkhan Ismayilzada, and Seungryul Baek. Transformer-based unified recognition of two hands manipulating objects. In CVPR, 2023. 7 [^6]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The epic-kitchens dataset. In ECCV, 2018. 2 [^7]: Ahmad Darkhalil, Rhodri Guerrier, Adam W Harley, and Dima Damen. Egopoints: Advancing point tracking for egocentric videos. In WACV, 2025. 2 [^8]: Prafulla Dhariwal and Alexander Nichol. Diffusion models beat gans on image synthesis. NeurIPS, 2021. 4 [^9]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatof, Arnie Yuan, Bilal Souti, Brighid Meredith, et al. Project aria: A new tool for egocentric multi-modal ai research. arXiv preprint arXiv:2308.13561, 2023. 5 [^10]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In CVPR, 2023. 2 [^11]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Xu Chen, Muhammed Kocabas, Michael J Black, and Otmar Hilliges. Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video. In CVPR, 2024. 2, 8, 12 [^12]: Haiwen Feng, Junyi Zhang, Qianqian Wang, Yufei Ye, Pengcheng Yu, Michael J Black, Trevor Darrell, and Angjoo Kanazawa. St4rtrack: Simultaneous 4d reconstruction and tracking in the world. ICCV, 2025. 2, 3 [^13]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018. 2 [^14]: Erik Gartner, Mykhaylo Andriluka, Hongyi Xu, and Cristian Sminchisescu. Pace: Physics-based animation and control of expressive 3D characters. In CVPR, 2022. 3 [^15]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Christian Fuegen, Abrham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Yunyi Zhu, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Toralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. Ego4d: Around the World in 3,000 Hours of Egocentric Video. In CVPR. 2022. 2 [^16]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In CVPR, 2024. 2 [^17]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020. 2 [^18]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 2 [^19]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In NeurIPS, 2020. 4 [^20]: Tomáš Hodaň, Martin Sundermeyer, Bertram Drost, Yann Labbé, Eric Brachmann, Frank Michel, Carsten Rother, and Jiří Matas. Bop challenge 2020 on 6d object localization. In ECCV, 2020. 6, 12 [^21]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025. 2 [^22]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia, 2022. 2 ## [^23]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In ECCV, 2020. 2 --- [^24]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. Egomimic: Scaling imitation learning via egocentric video. In ICRA, 2025. 2 [^25]: Jeonghwan Kim, Jisoo Kim, Jeongheon Na, and Hanbyul Joo. Parahome: Parameterizing everyday home activities towards 3d generative modeling of human-object interactions. In CVPR, 2025. 8 [^26]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 2 [^27]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 7 [^28]: Jiaman Li, Karen Liu, and Jiajun Wu. Ego-body pose estimation via ego-head pose estimation. In CVPR, 2023. 2 [^29]: Jiaman Li, Jiajun Wu, and C Karen Liu. Object motion guided human motion synthesis. TOG, 2023. 4, 12 [^30]: Jiaman Li, Alexander Clegg, Roozbeh Mottaghi, Jiajun Wu, Xavier Puig, and C Karen Liu. Controllable human-object interaction synthesis. In ECCV, 2024. 12 [^31]: Zhengqi Li, Richard Tucker, Forrester Cole, Qianqian Wang, Linyi Jin, Vickie Ye, Angjoo Kanazawa, Aleksander Holynski, and Noah Snavely. Megasam: Accurate, fast and robust structure and motion from casual dynamic videos. In CVPR, 2025. 2 [^32]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, 2021. 2 [^33]: Jiaxin Lu, Chun-Hao Paul Huang, Uttaran Bhattacharya, Qixing Huang, and Yi Zhou. Humoto: A 4d dataset of mocap human object interactions. ICCV, 2025. 8 [^34]: Zhaoyang Lv, Nicholas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, Kiran Somasundaram, Luis Pesqueira, Mark Schwesinger, Omkar Parkhi, Qiao Gu, Renzo De Nardi, Shangyi Cheng, Steve Saarinen, Vijay Baiyya, Yuyang Zou, Richard Newcombe, Jakob Julian Engel, Xiaqing Pan, and Carl Ren. Aria everyday activities dataset, 2024. 2 [^35]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, Kevin Bailey, David Soriano Fosas, C. Karen Liu, Ziwei Liu, Jakob Engel, Renzo De Nardi, and Richard Newcombe. Nymeria: A massive collection of multimodal egocentric daily motion in the wild. In ECCV, 2024. 2 [^36]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3D interacting hand pose estimation from a single rgb image. In ECCV, 2020. 2 [^37]: Suvam Patra, Kartikeya Gupta, Faran Ahmad, Chetan Arora, and Subhashis Banerjee. Ego-slam: A robust monocular slam for egocentric videos. In WACV, 2019. 2 [^38]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 2, 6 [^39]: Luigi Piccinelli, Christos Sakaridis, Yung-Hsu Yang, Mattia Segu, Siyuan Li, Wim Abbeloos, and Luc Van Gool. Unidepthv2: Universal monocular metric depth estimation made simpler. TPAMI, 2025. 6 [^40]: Chiara Plizzari, Shubham Goel, Toby Perrett, Jacob Chalk, Angjoo Kanazawa, and Dima Damen. Spatial cognition from egocentric video: Out of sight, not out of mind. In 3DV, 2025. 2 [^41]: Ben Poole, Ajay Jain, Jonathan T Barron, and Ben Mildenhall. Dreamfusion: Text-to-3d using 2d diffusion. ICLR, 2022. 4 [^42]: Sergey Prokudin, Christoph Lassner, and Javier Romero. Efficient learning on point clouds with basis point sets. In ICCV, 2019. 3 [^43]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. In TOG, 2017. 2, 3 [^44]: Zehong Shen, Huaijin Pi, Yan Xia, Zhi Cen, Sida Peng, Zechen Hu, Hujun Bao, Ruizhen Hu, and Xiaowei Zhou. World-grounded human motion recovery via gravity-view coordinates. In SIGGRAPH Asia, 2024. 4 [^45]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J. Black. WHAM: Reconstructing world-grounded humans with accurate 3D motion. In CVPR, 2024. 2, 3, 6, 12 [^46]: Yu Sun, Wu Liu, Qian Bao, Yili Fu, Tao Mei, and Michael J Black. Trace: Monocular global human trajectory estimation in the wild. In CVPR, 2023. 3 [^47]: Omid Taheri, Yi Zhou, Dimitrios Tzionas, Yang Zhou, Duygu Ceylan, Soren Pirk, and Michael J. Black. GRIP: Generating interaction poses using latent consistency and spatial cues. In 3DV, 2024. 3 [^48]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3D hand-mesh reconstruction. In ICCV, 2021. 2 [^49]: Gemini Robotics Team, Saminda Abeyruwan, Joshua Ainslie, Jean-Baptiste Alayrac, Montserrat Gonzalez Arenas, Travis Armstrong, Ashwin Balakrishna, Robert Baruch, Maria Bauza, Michiel Blokzijl, et al. Gemini robotics: Bringing ai into the physical world. arXiv preprint arXiv:2503.20020, 2025. 4 [^50]: Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. ICLR, 2023. 12 [^51]: Vadim Tschernezki, Ahmad Darkhalil, Zhifan Zhu, David Fouhey, Iro Laina, Diane Larlus, Dima Damen, and Andrea Vedaldi. Epic Fields: Marrying 3D geometry and video understanding. NeurIPS, 2024. 2 [^52]: Ruocheng Wang, Pei Xu, Haochen Shi, Elizabeth Schumann, and C Karen Liu. F\"urelise: Capturing and physically synthesizing hand motions of piano performance. SIGGRAPH Asia, 2024. 2 [^53]: Robert Y Wang and Jovan Popović. Real-time hand-tracking with a color glove. TOG, 2009. 2 ### [^54]: Weizhuo Wang, C Karen Liu, and Monroe Kennedy III. Egonov: Egocentric scene-aware human trajectory prediction. arXiv preprint arXiv:2403.19026, 2024. 2 --- [^55]: Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In CVPR, 2024. 3, 6, 7, 12 [^56]: Jane Wu, Georgios Pavlakos, Georgia Gkioxari, and Jitendra Malik. Reconstructing hand-held objects in 3d from images and videos. arXiv preprint arXiv:2404.06507, 2024. 2, 8 [^57]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. RSS, 2017. 6 [^58]: Yuxi Xiao, Jianyuan Wang, Nan Xue, Nikita Karaev, Yuri Makarov, Bingyi Kang, Xing Zhu, Hujun Bao, Yujun Shen, and Xiaowei Zhou. Spatialtrackerv2: 3d point tracking made easy. In ICCV, 2025. 2, 3 [^59]: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiaogang Xu, Jiashi Feng, and Hengshuang Zhao. Depth anything v2. NeurIPS, 2024. 6 [^60]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, and Xiaolong Wang. Egovla: Learning vision-language-action models from egocentric human videos, 2025. 2 [^61]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In CVPR, 2023. 3 [^62]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In CVPR, 2022. 2 [^63]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-HOP: Generative hand-object prior for interaction reconstruction and grasp synthesis. In CVPR, 2024. 2, 12 [^64]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In CVPR, 2024. 2, 8 [^65]: Yufei Ye, Yao Feng, Omid Taheri, Haiwen Feng, Shubham Tulsiani, and Michael J Black. Predicting 4d hand trajectory from monocular videos. 3DV, 2026. 2 [^66]: Brent Yi, Vickie Ye, Maya Zheng, Yunqi Li, Lea Müller, Georgios Pavlakos, Yi Ma, Jitendra Malik, and Angjoo Kanazawa. Estimating body and hand motion in an ego-sensed world. In CVPR, 2025. 4 [^67]: Brent Yi, Vickie Ye, Maya Zheng, Yunqi Li, Lea Müller, Georgios Pavlakos, Yi Ma, Jitendra Malik, and Angjoo Kanazawa. Estimating body and hand motion in an ego-sensed world. In CVPR, 2025. 2 [^68]: Wei Yin, Chi Zhang, Hao Chen, Zhipeng Cai, Gang Yu, Kaixuan Wang, Xiaozhi Chen, and Chunhua Shen. Metric3d: Towards zero-shot metric 3d prediction from a single image. In ICCV, 2023. 6 [^69]: Paper Authors Your. Slahmr: Simultaneous localization and human mesh recovery. In CVPR, 2023. 2, 6, 12 [^70]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dynamr: Recovering 4d interacting hand motion from a dynamic camera. In CVPR, 2025. 2 [^71]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dynamr: Recovering 4d interacting hand motion from a dynamic camera. In CVPR, 2025. 6 [^72]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. Glamr: Global occlusion-aware human mesh recovery with dynamic cameras. In CVPR, 2022. 3 [^73]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. CVPR, 2025. 2, 3, 6, 12 [^74]: Wanyue Zhang, Rishabh Dabral, Vladislav Golyanik, Vasileios Choutas, Eduardo Alvarado, Thabo Beeler, Marc Habermann, and Christian Theobalt. Bimart: A unified approach for the synthesis of 3d bimanual interaction with articulated objects. In CVPR, 2025. 3 [^75]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, 2019. 2 [^76]: Yunhan Zhao, Haoyu Ma, Shu Kong, and Charless Fowlkes. Instance tracking in 3d scenes from egocentric videos. In CVPR, 2024. 2 [^77]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In CVPR, 2019. 3 ### [^78]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In PICCV, 2019. 2 --- ## WHOLE：从 Egocentric 视频中提取的世界级手-物体数据补充材料在补充材料中，我们提供了关于网络实现、完整的VLM提示词以及评估指标的更多细节（见第A节）。我们还在补充视频中展示了更多的对比结果。 ### A. 实现细节网络架构。我们采用四层Transformer解码器，配备四个注意力头用于手-物体扩散。该网络是非自回归的，按照 [^50] 的要求联合处理序列，参数规模为1235万个。扩散变量x是一个73维向量，包含：9维物体状态、2维双手接触指示器，以及双手手部表示（2×31维）——全局方向（3维）、平移（3维）、姿态PCA（15维）和形状参数（10维）。所有输入都会被投影到一致的512维潜空间。该网络使用AdamW优化器训练100万次，学习率为 $2 \times 10^{-4}$。为了减少过拟合，我们会为每个训练窗口随机采样一个规范姿态，施加随机旋转和微小的平移抖动，以此增强物体模板。训练损失。除了DDPM损失外，我们还引入了辅助目标以提升真实感。（1）交互损失（$\mathcal{L}_{\text{inter}}$）旨在鼓励预测的手-物体运动与接触标签之间产生真实的接触。当预测到接触时，它会惩罚手-物体间的距离；同时强制接触点在连续接触帧间进行近似刚性的传输 [^29] [^30]。具体来说，对于每个手关节，我们找到其最近的物体点 $p^i$，将其按物体的相对运动旋转，再惩罚其与对应点 $p^{i+1}$ 的偏差，即 $\|\boldsymbol{R}^{i+1}(\boldsymbol{R}^i)^T p^i - p^{i+1}\|$，其中 $\boldsymbol{R}$ 代表物体旋转。（2）一致性损失（$\mathcal{L}_{\text{const}}$）旨在促进MANO正向运动学前后手部特征的一致性 $\|\boldsymbol{J}_\psi - \text{MANO}(\boldsymbol{\Gamma}_\psi, \boldsymbol{\Lambda}_\psi, \boldsymbol{\Theta}_\psi)\|_2$。（3）时间平滑性损失（$\mathcal{L}_{\text{smooth}}$）则进一步惩罚较大的加速度。运行时间。在单张NVIDIA RTX 6000 Blackwell GPU上，我们的模型处理一段150帧的视频平均耗时59.34秒。推理时间主要集中在引导步骤（59.06秒），而扩散步骤仅需0.28秒。这一速度比以往的工作快了数个数量级，例如 [^11]（需30小时）和 [^63]（需1小时）。峰值内存占用为14GB。使用GPT-5时，每张图像的VLM查询平均耗时18.6秒。 VLM提示词。我们让VLM对联系人信息进行标注，并提供了额外的上下文学习示例。完整的提示词详见本附录中的表格。评估指标。所有指标均基于150帧的片段计算，这与HOT3D-CLIP中的原始序列长度一致；而以往的研究[^73]通常仅选取视频中间长度为60~100帧的片段进行评估。为了计算W/WA-MPJPE，我们使用从选定关键点估算出的仿射变换（缩放、旋转、平移）将预测轨迹与真实轨迹对齐。WA-MPJPE使用所有帧中的所有关节，而W-MPJPE仅使用前两帧的关节。尽管在已知真实相机参数的情况下无需对齐即可计算轨迹误差，但我们仍遵循以往研究[^45] [^69] [^73]中采用的标准对齐协议。对于物体的ADD/ADD-S，我们使用真实相机姿态来对齐预测结果。对于HOI的ADD/ADD-S，我们首先对手部轨迹进行全局对齐（如WA-MPJPE中的做法），随后在此对齐后的空间中评估物体误差。由于严重的遮挡、截断以及画面外帧的存在，通常用于评估的AUC[^20] [^55]阈值0.1对于以自我为中心的HOI任务而言过于严格，会导致得分过低且趋于饱和。因此我们采用更宽松的0.3阈值，以获得更具参考价值的评估结果。 --- 你是一个用于杂乱场景中手部与物体接触检测的精准视觉分类器。关键约束： 1. 每只手（左手/右手）一次最多只能与一个物体接触。 2. “接触”指直接的物理触碰：抓取、握住、按压或任何可见的接触行为。 3. 如果一只手没有明显接触到任何物体，则对该手而言所有物体的标签必须标记为0。 ### 用户提示词模板分析图像中的手部与物体接触情况（实际触碰，而非仅仅伸手触及）。视觉指引：图像已用彩色掩码进行了标注： - 绿色圆点 = 左手 - 红色圆点 = 右手 - 其他彩色掩码 = 候选物体（每个物体有唯一颜色）候选物体（按顺序排列）： 1. obj1 2. obj2 3. obj3 … 接触的严格定义：对于本任务而言，接触仅指当前帧中的明确物理触碰。接触（标签=1）需同时满足以下两个条件： 1. 掩码相交： - 手部掩码与物体掩码共享部分像素，或在边界处直接重叠（无可见间隙）。 2. 触碰区域： - 重叠部分位于物体可见表面的合理触碰区域（指尖、手指、手掌或手部侧面）。以下所有情况均不属于接触（标签=0）： - 手部正朝向物体伸手，悬停在物体上方，或与物体距离极近，但两者掩码间存在可见间隙。 - 手部在深度方向上与物体对齐（例如位于物体上方或后方），但掩码并未相交。 - 手部的姿势暗示未来会发生接触，但在当前这一帧中并无实际触碰。 - 只有极小的、模糊不清的交叠区域（1{2像素），这可能是噪声或遮挡造成的。在这类不确定的情况下，请选择0（无接触）。重要提示： - __触及或悬停并不算作接触。__ - __如果你不确定是否发生了接触，请选择0（无接触）。__ 约束条件（验证检查）： - 每只手最多只能触碰一个物体。 - 所有物体对应的左手触碰次数之和必须≤1。 - 所有物体对应的右手触碰次数之和必须≤1。 - 如果一只手没有明确触碰任何物体，那么它在所有物体上的触碰值都应设为0。输出格式：只需返回格式如下的JSON对象（不要包含其他内容）： { "obj1": {"left": 0, "right": 1}, "obj2": {"left": 0, "right": 0}, "obj3": {"left": 1, "right": 0} } --- } 其中： - 1 = 在该帧中，指定的手明确触碰了该物体。