# EgoGrasp：基于第一人称视频的世界空间手-物交互估计

付宏明$^{1}$、王文佳$^{2\dagger}$、乔晓珍$^{3}$、罗兰多斯·亚历山德罗斯·波塔米亚斯$^{4}$、小村拓$^{2}$、杨硕$^{5}$、刘峥$^{6}$、赵博$^{1\ddagger}$

$^{1}$ 上海交通大学 $^{2}$ 香港大学

$^{3}$ 中国科学技术大学 $^{4}$ 帝国理工学院

$^{5}$ 哈尔滨工业大学（深圳） $^{6}$ 北京人工智能研究院

{fuhongming,bo.zhao}@sjtu.edu.cn <mailto:wwj2022@connect.hku.hk>

<https://mint-sjtu.github.io/EgoGrasp.io>

摘要。我们提出了EgoGrasp，这是首个能够从动态的第一人称视角视频中重建世界空间手-物交互（W-HOI）的方法，且支持开放词汇的物体。准确的W-HOI重建对于具身智能至关重要，但目前仍面临诸多挑战。现有的HOI方法大多局限于局部相机坐标系或单帧数据，无法捕捉全局时间动态信息。虽然一些近期的研究尝试进行世界空间手部估计，但它们忽略了物体姿态和HOI约束。此外，以往的HOI估计方法要么由于依赖物体模板而无法处理开放集类别，要么采用可微渲染技术，需要针对每个实例进行优化，导致计算成本极高。最后，第一人称视频中频繁出现的遮挡现象会严重降低性能。为克服这些挑战，我们提出了一种多阶段框架：(i) 利用视觉基础模型构建稳健的预处理流程，实现初始的3D场景、手部和物体重建；(ii) 采用身体引导的扩散模型，融入显式的第一人称身体先验来进行手部姿态估计；(iii) 采用受HOI先验指导的扩散模型来填补与手相关的6自由度姿态信息，确保得到物理上合理且时间上一致的W-HOI估计结果。实验表明，EgoGrasp在W-HOI重建任务中能够取得最先进的性能，可稳健地处理多个开放词汇物体。

关键词：第一人称视频 · 手-物交互 · 世界空间

![Image](images/7ec57e5026fd6d85d28a43c72f0920ba6ee4ab6cbab51ef4ee30680f2d5f7e1f.jpg)

![Image](images/0a61a3c8851b999b7cebbf35086d6be464077ef72d12a8d897d7821a18efa7df.jpg)

![Image](images/3522135ac4613ed877d7e68d7afd56668050eae92b0d45eece0d168e1b3693a8.jpg)

<div style="text-align: center;">Fig. 1: (a) shows that EgoGrasp reconstructs world-space hand-object interactions from egocentric videos with dynamic cameras. (b) and (c) highlight the superior performance of EgoGrasp in estimating hand-object interactions in world space.</div>

---

## 1 引言

从以自我为中心的视频中理解手与物体的交互是计算机视觉和具身智能领域的核心课题。重建精确的世界坐标系下的手-物交互姿态，对于分析人类操作行为以及推动具身人工智能、机器人技术、虚拟/增强现实等下游应用至关重要 [^12] [^20] [^38]。虽然以自我为中心的视频能提供独特的第一人称线索，但它们通常由处于无约束环境中的动态摄像头录制，仅依赖每帧的相机坐标系几何信息远远不够。为了全面解读人类动作，我们认为恢复世界坐标系下时间上连贯的运动轨迹至关重要，这能解决三个根本性难题：1）引入世界坐标系对于稳定交互动力学不可或缺。在以自我为中心的场景中，高频摄像头抖动与局部视图中的物体运动相互交织；将运动锚定在静态世界中后，我们就能有效过滤掉这种噪声，确保重建结果反映的是稳固的物理抓取，而非不现实的接触滑动现象。2）此外，静态背景线索能消除语义歧义。例如，用户在局部视角中向物体倾斜的动作与举起物体的动作难以区分，而全局上下文能明确运动的真实来源，从而保证轨迹重建的准确性 [^34]。3）世界坐标系有助于将物体定位在静态环境中，施加几何约束以防止物体违反场景物理规律，比如放置物体时物体悬浮于桌面之上或穿透桌面。

尽管在三维手部及物体6自由度估计方面已取得进展，现有方法仍无法预测以自我为中心视频中的世界坐标系下手-物交互。大多数方法仅在图像或短序列层面运行，输出结果基于相机坐标 [^3] [^10] [^18] [^36] [^39] [^40]，而这些坐标会随着佩戴者的动作动态变化，因此很难随时间恢复全局轨迹。在物体泛化方面，部分方法依赖预定义的CAD模型 [^30] [^36]；另一些方法 [^39] [^40] 虽利用可微渲染技术来实现对不同物体类别的泛化，但这类方法计算成本高、对遮挡敏感，且在动态环境中稳定性较差。此外，当前方法未能充分利用以自我为中心的先验知识，比如摄像头、身体与手部之间的结构耦合关系，限制了其鲁棒性和泛化能力。因此，重建世界坐标系下的手-物交互仍是一项重大挑战，需要能够应对未知物体、严重手部遮挡以及长期时空连贯性无漂移问题的新方法。

为解决这些难题，我们提出了EgoGrasp——据我们所知，这是首个能从动态摄像头拍摄的以自我为中心的单目视频中重建世界坐标系下手-物交互的方法。EgoGrasp采用多阶段的“感知-生成-填充”框架，既利用可靠的感知系统提供的三维线索，又引入生成式运动先验以确保时间和全局一致性。该框架分为三个阶段：（1）预处理：我们利用现有的最先进模型从以自我为中心的视频中恢复精确的摄像头轨迹、场景几何结构和手部姿态 [^16] [^26]。我们还借助视觉基础模型将三维问题的复杂度降至二维，从而实现稳健的6自由度初始化 [^1] [^11] [^32]。（2）人体扩散模块：为解决以自我为中心视角的稳定性问题以及频繁出现的

---

为了解决自遮挡问题，我们提出了一种人体扩散模型，该模型通过引入SMPL-X [^25] 上半身约束来生成连贯的人体和手部运动。为了达到更高的精度，我们整合了测试时优化机制，以确保序列中的空间对齐。（3）HOI扩散模型：我们利用扩散模型将第一阶段生成的离散6DoF序列，根据第二阶段重建的手部信息填充为合理的连续HOI轨迹。通过建模自然动力学，它为最终的测试时优化提供了高质量的初始结果，从而生成精确且符合物理规律的6DoF轨迹。

我们在H2O和HOI4D数据集上验证了EgoGrasp的性能，发现其在世界坐标系下的手部估计方面取得了可比的结果，而在世界坐标系下的HOI重建方面则达到了最先进的水平；同时，该方法具备强大的全局轨迹一致性，能够很好地应对复杂的手-物体交互以及真实场景中的各种条件。

我们的主要贡献总结如下：

我们对当前手部姿态估计、手-物体交互建模以及物体6DoF跟踪方法存在的局限性进行了全面分析。基于这些见解，我们提出了世界坐标系下的手-物体交互（W-HOI）这一新任务。

我们提出了一种名为EgoGrasp的新框架，用于从第一人称视频中重建W-HOI。EgoGrasp包含一个稳健的预处理阶段以及两个生成式先验扩散模型，能够生成世界坐标系下一致的HOI轨迹。此外，EgoGrasp无需模板且可扩展至多物体场景，因此具有极高的灵活性与通用性。

大量实验表明，EgoGrasp在H2O和HOI4D数据集上的表现显著优于现有方法，从而在真实场景下的W-HOI重建任务中创造了新的最先进水平，如图1所示。

## 2 相关工作

手部姿态估计。近年来，手部姿态估计领域发展迅速，早期的方法主要针对第三人称视角，且假设遮挡较少、相机视角稳定。单手估计方法通常直接回归MANO [^28] 模型参数 [^2]，而双手估计方法则采用隐式建模或图卷积技术来重建交互关系 [^9] [^13]。第一人称视角下的手部估计对于从第一人称视角教导机器人操作任务至关重要，有助于推动具身智能与虚拟现实的发展。现有的方法 [^17] [^24] [^27] [^37] 通常在相机坐标系中重建手部姿态，这限制了其全局建模手-物体交互的能力。为解决这一问题，近期研究探索了世界坐标系下的姿态估计，以恢复世界坐标中的手部姿态与轨迹。例如，Dyn-HaMR [^42] 将基于SLAM的相机跟踪与手部运动回归相结合，实现了4D全局运动重建；同样，HaWoR [^43] 利用自适应SLAM和运动补全网络将手部运动与相机轨迹分离，从而实现世界坐标下的手部估计。尽管近期的方法在手部的处理上有所改进，

---

在姿态重建方面，它们未能明确建模手部与物体之间的复杂动力学关系。此外，现有方法往往没有充分利用以自我为中心的先验知识，从而导致鲁棒性和泛化能力受限。为应对这些挑战，我们的EgoGrasp通过结合基于身体引导的扩散先验，在世界坐标中共同建模手-物动力学关系。有关以往任务之间的差异，请参见表1。手-物交互估计：估计手部姿态和物体的6自由度参数本身极具挑战性，尤其是在手-物交互（HOI）场景中，手部与物体之间的相互作用进一步增加了复杂性。现有的物体6自由度估计方法大致可分为两类：（1）基于模板的方法，这类方法依赖预定义的CAD模型[^30] [^36]以及分割掩码、深度图等辅助输入；（2）无模板方法，这类方法无需CAD模型即可估计6自由度姿态，且可能重建物体网格，通常基于RGB-D输入和分割掩码[^10] [^15] [^35] [^44]。典型的方法包括将3D生成模型与6自由度估计方法相结合，或基于可微渲染或隐式表面学习的逐实例方法。然而，这些方法往往计算成本较高，且在噪声、遮挡和动态条件下鲁棒性较差。

HOI估计在6自由度方法的基础上，增加了同时估计手部姿态与物体6自由度的挑战。基于模板的方法[^3] [^5] [^18]仅能估计手部姿态和物体6自由度，而无模板方法[^39] [^40]则能同时推断手部姿态、物体6自由度以及物体网格重建。尽管联合推理带来了优势，但HOI方法仍面临严重遮挡、相机动态运动等独特挑战。

<div style="text-align: center;">Table 1: Comparison of representative tasks and world-space HOI. ✓: supported, X: not supported, -: partial/ambiguous.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Category</td><td style='text-align: center; word-wrap: break-word;'>Ego</td><td style='text-align: center; word-wrap: break-word;'>Hand Mesh</td><td style='text-align: center; word-wrap: break-word;'>Obj 6DoF</td><td style='text-align: center; word-wrap: break-word;'>Obj Mesh</td><td style='text-align: center; word-wrap: break-word;'>World</td><td style='text-align: center; word-wrap: break-word;'>Temp.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Exo Hand Est.</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego Hand Est.</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>World Hand Est.</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Camera 6DoF</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Camera HOI</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>W-HOI</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr></table>

复杂的手-物交互问题同样存在。ContactOpt[^5]和GraspTTA[^7]均通过预测或生成手-物接触热图来直接优化接触损失，从而更好地构建HOI结果。DiffHOI[^40]和G-HOP[^39]也利用可微渲染以及由扩散模型先验引导的隐式SDF场来实现物体网格重建。不过，它们的计算成本极高，且对手-物遮挡极为敏感，这往往导致在现实场景中时序一致性差且运动重建不稳定。为解决上述问题，我们提出了一种基于3D基础模型SAM3D[^32]、光流模型MEMFOF[^1]以及用于序列精炼的生成式扩散模型的鲁棒6自由度估计流程。这种协同作用能够实现无缝一致的6自由度跟踪和长期稳定的网格重建。表1列出了以往任务之间的差异。

姿态估计中的运动先验模型：上述所有仅针对手部的估计方法都存在一个关键局限：自由度数量过多。由于维度较高，这些方法对各种噪声极为敏感，从而导致手部方向和位置出现漂移，深度信息也受影响。

---

模糊问题，甚至还有左右手分类错误的情况。这些问题从根本上阻碍了稳定的世界空间手部网格重建。一些运动先验模型被提出来，用于将动作表示限制在合理范围内。VPoser [^25] 在大规模动作捕捉数据上训练姿态先验网络，以约束SMPL-X [^25] 参数，使其符合人类运动统计规律。RoHM [^45]、LatentHOI [^14]、DiffHOI [^40] 和 G-HOP [^39] 则利用扩散模型作为运动或人机交互生成的先验。同样，我们构建了解耦的扩散先验模型，包括身体运动扩散模型和人机交互扩散模型，用于学习上半身姿态先验和人机交互先验。上半身姿态明确利用了以自我为中心的先验，通过符合运动规律的身体来约束手部。

## 3 方法

![Image](images/00da72da692459fb3593dfd0cf24012d6a7a1e3e2018db06560368744b554602.jpg)

<div style="text-align: center;">Fig. 2: Overview of EgoGrasp. We propose a three-stage method to recover world-space hand-object interaction from egocentric monocular videos with dynamic cameras: (1) extract 3D attributes with spatial perception models (for our 6DoF estimation method please see detail in Fig. 3); (2) reconstruct upper body pose with motion prior provided by Body Diffusion; (3) Interpolate discrete 6DoF sequences with HOI Diffusion for spatial, temporal, and contact consistency.</div>

### 3.1 问题阐述

给定一段以自我为中心的视频 $V \in \mathbb{R}^{T \times H \times W \times 3}$，我们的目标是重建世界空间中准确的人手与物体交互情况。与以往分别处理左右手的方法不同，我们重建上半身姿态以限制双手的活动范围：手部姿态 $\{\theta_l^t, \theta_r^t \in \mathbb{R}^{15 \times 3}\}_{t=0}^T$、身体姿态 $\{\theta_b^t \in \mathbb{R}^{10 \times 3}\}_{t=0}^T$（仅限上半身）、形状参数 $\beta \in \mathbb{R}^{10}$、全局朝向和平移量 $\{\phi_t^i, \gamma_t^i \in \mathbb{R}^{3}\}_{t=0}^T$。对于每个物体，我们重建其规范网格 $\mathbf{M}$ 及其在世界坐标系中的全局轨迹 $\{o^t \in \mathrm{SE}(3)\}_{t=0}^T$。

所提出的EgoGrasp方法包含三个阶段：1）预处理阶段，利用成熟的基础模型从视频中提取初始的3D手部姿态和物体信息；

---

2）身体扩散模型，基于提取的3D属性生成合理的上半身姿态以约束手部姿态；3）人机交互扩散模型，将第一阶段得到的离散6自由度序列填充为合理且连续的序列。所提方法的概览如图2所示。

### 3.2 以自我为中心的视频预处理

随着空间智能的发展，在点云地图重建、参数化手部与身体重建以及3D物体重建等3D任务方面也取得了显著进展，这得益于基础模型和数据集的进步。在此背景下，我们利用现成的基础模型分三步处理以自我为中心的视频：全局场景重建 [^16]、手部重建 [^26] 以及物体重建 [^32]。

步骤1：全局场景重建。在这一步中，我们的目标是获取整个序列的相机参数和深度图。我们利用Depth-Anything3 (DA3) [^16] 来推断相机的内部参数 $\mathbf{K}$、外部参数 $\mathbf{E}^t$（表示为旋转 $\mathbf{R} \in \text{SO}(3)$ 和平移 $\mathbf{T} \in \mathbb{R}^3$），以及整个视频序列的深度图 $D^t$。这一阶段的全局场景重建将作为后续变换的全局坐标系。

步骤2：手部重建。我们利用最先进的手部姿态估计器WiLoR [^28]，在egoview视频中重建双手的MANO $\{\theta_l^t, \theta_r^t, \beta\}$ 参数 [^26]。随后，我们利用第一步中获得的相机焦距来计算MANO深度：$z = f/s$。通过将第一步中初步估计的深度图与相机平移量乘以一个全局缩放因子，即可将其对齐到度量尺度。该缩放因子是通过计算MANO模型的深度值与深度图中对应区域的深度值之间的平均比值来确定的。

步骤3：物体重建。我们提出了一种稳健的流程来重建开放词汇物体的6自由度姿态，

![Image](images/43776e2bd6856aad6a435fd2b3fe8f79f6e50edbfeb62d93bcf031b0535d1081.jpg)

<div style="text-align: center;">Fig. 3: Object 6DoF estimation pipeline. (1) We use PnP and optical flow to track 6DoF based on the initial SAM3D reconstruction on the first frame. (2) We filter out unreliable 6DoFs by mask IoU. (3) HOI Diffusion from EgoGrasp infills the reliable 6DoFs.</div>

该流程包括网格初始化、时间跟踪以及轨迹优化。首先，为了获得高保真度的模板网格M，我们使用SAM3D [^32] 及其多视图实现 [^11] 来丰富几何细节。这一过程会生成标准形状M及初始姿态。为了在整个视频中传播这一姿态，我们采用了基于光流的跟踪器MEMFOF [^1]。通过投影M中的3D关键点并跟踪其2D位移，我们解决了透视点（PnP）问题，从而得出初步的6自由度轨迹。最初的跟踪可能会出现漂移现象，尤其是在手与物体相互遮挡时。

---

我们并未仅依赖逐帧跟踪，而是引入了优化阶段。我们首先通过检查SAM2掩码与投影网格掩码之间的IoU来过滤掉不可靠的帧，将IoU较低的帧标记为无效帧（用零填充）。随后，这个稀疏序列 $\mathbf{o}_{filtered}$ 会被我们的HOI Diffusion模型处理。借助生成式先验知识，该模型能够有效填补缺失片段并修正轨迹，最终生成物理上合理且连续的6自由度运动（见图3）。关于HOI Diffusion的更多细节详见第3.4节。

### 3.3 人体扩散模型

在预处理阶段获得初步结果后，我们需要一个具备HOI知识的先验模型来施加物理约束并完成时间上的补全。然而，包含全身姿态的HOI数据集极为有限。在此类限制下训练一个能同时处理手部姿态估计和物体6自由度预测的统一模型，会产生显著的姿态偏差，进而阻碍模型学习有意义的人体运动先验。为解决这一问题，我们提出将上半身姿态估计与物体6自由度预测分离，分别训练两个网络：人体扩散模型W和HOI扩散模型H，如图2所示。我们首先利用W生成上半身姿态，借助人体有限的触及范围来约束手部的活动区域，而非将双手视为可独立平移的物体。

我们还利用从Transformer条件编码器 $\mathbf{c}^t$ 中提取的特征 $\phi$ 来对模型进行条件约束，这些特征仅来源于中央瞳孔帧（CPF）的帧间变换 $\Delta\mathbf{T}_{cpf}^{t-1\to t}$。遵循Egoallo [^41] 的做法，CPF被用作连接SMPL-X局部姿态与世界空间的规范参考坐标系。具体而言，CPF的原点锚定在SMPL-X模型的两眼中点处，其坐标轴则与头部朝向严格对齐。人体扩散模型的条件公式如下：

 $$ \begin{array}{r}{\varDelta\mathbf{T}_{\mathrm{c p f}}^{t\rightarrow t+1}=\big(\mathbf{E}^{t}\big)^{-1}\mathbf{E}^{t+1}\in\mathrm{S E}(3),\mathbf{c}^{t}=\phi\Big(\varDelta\mathbf{T}_{\mathrm{c p f}}^{t-1\rightarrow t}\Big).}\end{array} $$

令 $\mathbf{z}_0^{1:T} = \theta_{\text{body}}^{1:T}$ 表示真实的 SMPL-X 身体参数。我们将身体运动估计建模为一个条件去噪扩散概率模型（DDPM）[^6]。我们的身体扩散模型 $\mathcal{W}$ 能够在给定特征 $\mathbf{z}_0^{1:T}$ 的条件下，直接从带噪声的状态 $\mathbf{z}_{t_d}^{1:T}$ 中重建出干净的参数 $t_d$，其中噪声出现在时间步 $\mathbf{c}^{1:T}$。该模型的训练目标是最小化重建误差：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{W}}=\mathbb{E}_{t_{d},\mathbf{z}_{0},\epsilon}\left[\left\|\mathcal{W}\big(\mathbf{z}_{t_{d}}^{1:T},\mathbf{\mathbf{c}}^{1:T},t_{d}\big)-\mathbf{z}_{0}^{1:T}\right\|_{2}^{2}\right].}\end{array} $$

在推理阶段，最终预测的身体参数 $\hat{\theta}_{\text{body}}^{1:T}$ 是通过对从纯噪声中迭代采样得到的序列进行去噪而获得的 $\mathcal{N}(\mathbf{0}, \mathbf{I})$。

测试时优化。在测试阶段，我们采用多个优化目标来精细化 SMPL-X 参数，以确保身体运动既真实又符合物理规律。(1) 姿态

---

锚定损失 $\mathcal{L}_{body}$ 通过使优化后的身体配置尽可能接近预测结果，从而防止过度偏移，尤其针对手臂和手部姿态参数。(2) 手部姿态损失 $\mathcal{L}_{pose}$ 使优化后的左右手姿态与 WiLoR 预测的手部姿态保持一致。(3) 手部 2D 关键点损失 $\mathcal{L}_{kp2d}$ 通过将 3D 手部关节的投影 2D 坐标与 WiLoR 在共同可见关节上检测到的对应关键点相匹配，来确保图像空间的一致性。(4) 手腕损失 $\mathcal{L}_{wrist}$ 通过约束手腕位置和手腕方向在 CPF 坐标系中的一致性，来保证其与 WiLoR 模型输出一致。更多细节请参阅补充材料。

### 3.4 HOI 扩散模型

我们的 HOI 扩散模型 $\mathcal{H}$ 旨在利用可靠的物体预测结果以及人体运动先验，生成合理的物体 6DoF 轨迹。该模型以初始的可靠物体 6DoF 预测值 $\mathbf{o}_{filtered}^{t}$ 作为输入，这些预测值经过掩码 IoU 过滤后以手腕坐标系表示；同时输入由 Transformer 条件编码器 $\mathbf{m}^{t}$ 生成的条件特征 $\phi_{obj}$。具体而言，条件变量包括：(1) 手腕坐标系下的可靠物体 6DoF 数据 $\mathbf{o}_{filtered}^{t}$；(2) 通过相机内参对掩码深度进行投影后得到的粗略平移量 $\mathbf{t}_{coarse}^{t}$，随后将其转换到手腕坐标系；(3) 根据手与物体的距离确定的独热抓取标签 $\mathbf{I}_{grasp}^{t}$；(4) 由身体扩散模型 $\theta_{obj}^{t}$ 生成的、手腕坐标系下的手部姿态 $\mathbf{x}_{obj}^{t}$ 及手部关节位置 $\mathcal{W}$。我们采用掩码重建目标来训练 $\mathcal{H}$，以恢复被随机掩码掉的真实 6DoF 轨迹。这种方式既能利用现有的 HOI 数据集进行有效训练，又能保留从大规模全身数据集中学到的身体运动先验。HOI 扩散模型的推理公式如下：

 $$ \mathbf{m}_{j}^{1:T}=\phi_{o b j}\big(\mathbf{o}_{f i l t e r e d}^{1:T},\mathbf{t}_{c o a r s e}^{t},\mathbf{l}_{g r a s p}^{1:T},\mathbf{x}_{o b j}^{1:T},\mathbf{\theta}_{o b j}^{1:T}\big), $$

 $$ \begin{array}{r}{\widehat{\mathbf{o}}_{t_{d}-1}^{1:T}=\mathcal{H}\big(\mathbf{o}_{t_{d}}^{1:T},\mathbf{m}^{1:T},\mathbf{o}_{f i l t e r e d}^{1:T},t_{d}\big),t_{d}\in[1,1000],}\end{array} $$

其中 $\mathbf{o}$ 表示每个物体的 6DoF。我们采用与身体扩散模型 $\mathcal{H}$ 类似的方式训练 HOI 扩散模型 $\mathcal{W}$。

通过遍历 HOI 扩散模型 $\mathcal{H}$ 之外的每个物体，即可实现多物体交互，详情请参阅补充材料。需注意，物体网格 $\mathbf{M}$ 的获取方式如 3.2 节所述。

测试时优化。在测试阶段，我们执行轻量级的、完全可微的优化过程来细化物体姿态。该优化目标同时保证了空间精度和时序平滑性，从而实现逼真且符合物理规律的物体运动。（1）物体锚点损失 $\mathcal{L}_{obj}$ 通过将细化后的物体6自由度参数向HOI扩散预测结果进行正则化，防止其产生过度偏移。（2）接触损失 $\mathcal{L}_{contact}$ 通过惩罚抓取手接触点在物体局部坐标系中的时序位移，强制接触处的相对运动趋近于零，有效减少了不自然的滑动现象。（3）穿透损失 $\mathcal{L}_{penetration}$ 通过惩罚那些违反安全边界条件的手部点，防止出现不符合物理规律的内部穿透现象。

---

在复杂的HOI序列中，该机制还能防止手部与物体表面之间产生超出容许范围的间隙。（4）时序损失 $\mathcal{L}_{temporal}$ 通过惩罚旋转和平移过程中不稳定的速度和加速度，对物体运动进行正则化，从而提升轨迹的平滑性。更多细节请参阅补充材料。

## 4 实验

### 4.1 实现细节与评估指标

我们在两个以自我为中心的HOI数据集——H2O [^8] 和 HOI4D [^19] 上评估手部姿态估计和物体6自由度估计性能。参照Dyn-HaMR [^42] 和 HaWoR [^43] 的方法，手部估计评估所采用的指标包括世界平均关节位置误差（W-MPJPE，单位：毫米）、世界对齐平均关节位置误差（WA-MPJPE，单位：毫米）以及Procrustes对齐平均关节位置误差（PA-MPJPE，单位：毫米）。对于6自由度估计，我们采用世界坐标系、局部坐标系和手腕坐标系下的相对旋转误差（RRE，单位：度）和相对平移误差（RTE，单位：毫米）。此外，还利用手腕坐标系下的倒角距离（CD，$cm^2$）和穿透深度（PD，单位：毫米）来评估HOI结果的几何保真度和物理合理性。世界空间指标是在128帧的片段上计算的，其中W-MPJPE仅对前两帧进行对齐，而WA-MPJPE则对整个片段进行对齐，两者均使用Procrustes对齐方法。

我们使用PyTorch框架，借助2块NVIDIA H20 GPU进行模型训练，学习率设为2.5e-4，优化器采用AdamW，并应用余弦退火策略。身体扩散模型在AMASS [^22]、100STYLE [^23]、GRAB [^31]、PA-HOI [^33] 和 HIMO [^21] 数据集上训练；HOI扩散模型则在GRAB [^31]、PA-HOI [^33] 和 HIMO [^21] 数据集上训练。训练序列的采样频率为30 FPS，随机长度介于64到256帧之间。在测试时优化阶段，我们分别采用2.5e-4、2.5e-4和1.0e-4的学习率来优化手部姿态、身体姿态和beta参数，共执行50步优化，优化器同样为AdamW，并采用余弦退火策略。推理阶段则应用DDIM [^29] 采样方法，迭代200步，且在预处理阶段将序列下采样3倍。

### 4.2 世界空间手部姿态估计

我们通过将EgoGrasp与世界空间手部姿态重建效果最优的Dyn-HaMR [^42] 和 HaWoR [^43] 方法进行比较，展示了EgoGrasp的卓越重建质量。

定量比较。表2展示了EgoGrasp与其他竞争方法在H2O和HOI4D数据集上的定量结果。作为复杂的W-HOI框架，EgoGrasp取得了具有竞争力的成果，其性能与新提出的SOTA手部特定方法Dyn-HaMR和HaWoR相比，达到了最优或接近最优的水平。HaWoR的表现最差，其各项指标明显落后于EgoGrasp和Dyn-HaMR。此外，在处理HOI4D数据集中的长距离HOI轨迹时，Dyn-HaMR的性能会出现下降（表现为PA-MPJPE指标升高）。

---

<div style="text-align: center;">Table 2: Hand pose evaluation on H2O and HOI4D datasets. For each metric, we use background colors to indicate the best, second best.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="3">$H_{2}O$</td><td colspan="3">ROAD</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>W-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>WA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>W-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>WA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR (CVPR25)</td><td style='text-align: center; word-wrap: break-word;'>5.75</td><td style='text-align: center; word-wrap: break-word;'>46.37</td><td style='text-align: center; word-wrap: break-word;'>16.74</td><td style='text-align: center; word-wrap: break-word;'>9.83</td><td style='text-align: center; word-wrap: break-word;'>190.68</td><td style='text-align: center; word-wrap: break-word;'>63.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR (CVPR25)</td><td style='text-align: center; word-wrap: break-word;'>5.77</td><td style='text-align: center; word-wrap: break-word;'>113.39</td><td style='text-align: center; word-wrap: break-word;'>30.75</td><td style='text-align: center; word-wrap: break-word;'>9.04</td><td style='text-align: center; word-wrap: break-word;'>196.09</td><td style='text-align: center; word-wrap: break-word;'>69.20</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoGrasp</td><td style='text-align: center; word-wrap: break-word;'>6.84</td><td style='text-align: center; word-wrap: break-word;'>40.93</td><td style='text-align: center; word-wrap: break-word;'>18.92</td><td style='text-align: center; word-wrap: break-word;'>8.61</td><td style='text-align: center; word-wrap: break-word;'>192.06</td><td style='text-align: center; word-wrap: break-word;'>47.29</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Input</td><td colspan="2">Dyn-HaMR</td><td colspan="2">HaWoR</td><td style='text-align: center; word-wrap: break-word;'>EgoGrasp</td><td style='text-align: center; word-wrap: break-word;'>GT</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/96a74b4f9de88c7e1db1ce0ecd12bf375c5197da92dad8e9a9caa4980427908b.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/120f7b027577b38738db5019fcec8caae2ddb3da32ddd5f7043a99475e254bc1.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/69f7caa887a710cca33e4ee9d228a251ef9ff5da6853eca45236f7997f0765a4.jpg)</td><td colspan="2">![Image](images/110cea31b50119a0e30ea025e74032f4a1a10be9af96b97877ca08549f405152.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/bfb9a8b0088c6a2b6be3ec0c33ae5c5260295d27d63151f10f1aabd27a266bfc.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/67a62d5e7579c898ef3069e1fe209517ba240782010226bbe1cb861457ab86a6.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Seq. 1</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/e7a0eefa294abf462b1833d0d787c46647bb930821f97f9c2ea1d5f28d68f948.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/18190efa3aee80d0f4345d75c96cba90c18ee3dd5b0f965a5b1df9e3da335b22.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/fa7d54b6deb1b38924dc3db93e722b9732e1e8efdc0a001f334812858e0477d6.jpg)</td><td colspan="2">![Image](images/03ba0cc2d4e05032744a50d19e24bdc11e9c860daaa2e9cd76ec476e276d8896.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c05af785d50ed674cc0c50889f5b8fefebb4dd7397d74380d0a860ac0379f863.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/a567c77390ee8fd4ce2e6f81f503306bf533b7b7ce4ecbc193cbb0ec45e70cec.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/adb26f58d1e5ff048c31140d348174697e5fceb1ec2f5a3e3e04dd34503646e8.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/42c3e50b717a5bb2622e914874206ff1b96ddbda1a8130e7903c670bff713558.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/cf39b323c67b201684d6710506a7d9cde614acc33b9d3b1103db5e54c1ebd27d.jpg)</td><td colspan="2">![Image](images/36075b8334138ff527f5b1cf57429f0c10186ec6dd260f0986935aa218bacaf3.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/b6ada809ad8e3865722609627821fad94536dc84bd3f5b1bedcba5a3d28898a8.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c768c22f4341c2555cb33df1246e6fd16de7d734237fef63f67b400d80b0bc72.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Seq. 2</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/0bb6baf11444dad3dc7f42a60311e3c19e4a0bbad2d0419cd75c82a8f4e7a843.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/3888b036d2ba9e7e47b5011e33ecb68784dfd28f944bda2eecad29d2f80f2616.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f931e8259c7c79ce080e58be181b2b491956b21d9a80c298a3de4e9a137b6e03.jpg)</td><td colspan="2">![Image](images/055c5fda909da0ff87230f14d3fe9d66938cf0ff1d1cef45787a5378c6784d6e.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/b113d466dd84e5b0cc2bd200d4105c1c1c5b4fd61ae53f804cbb35df1d5ff095.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f16ceaa745bfa67eab766d301265de6c7242766aaf65ef35e8139b82f745f8fd.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/31b4bf290cfa36036ce1fdfdf4755e6bb032e42be132c3b96de2e8e7bfc63ed9.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/0ca40a347255f6ad7d8594a554ec157560de70d33d89196d361f037efa08fbd4.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/8d44fa8f2a13bee8df812439f5f524b703c05980296d401b2bcf5948d4899237.jpg)</td><td colspan="2">![Image](images/e20290f31032c2d2ee8c02dad793055bdfb73b7bbe80c7432cf5c9f1ef698e48.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/1d6e984e2254d5cb8da340f99fd558ceb76006dd887097df30a3277829c2c11e.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/1ffbb34e815e16303656050e58ed32731ada1edeb98fe16655a8269910e5d441.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Seq. 3</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/2b00cbcd0e0a3cf7750692e08fd4c34ab247a9c32a2ee2a44e0909f2b16d35f9.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/b4512b513d57dae1df27466a904ebf4f02dd583d6e09c74dad9300247a70fd13.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/b913493c97714339d278bc2f7252f3d73e839f49187c6dcde53c1905f771e096.jpg)</td><td colspan="2">![Image](images/61d762136202760801fdeaff023fa0712b2a7f41f8ed01ac7a1847f25e7287ca.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/32800dc7aae174d1afc499e84c3af3d4355dea55df7b46e8702fbac3bce6e43a.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/9452981d57719af04fa3bf63b3ec2b740dd7d28893fba6c28ca5c597595f9621.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/255b1fda65a5bf306dd8f9525264c7f3d802bb90c323593f8b9597095b063f03.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/43183aae3653b20ead938fb1196c110f58ad812cd5e5297f339b2b448cbca3f0.jpg)</td><td style='text-align: center; word-wrap: break-word;'></td><td colspan="2">![Image](images/8dd2912dc6909bee463b193c9fed5d4fe7ab5ff7f767e9b1ca99c7f16231d124.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/9724ba137eb98c75b09d809b9d0e24bc46d9567dedd118094198f502539f9ed0.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/a2a5a02dfadfa9ae45ad9ec6c5e38562825a7bcaaa0f1e93cf2a27e456a9ba60.jpg)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Seq. 4</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>![Image](images/93d36019727a249320d38876f56bb3bf69debccf8066d7514bee60e642816263.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/79eff606d6c0a905bfb473e720594a87d6f8a34b5f48ef4ef7b44be6931ab028.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/c96da6dbd00d92722a460b2da594cd32f93ff4107031ac246cf02d1999542991.jpg)</td><td colspan="2">![Image](images/78d87c9e2dce56577299d847a1c01b06123e753aa43ae32e317e2c70837818b7.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/f5875cfb0ffcabee57aa8d8598d7574b08faefbf53da91b2359336e53558f872.jpg)</td><td style='text-align: center; word-wrap: break-word;'>![Image](images/250904881405f095944e61b09bf2bdb2a1bf88764a6974b8f69563d7fd0e7c66.jpg)</td></tr></table>

<div style="text-align: center;">Fig. 4: World-space hand pose visualizations on the H2O dataset (top two sequences) and the HOI4D dataset (bottom two sequences).</div>

定性比较。图4展示了HaWoR、Dyn-HaMR和EgoGrasp的定性对比结果，表明EgoGrasp在H2O数据集上的细粒度手部操控任务以及HOI4D数据集上的长期运动轨迹预测任务中均表现出更优的性能。如前两个序列所示，

---

EgoGrasp能够准确重建细微的手部动作，而竞争方法则出现了明显的偏差。值得注意的是，HaWoR存在严重的轨迹偏离问题，无法生成符合物理规律的运动路径。在后续的HOI4D序列中，HaWoR仍表现出明显的漂移现象和姿态伪影，而Dyn-HaMR甚至无法正确识别手部左右侧。此外，这两种基线方法得到的世界空间轨迹也不够准确。相比之下，通过引入身体姿态约束，EgoGrasp确保了其与自然人体运动的运动学一致性，从而得到了更加精确且稳定的重建结果。

### 4.3 世界空间手-物交互估计

为了进一步评估EgoGrasp在W-HOI任务中的有效性，我们将其与3种基线方法进行了对比分析：基于6DoF方法的Any6D [^10] + WiLoR和GenPose2 [^44] + WiLoR，以及前馈式HOI模型HORT [^4]。由于基于实例优化的方法（如可微渲染、隐式表面学习）时间开销较大且难以适配大规模HOI数据，因此未将其纳入对比范围。这3种基线方法的输出形式各不相同：HORT是一种前馈模型，仅能根据WiLoR的输出生成物体点云；GenPose2仅能进行边界框估计，无法生成网格模型。由于HORT无法直接提供6DoF姿态，我们采用迭代最近点（ICP）算法将其预测的点云与真实网格对齐，进而得到用于定量评估的时间维度6DoF姿态。需要注意的是，腕部坐标下的指标是通过将6DoF数据或网格转换为对应的手腕坐标后计算得出的。对于GenPose2、Any6D和HORT而言，计算腕部坐标下的指标时采用的是WiLoR输出的手部结果。

<div style="text-align: center;">Table 3: Object 6DoF estimation and HOI evaluation on H2O and HOI4D datasets. For each metric, we use background colors to indicate the best and second best.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">Local</td><td colspan="2">Global</td><td colspan="4">Wrist</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RRE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RTE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RRE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RTE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RRE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RTE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PD $\downarrow$</td></tr><tr><td colspan="9">Results on HOO Dataset</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GenPose2 (ECCV24)</td><td style='text-align: center; word-wrap: break-word;'>28.88</td><td style='text-align: center; word-wrap: break-word;'>72.93</td><td style='text-align: center; word-wrap: break-word;'>28.53</td><td style='text-align: center; word-wrap: break-word;'>75.75</td><td style='text-align: center; word-wrap: break-word;'>33.19</td><td style='text-align: center; word-wrap: break-word;'>74.19</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Any6D (CVPR25)</td><td style='text-align: center; word-wrap: break-word;'>33.40</td><td style='text-align: center; word-wrap: break-word;'>85.43</td><td style='text-align: center; word-wrap: break-word;'>33.77</td><td style='text-align: center; word-wrap: break-word;'>89.62</td><td style='text-align: center; word-wrap: break-word;'>37.27</td><td style='text-align: center; word-wrap: break-word;'>80.82</td><td style='text-align: center; word-wrap: break-word;'>52.51</td><td style='text-align: center; word-wrap: break-word;'>3.18</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HORT (ICCV25)</td><td style='text-align: center; word-wrap: break-word;'>35.09</td><td style='text-align: center; word-wrap: break-word;'>116.42</td><td style='text-align: center; word-wrap: break-word;'>35.31</td><td style='text-align: center; word-wrap: break-word;'>125.82</td><td style='text-align: center; word-wrap: break-word;'>37.75</td><td style='text-align: center; word-wrap: break-word;'>56.22</td><td style='text-align: center; word-wrap: break-word;'>22.98</td><td style='text-align: center; word-wrap: break-word;'>10.46</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoGrasp</td><td style='text-align: center; word-wrap: break-word;'>18.62</td><td style='text-align: center; word-wrap: break-word;'>77.68</td><td style='text-align: center; word-wrap: break-word;'>18.71</td><td style='text-align: center; word-wrap: break-word;'>77.84</td><td style='text-align: center; word-wrap: break-word;'>23.08</td><td style='text-align: center; word-wrap: break-word;'>58.30</td><td style='text-align: center; word-wrap: break-word;'>52.56</td><td style='text-align: center; word-wrap: break-word;'>0.74</td></tr><tr><td colspan="9">Results on HOI4D Dataset</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GenPose2 (ECCV24)</td><td style='text-align: center; word-wrap: break-word;'>21.15</td><td style='text-align: center; word-wrap: break-word;'>188.75</td><td style='text-align: center; word-wrap: break-word;'>23.16</td><td style='text-align: center; word-wrap: break-word;'>178.94</td><td style='text-align: center; word-wrap: break-word;'>47.15</td><td style='text-align: center; word-wrap: break-word;'>124.84</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Any6D (CVPR25)</td><td style='text-align: center; word-wrap: break-word;'>36.92</td><td style='text-align: center; word-wrap: break-word;'>201.28</td><td style='text-align: center; word-wrap: break-word;'>37.60</td><td style='text-align: center; word-wrap: break-word;'>187.01</td><td style='text-align: center; word-wrap: break-word;'>55.16</td><td style='text-align: center; word-wrap: break-word;'>187.03</td><td style='text-align: center; word-wrap: break-word;'>499.70</td><td style='text-align: center; word-wrap: break-word;'>0.46</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HORT (ICCV25)</td><td style='text-align: center; word-wrap: break-word;'>29.04</td><td style='text-align: center; word-wrap: break-word;'>166.36</td><td style='text-align: center; word-wrap: break-word;'>34.67</td><td style='text-align: center; word-wrap: break-word;'>256.26</td><td style='text-align: center; word-wrap: break-word;'>54.63</td><td style='text-align: center; word-wrap: break-word;'>118.90</td><td style='text-align: center; word-wrap: break-word;'>114.03</td><td style='text-align: center; word-wrap: break-word;'>5.56</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoGrasp</td><td style='text-align: center; word-wrap: break-word;'>14.33</td><td style='text-align: center; word-wrap: break-word;'>124.69</td><td style='text-align: center; word-wrap: break-word;'>14.17</td><td style='text-align: center; word-wrap: break-word;'>135.80</td><td style='text-align: center; word-wrap: break-word;'>34.87</td><td style='text-align: center; word-wrap: break-word;'>116.66</td><td style='text-align: center; word-wrap: break-word;'>235.53</td><td style='text-align: center; word-wrap: break-word;'>0.61</td></tr></table>

定量比较。表3展示了各类方法在H2O和HOI4D数据集上针对物体6DoF跟踪任务的性能表现。在此，除EgoGrasp外的所有其他方法均利用真实的相机外参将结果从相机坐标系转换到世界坐标系，而

---

![Image](images/0ea9c61cd5244bbf70daf14b7548269af3f3e5cb028a140a6a603570d03c7e72.jpg)

<div style="text-align: center;">Fig. 5: World-space hand-object interaction visualizations on H2O (top two sequences) and HOI4D dataset (bottom two sequences).</div>

EgoGrasp则是借助DA3预测的相机外参以及身体扩散模型预测的姿态，将SMPL-X模型转换到世界坐标系中。

实验结果表明，EgoGrasp在局部、全局以及手腕坐标系下的RRE和RTE指标上均取得了显著提升。尤其是RRE指标的显著优势，凸显了EgoGrasp在建模复杂手-物交互方面的鲁棒性，而其他对比方法仍局限于物体平移等简单操作。尽管GenPose2在H2O数据集的局部和全局坐标下RTE指标上略占优势，但该方法在旋转和手腕坐标系下的性能却出现严重退化。虽然HORT在Chamfer距离（CD）指标上表现最佳，但它属于单帧方法，仅能输出点云，因此缺乏时间一致性和完整的网格结构。这一局限性导致其在所有评估模型中具有最大的穿透深度（PD），从而影响了物理合理性。相比之下，EgoGrasp在CD和PD指标上均保持了优异的表现。

---

<div style="text-align: center;">Table 4: Ablations study of hand pose estimation on H2O and HOI4D datasets. For each metric, we use background colors to indicate the best, second, and worst.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="3">$H_{{2}}O$</td><td colspan="3">$H_{{O14}}D$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>W-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>WA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>W-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>WA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{kp2d}$</td><td style='text-align: center; word-wrap: break-word;'>9.60</td><td style='text-align: center; word-wrap: break-word;'>47.25</td><td style='text-align: center; word-wrap: break-word;'>22.06</td><td style='text-align: center; word-wrap: break-word;'>8.97</td><td style='text-align: center; word-wrap: break-word;'>189.41</td><td style='text-align: center; word-wrap: break-word;'>48.32</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{pose}$</td><td style='text-align: center; word-wrap: break-word;'>8.76</td><td style='text-align: center; word-wrap: break-word;'>42.84</td><td style='text-align: center; word-wrap: break-word;'>20.32</td><td style='text-align: center; word-wrap: break-word;'>10.44</td><td style='text-align: center; word-wrap: break-word;'>195.31</td><td style='text-align: center; word-wrap: break-word;'>48.30</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{wrist}$</td><td style='text-align: center; word-wrap: break-word;'>8.11</td><td style='text-align: center; word-wrap: break-word;'>238.20</td><td style='text-align: center; word-wrap: break-word;'>50.66</td><td style='text-align: center; word-wrap: break-word;'>8.78</td><td style='text-align: center; word-wrap: break-word;'>321.84</td><td style='text-align: center; word-wrap: break-word;'>92.69</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoGrasp</td><td style='text-align: center; word-wrap: break-word;'>6.84</td><td style='text-align: center; word-wrap: break-word;'>40.93</td><td style='text-align: center; word-wrap: break-word;'>18.92</td><td style='text-align: center; word-wrap: break-word;'>8.61</td><td style='text-align: center; word-wrap: break-word;'>192.06</td><td style='text-align: center; word-wrap: break-word;'>47.29</td></tr></table>

定性比较。如图5所示，只有EgoGrasp能够成功重建物体轨迹，同时实现精确的手部姿态估计。这种优越性得益于我们的身体与HOI扩散模型，该模型可共同优化初始手部姿态和6自由度估计结果。

前两个序列显示，GenPose2仅限于边界框估计，而Any6D生成的网格几乎完全失效，且估计的6自由度姿态也存在重大误差。此外，HORT输出的点云无法保持物体的结构完整性，表现出显著偏差。相比之下，EgoGrasp实现的6自由度估计与真实值基本一致，同时还能完成高质量的网格重建。

对于后续的两个序列，三种基线方法均存在不同程度的轨迹抖动以及物理上不合理的手-物接触现象。而EgoGrasp则脱颖而出，能够在世界坐标系下稳健地重建远距离手-物交互过程。

### 4.4 消融研究

为了验证EgoGrasp各组件的贡献，我们设计了多个变体进行实验。

手部相关消融实验。具体而言，变体“w/o $\mathcal{L}_{kp2d}$, w/o $\mathcal{L}_{pose}$, w/o $\mathcal{L}_{wrist}$”表示在SMPL-X测试时优化过程中移除了相应的损失项。表4记录了H2O和HOI4D数据集上的手部姿态消融结果。我们发现，除EgoGrasp外的所有变体在某些指标上均出现显著下降，而EgoGrasp始终能取得最优或具有竞争力的结果。值得注意的是，$\mathcal{L}_{wrist}$在手部定位中发挥着重要作用，而$\mathcal{L}_{kp2d}$和$\mathcal{L}_{pose}$则在此基础上进一步优化姿态。EgoGrasp在特定指标（如WA-MPJPE）上相较于某些消融变体的轻微下降，源于不同损失项之间的协同作用与权衡，这避免了优化过程过度拟合于单一指标。总体而言，EgoGrasp展现了最鲁棒的综合性能。

物体相关消融实验。“w/o $\mathcal{L}_{contact}$, w/o $\mathcal{L}_{temporal}$, w/o $\mathcal{L}_{penetration}$”指在物体6自由度测试时优化过程中排除相应的损失项。“w/o Opt.”则表示直接来自HOI扩散模型的原始结果，未经任何后期优化。表5展示了H2O和HOI4D数据集上的物体6自由度消融结果。性能趋势与前述观察结果一致。

---

<div style="text-align: center;">Table 5: Ablation study of object 6DoF estimation on H2O and HOI4D datasets. For each metric, we use background colors to indicate the best, second, and worst.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">Local</td><td colspan="2">Global</td><td colspan="3">Wrist</td><td rowspan="2">PD $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>RRE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RTE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RRE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RTE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RRE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RTE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $\downarrow$</td></tr><tr><td colspan="9">Results on $H_{2}O$ Dataset</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{contact}$</td><td style='text-align: center; word-wrap: break-word;'>18.41</td><td style='text-align: center; word-wrap: break-word;'>105.67</td><td style='text-align: center; word-wrap: break-word;'>18.42</td><td style='text-align: center; word-wrap: break-word;'>107.10</td><td style='text-align: center; word-wrap: break-word;'>22.91</td><td style='text-align: center; word-wrap: break-word;'>77.27</td><td style='text-align: center; word-wrap: break-word;'>54.89</td><td style='text-align: center; word-wrap: break-word;'>0.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{temporal}$</td><td style='text-align: center; word-wrap: break-word;'>19.12</td><td style='text-align: center; word-wrap: break-word;'>78.81</td><td style='text-align: center; word-wrap: break-word;'>19.19</td><td style='text-align: center; word-wrap: break-word;'>79.27</td><td style='text-align: center; word-wrap: break-word;'>23.45</td><td style='text-align: center; word-wrap: break-word;'>57.11</td><td style='text-align: center; word-wrap: break-word;'>47.61</td><td style='text-align: center; word-wrap: break-word;'>0.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{penetration}$</td><td style='text-align: center; word-wrap: break-word;'>18.88</td><td style='text-align: center; word-wrap: break-word;'>78.85</td><td style='text-align: center; word-wrap: break-word;'>18.95</td><td style='text-align: center; word-wrap: break-word;'>79.28</td><td style='text-align: center; word-wrap: break-word;'>23.28</td><td style='text-align: center; word-wrap: break-word;'>57.20</td><td style='text-align: center; word-wrap: break-word;'>47.61</td><td style='text-align: center; word-wrap: break-word;'>0.93</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o Opt</td><td style='text-align: center; word-wrap: break-word;'>19.48</td><td style='text-align: center; word-wrap: break-word;'>102.57</td><td style='text-align: center; word-wrap: break-word;'>19.49</td><td style='text-align: center; word-wrap: break-word;'>104.16</td><td style='text-align: center; word-wrap: break-word;'>24.20</td><td style='text-align: center; word-wrap: break-word;'>68.98</td><td style='text-align: center; word-wrap: break-word;'>49.16</td><td style='text-align: center; word-wrap: break-word;'>0.81</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoGrasp</td><td style='text-align: center; word-wrap: break-word;'>18.62</td><td style='text-align: center; word-wrap: break-word;'>77.68</td><td style='text-align: center; word-wrap: break-word;'>18.71</td><td style='text-align: center; word-wrap: break-word;'>77.84</td><td style='text-align: center; word-wrap: break-word;'>23.08</td><td style='text-align: center; word-wrap: break-word;'>58.30</td><td style='text-align: center; word-wrap: break-word;'>52.56</td><td style='text-align: center; word-wrap: break-word;'>0.74</td></tr><tr><td colspan="9">Results on $HOI_{D}$ Dataset</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{contact}$</td><td style='text-align: center; word-wrap: break-word;'>15.22</td><td style='text-align: center; word-wrap: break-word;'>144.85</td><td style='text-align: center; word-wrap: break-word;'>15.22</td><td style='text-align: center; word-wrap: break-word;'>155.15</td><td style='text-align: center; word-wrap: break-word;'>34.99</td><td style='text-align: center; word-wrap: break-word;'>132.88</td><td style='text-align: center; word-wrap: break-word;'>251.34</td><td style='text-align: center; word-wrap: break-word;'>0.87</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{temporal}$</td><td style='text-align: center; word-wrap: break-word;'>15.37</td><td style='text-align: center; word-wrap: break-word;'>126.75</td><td style='text-align: center; word-wrap: break-word;'>15.25</td><td style='text-align: center; word-wrap: break-word;'>137.32</td><td style='text-align: center; word-wrap: break-word;'>34.81</td><td style='text-align: center; word-wrap: break-word;'>117.26</td><td style='text-align: center; word-wrap: break-word;'>229.23</td><td style='text-align: center; word-wrap: break-word;'>0.88</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{penetration}$</td><td style='text-align: center; word-wrap: break-word;'>15.27</td><td style='text-align: center; word-wrap: break-word;'>126.71</td><td style='text-align: center; word-wrap: break-word;'>15.15</td><td style='text-align: center; word-wrap: break-word;'>137.23</td><td style='text-align: center; word-wrap: break-word;'>34.85</td><td style='text-align: center; word-wrap: break-word;'>117.28</td><td style='text-align: center; word-wrap: break-word;'>228.77</td><td style='text-align: center; word-wrap: break-word;'>0.88</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o Opt.</td><td style='text-align: center; word-wrap: break-word;'>15.25</td><td style='text-align: center; word-wrap: break-word;'>142.32</td><td style='text-align: center; word-wrap: break-word;'>15.18</td><td style='text-align: center; word-wrap: break-word;'>153.36</td><td style='text-align: center; word-wrap: break-word;'>35.00</td><td style='text-align: center; word-wrap: break-word;'>128.39</td><td style='text-align: center; word-wrap: break-word;'>245.52</td><td style='text-align: center; word-wrap: break-word;'>0.78</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoGrasp</td><td style='text-align: center; word-wrap: break-word;'>14.33</td><td style='text-align: center; word-wrap: break-word;'>124.69</td><td style='text-align: center; word-wrap: break-word;'>14.17</td><td style='text-align: center; word-wrap: break-word;'>135.80</td><td style='text-align: center; word-wrap: break-word;'>34.87</td><td style='text-align: center; word-wrap: break-word;'>116.66</td><td style='text-align: center; word-wrap: break-word;'>235.53</td><td style='text-align: center; word-wrap: break-word;'>0.64</td></tr></table>

手部姿态消融实验：大多数变体在特定指标上均出现显著下降。例如，移除$\mathcal{L}_{contact}$会导致RTE和CD严重恶化，这凸显了其对精准翻译的重要性。缺少$\mathcal{L}_{temporal}$会使RRE显著增加，从而说明其对旋转一致性的关键作用。此外，$\mathcal{L}_{penetration}$能有效减少物理违规现象，这一点从移除它后PD指标的下降中可见一斑。虽然“w/o Opt.”模式能得到可接受的结果，这也验证了我们的HOI扩散模型强大的填充能力，但相较于完整的EgoGrasp模型，它在所有指标上的表现仍不尽如人意，由此证明测试时优化的必要性。尽管由于多重约束的平衡效应，EgoGrasp在个别指标上略逊一筹，但在整体指标上仍表现最佳。

## 5 结论

我们提出了EgoGrasp，这是首个能够从动态摄像头拍摄的以自我为中心的单目视频中重建世界空间手-物体交互（W-HOI）的方法。我们的多阶段框架整合了基于视觉基础模型的稳健预处理流程、用于手部估计的身体引导先验扩散模型，以及基于HOI扩散模型的无模板物体6DoF估计流程。EgoGrasp能够生成准确、符合物理规律且时间上连贯的W-HOI轨迹，这些轨迹不受单一物体和模板约束的限制。在H2O和HOI4D数据集上的实验表明，该方法在长距离运动及严重的手-物体遮挡情况下仍表现出优异的性能。展望未来，我们计划探索更精简的前馈架构来建模世界空间的人-物体交互，旨在减少对预处理环节的依赖，同时保持准确性和鲁棒性。

---

## 参考文献

[^1]: Bargatin, V., Chistov, E., Yakovenko, A., Vatolin, D.: Memfof: High-resolution training for memory-efficient multi-frame optical flow estimation. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 8187–8196 (2025)

[^2]: Boukhayma, A., Bem, R.d., Torr, P.H.: 3d hand shape and pose from images in the wild. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 10843–10852 (2019)

[^3]: Cao, Z., Radosavovic, I., Kanazawa, A., Malik, J.: Reconstructing hand-object interactions in the wild. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 12417–12426 (2021)

[^4]: Chen, Z., Potamias, R.A., Chen, S., Schmid, C.: Hort: Monocular hand-held objects reconstruction with transformers. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 6046–6057 (2025)

[^5]: Grady, P., Tang, C., Twigg, C.D., Vo, M., Brahmbhatt, S., Kemp, C.C.: Contac-topt: Optimizing contact to improve grasps. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1471–1481 (2021)

[^6]: Ho, J., Jain, A., Abbeel, P.: Denoising diffusion probabilistic models. Advances in neural information processing systems 33, 6840–6851 (2020)

[^7]: Jiang, H., Liu, S., Wang, J., Wang, X.: Hand-object contact consistency reasoning for human grasps generation. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 11107–11116 (2021)

[^8]: Kwon, T., Tekin, B., Stühmer, J., Bogo, F., Pollefeys, M.: H2o: Two hands manipulating objects for first person interaction recognition. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). pp. 10138–10148 (October 2021)

[^9]: Lee, J., Sung, M., Choi, H., Kim, T.K.: Im2hands: Learning attentive implicit representation of interacting two-hand shapes. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 21169–21178 (2023)

[^10]: Lee, T., Wen, B., Kang, M., Kang, G., Kweon, I.S., Yoon, K.J.: Any6d: Model-free 6d pose estimation of novel objects. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 11633–11643 (2025)

11. Li, B.：Mv-sam3d：自适应多视角3D重建。<https://github.com/devinli123/MV-SAM3D>（2025年），GitHub仓库，提交版本65b6a3e，访问日期：2026-03-04。

[^12]: Li, K., Li, P., Liu, T., Li, Y., Huang, S.: Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 6991–7003 (2025)

[^13]: Li, M., An, L., Zhang, H., Wu, L., Chen, F., Yu, T., Liu, Y.: Interacting attention graph for single image two-hand reconstruction. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 2761–2770 (2022)

[^14]: Li, M., Christen, S., Wan, C., Cai, Y., Liao, R., Sigal, L., Ma, S.: Latenthoi: On the generalizable hand object motion generation with latent hand diffusion. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 17416–17425 (2025)

## [^15]: Li, Z., Wang, G., Ji, X.: Cdpn: Coordinates-based disentangled pose network for real-time rgb-based 6-dof object pose estimation. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 7678–7687 (2019)

---

[^16]: Lin, H., Chen, S., Liew, J.H., Chen, D.Y., Li, Z., Shi, G., Feng, J., Kang, B.: Depth anything 3: Recovering the visual space from any views. arXiv preprint arXiv:2511.10647 (2025)

[^17]: Liu, R., Ohkawa, T., Zhang, M., Sato, Y.: Single-to-dual-view adaptation for egocentric 3d hand pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 677–686 (2024)

[^18]: Liu, S., Jiang, H., Xu, J., Liu, S., Wang, X.: Semi-supervised 3d hand-object poses estimation with interactions in time. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 14687–14697 (2021)

[^19]: Liu, Y., Liu, Y., Jiang, C., Lyu, K., Wan, W., Shen, H., Liang, B., Fu, Z., Wang, H., Yi, L.: Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 21013–21022 (June 2022)

[^20]: Luo, H., Feng, Y., Zhang, W., Zheng, S., Wang, Y., Yuan, H., Liu, J., Xu, C., Jin, Q., Lu, Z.: Being-h0: vision-language-action pretraining from large-scale human videos. arXiv preprint arXiv:2507.15597 (2025)

[^21]: Lv, X., Xu, L., Yan, Y., Jin, X., Xu, C., Wu, S., Liu, Y., Li, L., Bi, M., Zeng, W., et al.: Himo: A new benchmark for full-body human interacting with multiple objects. In: European Conference on Computer Vision. pp. 300–318. Springer (2024)

[^22]: Mahmood, N., Ghorbani, N., Troje, N.F., Pons-Moll, G., Black, M.J.: AMASS: Archive of motion capture as surface shapes. In: International Conference on Computer Vision. pp. 5442–5451 (Oct 2019)

[^23]: Mason, I., Starke, S., Komura, T.: Real-time style modelling of human locomotion via feature-wise transformations and local motion phases. Proceedings of the ACM on Computer Graphics and Interactive Techniques 5(1), 1–18 (2022)

[^24]: Ohkawa, T., He, K., Sener, F., Hodan, T., Tran, L., Keskin, C.: Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 12999–13008 (2023)

[^25]: Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Osman, A.A., Tzionas, D., Black, M.J.: Expressive body capture: 3d hands, face, and body from a single image. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 10975–10985 (2019)

[^26]: Potamias, R.A., Zhang, J., Deng, J., Zafeiriou, S.: Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 12242–12254 (2025)

[^27]: Prakash, A., Tu, R., Chang, M., Gupta, S.: 3d hand pose estimation in everyday egocentric images. In: European Conference on Computer Vision. pp. 183–202. Springer (2024)

[^28]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia) 36(6) (Nov 2017)

[^29]: Song, J., Meng, C., Ermon, S.: Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502 (2020)

## [^30]: Su, Y., Saleh, M., Fetzer, T., Rambach, J., Navab, N., Busam, B., Stricker, D., Tombari, F.: Zebrapose: Coarse to fine surface encoding for 6dof object pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 6738–6748 (2022)

---

31. Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.：GRAB：一个关于人体抓取物体的全身数据集。载于：欧洲计算机视觉会议（ECCV）（2020年），<https://grab.is.tue.mpg.de>。

32. Team, S.D., Chen, X., Chu, F.J., Glieze, P., Liang, K.J., Sax, A., Tang, H., Wang, W., Guo, M., Hardin, T., Li, X., Lin, A., Liu, J., Ma, Z., Sagar, A., Song, B., Wang, X., Yang, J., Zhang, B., Dollár, P., Gkioxari, G., Feiszli, M., Malik, J.：Sam 3d：图像中的任意3D物体重建（2025年），<https://arxiv.org/abs/2511.16624>。

[^33]: Wang, R., Zuo, L., Lin, Z., Wang, Q., Cheng, Z., Xie, R., Ling, J., Song, L.: Pa-hoi: A physics-aware human and object interaction dataset. In: Proceedings of the 33rd ACM International Conference on Multimedia. pp. 12769–12775 (2025)

[^34]: Wang, W., Pan, L., Pi, H., Lou, Y., Ren, X., Wu, Y., Liao, Z., Yang, L., Dabal, R., Theobalt, C., et al.: Embodmocap: In-the-wild 4d human-scene reconstruction for embodied agents. arXiv preprint arXiv:2602.23205 (2026)

[^35]: Wen, B., Tremblay, J., Blukis, V., Tyree, S., Müller, T., Evans, A., Fox, D., Kautz, J., Birchfield, S.: Bundlesdf: Neural 6-dof tracking and 3d reconstruction of unknown objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 606–617 (2023)

[^36]: Wen, B., Yang, W., Kautz, J., Birchfield, S.: Foundationpose: Unified 6d pose estimation and tracking of novel objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 17868–17879 (2024)

[^37]: Wen, Y., Pan, H., Yang, L., Pan, J., Komura, T., Wang, W.: Hierarchical temporal transformer for 3d hand pose estimation and action recognition from egocentric rgb videos. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 21243–21253 (2023)

[^38]: Yang, R., Yu, Q., Wu, Y., Yan, R., Li, B., Cheng, A.C., Zou, X., Fang, Y., Cheng, X., Qiu, R.Z., et al.: Egovla: Learning vision-language-action models from egocentric human videos. arXiv preprint arXiv:2507.12440 (2025)

[^39]: Ye, Y., Gupta, A., Kitani, K., Tulsiani, S.: G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1911–1920 (2024)

[^40]: Ye, Y., Hebbar, P., Gupta, A., Tuliani, S.: Diffusion-guided reconstruction of everyday hand-object interaction clips. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 19717–19728 (2023)

[^41]: Yi, B., Ye, V., Zheng, M., Li, Y., Müller, L., Pavlakos, G., Ma, Y., Malik, J., Kanazawa, A.: Estimating body and hand motion in an ego-sensed world. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 7072-7084 (2025)

[^42]: Yu, Z., Zafeiriou, S., Birdal, T.: Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 27716–27726 (2025)

[^43]: Zhang, J., Deng, J., Ma, C., Potamias, R.A.: Hawor: World-space hand motion reconstruction from egocentric videos. In: Proceedings of the Computer Vision and Pattern Recognition Conference. pp. 1805–1815 (2025)

[^44]: Zhang, J., Huang, W., Peng, B., Wu, M., Hu, F., Chen, Z., Zhao, B., Dong, H.: Omni6dpose: A benchmark and model for universal 6d object pose estimation and tracking. In: European Conference on Computer Vision. pp. 199–216. Springer (2024)

## [^45]: Zhang, S., Bhatnagar, B.L., Xu, Y., Winkler, A., Kadlecek, P., Tang, S., Bogo, F.: Rohm: Robust human motion reconstruction via diffusion. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 14606–14617 (2024)

---

## A 变换

图6展示了由EgoGrasp生成的上半身SMPL-X网格，以及三个坐标系的可视化结果：左手腕、右手腕和CPF。这些坐标系之间的刚性变换被用作身体扩散模型和SMPL-X测试时优化的条件与输入，从而引导EgoGrasp合成与以自我为中心的视角先验相一致的上半身姿态。图中还显示了物体坐标；需要注意的是，HOI扩散模型会在手腕坐标系中填充物体6DoF信息，之后便可将其转换为CPF坐标系下的坐标。

![Image](images/43a788ff4f7d353db5897c31d6d0cd6cdd06e0baf4c6dc14f96684ed7cb973ec.jpg)

<div style="text-align: center;">Fig. 6: Transformations visualization. The coordinate axes in the figure represent the corresponding coordinate system transformations.</div>

### B 6DoF跟踪与HOI扩散填充

本注释描述了主论文中的第3步（物体重建）。设视频包含帧$t = 1, \ldots, T$，对应的RGB图像为$I_t$，深度图为$D_t$，相机内参为$K_t \in \mathbb{R}^{3 \times 3}$，SAM2物体掩码为$S_t \subset \Omega$，其中$\Omega$表示图像域。物体在相机坐标系中的姿态为

 $$ T_{t}^{o\to c}=\left[\begin{matrix}{R_{t}\mathbf{t}_{t}}\\ {\mathbf{0}^{\top}\mathbf{\Theta}\mathbf{1}}\\ \end{matrix}\right]\in S E(3), $$

其中$R_t \in SO(3)$和$\mathbf{t}_t \in \mathbb{R}^3$。

锚定帧重建。选择一个锚定帧，它提供图像$I_t$、掩码$S_t$以及掩码点图$\mathbf{P}_t$。这些观测数据被输入到SAM3D中，输出规范网格$\mathbf{M}$、锚定帧位姿以及网格缩放比例$\mathbf{s}$。随后我们使用缩放后的网格$\mathbf{M}_s$。

通过MEMFOF和PnP进行姿态传播。从锚定姿态出发，对采样帧执行6自由度跟踪，再将其插值到整个视频中。设$F_{t \to t+1} : \Omega \to \mathbb{R}^2$表示由MEMFOF预测的从帧t到帧$t+1$的光流。给定当前姿态$T_t^{o \to c}$，在$\{\mathbf{X}_i\}$上采样表面点$\mathbf{M}_s$，将其投影到帧t，仅保留那些落在$S_t$内的点。随后，光流会将每个可见点传输到下一帧。

 $$ \mathbf{x}_{i}^{t}=R_{t}\mathbf{X}_{i}+\mathbf{t}_{t},\qquad\mathbf{u}_{i}^{t}=\pi_{K_{t}}(\mathbf{x}_{i}^{t}),\qquad\tilde{\mathbf{u}}_{i}^{t+1}=\mathbf{u}_{i}^{t}+F_{t\to t+1}(\mathbf{u}_{i}^{t}). $$

其中$\pi_{K_t}(\cdot)$表示在内参$K_t$下的标准透视投影。由此得到候选的2D-3D对应关系：

 $$ \mathcal{C}_{t\to t+1}=\left\{\left(\mathbf{X}_{i},\tilde{\mathbf{u}}_{i}^{t+1}\right)\right\}. $$

---

随后通过RANSAC-PnP估计下一个位姿，再进行精细化处理：

 $$ T_{t+1}^{o\rightarrow c}=\arg\min_{T\in S E(3)}\sum_{i\in\mathcal{I}_{t+1}}\left\|\pi_{K_{t+1}}(T\mathbf{X}_{i})-\tilde{\mathbf{u}}_{i}^{t+1}\right\|_{2}^{2}, $$

其中$\mathcal{I}_{t+1}$用于索引2D-3D对应关系。从锚定点向前后传播即可获得所有帧的位姿。

掩码IoU可靠性评估。对每一帧，将当前网格栅格化为二值掩码，再通过手部掩码$H_{t}$去除被手部遮挡的像素。

 $$ \widehat{S}_{t}=\mathcal{R}(\mathbf{M_{s}},T_{t}^{o\to c},K_{t}),\qquad\widehat{S}_{t}^{\mathrm{v i s}}=\widehat{S}_{t}\setminus H_{t}, $$

其中$\mathcal{R}(\cdot)$表示三角形栅格化过程。可靠性评分即为$S_t$与$\widehat{S}_t^{\text{vis}}$之间的掩码IoU。若位姿不可用或物体掩码为空，则设定$\gamma_t = 0$。给定阈值$\tau_{\text{IoU}}$后，可信帧指示符为

 $$ m_{t}=\mathbb{1}\left[\gamma_{t}\geq\tau_{\mathrm{I o U}}\right]. $$

设$(\mathbf{r}_t^{\text{raw}}, \mathbf{u}_t^{\text{raw}})$表示扩散表示下的原始位姿，其中$\mathbf{r}_t$为6D旋转表示，$\mathbf{u}_t$为平移量。经过滤波后的6自由度数据为

 $$ \mathbf{r}_{t}^{\mathrm{filtered}}=\left\{\begin{matrix}\mathbf{r}_{t}^{\mathrm{raw}},&m_{t}=1,\\ \mathbf{0},&m_{t}=0,\end{matrix}\right.\quad\mathbf{u}_{t}^{\mathrm{filtered}}=\left\{\begin{matrix}\mathbf{u}_{t}^{\mathrm{raw}},&m_{t}=1,\\ \mathbf{0},&m_{t}=0.\end{matrix}\right. $$

与HOI扩散模型的交互。HOI扩散模型同时接收运动假设和经过IoU过滤的可信分支数据。设$g_t \in \{L, R, \emptyset\}$表示通过手物距离粗略计算得到的抓取标签，其中$g_t = \emptyset$意味着没有活跃的抓取行为。仅当可信度和抓取有效性均满足时，才会提供可信的6自由度条件$\tilde{\mathbf{o}}_t^{\text{cond}}$，否则用0填充。在HOI扩散采样过程中，仅在不可信的抓取帧上预测轨迹：

 $$ \Omega_{\mathrm{p r e d}}=\left\{t\mid g_{t}\neq\varnothing,m_{t}=0\right\}. $$

因此，IoU过滤器决定了哪些帧充当硬锚点，哪些帧则由HOI先验进行修正或补全。

 $$ \begin{aligned}SAM3D&\longrightarrow MEMFOF+PnP\longrightarrow interpolation\\&\longrightarrow mask-IoU~filtering\longrightarrow HOI~diffusion\end{aligned} $$

关键设计在于保持时间传播过程的保守性和几何驱动特性，仅在轨迹被标记为不可信且存在抓取行为时才调用生成式先验。

总结。算法1概述了完整的Step-3流程。首先通过SAM3D重建规范网格和锚定位姿，并应用预测的网格缩放比例。接着利用MEMFOF生成的对应关系及RANSAC-PnP在采样帧上传播位姿。接下来，将各帧中的位姿网格栅格化，以计算考虑手部因素的掩码IoU可靠性评分，该评分用于确定

---

```pseudo
// Algorithm 1: SAM3D-MEMFOF Tracking with HOI Diffusion Infilling

Require: $\{I_t, D_t, K_t, S_t, \mathbf{P}_t, H_t, g_t\}_{t=1}^T, \tau_{\text{IoU}}, \text{HOI context} \mathbf{c}_{\text{HOI}}^{1:T}$

Ensure: Raw poses $\{T_t\}_{t=1}^T$, trusted branch $\{\mathbf{o}_{t}^{trusted}\}_{t=1}^T$, completed poses $\{\widehat{\mathbf{o}}_t\}_{t=1}^T$

1: Select anchor a, support views $\mathcal{V}_a$

2: $(\mathbf{M}_s, T_a) \leftarrow \text{SAM3D}(\{I_t, S_t, \mathbf{P}_t\})$

3: for each sampled edge $(t, t')$ in the forward/backward pass from a do

4: $F_{t \to t'} \leftarrow \text{MEMFOF}(t \to t')$

5: $\mathcal{C}_{t \to t'} \leftarrow \text{FlowCorr}(\mathbf{M}_s, T_t, K_t, S_t, F_{t \to t'}, S_t', H_t')$

6: $T_t' \leftarrow \text{PnP}(\mathcal{C}_{t \to t'}, K_t')$

7: end for

8: for $t = 1$ to T do

9: $\widehat{S}_{t}^{\text{vis}} \leftarrow \text{RenderMask}(\mathbf{M}_s, T_t, K_t) \setminus H_t$

10: $\gamma_t \leftarrow \text{IoU}(S_t, \widehat{S}_{t}^{\text{vis}})$, $m_t \leftarrow \mathbb{1}[\gamma_t \geq \tau_{\text{IoU}}]$

11: $\mathbf{o}_{t}^{\text{filtered}} \leftarrow m_t \mathbf{o}_{t}^{\text{raw}}$, $\widetilde{\mathbf{o}}_{t}^{\text{cond}} \leftarrow \mathbb{1}[m_t = 1 \land g_t \neq \emptyset] \mathbf{o}_{t}^{\text{filtered}}$

12: end for

13: $\Omega_{\text{pred}} \leftarrow \{t \mid g_t \neq \emptyset, m_t = 0\}$

14: $\{\widehat{\mathbf{o}}_t\}_{t=1}^T \leftarrow \text{HOIDiffusion}(\{\mathbf{o}_{t}^{\text{filtered}}\}_{t=1}^T, \{\widetilde{\mathbf{o}}_t^{\text{cond}}\}_{t=1}^T, \mathbf{c}_{\text{HOI}}^{1:T}, \Omega_{\text{pred}})$

15: return $\{T_t\}_{t=1}^T, \{\mathbf{o}_{t}^{\text{filtered}}\}_{t=1}^T, \{\widehat{\mathbf{o}}_t\}_{t=1}^T$

```

可信帧指示符。原始位姿被转换为扩散表示，据此构建滤波后的6自由度数据及基于抓取条件的调控信号。最终，HOI扩散仅在不可信的抓取帧上进行预测，而可信帧则保持为锚点不变。

此处，FlowCorr(·)表示基于流的二维到三维对应关系构建，RenderMask(·)表示网格光栅化，IoU(·)表示可靠性计算，HOLDiffusion(·)表示不可信的6自由度填补。

### C 多物体推理循环

图7和算法2描述了我们的解耦式多物体人-物交互估计流程。该流程的目标是在长度为T的时间窗口内，恢复时间上连贯的上半身运动，以及所有交互物体的物理上合理的6自由度参数。该方法分为两个阶段：首先由身体扩散模型W推断人体运动，随后HOI扩散模型H根据恢复出的人体运动来优化每个物体的轨迹。这种拆分方式避免了在单一模型中耦合身体姿态生成与物体姿态生成过程。

![Image](images/5649755e068973766066408720f4bb96e5112d4bd129aec4f6bc1311b4f88a8e.jpg)

<div style="text-align: center;">Fig. 7: Overall algorithm of diffusion inference loop: (1) Body denoising (2) 6DoF denoising.</div>

---

```pseudo
// Algorithm 2: Multi-Object Inference Loop

Require: $\mathcal{W}, \mathcal{H}, \mathbf{c}^{1:T}, \mathbf{m}_{j}^{1:T}, \mathbf{o}_{filtered,j}^{1:T}, \mathbf{M}_{j}$, initial states $\widehat{\mathbf{z}}_{t_{d}}^{1:T}, \{\widehat{\mathbf{o}}_{j,t_{d}}^{1:T}\}_{j=1}^{J}$

Ensure: Refined SMPLX Poses $\mathbf{z}_{0}^{1:T}$ and 6DoF $\{\widehat{\mathbf{o}}_{j,0}^{1:T}\}_{j=1}^{J}$

1: for $t_{d}=200,199,\ldots,0$ do
2: $\widehat{\mathbf{z}}_{t_{d}-1}^{1:T}\leftarrow\mathcal{W}(\widehat{\mathbf{z}}_{t_{d}}^{1:T},\mathbf{c}^{1:T},t_{d})$
3: end for
4: $\widehat{\mathbf{z}}_{t_{0}}^{1:T}\leftarrow\text{SMPLXTestTimeOpt}(\widehat{\mathbf{z}}_{t_{0}}^{1:T})$
5: for $j=1$ to J do
6: for $t_{d}=200,199,\ldots,0$ do
7: $\widehat{\mathbf{o}}_{j,t_{d}-1}^{1:T}\leftarrow\mathcal{H}(\widehat{\mathbf{o}}_{j,t_{d}}^{1:T},\widehat{\mathbf{m}}_{j}^{1:T},\mathbf{o}_{filtered,j}^{1:T},t_{d})$
8: end for
9: $\widehat{\mathbf{o}}_{j,0}^{1:T}\leftarrow\text{ObjectTestTimeOpt}(\widehat{\mathbf{o}}_{j,0}^{1:T},\widehat{\mathbf{z}}_{0}^{1:T},\mathbf{M}_{j})$
10: end for
11: return $\widehat{\mathbf{z}}_{0}^{1:T},\{\widehat{\mathbf{o}}_{j,0}^{1:T}\}_{j=1}^{J}$

```

同时还能让物体推理从强人体运动先验中获益。

更具体地说，第一阶段作用于潜在身体姿态变量$\widehat{z}_{t_d}^{1:T}$，其中$t_d$表示扩散时间步，1:T表示完整时间序列。算法从最大扩散时间步的初始噪声状态出发，迭代应用身体扩散模型，直至得到最终的去噪后身体估计结果。

 $$ \widehat{\mathbf{z}}_{t_{d}-1}^{1:T}\leftarrow\mathcal{W}\left(\widehat{\mathbf{z}}_{t_{d}}^{1:T},\mathbf{c}^{1:T},t_{d}\right), $$

此处，$\mathbf{c}^{1:T}$表示从中央瞳孔帧（CPF）运动中提取的条件特征，它们为身体重建提供了以自我为中心的时序线索。直观而言，这一阶段会生成全局一致的上半身运动，既能解释观测到的自身运动，又符合已学习到的人体运动模式。扩散采样循环结束后，还会进行测试时的优化步骤来进一步细化身体参数，详见第D节说明。

一旦身体运动被估计出来，第二阶段便逐个推断物体运动。对于每个物体索引$j \in \{1, \ldots, J\}$，算法从初始的噪声物体轨迹$\widehat{\mathbf{o}}_{j,t_d}^{1:T}$出发，在物体特定观测数据和身体运动的双重条件下进行迭代去噪：

 $$ \begin{array}{r}{\widehat{\mathbf{o}}_{j,t_{d}-1}^{1:T}\leftarrow\mathcal{H}\left(\widehat{\mathbf{o}}_{j,t_{d}}^{1:T},\mathbf{m}_{j}^{1:T},\mathbf{o}_{\mathrm{f i l t e r e d},j}^{1:T},t_{d}\right).}\end{array} $$

此处，$\mathbf{o}_{filtered,j}^{1:T}$表示预处理得到的可靠物体6自由度估计值，$\mathbf{m}_{j}^{1:T}$表示物体条件特征，它编码了过滤后的物体观测数据、粗略的物体平移信息、抓取状态，以及从身体预测结果中提取的手部运动线索。因此，$\mathcal{H}$并非仅依据物体检测结果来推断物体运动，而是利用部分物体观测数据和预测的身体运动来补全并规整物体轨迹。

算法2的一个关键特性是：通过将物体循环置于HOI扩散模型之外来处理多物体交互问题。身体序列为

---

该序列仅被推断一次，随后便在所有物体间共享；而每个物体的轨迹则根据其自身的观测数据和网格几何结构$\mathbf{M}_j$独立生成。这种设计为整个交互序列保留了统一且时间上一致的人体运动解释。而且它无需重新训练联合多物体生成器，便能自然适配数量可变的物体。最终输出为优化后的身体运动$\widehat{\mathbf{z}}_0^{1:T}$以及优化后的物体6自由度数据$\{\widehat{\mathbf{o}}_{j,0}^{1:T}\}_{j=1}^T$。

从概率论的角度来看，该算法可被理解为一种顺序条件生成过程：

 $$ \begin{array}{r l}&{p\big(\widehat{\mathbf{z}}_{0}^{1:T},\big\{\widehat{\mathbf{o}}_{j,0}^{1:T}\big\}_{j=1}^{J}\;\big|\;\mathbf{c}^{1:T},\big\{\mathbf{m}_{j}^{1:T}\big\}_{j=1}^{J},\big\{\mathbf{o}_{\mathrm{f i l t e r e d},j}^{1:T}\big\}_{j=1}^{J}\big)}\\ &{\approx p\big(\widehat{\mathbf{z}}_{0}^{1:T}\;|\;\mathbf{c}^{1:T}\big)\prod_{j=1}^{J}p\big(\widehat{\mathbf{o}}_{j,0}^{1:T}\;{\big|}\;\widehat{\mathbf{z}}_{0}^{1:T},\mathbf{m}_{j}^{1:T},\mathbf{o}_{\mathrm{f i l t e r e d},j}^{1:T}\big).}\end{array} $$

这种分解方式凸显了恢复后的身体运动作为中间表示的作用：HOI扩散模型利用身体运动作为强先验，以解决物体运动的歧义性问题。因此，即使物体观测数据稀疏、含噪或部分缺失，该方法仍能实现时间上完整且物理上合理的重建。

## D 测试时优化

### D.1 SMPL-X 测试时优化

根据身体扩散模型的预测结果，我们通过求解来优化上半身SMPL-X参数。

 $$ \theta_{\mathrm{h u m a n}}^{\star}=\arg\operatorname*{m i n}_{\theta_{\mathrm{h u m a n}}}\mathcal{L}_{\mathrm{h u m a n}}, $$

其中

 $$ \begin{array}{r}{\varTheta_{\mathrm{h u m a n}}=\big\{\theta_{t}^{L},\;\theta_{t}^{R},\;\theta_{t}^{\mathrm{s u b}}\big\}_{t=1}^{T}\cup\{\beta\}.}\end{array} $$

此处，$\theta_t^L$ 和 $\theta_t^R$ 分别表示左手和右手的姿态，$\theta_t^{\text{sub}}$ 表示经过优化的SMPL-X上半身姿态子集，而 $\beta$ 是一个序列共享的形状参数。优化后的上半身参数会被重新插入到完整的SMPL-X姿态中，其余身体参数则设为零。全局方向和平移由CPF和身体姿态计算得出。目标函数为：

 $$ \mathcal{L}_{\mathrm{h u m a n}}=\lambda_{\mathrm{b o d y}}\mathcal{L}_{\mathrm{b o d y}}+\lambda_{\mathrm{p o s e}}\mathcal{L}_{\mathrm{p o s e}}+\lambda_{\mathrm{k p}2\mathrm{d}}\mathcal{L}_{\mathrm{k p}2\mathrm{d}}+\lambda_{\mathrm{w r i s t}}\mathcal{L}_{\mathrm{w r i s t}}. $$

为简洁起见，avg表示对有对应监督信息的帧、手部或关节取平均值。

(1) 姿态锚点损失 $\mathcal{L}_{\text{body}}$。设 $\hat{\theta}_t^L$、$\hat{\theta}_t^R$ 和 $\hat{\theta}_t^{\text{sub}}$ 为优化前的身体扩散模型预测结果。我们使用：

 $$ \mathcal{L}_{\mathrm{b o d y}}=\underset{t}{\mathrm{a v g}}\Big(\|\theta_{t}^{\mathrm{s u b}}-\hat{\theta}_{t}^{\mathrm{s u b}}\|_{2}^{2}+\|\theta_{t}^{L}-\hat{\theta}_{t}^{L}\|_{2}^{2}+\|\theta_{t}^{R}-\hat{\theta}_{t}^{R}\|_{2}^{2}\Big). $$

该项使优化后的身体结构贴近身体扩散模型的预测结果，防止出现过度偏移。

---

(2) 手部姿态损失 $\mathcal{L}_{\text{pose}}$。当存在WiLoR手部姿态估计值 $\tilde{\theta}_t^L$ 和 $\tilde{\theta}_t^R$ 时，我们将优化后的SMPL-X手部姿态与之对齐：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{p o s e}}=\underset{t}{\mathrm{a v g}}\|\theta_{t}^{L}-\tilde{\theta}_{t}^{L}\|_{2}^{2}+\underset{t}{\mathrm{a v g}}\|\theta_{t}^{R}-\tilde{\theta}_{t}^{R}\|_{2}^{2}.}\end{array} $$

该项将手部关节运动规范为与WiLoR重建结果一致，同时保留上半身的运动学一致性。

(3) 手部2D关键点损失 $\mathcal{L}_{\mathrm{kp2d}}$。设 $\mathbf{J}_{t,j}^{\mathrm{SMPLX}}$ 和 $\mathbf{J}_{t,j}^{\mathrm{WiLoR}}$ 分别为帧t下CPF中关节j对应的SMPL-X和WiLoR手部关节，$\pi_{K_t}(\cdot)$ 表示在相机内参 $K_t$ 下的透视投影。记可共同可见的手部关节集合为 $\mathcal{V}$，我们定义：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{k p2d}}=\mathop{\mathrm{a v g}}_{(t,j)\in\mathcal{V}}\left\|\pi_{K_{t}}\bigl(\mathbf{J}_{t,j}^{\mathrm{S M P L X}}\bigr)-\pi_{K_{t}}\bigl(\mathbf{J}_{t,j}^{\mathrm{W i L o R}}\bigr)\right\|_{2}^{2}.}\end{array} $$

该项无需优化后的3D身体模型与WiLoR几何形状完全一致，即可保证图像空间的一致性。

(4) 手腕损失 $\mathcal{L}_{\text{wrist}}$。为了在CPF中保证手腕的6自由度一致性，我们结合位置约束和旋转约束：

 $$ \mathcal{L}_{\mathrm{wrist}}=\mathcal{L}_{\mathrm{wrist}}^{\mathrm{pos}}+\mathcal{L}_{\mathrm{wrist}}^{\mathrm{rot}}. $$

设 $\mathbf{w}_t^h$ 和 $\tilde{\mathbf{w}}_t^h$ 分别为手 $h \in \{L, R\}$ 在CPF中的SMPL-X和WiLoR手腕位置。位置项为：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{w r i s t}}^{\mathrm{p o s}}=\operatorname{a v g}\big\lVert\mathbf{w}_{t}^{h}-\tilde{\mathbf{w}}_{t}^{h}\big\rVert_{2}^{2}.}\end{array} $$

对于方向而言，设 $R_{t,w \to cpf}^h \in SO(3)$ 为当前SMPL-X运动链引起的手腕到CPF的旋转，$\tilde{R}_{t,w \to cpf}^h$ 为源自WiLoR的对应旋转。旋转项为：

 $$ d_{R}(R_{1},R_{2})=\big\|\log\big(R_{1}R_{2}^{\top}\big)\big\|_{2},\quad\mathcal{L}_{\mathrm{w r i s t}}^{\mathrm{r o t}}=\mathop{\mathrm{a v g}}_{t,h}d_{R}\Big(R_{t,w\to c p f}^{h},\tilde{R}_{t,w\to c p f}^{h}\Big). $$

这些项共同作用，既能促进物理上合理的手腕运动，又能与手部重建结果保持一致。

### D.2 物体测试时优化

在测试阶段，我们对CPF中每帧的物体6自由度姿态进行轻量级的、完全可微的优化。对于帧t，设

 $$ T_{t}^{c p f\to o b j}=\left(R_{t}^{c p f\to o b j},\mathbf{t}_{t}^{c p f\to o b j}\right) $$

表示物体姿态，其逆姿态为

 $$ T_{t}^{o b j\to c p f}=\left(R_{t}^{o b j\to c p f},\mathbf{u}_{t}^{o b j\to c p f}\right)=\left(T_{t}^{c p f\to o b j}\right)^{-1}. $$

---

每个物体通过求解独立优化。

 $$ \begin{array}{r l r}{\varTheta_{\mathrm{o b j}}^{\star}=\arg\underset{\varTheta_{\mathrm{o b j}}}{\operatorname*{m i n}}\mathcal{L}_{\mathrm{o b j e c t}},}&{{}}&{\varTheta_{\mathrm{o b j}}=\left\{T_{t}^{c p f\to o b j}\right\}_{t=1}^{T}.}\end{array} $$

目标函数为

 $$ \begin{aligned}\mathcal{L}_{object}&=\lambda_{obj}\mathcal{L}_{obj}+\lambda_{contact}\mathcal{L}_{contact}\\&\quad+\lambda_{penetration}\mathcal{L}_{penetration}+\lambda_{temporal}\mathcal{L}_{temporal}.\end{aligned} $$

其中

 $$ \mathcal{L}_{\mathrm{c o n t a c t}}=\mathcal{L}_{\mathrm{c o n t a c t}}^{\mathrm{p r o x}}+\mathcal{L}_{\mathrm{c o n t a c t}}^{\mathrm{n o s l i p}}. $$

因此，与主论文中的表述一致，接触项结合了表面邻近项和无滑移项。同样，avg表示对相应量有定义的索引进行平均。

为了测量物体与表面的邻近程度，设$V_O$为物体局部坐标系中的物体网格顶点，并定义最近邻距离代理量：

 $$ \tilde{d}_{\mathcal{O}}(\mathbf{x})=\operatorname*{m i n}_{\mathbf{v}\in\mathcal{V}_{\mathcal{O}}}\|\mathbf{x}-\mathbf{v}\|_{2}. $$

(1) 物体锚点损失$\mathcal{L}_{\mathrm{obj}}$。设

 $$ T_{t}^{o b j\to c p f,(0)}=\left(R_{t}^{o b j\to c p f,(0)},\mathbf{u}_{t}^{o b j\to c p f,(0)}\right) $$

为HOI Diffusion模型在细化前的预测结果。我们将细化后的物体姿态向这一初始值进行正则化：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{o b j}}=\underset{t}{\mathrm{a v g}}\Big(d_{R}\Big(R_{t}^{o b j\to c p f},R_{t}^{o b j\to c p f,(0)}\Big)^{2}+\Big\|\mathbf{u}_{t}^{o b j\to c p f}-\mathbf{u}_{t}^{o b j\to c p f,(0)}\Big\|_{2}^{2}\Big).}\end{array} $$

该项可防止姿态偏离HOI Diffusion预测结果过多。

## (2) 接触损失$\mathcal{L}_{\text{contact}}$

表面邻近性。设$P_{t}$为抓取手在时刻t的掌心采样点集合。邻近项会促使这些采样点保持在距物体表面$d_{0}$的目标距离附近：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{c o n t a c t}}^{\mathrm{p r o x}}=\mathop{\mathrm{a v g}}_{t,\mathbf{p}\in\mathcal{P}_{t}}\Big[\tilde{d}_{\mathcal{O}}\Big(R_{t}^{c p f\to o b j}\mathbf{p}+\mathbf{t}_{t}^{c p f\to o b j}\Big)-d_{0}\Big]_{+}^{2},}\end{array} $$

其中[x]_{+} = \max(x, 0)。

无滑移接触一致性。设$\mathbf{h}_{t,i}^{cpf}$为抓取手在CPF中的第i个顶点，设

 $$ \mathbf{h}_{t,i}^{obj}=R_{t}^{cpf\rightarrow obj}\mathbf{h}_{t,i}^{cpf}+\mathbf{t}_{t}^{cpf\rightarrow obj} $$

为同一顶点在物体局部坐标系下的表示。对于时间窗口$k = 1, \ldots, K_{c}$，我们考虑具有相同抓取手的相邻帧，并对这些手顶点在物体局部坐标系下的运动进行惩罚：

 $$ \mathcal{L}_{\mathrm{c o n t a c t}}^{\mathrm{n o s l i p}}=\sum_{k=1}^{K_{c}}\mathrm{a v g}_{(t,t+k),i}w_{t,i}^{(k)}\left\|\frac{\mathbf{h}_{t+k,i}^{o b j}-\mathbf{h}_{t,i}^{o b j}}{k}\right\|_{2}^{2}, $$

---

其中$w_{t,i}^{(k)} \in [0,1]$是一个软接触权重，该权重随顶点靠近物体表面而增大。该项直接体现了接触处相对运动趋近于零的假设，并抑制不自然的滑动现象。

(3) 穿透损失$\mathcal{L}_{\text{penetration}}$。设$\mathcal{B}$表示来自双手的采样点。我们对那些超出物体表面安全边界$\delta$的点进行惩罚：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{p e n e t r a t i o n}}=\mathop{\mathrm{a v g}}_{t,\mathbf{q}\in\mathcal{B}}\Big[\delta-\tilde{d}_{\mathcal{O}}\Big(R_{t}^{c p f\to o b j}\mathbf{q}+\mathbf{t}_{t}^{c p f\to o b j}\Big)\Big]_{+}^{2}.}\end{array} $$

该项可避免非物理性的物体相互穿透现象。

(4) 时间损失$\mathcal{L}_{\text{temporal}}$。为了促使物体运动更加平滑，我们对逆姿态$T_t^{obj \to cpf}$的速度和加速度进行正则化。对于$k = 1, \ldots, K_s$，我们定义

 $$ \begin{aligned}\boldsymbol{\omega}_{t}^{(k)}&=\frac{1}{k}\log\left(R_{t+k}^{obj\rightarrow c p f}\left(R_{t}^{o b j\rightarrow c p f}\right)^{\top}\right),\quad\mathbf{v}_{t}^{(k)}=\frac{\mathbf{u}_{t+k}^{o b j\rightarrow c p f}-\mathbf{u}_{t}^{o b j\rightarrow c p f}}{k},\\\dot{\boldsymbol{\omega}}_{t}^{(k)}&=\frac{\boldsymbol{\omega}_{t+k}^{(k)}-\boldsymbol{\omega}_{t}^{(k)}}{k},\quad&\mathbf{a}_{t}^{(k)}&=\frac{\mathbf{v}_{t+k}^{(k)}-\mathbf{v}_{t}^{(k)}}{k}.\end{aligned} $$

时间损失随后表示为

 $$ \begin{align*} &\mathcal{L}_{temporal}=\sum_{k=1}^{K_{s}}\Big(\alpha_{v}\operatorname{avg}\limits_{t}\big(\|\boldsymbol{\omega}_{t}^{(k)}\|_{2}^{2}+\|\mathbf{v}_{t}^{(k)}\|_{2}^{2}\big)\\ &\qquad+\alpha_{a}\operatorname{avg}\limits_{t}\big(\|\dot{\boldsymbol{\omega}}_{t}^{(k)}\|_{2}^{2}+\|\mathbf{a}_{t}^{(k)}\|_{2}^{2}\big)\Big).\end{align*} $$

该项可抑制不稳定的旋转和平移变化，提升轨迹的平滑度。