# MagicHOI：利用3D先验从短单目视频片段中精确重建手与物体 王世博 $^{1}$ 何浩楠 $^{1}$ 玛丽亚·帕雷利 $^{3,\dagger}$ 克里斯托夫·格布哈特 $^{1}$ 范子聪 $^{3,4}$ 宋杰 $^{1,2}$ $^{1}$香港科技大学（广州） $^{2}$香港科技大学 $^{3}$瑞士苏黎世联邦理工学院 $^{4}$德国图宾根马克斯·普朗克智能系统研究所 ![Image](images/7b48fedc93a8ce587a6c6285830da076f7e43e55eee2980444aaf87f50721650.jpg)
Figure 1. MagicHOI: Given a short-form monocular video capturing hand-object interaction, our method reconstructs high-quality 3D hand and object surfaces, including occluded object regions caused by hand interaction or object self-occlusion. (a) Input images and corresponding reconstructed surfaces of the hand and object. (b, c) Comparison of our method with and without a novel view synthesis (NVS) prior from the object's front and back views, demonstrating improved reconstruction in occluded areas. Best viewed in color.
## 摘要 大多数基于RGB的手与物体重建方法都依赖物体模板，而无模板的方法通常假设物体完全可见。这一假设在现实场景中往往不成立：固定的摄像头视角和静态握持方式会导致物体部分区域无法被观测到，进而产生不合理的重建结果。为解决这一问题，我们提出了MagicHOI方法，即便在视角变化有限的情况下，也能从短单目交互视频中重建手与物体。我们的核心洞见是： 尽管成对的3D手与物体数据十分稀缺，但大规模新视角合成扩散模型能提供丰富的物体监督信息。这种监督可作为先验，用于约束手交互过程中不可见的物体区域。基于这一洞见，我们将新视角合成模型整合到手与物体重建框架中，并通过引入可见接触约束来实现手与物体的对齐。实验结果表明，MagicHOI的性能显著优于现有的最先进手与物体重建方法。我们还证实，新视角合成扩散先验能够有效约束不可见的物体区域，从而提升3D手与物体的重建效果。 --- ### 1. 引言 人类每天都会轻松地与各种各样的物体互动，且往往无需刻意思考。这些复杂的互动过程常被记录在随手拍摄的视频中，这类视频在互联网上随处可见（例如TikTok、Instagram Reels和YouTube Shorts上的产品评测视频）。此类视频为规模化获取机器人抓取相关的人类演示数据提供了宝贵资源[^8] [^88] [^89]。大规模重建3D手与物体交互的一个关键挑战在于：由于手部遮挡和物体自身遮挡，大多数互联网视频无法提供物体的完整、密集视图，尤其是当物体未被完全旋转时。这种不完整的观测会阻碍手与物体的精确重建（见图1）。 为解决这一挑战，我们提出了“部分可见手与物体重建”任务，其目标是从物体并非从所有角度完全可见的视频中重建3D手与物体的几何结构。具体而言，我们重点关注交互过程的短视频片段，因为这类片段中往往包含物体的未观测区域（例如从固定单目视角拍摄的拿起咖啡杯的动作）。 现有的手-物体重建方法通常依赖于预先扫描的3D物体模板[^3] [^9] [^15] [^40] [^71] [^79]，这限制了它们在现实场景中的可扩展性。虽然已有基于学习的新方法出现，但大多数方法仍依赖有限数量的配对3D手-物体标注进行监督训练，导致泛化能力较差[^23] [^31] [^82]。最近，利用体素渲染的方法在泛化到未见过的物体方面显示出潜力[^16] [^21] [^29]。然而，这些方法严重依赖RGB图像的监督信息，当物体部分被遮挡或仅部分可见时（见图4），便难以准确重建手和物体。 在本文中，我们提出了MagicHOI方法，旨在解决真实手-物体交互场景中视角受限及严重遮挡的问题。MagicHOI以单目视频为输入，即便在物体区域仅部分可见的短视频序列中，也能重建手和物体的3D表面。我们的核心见解在于：尽管3D手-物体标注数据有限，但诸如新视角合成（NVS）扩散模型等基础模型能提供丰富的物体监督信息[^39]。这种外部监督可作为先验，用于约束手-物体交互过程中未见或遮挡的物体区域。 具体而言，MagicHOI首先利用运动恢复结构（SFM）从输入视频中获取物体的初始相机位姿。一旦通过SFM校准了这些观测视角，我们便利用体素渲染技术，通过隐式有向距离场（SDF）来重建物体几何形状[^49] [^80]。为了对未观测区域进行约束，我们会采样新视角，并利用NVS扩散模型施加分数蒸馏采样损失[^39]。不过，随机采样新视角来强制应用先验可能会损害可见物体区域的重建质量。为解决这一问题，我们引入了一种考虑可见性的加权策略。最后，MagicHOI会将手和物体对齐到同一空间，同时纳入手-物体交互约束。 我们通过定性和定量实验证明：在部分可见的手-物体重建任务中，我们所提出的考虑可见性的加权策略与NVS扩散先验的结合，显著提升了手-物体重建质量，其性能超越了现有最先进的方法。为了凸显MagicHOI在复杂现实场景中的鲁棒性，我们还展示了它对于源自在线内容的短视频进行忠实重建的能力。 总之，我们的贡献如下：1）我们提出了MagicHOI，这一综合性框架能有效利用NVS扩散先验，从短单目视频序列中实现精确的3D手-物体重建，即便手和物体的部分区域不可见；2）我们证明了NVS模型可用于约束无模板的手-物体重建；3）我们提出了一种新颖的考虑可见性的加权采样策略，利用该先验来平衡观测区域与未观测区域之间的约束；4）我们通过定性和定量评估验证了该方法优于现有最先进方法，能够生成逼真的重建结果。我们的项目网站为：byran-wang.github.io/MagicHOI。 ### 2. 相关工作 手部姿态与形状恢复：三维手部重建是计算机视觉领域一个由来已久的问题，大多数方法都专注于单手重建[1, 5, 13, 17, 30, 35, 46, 48, 62–65, 75, 87, 90, 93, 94]。其中，Zimmermann等人[^94]提出了首个用于手部姿态估计的卷积网络。Spurr等人[^64]提出了生物力学约束条件，从而能够在自然场景图像上开展半监督学习。研究人员还探索了对比学习目标，用于在无标签的图像中学习手部的运动情况[^65] [^93]。随着Moon等人[^46]推出的InterHand2.6M数据集问世，交互式手部姿态估计研究迅速发展[13, 19, 32, 34, 35, 44–47, 50, 74]。例如，Tse等人[^74]提出了一种谱图变换器网络，用于估计两只强交互手部的表面。Pavlakos等人[^52]训练了一个视觉变换器，以实现在不受约束条件下的鲁棒单目手部姿态估计。Yu等人[^86]提出了Dyn-HaMR，该方法通过结合SLAM与学习到的手部运动先验，在全局坐标系下重建交互式手部姿态[^12]。 --- 用于空间对齐。与这些方法不同，我们专注于手部与物体的联合三维重建。 基于模板的手部-物体重建：手部与物体的交互重建极具挑战性，近年来受到了越来越多的关注[9, 18, 23–25, 38, 40, 71, 73, 79, 79, 92]。现有大多数方法都假设物体模板已知，仅估计手部与物体的姿态[^3] [^9] [^15] [^40] [^71] [^79]。例如，Yang等人[^79]引入了接触势场来改善手部与物体的接触效果。Liu等人[^40]提出了基于变换器的上下文推理模块，能够捕捉手部与物体特征之间的协同作用，从而在接触区域产生更强的响应。Zhou等人[^91]学习了交互运动先验，以优化来自单帧手部-物体重建方法的噪声运动估计。Fan等人[^14] [^15]提出了首个能够从RGB输入中联合重建两只灵巧手与可动物体的方法。尽管这些方法的姿态估计精度较高，但由于依赖已知的模板，它们在处理新物体和自然场景视频时仍面临困难。 无模板的手部-物体重建：近期的研究进展提出了更具通用性的技术[4, 6, 16, 23, 29, 55, 66, 78, 81–84]，这些技术融合了可微渲染、数据驱动的先验以及组合式隐式表示。然而，这些方法往往施加了一些限制条件，比如要求手部与物体之间发生刚性交互[^29] [^54]、需要多视角观测[^55]、类别级别的手部-物体监督[6, 23, 78, 81–84]，或是需要完整的物体观测[^16]。因此，它们在处理遮挡问题时表现不佳，在手部遮挡或自身遮挡的情况下会导致物体表面不完整。相比之下，我们的方法将三维先验与几何信息相结合，采用考虑可见性的加权策略，即便在极短的视频片段中，也能提升遮挡区域和可见区域的物体重建质量。 3D物体重建：从图像中重建物体一直是计算机视觉领域长期面临的挑战。运动恢复结构（SfM）[^22] [^59] [^67] [^72] 一直是一种稳健的解决方案，尤其适用于多视角重建和相机参数估计。然而，传统的SfM方法仅适用于物体在输入视图中完全可见或几乎不被遮挡的场景。为了解决被遮挡物体形状的重建问题，许多研究工作转向了基于学习的方法。这些方法利用大规模的3D物体数据集，如Objaverse [^11] 和 ObjaverseXL [^10]，包括回归方法 [^36]、检索方法 [^69]、扩散模型 [^37] [^39] [^41] [^43] [^53] [^61]，以及大规模重建模型 [^28] [^68] [^76] [^77]。尽管取得了进展，但标准的物体重建方法在处理手与物体交互的图像时表现不佳，原因在于手部遮挡。与之不同，MagicHOI能够从视频中同时重建手和物体。 ### 3. 方法：MagicHOI 图2展示了我们的方法MagicHOI的概览，该方法能从有限视角的RGB视频中重建手-物体交互。我们首先为每一帧初始化手和物体的姿态（第3.1节）。接着，我们将一种新颖的视图合成（NVS）模型集成到流程中，并将其坐标系与物体的坐标系对齐（第3.2节）。借助NVS模型，我们优化一个隐式有符号距离场（SDF），以规范那些未被直接观测到的物体区域的重建（第3.3节）。最后，我们利用可见的手-物体接触约束来将手与物体对齐（第3.4节）。 #### 3.1. 初始化 手部初始化：对于短视频片段中的每张图像 $I^{\text{obs}} \in \mathbb{R}^{3 \times H \times W}$，我们利用现成的手部姿态估计器 [^51] 来获取MANO [^56] 参数，这些参数包括手部姿态 $\theta \in \mathbb{R}^{45}$、形状 $\beta \in \mathbb{R}^{10}$、全局旋转 $\mathbf{R}_h \in \text{SO}(3)$ 和平移 $\mathbf{t}_h \in \mathbb{R}^3$。 物体初始化：遵循 [^16] 的做法，我们应用HLoc [^57] [^58] 来进行运动恢复结构（SfM）处理，从而获取相机内参 $\mathbf{K} \in \mathbb{R}^{3 \times 3}$、旋转 $\mathbf{R}^{\text{SfM}} \in \text{SO}(3)$ 和平移 $\mathbf{t}^{\text{SfM}} \in \mathbb{R}^3$。对于每一帧，我们还利用多视图立体视觉（MVS）$\mathbf{D} \in \mathbb{R}^{H \times W}$ [^26] 生成深度图 [^60]。这些步骤应用于由现成的Cutie模型 [^7] 分割出的图像。实际上，基于学习的姿态估计技术（如MASt3R [^33]）能够提供更稳健的物体姿态估计结果，而无需依赖SfM的收敛过程。 #### 3.2. 新颖视图合成模型 MagicHOI的一项关键贡献在于利用NVS模型Zero-1-to-3来重建即使在被遮挡区域也包含手部的物体。 图像修复：在使用NVS模型指导重建之前，需要以参考图像$I^{\text{ref}}$为条件，该图像中仅显示物体。为此，我们基于物体分割掩码提取仅含物体的图像，并对手部区域进行图像修复，从而生成仅含物体的参考图像$I^{\text{ref}}$。我们使用InpaintAnything [^85]来对手部区域进行修复。修复后的图像$I^{\text{ref}}$随后会被居中、裁剪并调整大小，以适应NVS模型的输入格式$I^{\text{ref}}$。我们根据简单的启发式规则从输入视频中选择参考帧：具体来说，我们利用现成的分割算法提取每一帧中的手部和物体掩码，计算物体与手部的像素比例，并选择比例最高的帧。这种自动选择方法会优先选取物体更清晰可见的视角。 新视角合成模型：我们采用Zero-1-to-3 [^39]作为视角合成的骨干网络。简而言之，在给定输入图像$I^{\text{ref}}$、其相机位姿$y^{\text{ref}}$以及目标相机视角的条件下， --- 视图 $\mathbf{y}$，NVS 模型 $f_{\mathrm{NVS}}(I^{\mathrm{ref}}, \mathbf{y}^{\mathrm{ref}}, \mathbf{y})$ 生成图像 $I^{\mathrm{NVS}}$，用于新视图 $\mathbf{y}$，其中视图 $\mathbf{y} = [\varphi, \phi, \rho]$ 表示球面坐标中的相机位姿，$\varphi$ 表示仰角，$\phi$ 表示方位角，$\rho$ 表示到物体中心的距离。参考图像 $I^{\mathrm{ref}}$ 的相机内参由 $\mathbf{K}^{\mathrm{ref}} \in \mathbb{R}^{3 \times 3}$ 表示，以其图像平面中心为中心，并具有预定义的焦距。更多细节见 SupMat。 我们在框架中使用了权重固定的预训练Zero-1-to-3模型。该模型通过前向扩散过程进行训练，即逐步用高斯噪声破坏新视角图像，随后学习一个去噪器$\epsilon_{\omega}$来逆转这一过程以重建图像[^27]。训练数据来自基于3D物体模型渲染的大规模合成数据。关于完整的架构和训练细节，可参考原始的Zero-1-to-3论文[^39]。 空间对齐：为了在 Zero-1-to-3 中同时利用 RGB 视频输入的观测和物体几何先验，我们必须将我们的 SfM 物体空间与 Zero-1-to-3 的物体空间对齐。我们使用 Zero-1-to-3 的物体空间作为我们的规范物体空间，并将 SfM 物体空间对齐到它。为此，我们首先提取 2D 对应关系 $\{\mathbf{p}^{\text{ref}}, \tilde{\mathbf{p}}^{\text{ref}}\}$，即参考图像 $I^{\text{ref}}$ 与同一图像但处于原始分辨率的图像 $\tilde{f}^{\text{ref}}$ 之间的对应关系。由于 Zero-1-to-3 模型能够渲染参考视图的深度图 $\mathbf{D}^{\text{ref}}$，而 MVS 过程提供深度图 $\tilde{\mathbf{D}}^{\text{ref}}$，我们分别使用 Zero-1-to-3 模型的内参和 SfM 估计的内参，应用逆透视投影来获得 3D 对应关系 $\{\mathbf{P}^{\text{ref}}, \tilde{\mathbf{P}}^{\text{ref}}\}$。 最终，我们通过求解旋转参数$\mathbf{R}_a \in \mathrm{SO}(3)$和平移参数$\mathbf{t}_a \in \mathbb{R}^3$，估算出将SfM物体坐标系转换到Zero-1-to-3坐标系的刚性变换。优化目标结合了3D对应关系项$\mathcal{L}_{3D}$和透视n点（PnP）项$\mathcal{L}_{2D}$： $$ \mathcal{L}_{\mathrm{a}}=\mathcal{L}_{\mathrm{3D}}+\lambda_{\mathrm{2D}}\mathcal{L}_{\mathrm{2D}}, $$ 其中$\lambda_{2D} = 1.0$。更多细节请参阅补充材料。 利用估算出的刚性变换$(R_a, t_a)$，我们将每个SfM相机姿态$(R^{SfM}, t^{SfM})$从SfM坐标系转换到Zero-1-to-3坐标系： $$ \mathbf{R}=\mathbf{R}_{\mathrm{a}}\mathbf{R}^{\mathrm{S f M}},\quad\mathbf{t}=\mathbf{R}_{\mathrm{a}}\mathbf{t}^{\mathrm{S f M}}+\mathbf{t}_{\mathrm{a}}. $$ 其中$\mathbf{R} \in \mathrm{SO}(3)$和$\mathbf{t} \in \mathbb{R}^3$。 #### 3.3. 抗遮挡的物体重建 借助NVS骨干网络，我们能够合成新视角来揭示原始观测中被遮挡的物体部分，从而实现抗遮挡的物体重建。 我们使用隐式神经有符号距离场和纹理场$f_{\psi_o}$来表示物体，该场可以被体素化渲染为RGB图像，其定义如下： $$ f_{\psi_{o}}(\mathbf{x}):\mathbb{R}^{3}\to\mathbb{R}\times\mathbb{R}^{3} $$ 其中$f_{\psi_{0}}$将空间点x映射到其到物体表面的有符号距离以及对应的纹理颜色。该函数由可学习参数$\psi_{0}$进行参数化。 对已观测到的物体区域的监督：对于观测到的RGB图像$\{I^{\mathrm{obs}}\}$，我们利用图像证据——即RGB图像和分割掩码$\psi_o$来对物体模型$\mathcal{L}_{\mathrm{RGB}} + \lambda_{\mathrm{segm}} \mathcal{L}_{\mathrm{segm}}$进行监督，其中$\mathcal{L}_{\mathrm{RGB}}$用于保证渲染图像与观测到的物体图像之间的光度一致性，$\mathcal{L}_{\mathrm{segm}}$则促使模型输出结果与物体分割掩码对齐（更多细节见补充材料）。 对未观测到的物体区域的监督：为了利用物体几何先验对未观测到的物体区域进行监督，我们采用分数蒸馏采样（SDS）损失[^53]。从物体模型$I^{\mathrm{NVS}}$中，利用随机采样的相机姿态y渲染出一张新视角图像$f_{\psi_0}$。我们采样一个扩散时间步$t \sim \text{Uniform}(\{0, \ldots, T\})$，得到对应的高斯噪声$\epsilon_t$。通过将噪声$\mathbf{z}_t$添加到渲染图像$\epsilon_t$中，即可得到含噪图像$I^{\mathrm{NVS}}$。已知前向扩散过程第t步的噪声$\epsilon_t$后，我们通过最小化模型输出与Zero-1-to-3去噪器预测结果之间的差异来对模型进行监督： $$ \mathcal{L}_{\mathrm{N V S}}=w(t)\left\|\epsilon_{t}-\epsilon_{\omega}(\mathbf{z}_{t};t,\mathcal{C})\right\|^{2} $$ 其中$\epsilon_\omega$是Zero-1-to-3模型的去噪网络，$\mathcal{C} = \Psi(I^{\mathrm{ref}}, \mathbf{y}^{\mathrm{ref}}, \mathbf{y})$是条件的嵌入向量。标量$w(t) \in \mathbb{R}$是由扩散模型和步骤t预先定义的权重函数。 考虑可见性的加权策略：为了平衡图像证据与Zero-1-to-3提供的物体几何先验，我们设计了考虑可见性的加权策略。具体来说，在用观测视角对物体模型优化若干迭代后，我们会从底层的3D物体表示中得到一个粗略的3D可见性网格$O(x, y, z)$，它是围绕物体的粗略体素表示。对于观测视角中的每个像素，我们从该像素向可见性网格发射一条射线，以确定新视角下被遮挡的体素。如果某个体素是射线的第一个交点，则该体素被标记为可见（取值为1）；若某个体素从未成为所有射线的第一个交点，则它被标记为不可见（取值为0）。 对于每张新视角图像$\mathbf{y}$，我们对可见性网格O进行光栅化以生成可见性图像$V(u, v)$，其中每个像素的取值来自$\{1, 0, -1\}$：1表示该体素至少被观测输入图像中的某条射线捕捉到，0表示它从未被观测到，-1则表示背景。根据$V(u, v)$，我们可以计算出给定视角$\beta$下的可见性比例$\mathbf{y}$。具体而言，就是计算观测区域内像素数与未观测区域内像素数的比值。 $$ \beta=\frac{\sum\limits_{(u,v)\in V}\mathbb{I}[V(u,v)=1]}{\sum\limits_{(u,v)\in V}\mathbb{I}[V(u,v)=0]} $$ --- ![Image](images/b45b9c7416f248c9da8a9f04f8942f9f49f0ad00ff40866ad15f5dc7126cec40.jpg)
Figure 2. Method overview. MagicHOI learns an implicit object field $f_{\psi_o}$ that reconstructs complete object geometry from a short video with partial visibility. We introduce a novel view synthesis (NVS) loss $\mathcal{L}_{NVS}$ that leverages an NVS diffusion prior to reconstruct unobserved object parts. Specifically, we render a novel view and take one denoising step of the NVS model; $\mathcal{L}_{NVS}$ guides $f_{\psi_o}$ toward high-density regions to complete occluded areas. Updates from novel views are combined with RGB and segmentation supervision $\mathcal{L}_{RGB}$, $\mathcal{L}_{seg}$ and a smoothness regularizer $\mathcal{L}_{smooth}$ for both observed and reference images. A visibility-aware weighting factor $\mu$ emphasizes $\mathcal{L}_{NVS}$ for unobserved regions. Finally, we align the hand to the completed object geometry to obtain an accurate hand–object spatial relationships.
给定比例$\beta$后，我们为随机采样的新视角$\mu = e^{-\beta^2/0.6}$计算出一个权重因子$\mathbf{y}$。 总损失：简而言之，在每次迭代中，我们从视频输入图像中抽取一张RGB图像$\{I^{\mathrm{obs}}\}$、参考图像$I^{\mathrm{ref}}$以及多个新视角图像$\{\mathbf{y}\}$，随后计算用于学习物体网络参数$\mathcal{L}_o$的总损失$\psi_o$。 $$ \mathcal{L}_{o}=\mathcal{L}_{\mathrm{RGB}}+\lambda_{\mathrm{seg}m}\mathcal{L}_{\mathrm{seg}m}+\lambda_{\mathrm{smooth}}\mathcal{L}_{\mathrm{smooth}}+\mu\mathcal{L}_{\mathrm{NVS}} $$ 其中权重$\lambda_{\mathrm{segm}} = 10.0$、$\lambda_{\mathrm{smooth}} = 50.0$和$\mu$是与视角相关的。$\mathcal{L}_{\mathrm{smooth}}$用于保证渲染出的法线图像的平滑性。$\mathcal{L}_{\mathrm{RGB}}$和$\mathcal{L}_{\mathrm{segm}}$均以$\{I^{\mathrm{obs}}\}$和$I^{\mathrm{ref}}$为监督信号，而$\mathcal{L}_{\mathrm{NVS}}$则通过$\{\mathbf{y}\}$进行正则化。更多细节请参阅补充材料。 #### 3.4. 手-物体对齐 由于物体存在于Zero-1-to-3空间中且没有度量尺度，因此我们需要估算物体的尺度，并基于图像中的可靠接触信息来对齐手与物体。 可见接触：先前的研究[^16]将接触点定义为距离最近的手-物体顶点对。然而，当物体表面被严重遮挡或重建效果不佳时，这种策略并不可靠。因此，我们仅对可见的接触对施加手-物体接触约束。 具体来说，我们将指尖处经常发生接触的顶点（图3a中的青色网格）[^23]作为潜在接触点，记为$\mathcal{V}_h^p$（图3a中的绿色点），同时排除手掌上的顶点。我们将每个$\mathbf{v}_h \in \mathcal{V}_h^p$投影到图像上，若其投影位于手部掩码内，则标记为可见接触候选点—— ![Image](images/c13c8f21f595bfb1316c29680aeadc8ae6e9dfed6083dd5270ddf243b81544f8.jpg)
Figure 3. Visible contact. Our method first separate potential contacts on fingertip into visible contact candidates and object-occluded contacts using hand mask information. We then keep only those visible candidates whose projections are not occluded by other fingertips, yielding the final set of visible contact points.
即$\mathcal{V}_{\mathrm{h}}^{\mathrm{v}}$（图3b中的蓝色点）；否则标记为被物体遮挡（图3b中的红色点）并予以剔除。尽管$\mathcal{V}_{\mathrm{h}}^{\mathrm{v}}$中的一些候选点位于手部掩码内，但它们会被前侧指尖遮挡（图3c中的黄色点）。若指尖的掩码面积超过预设阈值，则视为可见；我们仅保留这些指尖上的接触点，从而得到最终的可靠可见接触点$\mathcal{V}_{\mathrm{h}}$。 对于$\mathcal{V}_h$中的每个接触点，我们执行光线追踪以定位对应的物体接触点$\mathcal{V}_o$，从而排除非表面的接触点。这一过程会生成一组可见接触对$\{\mathcal{V}_h, \mathcal{V}_o\}$，随后利用它们来强制实现可靠的手-物体对齐。 对齐过程：为简化操作，我们仅优化手部而保持物体固定，采用一种考虑接触信息的优化流程。实验表明，允许对手部姿态$\theta$进行优化会使手部姿态误差（MPJPE：7.83毫米）略高于原始估计值（MPJPE：4.62毫米）。 --- 因此，我们仅优化手部的平移$\mathbf{t}_h \in \mathbb{R}^3$和缩放$s \in \mathbb{R}$，所用目标函数如下： $$ \begin{aligned}\mathcal{L}_{\mathrm{h}}&=\lambda_{\mathrm{contact}}\mathcal{L}_{\mathrm{contact}}+\lambda_{\mathrm{kpoints}}\mathcal{L}_{\mathrm{kpoints}}\\&+\lambda_{\mathrm{vsmooth}}\mathcal{L}_{\mathrm{vsmooth}}+\lambda_{\mathrm{penetr}}\mathcal{L}_{\mathrm{penetr}}\end{aligned} $$ 其中$\mathcal{L}_{\text{contact}}$用于保证合理的手-物体接触关系，$\mathcal{L}_{\text{kpoints}}$用于确保手部关节的2D投影一致性，$\mathcal{L}_{\text{vsmooth}}$用于保证手部顶点的时间平滑性，$\mathcal{L}_{\text{penetr}}$则用于惩罚手-物体穿透现象。相应的权重分别为：$\lambda_{\text{contact}} = 200.0$、$\lambda_{\text{kpoints}} = 20.0$、$\lambda_{\text{vsmooth}} = 20.0$、$\lambda_{\text{penetr}} = 0.003$。更多细节请参阅补充材料。 ### 4. 实验 我们在部分可见的手部与物体重建这一极具挑战性的任务上，将我们的方法与最先进的基线方法进行了对比评估。该任务的目标是从仅提供有限观测信息的短单目视频序列中，准确恢复三维物体几何形状以及手部姿态。 #### 4.1. 数据集 HO3D [^21]：我们使用HO3D-v3数据集 [^20] 来评估我们的方法，该数据集包含手与YCB物体交互的RGB视频 [^2]，以及手部姿态和物体姿态的标注信息。我们采用与HOLD [^16] 相同的视频序列，共计14个序列。由于我们的研究重点是基于短视频进行重建，因此我们将长序列划分为30帧的片段（详见补充材料），每个片段提供的观测信息有限。新视图合成（NVS）参考帧也被用作iHOI [^82] 和EasyHOI [^42] 的输入，这两种方法均基于单张图像进行处理。 自然场景序列：为了评估方法在真实世界中的性能，我们录制了室内外环境中家庭物品的短视频片段，这些片段无法展示物体的全貌。我们还纳入了互联网上的短视频，以进一步检验方法的泛化能力。 #### 4.2. 评价指标 遵循 [^16] [^70] [^83] 的做法，我们采用毫米为单位的根部相对平均关节误差（MPJPE）来评估手部姿态的准确性，采用厘米为单位的倒角距离（CD）来衡量物体重建的质量。我们还计算了5毫米（F5）和10毫米（F10）条件下的百分比F分数，用以比较物体的局部形状细节。为了衡量物体相对于手部的三维姿态和形状，我们首先利用预测得到的手部根部位置对物体网格进行偏移处理，随后计算手部相关的倒角距离（ $CD_{h}$ ）来衡量对齐精度。为了评估手部对齐后重建物体相对于其实际尺寸的大小，我们引入了相对尺度（RS）指标。具体而言，若 $\frac{1}{s} - 1$ ，则RS等于 $s < 1$ ；若 $1 - \frac{1}{s}$ ，则RS等于 $s \geq 1$。
CD [cm] $\downarrow$F5 [%] $\uparrow$F10 [%] $\uparrow$MPJPE [mm] $\downarrow$$CD_{h}$ [cm] $\downarrow$RS $\downarrow$
iHOI [^81]2.3735.7862.1127.7525.450.17
DiiffHOI [^83]2.3039.5964.4916.0233.330.13
EasyHOI [^42]1.8646.1070.9216.6919.550.28
HOLD [^16]1.3157.2080.2330.7921.280.62
Ours0.8769.7292.154.622.390.11
Table 1. SOTA comparison in hand-object reconstruction. We evaluate our method against four baselines on the HO3D dataset.
其中s是通过对重建物体网格与真实物体执行ICP对齐得到的缩放系数。直观来说，当 $RS = 0$ 时，重建物体的尺寸与实际物理尺寸相匹配；随着RS值的增大，与实际尺寸的偏差也会越大。 #### 4.3. 与最先进方法的对比 表1展示了我们的方法与最先进的手部与物体重建方法之间的对比结果，这些方法包括HOLD [^16]、EasyHOI [^42]、DiffHOI [^83] 以及iHOI [^81]。所有方法均为无模板方法。其中，HOLD是一种基于几何驱动的方法，无需借助先验知识即可从长视频输入中进行优化；而iHOI、EasyHOI和DiffHOI则属于基于先验驱动的方法。结果显示，MagicHOI在物体重建精度方面表现更优，这从CD、F5和F10等指标中便可看出。在所有基线方法中，HOLD在短视频片段场景下整体表现最差。我们的方法在物体尺度估计方面也最为准确，这一点可通过RS指标得到证实。 图4展示了所有方法的定性比较，以便直观了解重建结果。从这些结果可以看出，基于先验的方法（如EasyHOI、DiffHOI和iHOI）能够重建完整的物体形状，即使是在被手部遮挡或无法直接观察到的区域。这与非先验方法（如HOLD）形成鲜明对比。不过，它们在未观察区域的重建结果往往存在扭曲现象，在iHOI和DiffHOI这类特定类别的先验中尤为明显。EasyHOI通常不会重建出与输入图像中相似的物体表面。相比之下，MagicHOI结合了RGB输入中的观测信息与类别无关的NVS先验，从而能够从短视频中重建出最准确且完整的物体。对于短视频序列而言，重建出的遮挡区域中的伪影可能会导致严重的姿态对齐误差，正如表1中HOLD方法的$CD_{h}$数值所显示的那样。而我们的方法则减少了未观察物体区域的重建噪声，从而实现更稳定、更准确的手部对齐。更多细节详见补充材料。此外，图5展示了不同帧的视频结果，表明我们的方法能够适应ARCTIC数据集上刚性物体序列中的双手操作场景$^{[14]}$，该场景中存在着更具挑战性的手-物遮挡、深度歧义以及更多样化的手部姿态变化。 --- ![Image](images/f4e2e5fa7185d0cc96fafdb17789f745bf7050a8043ff8b9215b4db6021cd31d.jpg)
Figure 4. Qualitative comparison with SOTA. Reconstruction results from HO3D, in-the-wild, and internet short video sequences, comparing our method with SOTA baselines in both hand-object front view and object only rotated view. Our approach excels in completing unobserved object regions and reconstructing complex shapes, even under severe hand-induced and object-self occlusion, yielding detailed geometry and realistic hand-object spatial relationships. From the HOLD method column, it is evident that without an NVS prior, it fails to reconstruct the complete object shape in unobserved regions and there is a large gap between hand and object. Even with an NVS prior, the category-specific iHOI method struggles to recover full object geometry. EasyHOI, despite using an advanced NVS model, often hallucinates unrealistic shapes and results in hand-object penetrations. DiffHOI, which integrates both prior-driven and geometry-driven approaches, tends to reconstruct only simple shapes.
#### 4.4. 消融实验 为了分析在短视频片段场景下，我们的新视图合成（NVS）骨干网络与RGB图像观测对重建质量的互补作用，我们基于方程6中更改损失函数所设定的不同基线，在表2中开展了消融研究： - RGB（第2行）：使用损失项$\mathcal{L}_{\mathrm{RGB}}$、$\mathcal{L}_{\mathrm{segm}}$、$\mathcal{L}_{\mathrm{smooth}}$进行物体重建。其中$\mathcal{L}_{\mathrm{RGB}}$和$\mathcal{L}_{\mathrm{segm}}$仅由观测到的图像$\{I^{\mathrm{obs}}\}$提供监督。 • NVS（第3行）：仅由基于参考图像的NVS衍生SDS损失引导的重建。换句话说，我们使用了所有损失项，但对$\mathcal{L}_{RGB}$进行监督。 --- ![Image](images/b0d2ad533c5c5e16dde7b153940e9d2f76b5849f3a330d29d4fa523455be0677.jpg)
Figure 5. Video qualitative comparison with SOTA.
RGBNVSWSCD [cm] $\downarrow$F5 [%] $\uparrow$F10 [%] $\uparrow$CD $_{h}$ [cm] $\downarrow$RS $\downarrow$
✓✗✗1.3755.0278.243.210.20
✗✓✗1.5455.5978.9711.970.26
✓✓✗0.9168.6290.813.770.17
✓✓✓0.8969.7292.152.390.11
Table 2. Ablation study. Integrating all observed RGB images into the NVS with the occlusion-aware weighting strategy (WS) significantly improves object reconstruction, as indicated by CD, F5, and F10. The refined object shape further enhances the hand-object relationships, as reflected in CD $_{h}$ and RS.
以及 $\mathcal{L}_{\mathrm{segm}}$，仅使用参考图像 $I^{\mathrm{ref}}$（无观测视图监督），并修正 $\mu = 1$。 - RGB+NVS（第4行）：通过将$\mu$设为1，实现RGB输入与NVS的无权重对齐集成。换句话说，我们使用所有损失项，但固定$\mu = 1$。 • 我们的方法（第5行）：利用所有损失项进行物体优化。 NVS模型与RGB观测的相互促进：如表2所示，结合输入视频中的RGB图像观测与NVS先验能显著提升重建质量（对比RGB或NVS与RGB+NVS的结果可见），这体现在更低的CD值、手部-物体对齐得分$CD_{h}$、RS值，以及更高的F5/F10得分上。图6提供了展示这些改进的定性结果。我们发现，仅使用RGB数据时，模型无法重建被手部或物体自身遮挡的区域；而仅使用NVS模型而不结合其他图像证据时，重建出的物体形状会出现扭曲且不真实（例如盒子/电钻底座过于厚重，以及遮挡处瓶子几何形状不自然）。通过结合图像观测与NVS先验，我们的模型能重建出更完整、更准确的物体形状，且伪影极少，与真实情况高度吻合。 考虑可见性因素的加权策略：为了评估我们提出的考虑可见性因素的加权策略的效果，我们进行了对比实验。 ![Image](images/ea347ce5ac89c6ae154cd9aa4ac9cc68a23b69bef0488ac1f95cf19e5685709c.jpg)
Figure 6. Ablation Study. Comparing RGB+NVS and Ours columns, the yellow bottle (row 1) exhibits significant distortion near the hand-occluded region, while the red box (row 2) shows numerous artifacts on observed surfaces in the RGB+NVS column due to lack of a weighting strategy. Comparing NVS and Ours columns, the red box reconstructs an unrealistic shape on unobserved surfaces, and the driller (row 3) has an excessively thick base in the NVS column. Comparing RGB and Ours columns, the object fails to reconstruct a complete shape in occluded regions.
我们的完整模型相较于基线RGB+NVS模型表现更优，后者虽保留了RGB观测数据和NVS先验信息，却未采用这种加权策略（见表2）。从定量结果来看，该加权策略显著提升了重建精度，具体表现为CD值更低、F5/F10分数更高。从定性结果来看，图6显示，若移除该策略，可见区域和遮挡区域的表面都会出现扭曲现象，且表面平滑度较差，尤其在遮挡区域更为明显。 ### 5. 结论 在本文中，我们提出了MagicHOI——一种手物重建框架，它利用新视角合成（NVS）先验，能够从存在严重遮挡的短视频序列中重建手与物体的模型。通过将NVS融入重建流程，MagicHOI即便在如此具有挑战性的交互场景下，也能实现手与物体的精准联合重建。定性和定量结果表明，无论是在受控环境还是真实场景中，MagicHOI的表现都优于现有最先进方法，且无需物体或手部完全可见即可完成重建。 致谢：我们感谢Muhammed Kocabas、陈旭、刘博楠的深入讨论与宝贵建议，感谢尹涵迪的支持，也感谢马克斯·普朗克智能系统国际研究学院（IMPRSIS）对Maria Parelli的资助。 --- ## 参考文献 [^1]: Adnane Boukhayma, Rodrigo de Bem, and Philip H. S. Torr. 3D hand shape and pose from images in the wild. In Computer Vision and Pattern Recognition (CVPR), pages 10843–10852, 2019. 2 [^2]: Berk Calli, Arjun Singh, Aaron Walsman, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. The ycb object and model set: Towards common benchmarks for manipulation research. In 2015 international conference on advanced robotics (ICAR), pages 510–517. IEEE, 2015. 6 [^3]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In International Conference on Computer Vision (ICCV), pages 12417–12426, 2021. 2, 3 [^4]: Anpei Chen, Zexiang Xu, Andreas Geiger, Jingyi Yu, and Hao Su. Tensorf: Tensorial radiance fields. In European Conference on Computer Vision (ECCV), 2022. 3 [^5]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In Computer Vision and Pattern Recognition (CVPR), 2023. 2 [^6]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gSDF: Geometry-driven signed distance functions for 3d hand-object reconstruction. In Computer Vision and Pattern Recognition (CVPR), pages 12890–12900, 2023. 3 [^7]: Ho Kei Cheng, Seoung Wug Oh, Brian Price, Joon-Young Lee, and Alexander Schwing. Putting the object back into video object segmentation. In arXiv, 2023. 3 [^8]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-Grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Computer Vision and Pattern Recognition (CVPR), pages 20545–20554, 2022. 2 [^9]: Enric Corona, Albert Pumarola, Guillem Alenyà, Francesc Moreno-Noguer, and Grégory Rogez. GanHand: Predicting human grasp affordances in multi-object scenes. In Computer Vision and Pattern Recognition (CVPR), pages 5030–5040, 2020. 2, 3 [^10]: Matt Deitke, Ruoshi Liu, Matthew Wallingford, Huong Ngo, Oscar Michel, Aditya Kusupati, Alan Fan, Christian Laforte, Vikram Voleti, Samir Yitzhak Gadre, et al. Objaverse-xl: A universe of 10m+ 3d objects. Advances in Neural Information Processing Systems, 36:35799–35813, 2023. 3 [^11]: Matt Deitke, Dustin Schwenk, Jordi Salvador, Luca Weihs, Oscar Michel, Eli VanderBilt, Ludwig Schmidt, Kiana Ehsani, Aniruddha Kembhavi, and Ali Farhadi. Objaverse: A universe of annotated 3d objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 13142–13153, 2023. 3 [^12]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J. Black. HMP: Hand motion priors for pose and shape estimation from video. In Winter Conference on Applications of Computer Vision (WACV), 2024. 2 [^13]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J. Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel 用于部件分割。载于国际3D视觉会议（3DV），第1–10页，2021年。2 [^14]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 3, 6 [^15]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xu-anyang Zhang, Xue Zhang, Fei Li, Liu Zheng, Feng Lu, Karim Abou Zeid, Bastian Leibe, Jeongwan On, Seungryul Baek, Aditya Prakash, Saurabh Gupta, Kun He, Yoichi Sato, Otmar Hilliges, Hyung Jin Chang, and Angela Yao. Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. arXiv preprint arXiv:2403.16428, 2024. 2, 3 [^16]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Xu Chen, Muhammed Kocabas, Michael J Black, and Otmar Hilliges. Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 494–504, 2024. 2, 3, 5, 6 [^17]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M. Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In International Conference on Computer Vision (ICCV), pages 23600–23611, 2023. 2 [^18]: Patrick Grady, Chengcheng Tang, Christopher D. Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C. Kemp. ContactOpt: Optimizing contact to improve grasps. In Computer Vision and Pattern Recognition (CVPR), pages 1471–1481, 2021. 3 [^19]: Zhiyang Guo, Wengang Zhou, Min Wang, Li Li, and Houqiang Li. HandNeRF: Neural radiance fields for animatable interacting hands. In Computer Vision and Pattern Recognition (CVPR), pages 21078–21087, 2023. 2 [^20]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In Computer Vision and Pattern Recognition (CVPR), pages 3193–3203, 2020. 6 [^21]: Shreyas Hampali, Tomas Hodan, Luan Tran, Lingni Ma, Cem Keskin, and Vincent Lepetit. In-hand 3d object scanning from an rgb sequence. Computer Vision and Pattern Recognition (CVPR), 2023. 2, 6 [^22]: Richard Hartley and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003. 3 [^23]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Computer Vision and Pattern Recognition (CVPR), pages 11807–11816, 2019. 2, 3, 5 ## [^24]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Computer Vision and Pattern Recognition (CVPR), pages 568–577, 2020 --- [^25]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from rgb videos. In International Conference on 3D Vision (3DV), pages 659–668. IEEE, 2021. 3 [^26]: Xingyi He, Jiaming Sun, Yifan Wang, Sida Peng, Qixing Huang, Hujun Bao, and Xiaowei Zhou. Detector-free structure from motion. In arxiv, 2023. 3 [^27]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems, 33:6840–6851, 2020. 4 [^28]: Yicong Hong, Kai Zhang, Jiuxiang Gu, Sai Bi, Yang Zhou, Difan Liu, Feng Liu, Kalyan Sunkavalli, Trung Bui, and Hao Tan. Lrm: Large reconstruction model for single image to 3d. arXiv preprint arXiv:2311.04400, 2023. 3 [^29]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia 2022 Conference Papers, pages 1–9, 2022. 2, 3 [^30]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In European Conference on Computer Vision (ECCV), pages 118–134, 2018. 2 [^31]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J. Black, Krikamol Muandet, and Siyu Tang. Grasping Field: Learning implicit representations for human grasps. In International Conference on 3D Vision (3DV), pages 333–344, 2020. 2 [^32]: Jihyun Lee, Minhyuk Sung, Honggyu Choi, and Tae-Kyun Kim. Im2hands: Learning attentive implicit representation of interacting two-hand shapes. In Computer Vision and Pattern Recognition (CVPR), pages 21169–21178, 2023. 2 [^33]: Vincent Leroy, Yohann Cabon, and Jérôme Revaud. Grounding image matching in 3d with mast3r. In European Conference on Computer Vision, pages 71–91. Springer, 2024. 3 [^34]: Lijun Li, Linrui Tian, Xindi Zhang, Qi Wang, Bang Zhang, Liefeng Bo, Mengyuan Liu, and Chen Chen. Renderih: A large-scale synthetic dataset for 3d interacting hand pose estimation. In International Conference on Computer Vision (ICCV), pages 20395–20405, 2023. 2 [^35]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Computer Vision and Pattern Recognition (CVPR), pages 2761–2770, 2022. 2 [^36]: Xueting Li, Sifei Liu, Kihwan Kim, Shalini De Mello, Varun Jampani, Ming-Hsuan Yang, and Jan Kautz. Self-supervised single-view 3d reconstruction via semantic consistency. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIV 16, pages 677–693. Springer, 2020. 3 [^37]: Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, and Yingcong Chen. Luciddreamer: Towards high-fidelity text-to-3d generation via interval score matching. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 6517–6526, 2024. 3 [^38]: Bonan Liu, Handi Yin, Manuel Kaufmann, Jinhao He, Sammy Christen, Jie Song, and Pan Hui. Egohdm: An online 一种以自我为中心的惯性人体运动捕捉、定位与密集建图系统。arXiv预印本arXiv:2409.00343，2024年。3 [^39]: Ruoshi Liu, Rundi Wu, Basile Van Hoorick, Pavel Tokmakov, Sergey Zakharov, and Carl Vondrick. Zero-1-to-3: Zero-shot one image to 3d object, 2023. 2, 3, 4 [^40]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In Computer Vision and Pattern Recognition (CVPR), pages 14687–14697, 2021. 2, 3 [^41]: Yuan Liu, Cheng Lin, Zijiao Zeng, Xiaoxiao Long, Lingjie Liu, Taku Komura, and Wenping Wang. Syncdreamer: Generating multiview-consistent images from a single-view image. arXiv preprint arXiv:2309.03453, 2023. 3 [^42]: Yumeng Liu, Xiaoxiao Long, Zemin Yang, Yuan Liu, Marc Habermann, Christian Theobalt, Yuexin Ma, and Wenping Wang. Easyhoi: Unleashing the power of large models for reconstructing hand-object interactions in the wild, 2024. 6 [^43]: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, et al. Wonder3d: Single image to 3d using cross-domain diffusion. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9970–9980, 2024. 3 [^44]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3D interacting hand pose estimation by hand de-occlusion and removal. In European Conference on Computer Vision (ECCV), pages 380–397. Springer, 2022. 2 [^45]: Gyeongsik Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In Computer Vision and Pattern Recognition (CVPR), pages 17028–17037, 2023. [^46]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In European Conference on Computer Vision (ECCV), pages 548–564, 2020. 2 [^47]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffalo, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. A dataset of relighted 3d interacting hands. arXiv preprint arXiv:2310.17768, 2023. 2 [^48]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In Computer Vision and Pattern Recognition (CVPR), pages 49–59, 2018. 2 [^49]: Thomas Müller, Alex Evans, Christoph Schied, and Alexander Keller. Instant neural graphics primitives with a multiresolution hash encoding. ACM transactions on graphics (TOG), 41(4):1–15, 2022. 2 ## [^50]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. AssemblyHands: towards egocentric activity understanding via 3d hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), pages 12999–13008, 2023. 2 --- [^51]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 3 [^52]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, 2024. 2 [^53]: Ben Poole, Ajay Jain, Jonathan T. Barron, and Ben Mildenhall. Dreamfusion: Text-to-3d using 2d diffusion. arXiv, 2022. 3, 4 [^54]: Aditya Prakash, Matthew Chang, Matthew Jin, and Saurabh Gupta. Learning hand-held object reconstruction from in-the-wild videos. arXiv, 2305.03036, 2023. 3 [^55]: Wentian Qu, Zhaopeng Cui, Yinda Zhang, Chenyu Meng, Cuixia Ma, Xiaoming Deng, and Hongan Wang. Novel-view synthesis and pose estimation for hand-object interaction from sparse views. In International Conference on Computer Vision (ICCV), pages 15100–15111, 2023. 3 [^56]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. Transactions on Graphics (TOG), 36(6):245:1–245:17, 2017. 3 [^57]: Paul-Edouard Sarlin, Cesar Cadena, Roland Siegwart, and Marcin Dymczyk. From coarse to fine: Robust hierarchical localization at large scale. In Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^58]: Paul-Edouard Sarlin, Daniel DeTone, Tomasz Malisiewicz, and Andrew Rabinovich. SuperGlue: Learning feature matching with graph neural networks. In Computer Vision and Pattern Recognition (CVPR), 2020. 3 [^59]: Daniel Scharstein and Richard Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International journal of computer vision, 47:7–42, 2002. 3 [^60]: Johannes Lutz Schönberger, Enliang Zheng, Marc Pollefeys, and Jan-Michael Frahm. Pixelwise view selection for unstructured multi-view stereo. In European Conference on Computer Vision (ECCV), 2016. 3 [^61]: Yichun Shi, Peng Wang, Jianglong Ye, Mai Long, Kejie Li, and Xiao Yang. Mvdream: Multi-view diffusion for 3d generation. arXiv preprint arXiv:2308.16512, 2023. 3 [^62]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Computer Vision and Pattern Recognition (CVPR), pages 4645–4653, 2017. 2 [^63]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), pages 89–98, 2018. [^64]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In European Conference on Computer Vision (ECCV), pages 211–228, 2020. 2 [^65]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3D hand pose estimation from monocular RGB via contrastive learning. In International Conference on Computer Vision (ICCV), pages 11210–11219, 2021. 2 [^66]: Anilkumar Swamy, Vincent Leroy, Philippe Weinzaepfel, Fabien Baradel, Salma Galaaoui, Romain Brégier, Matthieu Armando, Jean-Sebastien Franco, and Grégory Rogez. SHOWMe: Benchmarking object-agnostic hand-object 3d reconstruction. In International Conference on Computer Vision (ICCV), pages 1935–1944, 2023. 3 [^67]: Richard Szeliski. Computer vision: algorithms and applications. Springer Nature, 2022. 3 [^68]: Jiaxiang Tang, Zhaoxi Chen, Xiaokang Chen, Tengfei Wang, Gang Zeng, and Ziwei Liu. Lgm: Large multi-view gaussian model for high-resolution 3d content creation. In European Conference on Computer Vision, pages 1–18. Springer, 2024. 3 [^69]: Maxim Tatarchenko, Stephan R Richter, René Ranftl, Zhuwen Li, Vladlen Koltun, and Thomas Brox. What do single-view 3d reconstruction networks learn? In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3405–3414, 2019. 3 [^70]: Maxim Tatarchenko, Stephan R Richter, René Ranftl, Zhuwen Li, Vladlen Koltun, and Thomas Brox. What do single-view 3d reconstruction networks learn? In Computer Vision and Pattern Recognition (CVPR), pages 3405–3414, 2019. 6 [^71]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In Computer Vision and Pattern Recognition (CVPR), pages 4511–4520, 2019. 2, 3 [^72]: Carlo Tomasi and Takeo Kanade. Shape and motion from image streams under orthography: a factorization method. International journal of computer vision, 9:137–154, 1992. [^73]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Computer Vision and Pattern Recognition (CVPR), pages 1664–1674, 2022. 3 [^74]: Tze Ho Elden Tse, Franziska Mueller, Zhengyang Shen, Danhang Tang, Thabo Beeler, Mingsong Dou, Yinda Zhang, Sasa Petrovic, Hyung Jin Chang, Jonathan Taylor, et al. Spectral graphormer: Spectral graph-based transformer for egocentric two-hand reconstruction using multi-view color images. In International Conference on Computer Vision (ICCV), pages 14666–14677, 2023. 2 [^75]: Dimitrios Tzionas and Juergen Gall. A comparison of directional distances for hand pose estimation. In German Conference on Pattern Recognition (GCPR), pages 131–141, 2013. 2 [^76]: Peng Wang, Hao Tan, Sai Bi, Yinghao Xu, Fujun Luan, Kalyan Sunkavalli, Wenping Wang, Zexiang Xu, and Kai Zhang. Pf-lrm: Pose-free large reconstruction model for joint pose and shape prediction. arXiv preprint arXiv:2311.12024, 2023. 3 ## [^77]: Zhengyi Wang, Yikai Wang, Yifei Chen, Chendong Xiang, Shuo Chen, Dajiang Yu, Chongxuan Li, Hang Su, and Jun Zhu. Crm: Single image to 3d textured mesh with convolutional reconstruction model. In European Conference on Computer Vision, pages 57–74. Springer, 2024. 3 --- [^78]: Jane Wu, Georgios Pavlakos, Georgia Gkioxari, and Jitendra Malik. Reconstructing hand-held objects in 3d from images and videos, 2024. 3 [^79]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In International Conference on Computer Vision (ICCV), 2021. 2, 3 [^80]: Lior Yariv, Jiatao Gu, Yoni Kasten, and Yaron Lipman. Volume rendering of neural implicit surfaces. In NeurIPS, 2021. 2 [^81]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Computer Vision and Pattern Recognition (CVPR), 2022. 3, 6 [^82]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Computer Vision and Pattern Recognition (CVPR), pages 3895–3905, 2022. 2, 6 [^83]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In International Conference on Computer Vision (ICCV), 2023. 6 [^84]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis, 2024. 3 [^85]: Tao Yu, Runseng Feng, Ruoyu Feng, Jinming Liu, Xin Jin, Wenjun Zeng, and Zhibo Chen. Inpaint anything: Segment anything meets image inpainting. arXiv preprint arXiv:2304.06790, 2023. 3 [^86]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dynamr: Recovering 4d interacting hand motion from a dynamic camera. In Computer Vision and Pattern Recognition (CVPR), 2025. 2 [^87]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In International Conference on Computer Vision (ICCV), pages 11354–11363, 2021. 2 [^88]: Hui Zhang, Sammy Christen, Zicong Fan, Otmar Hilliges, and Jie Song. GraspXL: Generating grasping motions for diverse objects at scale. In European Conference on Computer Vision (ECCV), pages 386–403. Springer, 2024. 2 [^89]: Hui Zhang, Sammy Christen, Zicong Fan, Luocheng Zheng, Jemin Hwangbo, Jie Song, and Otmar Hilliges. Artigrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation. In International Conference on 3D Vision (3DV), pages 235–246. IEEE, 2024. 2 [^90]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In International Conference on Computer Vision (ICCV), pages 2354–2364, 2019. 2 [^91]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. TOCH: Spatio-temporal object-to-hand correspondence for motion refinement. In European Conference on Computer Vision (ECCV), pages 1–19, 2022. 3 [^92]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. 载于计算机视觉与模式识别会议（CVPR），第5345–5354页，2020年。3 [^93]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. TempCLR: Reconstructing hands via time-coherent contrastive learning. In International Conference on 3D Vision (3DV), pages 627–636, 2022. 2 [^94]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In International Conference on Computer Vision (ICCV), pages 4913–4921, 2017. 2