Figure 1. We propose ForeHOI, the first feed-forward method that can directly reconstruct 3D object geometry from monocular hand-object interaction videos. Compared with previous methods that rely on complex pre-processing, our end-to-end pipeline achieves superior reconstruction performance under severe hand-object occlusion scenarios within one minute of inference time.
## 摘要
日常手物交互场景的单目视频随处可见，这为具身智能研究提供了宝贵的资源。虽然从自然场景视频中重建三维手部模型已取得显著进展，但由于严重的遮挡现象以及相机、手和物体之间复杂的耦合运动，重建相关物体仍颇具挑战性。在本文中，我们提出了ForeHOI——一种新颖的前馈模型，它能在不到一分钟的推理时间内直接从单目手物交互视频中重建三维物体几何结构，且无需任何预处理步骤。我们的核心发现是：在前馈框架内联合预测二维掩码修复与三维形状补全，能够有效解决单目手持物体视频中的严重遮挡问题，从而取得优于基于优化方法的效果。二维与三维形状补全之间的信息交换提升了整体重建质量，使该框架能够高效应对严重的手物遮挡情况。此外，为支持模型训练，我们贡献了首个大规模、高保真度的带完整标注的手物交互合成数据集。
为了支持模型训练，我们贡献了首个大规模、高保真度的带完整标注的手物交互合成数据集。大量实验表明，ForeHOI在物体重建任务上取得了业界领先的性能，相比以往方法速度提升了约100倍。代码和数据可在获取。
### 1. 引言
日常生活中，我们无意识地用手与无数物体进行交互。随着三维手物交互（HOI）数据在具身智能领域的重要性日益凸显 [^6] [^11] [^17] [^78]，三维物体与手部的全面数字化显得尤为重要。过去几年中，针对日常单目视频的三维手部重建已得到广泛研究 [^7] [^48] [^75]。然而，由于两大关键挑战，基于此类视频数据的物体目标重建研究一直被忽视：1）日常视频中由于手部遮挡和物体自身遮挡，通常无法获得物体的完整观测信息；2）单目视频中的相机、物体和手部均为动态变化，难以估算物体与相机之间的相对运动。在此背景下，我们将从日常手物交互视频中重建三维物体的任务定义为
---
从日常手物交互视频中重建三维物体。
由于物体存在未被观测到的区域，这个问题自然需要强物体先验。随着基础模型[^37] [^61] [^69]的能力日益强大，近期的研究尝试利用基础模型提供的先验来解决这一问题。EasyHOI[^42]将问题简化为单图像输入任务，利用预训练的2D图像修复模型和3D生成模型来完成物体重建。然而，它们无法利用潜在的视频序列信息，而这些信息对于可见区域的精确3D重建至关重要。MagicHOI[^64]则以短视频片段作为输入，并将大型预训练的新视角合成模型[^37]整合到物体辐射场优化流程中以实现3D物体补全。不过，其复杂的流程——包括2D图像修复和新视角3D重建——会在每个阶段引入视图不一致性误差，从而导致累积性偏差。此外，辐射场优化通常需要数小时，速度过慢，难以满足许多应用场景的需求。另一种手持物体重建方法则是先借助VGGT[^61]进行初步重建，再采用3D补全方法来获得完整的物体模型。但在严重的手物遮挡场景下，VGGT无法产生令人满意的初步结果，进而导致最终的补全效果较差。鉴于在单目视频中对严重遮挡的手持物体进行前馈重建颇具挑战性，结合遮挡区域的2D和3D形状补全显得尤为重要。
在本文中，我们进一步消除了预处理步骤，提出了ForeHOI——一种前馈式3D重建模型。该模型以视频片段为输入，能在1分钟内预测出物体几何结构，从而使重建过程更加稳健且易于在日常手持物体交互视频中使用。我们的核心见解是：在前馈框架中联合预测2D掩码修复与3D形状补全，能够有效解决单目手持物体视频中的严重遮挡问题。我们证明，只要数据充足，手持物体重建便可由单一神经网络直接学习实现，其效果可与基于优化的方法相媲美，而推理速度却快得多。具体而言，受ReconViaGen[^5]的启发，我们将重建先验与手部先验[^48]相结合，从而为模型提供关于手部形状和位置的确定性信息作为额外条件。随后，我们在扩散模型中引入了双向交叉注意力机制，以促进3D特征与输入图像特征之间的信息交换。通过这一双向过程，修复后的2D物体掩码与完整的3D物体几何结构得以共同估算。两者之间的相互优化提升了整体质量，使该框架能够有效应对严重的手物遮挡情况。此外，由于目前尚无大规模的手持物体交互数据集可用于训练我们的模型，我们基于GraspXL[^77]——一种鲁棒的基于强化学习的抓取合成方法——构建了一个合成数据集。我们首先为MANO[^50]手部添加逼真的纹理[^53]，然后利用Objaverse[^14]数据集渲染合成抓取过程的多视角视频。最终，这一流程生成了一个包含40万个样本的大规模合成数据集，其中包含了丰富的标注信息，如手部掩码、物体掩码、手部姿态、物体姿态以及深度图。
在广泛使用的HO3D [^18] 数据集以及近期提出的具有挑战性的HOT3D [^3] 数据集上进行的大量实验表明，ForeHOI在物体几何重建方面取得了最先进的性能，且其速度明显快于基于优化的方法。我们的贡献总结如下：
- 我们提出了ForeHOI，这是首个前馈式方法，能够在不到一分钟的推理时间内，从日常单目HOI视频中有效预测物体几何形状。
- 我们的框架能够同时生成2D物体掩码修复结果和3D物体补全结果，以应对日常单目HOI视频中严重的手-物遮挡所带来的重建挑战。
- 我们贡献了首个具有高保真渲染图像的大规模合成手-物视频数据集。
### 2. 相关工作
基于生成先验的物体重建。以往的研究 [^23] [^33] [^41] [^56] [^65] [^68] 以Zero-1-to-3 [^37] 为代表，主要致力于将2D生成先验 [^52] [^54] 融入3D物体重建流程。这些方法存在多视图不一致的问题，且在单图像输入任务上的重建质量通常低于原生3D生成模型 [^30] [^35] [^57] [^60] [^69]。最近出现的CUPID [^24] 和ReconViaGen [^5] 通过引入基于姿态的生成与重建先验，利用原生3D生成模型进行3D重建任务，在单图像重建任务上取得了优异的性能。我们的工作聚焦于HOI场景下的视频输入重建，虽然采用的方法不同，但得出了相似的结论。
3D手部重建。过去几十年间，3D手部重建技术取得了显著进展。随着参数化手部模型MANO [^53] 的问世，近期的研究 [^2] [^19] [^31] [^36] [^38] [^46] [^79] 将其作为可微模块集成到神经网络中，从而能够直接从图像或视频中端到端地重建密集的3D手部网格。由大规模数据驱动的最先进方法 [^7] [^48] [^75] 不仅实现了稳健的3D手部重建性能，还展现出了对自然场景图像和视频的强大泛化能力。
---
我们利用端到端的手部重建结果作为引导，来提升物体重建的效果。
基于模板的手持物体重建。由于物体形状本身具有多样性且存在手部造成的遮挡，手持物体重建比手部重建更具挑战性。一些现有方法通过将物体模板作为输入 [^4] [^13] [^15] [^39] [^59] [^70] [^71]，主要致力于估计物体的6自由度位姿来简化这一问题。最近的研究成果Dynhor [^29] 通过利用文本提示驱动的3D生成模型，根据ChatGPT提供的文本描述来生成物体模板，以解决这一问题。但由于文本提示的局限性，这一过程会带来较大的不确定性。相比之下，我们的工作能够同时预测物体的位姿和形状。
无需模板的手持物体重建。近期的研究进展提出了更具泛化能力的方法[^16] [^21] [^25] [^27] [^49] [^51] [^63] [^66] [^67] [^73] [^74]，比如隐式场[^44] [^62]和扩散模型[^47]等通用物体重建技术。不过，这些方法往往存在诸多严格限制，包括深度输入[^66]、精确的物体姿态输入[^16] [^63]、刚性的手-物交互[^25] [^49]、多视角观测数据[^51]、类别级优化[^21] [^67]以及完整的物体观测数据[^16]。因此，它们难以应用于日常的手-物交互视频。相比之下，我们的方法仅需RGB视频片段作为输入，就能借助原生3D扩散模型保证3D重建质量。另一类研究[1, 8-10, 42, 72, 76]将问题简化为单图像输入任务。虽然这类方法降低了输入要求，但无法利用潜在的视频数据，也就无法挖掘视频序列中固有的时序和多视角信息。
手-物交互数据集。缺乏手-物交互数据是制约通用物体重建方法泛化能力的主要瓶颈。尽管以往的研究中已提出几种数据集[^17] [^18] [^20] [^22] [^26] [^34] [^40]，但目前可用的最大真实世界数据集[^40]仅包含417个物体，而最大的合成数据集[^22]则包含2772个物体。如此有限的规模远远不足以用于建模复杂的物体形状。最近的成果GraspXL[^77]提出了一种基于强化学习的稳健抓取合成方法，并在Objaverse[^14]上发布了其合成结果。据此，我们构建了首个基于该方法的大规模手-物交互数据集，包含超过40万条视频序列。
### 3. 方法
图2展示了我们的方法ForeHOI的整体流程：它能在前馈模式下，从视角受限的RGB视频序列中重建物体几何结构。我们首先在第3.1节介绍图像与手部特征编码方案；接着第3.2节详细阐述扩散变换器（DiT）内部的双向交叉注意力机制，该机制用于建立物体体素与多视角掩码之间的对应关系。第3.3节介绍了训练与推理过程；通过渲染与对比可获取每帧的物体姿态（第3.4节）；最后第3.5节介绍了我们新构建的大规模数据集。
#### 3.1. 图像与手部先验编码
我们使用DINOv2[^45]作为图像特征提取器，对输入视频的每一帧进行编码。除了图像特征外，我们还针对每张输入图像，利用最先进的手部姿态估计模型[^48]来编码手部特征。具体而言，手部ViT骨干网络$F_{hand} \in \mathbb{R}^{n \times 1024}$的图像块特征会与DINOv2的图像块特征以逐块配对的方式聚合，得到$F_{input} \in \mathbb{R}^{n \times 2048}$；最终我们通过两层MLP将其投影为$\mathbb{R}^{n \times 1024}$。
通过使用特征聚合模块来整合2D和3D手部特征，模型就能确定性地理解手部的形状和位置。需要注意的是，由于这些特征与图像像素对齐，它们包含了局部相机空间中的隐含信息，从而消除了多帧间的尺度不一致问题。采用这种编码策略后，我们对输入的要求得以最小化：推理过程中无需单独的手部或物体掩码。
#### 3.2. 双向交叉注意力
我们的最终目标是恢复物体的完整形状。然而，早期实验表明，直接预测精确且完整的几何形状极具挑战性。因此，我们将该问题拆解为两个互补的阶段：2D和3D形状补全。由于体素生成阶段缺乏足够的外观线索，我们为骨干网络设置了两个训练目标：每帧像素对齐的多视角完整掩码，以及物体的完整体素表示。这两个目标紧密关联且相互促进。我们先从物体体素估计入手，阐述双向协同的优势：由于手部遮挡，每张输入的2D图像中只包含物体的不完整观测结果。在这种情况下，3D形状生成骨干网络必须在没有直接2D证据的情况下推测出被遮挡的区域。用完整的2D物体掩码对模型进行监督，能为每个视角下的完整物体轮廓提供额外指引，进而提升其推断连贯且完整的3D形状的能力。
鉴于这两项任务高度相互依赖且相互促进，两个分支之间的有效信息交换至关重要。为此，我们采用了
---
Figure 2. Pipeline overview of the proposed ForeHOL. Given a monocular video of hand-object interaction, we adopt a diffusion-based framework that jointly performs 2D object mask inpainting and 3D object completion to address the reconstruction challenge posed by severe hand-object occlusion. Moreover, the accurate object shape reconstruction achieved by our method leads to precise 3D object pose estimation through post-processing.
配备双向交叉注意力的双分支架构。
从一个含噪的隐变量$\in \mathbb{R}^{64 \times 64 \times 64}$出发，
几何分支会逐步对其进行去噪，生成以输入特征为条件的粗略物体结构。
structure conditioned on the input features. Following
ReconViaGen [^5]中，我们采用了多视角聚合图像特征与三维隐表示之间的交叉注意力机制。
视图聚合图像特征与三维隐表示之间的交叉注意力机制。
在每个DiT块内采用加权融合策略。
具体而言，我们用物体掩码分支的特征替换原始输入特征——
这些特征从浅层到深层逐层替换——
这样掩码分支就能直接引导并辅助形状重建过程。
正如掩码分支特征对几何分支至关重要一样，
Just as mask-branch features are crucial for the geometry
branch, features from the geometry branch are equally im-
portant for completing object masks. Inspired by the semi-
nal multimodal alignment method [^43], we treat the 3D fe-
tures as contextual signals and feed them back into the mask
branch via additional cross-attention. The whole process
can be formulated as:
$$ \begin{align*}y_{j+1}&=\sum_{k=1}^{N}CrossAttn(Q(y_{j}),K(x_{i}^{n}),V(x_{i}^{n}))\cdot w_{n},\\&x_{i+1}=CrossAttn(Q(x_{i}),K(y_{j}),V(y_{j})),\\&j\in\{m\}_{m=1}^{M},i\in\{p\}_{p=1}^{P},k\in\{n\}_{n=1}^{N}.\end{align*} $$
其中，M表示几何分支中DiT块的数量，P表示掩码分支中DiT块的数量，N表示帧数，$y_j$代表第j个几何分支块的3D特征输出，而$x_i$则表示经过掩码分支第i个块处理后的图像特征批次。$w_n$是与第n帧相关的融合权重。值得注意的是，由于多视角图像特征是通过加权交叉注意力机制而非拼接方式进行融合的，因此模型能够在不显著增加内存消耗的情况下处理相对较长的输入序列——这与依赖拼接多图像特征的方法截然不同 [^58] [^61]。
#### 3.3. 训练与推理
我们通过最小化条件流匹配（CFM）目标来端到端训练网络，该目标同时针对3D潜变量和2D掩码，且在每一步中使用相同的随机时间步t，具体损失函数如下：
$$ \begin{align*}\mathcal{L}_{CFM}(\boldsymbol{\theta})&=\mathbb{E}_{t,x_{0},\epsilon}||v_{\boldsymbol{\theta}}(x,t)-(\epsilon-x_{0})||_{2}^{2},\\\mathcal{L}&=\mathcal{L}_{CFM}^{2D}+\beta\mathcal{L}_{CFM}^{3D}.\end{align*} $$
其中，t是从$\mathcal{U}(0,1)$中均匀采样的连续时间步。$x_0$代表真实数据样本，$\epsilon$则是从标准高斯先验分布中采样的噪声 $\mathcal{N}(0,I)$。x表示时间t下的插值中间状态。相应地，$v_\theta(x,t)$是网络预测的速度场，它由指向从数据到噪声的真实向量场（$\epsilon - x_0$）进行监督。此外，$\mathcal{L}_{CFM}^{2D}$和$\mathcal{L}_{CFM}^{3D}$分别表示2D掩码和3D形状的条件流匹配损失，$\beta$用于平衡2D掩码与3D形状的损失。
To transform the voxel representation into a high-fidelity object surface, we train a masked multi-view structured-latent (SLat) flow following the strategy of ReconViaGen [^5]. Unlike the original formulation, we replace the
---
complete object images with occluded object images as inputs, and we directly adopt DINOv2 features instead of VGGT features, as the latter are unreliable when significant occlusions in object are present. The loss function is the same as the second stage of TRELLIS [^69].
在推理阶段，多视角物体掩码和物体形状会通过CFM的去噪过程同时被去噪。给定作为$x_0 \sim p_0$的3D含噪潜变量或2D含噪潜图像，物体的3D形状和掩码会由学习到的向量场$v(x, t) = \nabla_t x$利用欧拉采样方法进行去噪：
$$ x(1)=x(0)+\int_{0}^{1}v_{\theta}(x(t),t)d t. $$
生成物体体素后，我们会借助基于我们的数据微调的掩码多视角结构化潜变量（SLat）流来精细处理其表面，随后按照TRELLIS算法将其解码为3D网格[^69]。
#### 3.4. 物体姿态估计
由于现实场景中的大量物体具有高度对称性，仅依赖几何信息的通用物体姿态估计方法并不稳健：对称物体会引发旋转歧义。因此，我们采用了一种基于生成3D模型纹理的姿态估计方法。该模型的纹理生成阶段也在我们的数据集上进行了训练；关于纹理质量的更多细节可在附录中找到。
我们采用渲染与比对策略，将所有输入视图对齐到物体坐标系。具体来说，我们首先从均匀分布在球体上的相机视角渲染30张参考图像。这些渲染图像会与输入帧拼接在一起，然后送入VGGT [^61] 以获取粗略的相机姿态。由于渲染视图的姿态是已知的，我们便能推导出将VGGT [^61] 预测的姿态映射到物体空间的变换关系，从而为每张输入图像得到初始姿态估计。
随后，我们通过基于迭代对应的对齐方式来优化这些初始姿态。具体而言，我们利用粗略姿态渲染图像，并应用Mast3R [^32] 来建立每个输入帧与其渲染对应物之间的二维对应关系。我们选用Mast3R [^32] 是因为它经过大量数据增强训练，对我们生成的纹理具有较强鲁棒性——尽管这些纹理并非完美无缺。接着，利用带有RANSAC算法的PnP求解器对粗略相机姿态进行优化。经过几轮这样的优化过程后，初始预测结果得到显著改善，最终得到精度极高的相机姿态估计值。
#### 3.5. 数据集构建
为了构建大规模、高保真的合成数据集，我们首先将参数化手部纹理模型 [^50] 整合到MANO [^53] 手部模型中，并在渲染过程中通过调整参数来随机改变手部肤色。接着，我们综合考虑物体的纹理质量以及运动程度，从Objaverse [^14] 数据集中挑选出高质量的GraspXL合成抓取序列。最后，我们使用Blender [^12] 将抓取过程渲染为多视角视频序列。渲染时，系统会自动为每条抓取序列生成相机运动轨迹，以确保物体和手部始终位于相机视锥体内，同时允许物体在渲染图像中有有限范围内的移动。此外，渲染过程中还会随机调整光照强度和方向。
### 4. 实验
我们开展了实验，旨在有效评估我们的模型在从日常手-物交互视频中重建部分可见物体这一任务上相对于现有最先进方法的表现。该任务的目标是从观测有限的短单目视频序列中，准确恢复三维物体几何结构及物体姿态。第4.1节介绍了我们框架的实现细节与训练配置；第4.2节说明了用于训练和评估的数据集，包括现有基准数据集以及我们新构建的数据集；第4.3节总结了用于评估三维重建质量、二维预测精度以及相机姿态估计效果的评价指标；第4.4节展示了在多种设置下与近期最先进方法进行的定量与定性比较结果；最后，第4.5节提供了详细的消融实验，用以分析流程中各组件的作用，并验证设计选择的合理性。
#### 4.1. 实现细节
我们采用了与TRELLIS相同的架构[^69]。我们使用LoRA对TRELLIS的两个阶段中的扩散变换器进行微调。在我们的配置中，LoRA的秩设为64，缩放参数（alpha）设为128，所有LoRA模块的丢弃率设为0。LoRA适配器仅被插入到每个注意力块的qkv投影层和输出投影层中。训练时，输入视图的数量随机设定为2到6个，所有输入图像会被调整大小为$518 \times 518$像素，从而生成$37 \times 37$个图像特征块；而手部特征提取器则以$224 \times 224$张图像作为输入，这种压缩程度更高，随后我们直接使用带有MLP的CNN来融合这两种特征，得到 Patch 级别的聚合特征。作为数据增强手段，我们会随机混合来自不同视角、不同时刻的图像。训练期间，我们采用Adam优化器，学习率设为$5e^{-4}$；该训练在8块NVIDIA L20 40G GPU上进行，耗时4天，总批量大小设为32。
---
Figure 3. Qualitative visual comparison results on the HO3D [^18] and HOT3D [^3] datasets. SfM Fails represent the failure camera estimation from the structure-from-motion (SfM) method COLMAP since the sparse-view in HOT3D video clips.
#### 4.2. 数据集
训练数据：我们仅在自身构建的大规模合成数据集上训练模型，并未在真实数据集上进行微调，这凸显了我们模型中强大的数据先验特性以及该数据集的重要性。我们的数据包含超过40万个以多视角方式采集的手部与物体交互场景视频片段。训练时，我们会将同一抓取序列中不同时间戳的多视角图像随机混合，并随机旋转或翻转输入图像以增强数据多样性。
HO3D：我们在HO3D数据集[^18]上测试我们的模型，该数据集是手部与物体交互重建任务中常用的数据集。具体而言，我们使用了与HOLD [^16]相同的HO3D-v3序列，共计14个序列。由于我们专注于从观测数据有限的情况中重建物体，因此参照此前的研究MagicHOI [^64]的做法，将长序列划分为30帧的片段。对于单视角重建方法HoRT [^10]和EasyHOI，我们会在每张图像上分别进行测试，再对某一序列的所有视角的最终指标取平均值。
HOT3D：由于我们的初衷是从日常手部与物体交互视频中数字化三维物体，其中以第一人称视角数据最具挑战性。HOT3D数据集[^3]是近期利用VR头盔采集的数据集。与其他常见的数据集[^17] [^18] [^20] [^22] [^26] [^34] [^40]（这些数据集会刻意旋转手中的物体以便于重建）不同，它是首个真正捕捉人类日常交互过程的数据集。
---
在日常交互中，我们常常在短时间内接触多个物体，且针对单个物体的交互通常仅发生在10到20帧的视频中，同时还存在高度动态且快速的手部遮挡现象。为了利用该数据集进行评估，我们对其进行了仔细预处理：包括将视频裁剪成描述手部与单个物体交互的短片段、对视频帧进行去畸变处理，有时还会裁剪视频帧以确保物体在画面中不会过小。最终，我们选取了6个长度为5到15帧的短片段作为评估数据。
#### 4.3. 评估指标
由于我们主要关注物体的重建，根据[^10]、[^28]和[^64]的建议，我们采用以厘米为单位的倒角距离（CD）来评估物体重建质量。不过该指标对离群值极为敏感，因此我们还计算了5毫米（F5）和10毫米（F10）条件下的F分数百分比，以便全面评估物体的形状。此外，我们采用标准的视觉里程计指标[^55]来评估姿态精度，包括绝对轨迹误差（ATE）和相对姿态误差（RPE）。其中，ATE衡量的是估计相机位姿与真实相机位姿之间的绝对差异，在本研究中即指物体在相机空间中的平移量；而RPE则代表相对旋转（$RPE_{r}$）和平移（$RPE_{t}$）误差。
#### 4.4. 与现有技术的对比
重建结果：我们在表2中将自己的物体形状重建质量与现有的先进手持物体重建方法进行了比较，这些方法包括HOLD [^16]、EasyHOI [^42]、HORT [^10]以及MagicHOI [^64]。其中，HORT是在HO3D数据集上训练的，因此我们仅在HOT3D数据集上对其进行比较。如图3所示，由于数据不足，HORT仅能在其有限的训练数据所对应的相似物体上表现良好，难以泛化到HOT3D中的未见过的物体，对于几何结构较为复杂或拍摄视角特殊的物体，它甚至完全无法处理。HOLD是唯一一种不依赖先验信息的方法，由于没有物体形状的先验知识，它很难重建出完整的物体形状。尽管EasyHOI利用了来自2D图像修复模型和3D生成模型的丰富先验信息，但由于其复杂流程带来的累积误差，最终生成的3D形状与实际图像偏差较大，在图3的第5行中针对复杂几何结构时它也出现了失败情况。MagicHOI利用2D新视角合成先验，不仅能补全遮挡区域，还能使观测区域的形状与图像对齐；不过由于2D多视角生成模型本身存在不一致性，生成的物体背面可能会出现奇怪的形状（见图3第2行），这种不一致性还会导致优化后的表面相当粗糙且凹凸不平。需要注意的是，HOLD和MagicHOI都需要以物体姿态以及运动恢复结构（SfM）得到的稀疏点云作为输入，因此一旦SfM出现问题，整个流程就会失效，而在日常的人体-物体交互场景中这种情况十分常见。
| Methods | RPE(cm) | RPE(°) | ATE(m) |
| HOLD | 5.87 | 6.24 | 0.27 |
| Dynhor | 4.25 | 5.25 | 0.24 |
| Ours | 1.42 | 2.64 | 0.13 |
Table 1. Object pose estimation results compared with the HOLD and Dynhor method.
物体姿态结果：我们在表1中将自己的物体姿态结果与Dynhor [^28]及HOLD [^16]在HO3D数据集上的表现进行了比较。由于HOLD实际上是以运动恢复结构（SfM）得到的姿态作为初始姿态并进行优化，因此初始姿态的质量会对最终的物体姿态产生影响。在我们的实验设置中，输入的是包含物体且视角较为稀疏的视频片段，这种模式对SfM方法而言极具挑战性，因此导致的姿态估计结果也相对较差。相比之下，我们的方法利用重建后的模型进行姿态估计，这属于基于模板的物体估计任务；借助Mast3R强大的匹配能力，最终结果相当理想。Dynhor声称他们使用由纹理生成3D的模板作为输入，我们按照他们的论文说明使用Genie来生成形状；但由于缺少GPT图像采集过程对应的文本提示，最终生成的带纹理网格具有较大的随机性，从而影响姿态结果。尽管他们称后续整合到物体重建流程中的优化步骤能消除初始姿态猜测过程中的误差，但该部分尚未开源，因此我们仅使用他们提供的初始姿态进行对比，其结果并不如论文中所宣称的那般理想。
#### 4.5. 消融实验
我们针对两个关键设计进行了消融实验：手部特征输入以及流程中的2D物体掩码补全分支，相关数据的重要性见表3。
我们的数据集的重要性：手持物体动态遮挡下的重建问题在某种程度上可视为遮挡环境下的多视角物体重建问题：相机移动而物体静止的情况，等同于物体与相机坐标系发生相对运动的情况。基于这一假设，我们在早期实验中首先使用易于获取的常用物体数据集[^69]来训练模型。我们为多视角图像添加随机掩码，并在每个训练步骤中选择受限视角来模拟手持环境。然而，如表3所示，该模型在真实世界数据集上的表现非常差。根据我们的观察，这主要归因于两个问题：首先，3D生成模型的语义理解与补全依赖于以物体为中心的坐标系。当物体放置在桌面上时，其方向通常是对齐的，而经旋转后的物体
---
| Methods | HO3D | HOT3D | Avg Time(min) |
| CD(cm) $\downarrow$ | F@5(%) $\uparrow$ | F@10(%) $\uparrow$ | CD(cm) $\downarrow$ | F@5(%) $\uparrow$ | F@10(%) $\uparrow$ |
| EasyHOI | 1.83 | 46.35 | 69.24 | 1.21 | 18.46 | 34.25 | 175 |
| HOLD | 1.36 | 66.42 | 82.43 | N/A | N/A | N/A | 330 |
| HORT | N/A | N/A | N/A | 2.32 | 16.52 | 20.43 | 0.8 |
| MagicHOI | 0.86 | 64.53 | 91.87 | N/A | N/A | N/A | 58 |
| Ours | 0.79 | 68.95 | 93.72 | 1.03 | 60.5 | 89.1 | 1.1 |
Table 2. Quantitative comparison with baseline methods on the real-world HO3D and HOI dataset. Our method outperforms all the baseline methods on geometry accuracy and inference time.
Figure 4. Qualitative comparisons for different variants of ForeHOI for ablative study on HO3D [^18] dataset. Zoom in for better visualization in detail.
对于在常规数据上训练的模型而言，人手场景是完全陌生的。其次，缺乏语义信息的随机遮挡会导致模型无法学习到手与物体的交互关系。这一发现启发了我们在框架设计中加入另外两个关键组件：手部特征输入和掩码补全，同时也凸显了我们数据集的重要性。
手部特征的影响：HOI场景中物体重建的关键挑战之一是分析手与物体的关系。手部特征能让模型直接了解遮挡的来源。图4显示，若没有手部特征，模型有时无法补全手部接触区域的物体，这些区域会出现明显的指纹压痕。
2D掩码补全分支的影响：如前所述，手部遮挡产生的掩码相对规则，且包含手与物体交互的信息。在获取每帧的手部特征后，补全完整的物体掩码就变成了一项相对简单的任务。不过，这项简单任务能增强模型对手与物体交互的理解，从而显著提升其在严重手部遮挡场景下的表现，这一点可从表3和图4中看出。
| Strategy | CD(cm) $\downarrow$ | F@5(%) $\uparrow$ | F@10(%) $\uparrow$ |
| MV data | 1.23 | 25.54 | 68.54 |
| our data | 0.91 | 53.64 | 80.63 |
| + hand feats | 0.88 | 54.53 | 85.43 |
| + mask comp. | 0.79 | 68.95 | 93.72 |
Table 3. MV data means ReconViaGen [^5] backbone trained on their dataset with random image masking. our data means ReconViaGen [^5] backbone trained on our hand-object interaction data. Both +hand feats and +mask comp. represent versions trained on our data, with different architecture design.
### 5. 结论
在本文中，我们提出了ForeHOI——一种用于从单目HOI视频中快速、精准地进行3D物体重建的新型前馈模型。我们的研究表明，在单个网络中即可端到端地学习严重遮挡下手持物体的高保真重建。这是通过同时预测2D掩码修复和3D形状补全来实现的，两项任务相互受益，从而生成更精确的最终几何结构。我们的方法无需繁琐的预处理步骤，且能保持快速的推理速度。定性和定量结果表明，在真实场景设置下，ForeHOI的性能优于现有最先进的方法。
---
### 6. 致谢
本研究部分得到了广东省科技计划项目（项目编号：2024B0101030002）、河套深港科技创新合作区基础研究项目（项目编号：HZQB-KCZYZ-2021067）、广东省杰出青年科学基金项目（项目编号：2023B1515020055）、深圳市杰出人才培育基金（202002）、国家自然科学基金项目（项目编号：62293482）、广东省研究项目（项目编号：2017ZT07X152和2019CX01X104）、广东省未来网络智能重点实验室（项目编号：2022B1212010001）、深圳市大数据与人工智能重点实验室（项目编号：SYSPG20241211173853027）以及广东省射电科学数据中心的支持。
## 参考文献
[^1]: Ayce Idil Aytekin, Helge Rhodin, Rishabh Dabral, and Christian Theobalt. Follow my hold: Hand-object interaction reconstruction through geometric guidance, 2025. 3
[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 2
[^3]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. HOT3D: Hand and object tracking in 3D from egocentric multi-view videos. CVPR, 2025. 2, 6
[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 12417–12426, 2021. 3
[^5]: Jiahao Chang, Chongjie Ye, Yushuang Wu, Yuantao Chen, Yidan Zhang, Zhongjin Luo, Chenghong Li, Yihao Zhi, and Xiaoguang Han. Reconviagen: Towards accurate multi-view 3d object reconstruction via generation, 2025. 2, 4, 8
[^6]: Hongyi Chen, Yunchao Yao, Yufei Ye, Zhixuan Xu, Homanga Bharadhwaj, Jiashun Wang, Shubham Tulsiani, Zackory Erickson, and Jeffrey Ichnowski. Web2grasp: Learning functional grasps from web images of hand-object interactions. arXiv preprint arXiv:2505.05517, 2025. 1
[^7]: Xingyu Chen, Zhuheng Song, Xiaoke Jiang, Yaoqing Hu, Junzhi Yu, and Lei Zhang. Handos: 3d hand reconstruction in one stage. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 1,2
[^8]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. AlignSDF: Pose-Aligned signed distance fields for hand-object reconstruction. In ECCV, 2022. 3
[^9]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gsdf: Geometry-driven signed distance functions for 3d hand-object reconstruction. In Proceedings of the IEEE/CVF
计算机视觉与模式识别会议（CVPR），第12890–12900页，2023年。
[^10]: Zerui Chen, Rolandos Alexandros Potamias, Shizhe Chen, and Cordelia Schmid. HORT: Monocular hand-held objects reconstruction with transformers. arXiv preprint arXiv:2503.21313, 2025. 3, 6, 7
[^11]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. 1
[^12]: Blender Online Community. Blender - a 3D modelling and rendering package. Blender Foundation, Stichting Blender Foundation, Amsterdam, 2018. 5
[^13]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Gregory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 3
[^14]: Matt Deitke, Dustin Schwenk, Jordi Salvador, Luca Weihs, Oscar Michel, Eli VanderBilt, Ludwig Schmidt, Kiana Ehsani, Aniruddha Kembhavi, and Ali Farhadi. Objaverse: A universe of annotated 3d objects. arXiv preprint arXiv:2212.08051, 2022. 2, 3, 5
[^15]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xuanyang Zhang, Xue Zhang, Fei Li, Liu Zheng, Feng Lu, Karim Abou Zeid, Bastian Leibe, Jeongwan On, Seungryul Baek, Aditya Prakash, Saurabh Gupta, Kun He, Yoichi Sato, Otmar Hilliges, Hyung Jin Chang, and Angela Yao. Benchmarks and challenges in pose estimation for egocentric hand interactions with objects. In European Conference on Computer Vision (ECCV), 2024. 3
[^16]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Muhammed Kocabas, Xu Chen, Michael J Black, and Otmar Hilliges. HOLD: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 494–504, 2024. 3, 6, 7
[^17]: Rao Fu, Dingxi Zhang, Alex Jiang, Wanjia Fu, Austin Fund, Daniel Ritchie, and Srinath Sridhar. Gigahands: A massive annotated dataset of bimanual hand activities. 2025. 1, 3, 6
[^18]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 2, 3, 6, 8
[^19]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In IEEE Computer Vision and Pattern Recognition Conference, 2022. 2
[^20]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, 2022. 3, 6
## [^21]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Klevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects
---
相关项目。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，2019年，第3页。
[^22]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 3, 6
[^23]: Lukas Höllein, Aljaž Božič, Norman Müller, David Novotny, Hung-Yu Tseng, Christian Richardt, Michael Zollhöfer, and Matthias Nießner. Viewdiff: 3d-consistent image generation with text-to-image models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5043–5052, 2024. 2
[^24]: Binbin Huang, Haobin Duan, Yiqun Zhao, Zibo Zhao, Yi Ma, and Shenghua Gao. Cupid: Pose-grounded generative 3d reconstruction from a single image, 2025. 2
[^25]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia Conference Proceedings, 2022. 3
[^26]: Juntao Jian, Xiuping Liu, Manyi Li, Ruizhen Hu, and Jian Liu. Affordpose: A large-scale dataset of hand-object interactions with affordance-driven hand pose. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 14713–14724, 2023. 3, 6
[^27]: Shijian Jiang, Qi Ye, Rengan Xie, Yuchi Huo, Xiang Li, Yang Zhou, and Jiming Chen. In-hand 3d object reconstruction from a monocular rgb video. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 2525–2533, 2024. 3
[^28]: Shijian Jiang, Qi Ye, Rengan Xie, Yuchi Huo, and Jiming Chen. Hand-held object reconstruction from RGB video with dynamic interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12220–12230, 2025. 7
[^29]: Shijian Jiang, Qi Ye, Rengan Xie, Yuchi Huo, and Jiming Chen. Hand-held object reconstruction from RGB video with dynamic interaction. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12220–12230, 2025. 3
[^30]: Weitai Kang, Haifeng Huang, Yuzhang Shang, Mubarak Shah, and Yan Yan. Robin3d: Improving 3d large language model via robust instruction tuning. arXiv preprint arXiv:2410.00255, 2024. 2
[^31]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 2
[^32]: Vincent Leroy, Yohann Cabon, and Jerome Revaud. Grounding image matching in 3d with mast3r, 2024. 5
[^33]: Jiahao Li, Hao Tan, Kai Zhang, Zexiang Xu, Fujun Luan, Yinghao Xu, Yicong Hong, Kalyan Sunkavalli, Greg Shakhnarovich, and Sai Bi. Instant3d: Fast text-to-3d with sparse-view generation and large reconstruction model. In International Conference on Representation Learning, pages 21896–21920, 2024. 2
[^34]: Qixiu Li, Yu Deng, Yaobo Liang, Lin Luo, Lei Zhou, Chengtang Yao, Lingqi Zeng, Zhiyuan Feng, Huizhi Liang,
徐思成、张一忠、陈曦、陈浩、孙莉莉、陈东、杨娇龙、郭百宁。基于真实人类活动视频的可扩展视觉-语言-动作模型预训练用于机器人操控。arXiv预印本arXiv:2510.21571，2025年，第3、6页。
[^35]: Yangguang Li, Zi-Xin Zou, Zexiang Liu, Dehu Wang, Yuan Liang, Zhipeng Yu, Xingchao Liu, Yuan-Chen Guo, Ding Liang, Wanli Ouyang, et al. Triposg: High-fidelity 3d shape synthesis using large-scale rectified flow models. arXiv preprint arXiv:2502.06608, 2025. 2
[^36]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1954–1963, 2021. 2
[^37]: Ruoshi Liu, Rundi Wu, Basile Van Hoorick, Pavel Tokmakov, Sergey Zakharov, and Carl Vondrick. Zero-1-to-3: Zero-shot one image to 3d object, 2023. 2
[^38]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 14687–14697, 2021. 2
[^39]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2021. 3
[^40]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21013–21022, 2022. 3, 6
[^41]: Yuan Liu, Cheng Lin, Zijiao Zeng, Xiaoxiao Long, Lingjie Liu, Taku Komura, and Wenping Wang. Syncdreamer: Generating multiview-consistent images from a single-view image. arXiv preprint arXiv:2309.03453, 2023. 2
[^42]: Yumeng Liu, Xiaoxiao Long, Zemin Yang, Yuan Liu, Marc Habermann, Christian Theobalt, Yuexin Ma, and Wenping Wang. Easyhoi: Unleashing the power of large models for reconstructing hand-object interactions in the wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 7037–7047, 2025. 2, 3, 7
[^43]: Jiasen Lu, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. Advances in neural information processing systems, 32, 2019. 4
[^44]: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020. 3
## [^45]: Maxime Oquab, Timothée Darcet, Theo Moutakanni, Huy V. Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, Russell Howes, Po-Yao Huang, Hu Xu, Vasu Sharma, Shang-Wen Li, Wojciech Galuba, Mike Rabbat, Mido Assran, Nicolas Ballas, Gabriel Synnaeve, Ishan Misra, Herve Jegou
---
Julien Mairal、Patrick Labatut、Armand Joulin和Piotr Bojanowski。Dinov2：无需监督即可学习鲁棒的视觉特征，2023年，第3页。
[^46]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, 2024. 2
[^47]: Ben Poole, Ajay Jain, Jonathan T. Barron, and Ben Mildenhall. Dreamfusion: Text-to-3d using 2d diffusion. arXiv, 2022. 3
[^48]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild, 2024. 1, 2, 3
[^49]: Aditya Prakash, Matthew Chang, Matthew Jin, Ruisen Tu, and Saurabh Gupta. 3d reconstruction of objects in hands without real world 3d supervision. In European Conference on Computer Vision (ECCV), 2024. 3
[^50]: Neng Qian, Jiayi Wang, Franziska Mueller, Florian Bernard, Vladislav Golyanik, and Christian Theobalt. HTML: A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization. In Proceedings of the European Conference on Computer Vision (ECCV). Springer, 2020. 2, 5
[^51]: Wentian Qu, Zhaopeng Cui, Yinda Zhang, Chenyu Meng, Cuixia Ma, Xiaoming Deng, and Hongan Wang. Novel-view synthesis and pose estimation for hand-object interaction from sparse views. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 15100–15111, 2023. 3
[^52]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models, 2021. 2
[^53]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: modeling and capturing hands and bodies together. ACM Trans. Graph., 36(6), 2017. 2, 5
[^54]: Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily L Denton, Kamyar Ghasemipour, Raphael Gontijo Lopes, Burcu Karagol Ayan, Tim Salimans, Jonathan Ho, David J Fleet, and Mohammad Norouzi. Photorealistic text-to-image diffusion models with deep language understanding. In Advances in Neural Information Processing Systems, pages 36479–36494. Curran Associates, Inc., 2022. 2
[^55]: Davide Scaramuzza and Friedrich Fraundorfer. Visual odometry [tutorial]. IEEE Robotics & Automation Magazine, 18(4):80–92, 2011. 7
[^56]: Ruoxi Shi, Hansheng Chen, Zhuoyang Zhang, Minghua Liu, Chao Xu, Xinyue Wei, Linghao Chen, Chong Zeng, and Hao Su. Zero123++: a single image to consistent multi-view diffusion base model. CoRR, abs/2310.15110, 2023. 2
[^57]: Tencent Hunyuan3D Team. Hunyuan3d 2.1: From images to high-fidelity 3d assets with production-ready pbr material, 2025. 2
[^58]: Tencent Hunyuan3D Team. Hunyuan3d 2.0: Scaling diffusion models for high resolution textured 3d assets generation, 2025. 4
[^59]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 3
[^60]: Dmitry Tochilkin, David Pankratz, Zexiang Liu, Zixuan Huang, , Adam Letts, Yangguang Li, Ding Liang, Christian Laforte, Varun Jampani, and Yan-Pei Cao. Triposr: Fast 3d object reconstruction from a single image. arXiv preprint arXiv:2403.02151, 2024. 2
[^61]: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, and David Novotny. Vggt: Visual geometry grounded transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2025. 2, 4, 5
[^62]: Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, and Wenping Wang. Neus: Learning neural implicit surfaces by volume rendering for multi-view reconstruction. arXiv preprint arXiv:2106.10689, 2021. 3
[^63]: Shibo Wang, Haonan He, Maria Parelli, Christoph Gebhardt, Zicong Fan, and Jie Song. Magichoi: Leveraging 3d priors for accurate hand-object reconstruction from short monocular video clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 5957–5968, 2025. 3
[^64]: Shibo Wang, Haonan He, Maria Parelli, Christoph Gebhardt, Zicong Fan, and Jie Song. Magichoi: Leveraging 3d priors for accurate hand-object reconstruction from short monocular video clips. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025. 2, 6, 7
[^65]: Daniel Watson, William Chan, Ricardo Martin-Brualla, Jonathan Ho, Andrea Tagliasacchi, and Mohammad Norouzi. Novel view synthesis with diffusion models, 2022. 2
[^66]: Bowen Wen, Jonathan Tremblay, Valts Blukis, Stephen Tyree, Thomas Müller, Alex Evans, Dieter Fox, Jan Kautz, and Stan Birchfield. BundleSDF: Neural 6-DoF tracking and 3D reconstruction of unknown objects. In CVPR, 2023. 3
[^67]: Jane Wu, Georgios Pavlakos, Georgia Gkioxari, and Jitendra Malik. Reconstructing hand-held objects in 3d. arXiv preprint arXiv:2404.06507, 2024. 3
[^68]: Rundi Wu, Ben Mildenhall, Philipp Henzler, Keunhong Park, Ruiqi Gao, Daniel Watson, Pratul P. Srinivasan, Dor Verbin, Jonathan T. Barron, Ben Poole, and Aleksander Ho?y?ski. Reconfusion: 3d reconstruction with diffusion priors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21551–21561, 2024. 2
[^69]: Jianfeng Xiang, Zelong Lv, Sicheng Xu, Yu Deng, Ruicheng Wang, Bowen Zhang, Dong Chen, Xin Tong, and Jiaolong Yang. Structured 3d latents for scalable and versatile 3d generation. arXiv preprint arXiv:2412.01506, 2024. 2, 5, 7
[^70]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Cpf: Learning a contact potential field to model the hand-object interaction. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 11097–11106, 2021. 3
## [^71]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d
---
通过在线探索与合成实现手-物体姿态估计。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第2750–2760页，2022年，第3页。
[^72]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3895–3905, 2022. 3
[^73]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 19717–19728, 2023. 3
[^74]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1911–1920, 2024. 3
[^75]: Yufei Ye, Yao Feng, Omid Taheri, Haiwen Feng, Shubham Tulsiani, and Michael J Black. Predicting 4d hand trajectory from monocular videos. arXiv preprint arXiv:2501.08329, 2025. 1, 2
[^76]: Chenyangguang Zhang, Yan Di, Ruida Zhang, Guangyao Zhai, Fabian Manhardt, Federico Tombari, and Xiangyang Ji. Ddf-ho: Hand-held object reconstruction via conditional directed distance field. In Advances in Neural Information Processing Systems, pages 56871–56884. Curran Associates, Inc., 2023. 3
[^77]: Hui Zhang, Sammy Christen, Zicong Fan, Otmar Hilliges, and Jie Song. GraspXL: Generating grasping motions for diverse objects at scale. In European Conference on Computer Vision (ECCV), 2024. 2, 3
[^78]: Hui Zhang, Sammy Christen, Zicong Fan, Luocheng Zheng, Jemin Hwangbo, Jie Song, and Otmar Hilliges. ArtiGrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation. In International Conference on 3D Vision (3DV), 2024. 1
[^79]: Jason Y. Zhang, Sam Pepose, Hanbyul Joo, Deva Ramanan, Jitendra Malik, and Angjoo Kanazawa. Perceiving 3d human-object spatial arrangements from a single image in the wild. In European Conference on Computer Vision (ECCV), 2020. 2