Figure 1. We present a scalable approach to hand-held object reconstruction from monocular RGB images or videos that is guided by object recognition and retrieval. Results demonstrate that our method is able to generate realistic object geometry that is also faithful to visual observations and consistent across frames. Please see the supplementary materials for evaluation of temporal consistency.
## 摘要
手部操控的物体（即被操控物）从互联网视频中重建起来尤为困难。不仅手部会遮挡大部分物体，而且物体往往只在少量图像像素中可见。与此同时，在这种场景下会出现两个重要的依据：（1）估算出的三维手部模型有助于确定物体的位置和尺寸；（2）相对于所有可能的物体而言，被操控物的种类较少。基于这些认知，我们提出了一种可扩展的手持物体重建范式，该范式依托于大型语言/视觉模型和三维物体数据集领域的最新突破。给定单目RGB视频，我们的目标是随时间推移重建手持物体的三维几何结构。为了获得性能最优的单帧模型，我们首先提出MCC-Hand-Object（MCCHO），它能在输入单张RGB图像及估算出的三维手部模型的基础上，同时重建手部和物体的几何结构。随后，我们利用视觉语言模型（VLM）提示文本到三维生成模型，以获取与图像中物体匹配的三维物体模型；我们将这种对齐方式称为检索增强重建（RAR）。RAR能够
在所有帧中提供统一的物体几何结构，且结果会与输入图像以及三维MCCHO观测结果在时间上保持一致的刚性对齐。实验表明，我们的方法在实验室及互联网图像/视频数据集上均取得了最先进的性能。我们的代码和模型可在项目网站上下载：
### 1. 引言
从视觉数据中恢复三维手-物体交互信息是计算机视觉和机器人领域的一个重要课题。尽管在单独重建手部 [^60] [^62] [^106] 和物体 [^43] [^44] [^47] [^100] 方面已经取得了显著进展，但手-物体交互的联合重建仍面临独特的挑战，目前通用的重建方法尚无法解决这些问题。现有的图像转三维模型 [^43] [^44] [^47] [^100] 都是在物体通常在图像中完全可见的数据集上训练的；因此，这些模型并未被训练来主要依据手部或场景上下文推断几何结构。诸如运动恢复结构（SfM）[^83] 这类程序化方法也会遇到困难，因为物体大多被遮挡，难以获取足够多的特征点来实现精确重建。实际上，最先进的
---
手-物体重建方法依赖于人工协助来收集数据，无论是实验室数据集 [^6] [^17] [^45] 还是互联网视频 [^4] [^59]。手动扫描或获取的物体模型固然能提升重建质量并提供更好的初始化条件，但这种模式并不具备可扩展性。
在本文中，我们提出了一种从单目RGB图像和视频中恢复三维手物交互的新方法，尤其侧重于重建手持物体的几何结构。详见图1及补充视频。给定一张RGB图像和估计出的三维手部模型，我们训练了一个基于Transformer的模型——MCC-HandObject（MCC-HO），用于同时推断三维手部与物体的几何结构。这种几何结构被表示为由占据率、颜色和手物分割信息组成的神经隐式表面。通过借鉴现有物体重建模型MCC [^96] 的架构，我们利用经过CO3Dv2数据集预训练的MCC模型进行微调，从而利用学习到的物体先验知识 [^71]。实验表明，在包含三维标签的现有数据集上，我们的模型在手持物体重建任务中的表现优于现有方法，这些数据集包括DexYCB、MOW和HOI4D [^4] [^6] [^45]（见表1、图4和图5）。
由于现有的三维手物数据集规模有限，我们还借助视觉语言模型 [^11] [^55] 以及三维生成模型 [^9] [^47] [^49] [^61] 来改进这一特定领域的方法。结合MCC-HO模型，我们提出了检索增强重建（Retrieval-Augmented Reconstruction, RAR）方法，该方法利用大型语言/视觉模型自动检索物体模型，以优化网络推断出的几何结构。具体而言，我们先提示视觉语言模型 [^55] 识别图像中的手持物体并提供详细的文本描述；随后将该描述输入文本转三维生成模型 [^49] 以获取三维物体模型，最后借助DINOv2 [^56] 以及MCC-HO推断出的三维线索，将三维物体模型与输入的图像或视频进行刚性对齐。实验证明，RAR方法在三维重建任务中取得了定量上的提升（见表2和表5），且生成的物体几何结构比现有图像转三维方法更逼真（见图5和图6）。
需要注意的是，尽管RAR方法总体表现良好，但如果生成模型无法找到足够匹配的三维模型，该方法有时会失效。不过好消息是，该框架作为机器人的“数据引擎”发挥作用时，并不要求它在每个视频中都表现优异。目前，机器人领域对用于模仿学习的手物交互轨迹有着极大需求 [^77]，而这类数据通常在实验室环境中采集 [^1] [^20] [^32]，其多样性往往不足。借助我们的方案，可以通过人类观察者的简单“点赞/点踩”判断，筛选出那些手物交互重建效果良好的视频。我们已成功将这种方法应用于100DOH数据集中的互联网视频 [^76]；详情见补充材料。虽然这些视频的质量略低于实验室采集的数据集，但它们具备规模大、多样性强的优势，因此可以作为机器人数据管道的预训练阶段，再通过实验室数据集进行微调。
### 2. 相关工作
物体重建。从图像中重建物体是计算机视觉领域一个由来已久的问题，该领域的大部分研究都集中在输入视图中物体完全或几乎完全未被遮挡的场景下。运动恢复结构（SfM）[^26] [^75] [^78] [^83] 和 SLAM [^5] [^54] [^80] 仍然是用于多视角重建和相机参数估计的可靠解决方案。基于学习的物体重建方法通常将三维几何表示为点云[^65] [^66]、网格[^21] [^93] [^95]、体素网格[^90] [^97] 或隐式曲面[^51] [^53] [^58] [^82] [^91] [^96]。随着Objaverse[^14] 和 Objaverse-XL[^15] 的发布，许多研究利用这一大规模三维物体数据集来训练单目物体重建模型[^31] [^43] [^44] [^46]。CO3Dv2数据集[^72] 包含来自50个MS-COCO类别的物体[^42]，也已被用于训练单目物体重建模型[^96]。实践中我们发现，由于手部遮挡、物体姿态多样性更大等因素，现成的物体重建方法在手部与物体交互的图像上表现不佳。
手部重建。近年来，关于从单目RGB图像[^41] [^50] [^52] [^57] [^60] [^64] [^74] [^89] [^108] [^111] 或单目视频[^35] [^94] [^99] 中估计手部姿态的研究日益增多。这些方法要么估计手部的骨骼关节位置，要么使用如MANO[^73]之类的参数化模型。由于人类有两只手，其他方法旨在共同重建左手和右手[^88] [^107]。在本研究中我们采用HaMeR[^60]，因为它在野外图像上取得了最先进的性能。
基于模型的手部-物体姿态估计。当存在三维物体模型时，恢复手部-物体交互的问题便可简化为估计手部的姿态和形状以及物体的刚性姿态[^2] [^4] [^17] [^28] [^29] [^59] [^67] [^81] [^84] [^85] [^98] [^101]。随后可利用估计出的手部信息，通过反向渲染[^4] [^59] 将物体与图像或视频进行刚性对齐[^110] [^48] [^69]。由于手部-物体交互带来的特殊挑战（如高度遮挡的几何结构），基于优化的方法被视为该领域当前的最先进技术。RHO[^4] 研究了从野外图像中恢复手部-物体姿态的问题，而以往的研究主要围绕实验室环境下采集的数据集展开。RHOV[^59] 在RHO的基础上扩展到了视频数据，新增了时序损失和光流损失等项。旨在
---
Figure 2. Given an RGB video and estimated 3D hands, our method reconstructs 3D hand-held object trajectories. First, MCC-HO is used to predict hand and object point clouds for each frame (Section 4). Then, a single 3D model for the object is obtained using Retrieval-Augmented Reconstruction (Section 5). The 3D object model is rigidly aligned with DINOv2 [^56] image features and network-inferred geometry in a temporally consistent manner via our Viterbi algorithm (Section 6).
添加更多受物理规律启发的约束，HandyPriors [^110] 利用可微接触模块来减少帧间的相对滑动。G-HOP [^105] 则借助生成式手-物体先验来指导优化过程。
无模型的手-物体重建。由于没有对应的3D模型，重建手持物体相比一般物体重建面临更多挑战，这是因为手部会频繁遮挡物体，且公开可用的手-物体交互3D数据也少得多。现有方法要么针对单图像重建[^7] [^8] [^10] [^19] [^27] [^63] [^103] [^109]，要么针对RGB视频[^25] [^33] [^104] [^105]，或是RGB-D视频[^92]。我们的方法结合了基于模型和无需模型的重建方法的优势：首先根据单图像重建3D物体，再利用该输出结果来引导检索到的3D物体模型的配准过程。
手-物体数据集。包含手-物体交互的数据集要么是在实验室环境中采集的[^2] [^6] [^24] [^38] [^45]，要么通过大规模采集获得[^22] [^23]，或是来自互联网视频[^4] [^13] [^76]。不少手持物体重建模型[^7] [^8] [^10]都是在HO-3D [^24]或DexYCB [^6]数据集上训练的。由于这两个数据集中的物体实例总数仅为31个，这类方法很难推广到未见过的物体上。HOI4D [^45]是目前可用的最大规模、包含3D手和物体标注的数据集（也在[^104]中使用）。此外还有数量相对更多的包含手-物体交互视频但无3D标注的数据。Epic Kitchens [^13]包含了人们在自家厨房拍摄的55小时第一视角视频。Ego4D [^22]和Ego-Exo4D [^23]也是第一视角数据集，而100 Days of Hands (100DOH) [^76]则收录了从互联网视频中收集的131天的影像资料。自[^76]发布后，MOW [^4]和RHOV [^59]分别对100DOH中的部分图像和视频片段进行了标注，标出了其中的3D手和物体。
### 3. 方法概述
我们针对从单目RGB视频中重建手-物体交互的方法，结合了前馈网络推理（MCC-HO）、物体模型检索（RAR）以及后续的刚性对齐步骤。详见图2。首先，我们基于Transformer的模型MCC-HO会从单图像中估计3D手-物体几何结构（第4节）。同时，我们通过一种称为检索增强重建的技术[^49]，利用文本到3D的生成式模型自动合成3D物体模型（第5节）。最后，会以时间一致的方式对3D物体模型进行刚性对齐（第6节）。
### 4. 估计手-物体几何结构
在第一阶段，通过训练一个针对手-物体重建这一特定任务而从 MCC [^96] 改编而来的模型，来联合推断手部和物体几何形状。我们的模型 MCC-Hand-Object (MCC-HO) 需要应对两个主要挑战。首先，MCC 假设输入为 RGB-D 图像，而我们的模型需要处理 RGB 输入，因为我们的最终目标是从互联网视频中进行重建。其次，我们必须找到一种方法来应对训练数据集之间显著的领域偏移。MCC 在 CO3D 数据集 [^72] 上进行训练，该数据集由干净的 360 度视频组成，其中每个物体均未被遮挡并放置在固体表面上。对于 MCC-HO，我们的训练数据是一个相对较小的、包含野外和实验室手-物体交互数据集的集合，在绝大多数图像中，手持物体至少部分被遮挡。
MCC-HO 的输入是单张 RGB 图像和 3D 手部几何形状。手部和物体分割掩码可以从真实标签或 Segment Anything (SAM/SAM2) [^36] [^70] 中获取，而组合后的手-物体掩码确定了用于
---
裁剪/缩放输入图像的边界框。手部几何形状由 MANO 手部模型 [^73] 进行参数化，该模型由姿态参数 $\theta \in \mathbb{R}^{48}$ 和形状参数 $\beta \in \mathbb{R}^{10}$ 组成。MANO 手部骨架包含 21 个关节。在训练时，使用真实的 3D 手部。在测试时，使用 HaMeR [^60] 来推断手部几何形状。
所推断的几何形状被表示为一个神经隐式函数 $\rho(x)$，用于同时建模手和物体，这样对于任意三维位置x，$\rho$ 就能返回占据概率 $\sigma(x)$、RGB颜色 $c(x)$ 以及分割标签 $m(x)$：
$$ \rho(x)=(\sigma(x),c(x),m(x)) $$
其中$\sigma(x) \in [0,1]$、$c(x) \in [0,1]^3$和$m(x) \in \{0,1,2\}$分别表示背景点、手部和物体点。物体几何结构的尺度是相对于输入的三维手部进行归一化的。
#### 4.1. 架构
MCC-HO采用编码器-解码器架构，该架构由Transformer [^86] 组成，能够输出手-物体几何形状的隐式表示。输入图像和三维手部数据会被送入编码器，以计算出一个既包含图像特征又包含手部特征的特征图。随后这些特征会被用来作为解码器的条件，解码器会将任意三维位置映射为占据状态、颜色和手-物体分割结果。在训练阶段，会在标准化体积范围内均匀采样一组查询三维点Q；而在测试时，体素网格的顶点会被用作查询点。
编码器：编码器以单张RGB图像$I \in \mathbb{R}^{H \times W \times 3}$以及在相机世界空间中定义的带姿态的MANO手部网格为输入，该网格包含顶点$v_h \in \mathbb{R}^{778 \times 3}$和面片$f_h \in \mathbb{R}^{1538 \times 3}$。相机内参要么是已知的，要么与估计出的三维手部数据一致（例如HaMeR推理过程中使用的相机参数[^60]）。为了共同编码图像与手部几何信息，会对手部网格进行光栅化处理，并采样每个像素对应的手部三维点。对于图像中的每个像素$(i, j)$，会从相机光圈向像素中心发射一条射线，以确定其与手部网格的第一个交点，该交点在相机世界空间中的坐标为$P_0(i, j)$。若存在交点，则通过插值 intersecting camera world space三角形顶点$\{v_{h,1}, v_{h,2}, v_{h,3}\}$来得到每个点的三维位置，计算公式如下：
$$ P_{0}(i,j)=\alpha_{1}v_{h,1}+\alpha_{2}v_{h,2}+\alpha_{3}v_{h,3}\in\mathbb{R}^{3}, $$
利用重心权重$\alpha$。这些点$P_0$用于定义归一化的相机世界空间，这样传递给网络的3D坐标就是$P = s(P_0 - \mu(P_0)) / \sigma(P_0)$，且几何信息也在同一坐标系中被推断出来。重要的是，s是一个恒定的缩放因子，用于确保物体几何形状能够被包含在这个手部归一化的采样空间范围内。
图像I和手部关键点P被编码成单一表示R，其中：
$$ R:=f(E^{R G B}(I),E^{X Y Z}(P))\in\mathbb{R}^{N^{{e n c}}\times C}, $$
其中$E^{RGB}$和$E^{XYZ}$与MCC中提出的变换器[^96]类似，不过我们对P的定义有所不同，即不需要输入深度图像。图像变换器$E^{RGB}$采用视觉变换器（ViT）架构[^16]，包含$16 \times 16$个补丁嵌入。点变换器$E^{XYZ}$采用基于自注意力的补丁嵌入设计，能够区分可见像素点和不可见像素点。具体来说，对于P中未找到光线与网格交点的点，会学习一种特殊的C维嵌入来替代3D点的嵌入。函数f将两个变换器的输出拼接起来，每个变换器的输出维度均为$N^{enc} \times C$。$N^{enc}$是变换器中使用的标记数量，C则是输出通道大小。
解码器。解码器以编码器输出R以及一组查询点$Q \in \mathbb{R}^{N_q \times 3}$作为输入（我们选取$N_q = 1024$）。这些输入被送入一个借鉴自MCC且受掩码自编码器（MAE）启发的变换器[^30]。每个查询标记会被送入三个输出头，分别用于推断二值占用情况$\sigma$、RGB颜色c以及手-物体分割结果m，具体如下：
$$ D e c o d e r(R,Q):=(\sigma(Q),c(Q),m(Q)). $$
输出占用情况和颜色的解码器层与MCC中的设计一致，但MCC-HO额外增加了一个线性层，用于推断每个点的多类别分割结果，即背景、手部或物体标签。
正如MCC中进一步详述的那样，基于点查询的解码器在计算效率和可扩展性方面具有诸多优势。由于编码器与点查询相互独立，因此可以使用相同的编码器结构和特征图尺寸来采样任意数量的点。解码器架构相对轻量，还能在训练和/或测试时动态调整点采样分辨率和查询规模。
损失函数。训练损失由占用损失、颜色损失和分割损失组合而成：
$$ \mathcal{L}=\mathcal{L}_{\sigma}+\mathcal{L}_{c}(\sigma_{g t})+\mathcal{L}_{m} $$
占用损失$\mathcal{L}_{\sigma}$是一种二元交叉熵损失，用于比较每个查询点的预测占用情况和真实占用情况。颜色损失$\mathcal{L}_{c}$是针对真实占用情况为1的查询点计算的256类分类损失。分割损失$\mathcal{L}_{m}$是针对每个查询点的3类分类损失，对应背景（空白空间）、手部和物体标签。
---
### 5. 检索增强重建
与任何其他深度学习模型一样，MCC-HO的性能表现取决于可用的训练数据量，比如现有的手-物体数据集的规模。目前这类数据集规模都相当小，比计算机视觉基础模型训练所用的“大数据”要小几个数量级。我们该如何利用这些其他模型来为我们的目标服务呢？具体来说，物体识别技术已经相当成熟[^55]，而且存在大量的3D物体模型集合[^14] [^15]，它们推动了3D生成建模的发展[^9] [^47] [^49] [^61]。因此，为了进一步改进网络推断出的物体几何结构，我们利用GPT-4(V)[^55]和文本转3D生成模型[^49]来自动检测并“检索”图像中与手持物体对应的3D物体。我们将这种技术称为检索增强重建（RAR），这一名称借鉴了自然语言处理中的检索增强生成概念[^39]。
给定视频中的一个代表性帧，我们提示GPT-4(V)给出手部所握物体的详细描述。该文本描述会被传递给Luma公司开发的文本转3D模型Genie[^49]，以检索逼真的3D物体几何结构与外观（Genie也用于[^40]）。由于Genie输出的几何结构会归一化到单位立方体内，因此必须根据输入的3D手部模型来调整3D模型的尺度。
#### 5.1. 刚性对齐
在获取三维物体模型后，会将其与输入的视觉数据以及MCC-HO的预测结果进行刚性对齐。我们先考虑单图像的情况：首先利用预测的MCC-HO物体点云来估算物体尺度，由于该预测结果是以输入的三维手部数据为基准的，因此这种估算方式具有相当的合理性。如果MCC-HO点云为 $X \in \mathbb{R}^{N \times 3}$，而检索到的物体模型的采样点云为 $Y \in \mathbb{R}^{N \times 3}$，那么尺度可定义为 $s = \sqrt{\lambda_X^0} / \sqrt{\lambda_Y^0}$，其中 $\lambda_X^0$ 是 $X^T X$ 的最大特征值，$\lambda_Y^0$ 对Y的定义方式与之类似。
剩余需要优化的参数是物体旋转矩阵R和平移向量T。为了在(1)保证得到全局最优解的同时(2)保持固定的计算时间，我们将所有可能的参数值空间离散化，从而构建有限状态空间$\{\mathcal{R}, \mathcal{T}\}$。3D旋转群$\mathrm{SO}(3)$采用[^37]中提出的单位立方体细分策略进行离散化。平移被定义为相对于MCC-HO点云平均位置的偏移量$\mu(X)$，该空间通过以$\mu(X)$为中心构建小型体素网格来离散化。为避免状态空间规模过大导致难以处理$(e.g., \mathbb{R}^3 \times \mathbb{R}^3)$，我们先优化旋转参数，再优化平移参数。对于每个参数，我们会选择能使以下两个指标的误差之和最小的那个状态。
Figure 3. We compute a PCA basis of DINOv2 features using all frames masked by the object silhouettes (one frame and its first three PCA components are shown on the left side of each example). The first three components of this basis are used to determine the maximum likelihood Genie object rotation for each frame (shown on the right side).
MCC-HO倒角距离。MCC-HO点云与变换后的物体模型之间的倒角距离是一种常见的3D评估指标。需要注意的是，在优化旋转参数时，物体模型（以原点为中心）会先旋转，再平移到MCC-HO点云的平均位置。
DINOv2 PCA相似性。MCC-HO点云能够为我们提供合理的物体姿态估计，但仅依靠这一信号可能无法得到与输入图像高度对齐的姿态（尤其是对于具有对称性的几何物体以及自然场景中的物体）。因此，我们额外利用DINOv2 [^56] 特征来确定变换后的物体模型与输入图像之间的视觉相似性。对于每一种旋转/平移状态，都会使用Pytorch3D [^69] 来渲染变换后的物体网格。我们以输入图像的DINOv2特征为基础构建PCA基，并分别计算渲染后的特征$\mathcal{F}_j$ 以及输入图像特征$\mathcal{F}_0$ 的前三个PCA分量。我们计算两者之间的余弦相似度：
$$\begin{array}{r}{E_{D I N O}=1-\frac{1}{2}\left(\frac{\mathrm{P C A}(\mathcal{F}_{j})\cdot\mathrm{P C A}(\mathcal{F}_{0})}{\operatorname*{m a x}(||\mathrm{P C A}(\mathcal{F}_{j})||_{2}\cdot||\mathrm{P C A}(\mathcal{F}_{0})||_{2},\epsilon)}+1\right)}\end{array}$$
其中$\mathcal{F}_j$ 和$\mathcal{F}_0$ 均被输入图像中的物体轮廓所掩码。当没有真实的物体掩码数据时，我们会使用SAM 2 [^70]。关于使用100DOH数据集中的示例图像得到的旋转结果，可参见图3 [^76]。
### 6. 从图像到视频
在上一节中，我们展示了如何针对单张图像，选择能使基于CD和DINOv2相似度的误差指标最小化的3D物体模型的旋转和平移参数。现在，如果我们输入的是视频流，就能进一步利用时间平滑性这一额外线索——我们预期相邻帧之间的旋转和平移状态会彼此接近。
---
给定一系列包含时间步t的视频帧，我们会对每帧的旋转参数$R(t)$ 进行联合优化，随后再对每帧的平移参数$T(t)$ 进行优化。传统的时间对齐方法是采用基于梯度的优化方式[^59] [^104]，但这种方法容易陷入局部最小值，且计算时间无法预估。为了兼顾鲁棒性和效率，我们提出使用Viterbi算法[^18] [^34] [^87] 来求解视频序列中所有帧的刚体物体对齐的全局解。Viterbi算法是一种动态规划方法，用于获取最有可能产生观测事件序列$Q = q_1, q_2, \ldots, q_N$ 的隐藏状态序列$O = o_1, o_2, \ldots, o_N$ 的最大后验概率。隐藏状态$q_t$ 可以取有限参数集Q中的值（在本研究中，即$Q = \mathcal{R}$ 或$Q = \mathcal{T}$）。与单图像情况类似，观测值$o_t$ 是MCC-HO推断出的物体点云与DINOv2图像特征的结合。
Viterbi网格中的每个单元格$v_t(j)$ 表示在观察到前t个观测值并通过最可能状态序列$q_1, \ldots, q_{t-1}$ 后，最终处于状态j的概率。给定时间$t-1$ 下处于各个状态的概率后，Viterbi概率可通过以下方式计算：
$$ v_{t}(j)=\max_{i=1}^{|\mathcal{Q}|}v_{t-1}(i)a_{ij}b_{j}(o_{t}), $$
其中$a_{ij}$ 是从前一个状态$q_i$ 到当前状态$q_j$ 的转移概率，$b_j(o_t)$ 是在当前状态j下观测到该结果的状态观测似然。具体而言，$a_{ij}$ 在优化旋转参数时为Rodrigues旋转误差，优化平移参数时则为欧几里得距离。发射代价$b_j(o_t)$ 是单图像部分定义的两项指标之和，即相对于MCC-HO点云的CD，以及相对于输入图像的DINOv2 PCA相似度。
### 7. 实验
第7.1节详细介绍了用于训练和评估的数据集。第7.2节定义了用于比较的评估指标。我们还在定量（第7.3节）和定性（第7.4节）层面与现有工作进行了对比评估，发现我们的方法在所使用的全部三个数据集上均取得了最先进的性能 [^4] [^6] [^45]。此外，在第7.4.1节中，我们针对应用于100DOH中的真实互联网视频的检索增强重建（RAR）方法提供了定性结果 [^76]，以证明我们自动化模型检索与拟合方法的可行性与可扩展性。第7.5节包含了针对MCC-HO的消融研究、归因于RAR的改进效果，以及基于3D手部信息对手持物体重建的影响。
#### 7.1. 数据集
我们在四个不同的数据集上开展了手部物体重建实验。
HOI4D。HOI4D数据集 [^45] 包含4000段实验室拍摄的手部与指定类别常见物体交互的视频。我们选取了包含所有6种手持物体类别的序列，并将其划分为训练集、验证集和测试集。总共使用了1142个训练序列、6个验证序列以及12个测试序列，这一划分方式与DiffHOI [^104] 保持一致。对于验证集，我们为每个类别选取一段视频，并优先选择数据集中出现频率最低的物体实例。
DexYCB。DexYCB数据集 [^6] 包含1000段实验室拍摄的手部与21种YCB物体交互的视频。我们使用了“s0”数据集划分方式，其中包含800个训练序列、40个验证序列和160个测试序列。
MOW/RHOV。MOW [^4] 是一个包含来自100 Days of Hands [^76] 的512张标注有3D手部与物体信息的图像的数据集。我们采用了与 [^103] 相同的划分方式，即350张训练图像和92张测试图像。此外，我们还使用了来自RHOV [^59] 的110段视频，每段视频都是对应MOW帧为中心的2秒片段。在RHOV数据集中，有19段视频与MOW测试集重叠，因此我们在训练时不会使用它们。
100DOH。100 Days of Hands数据集 [^76] 包含了从互联网视频中收集的131天的手部与物体交互影像。绝大多数视频没有对应的3D手部或物体标签，因此我们利用该无标签子集中的示例来评估我们方法的泛化能力。
对于Dex YCB [^6]、MOW [^4] 和 HOI4D [^45]，我们使用各自数据集提供的真实3D手部数据来生成评估结果。而对于100DOH [^76] 的结果（例如不包含在MOW中的示例），我们则使用HaMeR [^60] 来估计3D手部信息。
#### 7.2. 评估指标
由于我们的方法侧重于手部所操控的物体，因此我们使用标准的3D指标：CD（平方厘米）以及在5毫米和10毫米阈值下的F分数，来定量评估物体重建质量。这些指标均基于点集进行计算。各数据集提供的3D手部模型被用作输入；需要注意的是，MOW数据集采用FrankMocap [^74]，而HOI4D则利用2D关键点标注来优化手部姿态。对于每个样本，我们会在真实网格表面上采样1万个点，这些点需与 [^103] 和 [^104] 保持一致（真实几何形状不会经过任何变换）。MCC-HO预测的点云也会被上采样或下采样，以得到同样数量的1万个点。为了应对未知的相机参数问题，我们采用带缩放功能的ICP算法 [^69] 将所有预测几何形状与真实网格对齐。除非另有说明，否则均报告中位数指标。
---
| DexYCB | MOW | HOI4D |
| F-5 ( $\uparrow$) | F-10 ( $\uparrow$) | CD ( $\downarrow$) | Vol ( $\downarrow$) | F-5 ( $\uparrow$) | F-10 ( $\uparrow$) | CD ( $\downarrow$) | Vol ( $\downarrow$) | F-5 ( $\uparrow$) | F-10 ( $\uparrow$) | CD ( $\downarrow$) | Vol ( $\downarrow$) |
| HO [^27] | 0.24 | 0.48 | 4.76 | 11.8 | 0.03 | 0.06 | 49.8 | 78.2 | 0.28 | 0.51 | 3.86 | 12.7 |
| IHOI [^103] | - | - | - | - | 0.13 | 0.24 | 23.1 | 20.4 | 0.42 | 0.70 | 2.7 | 0.91 |
| HORSE [^63] | 0.23 | 0.42 | 6.97 | 3.63 | 0.11 | 0.23 | 24.5 | 17.0 | 0.26 | 0.45 | 6.69 | 1.39 |
| MCC-HO (Ours) | 0.36 | 0.60 | 3.74 | 2.42 | 0.15 | 0.31 | 15.2 | 13.8 | 0.52 | 0.78 | 1.36 | 1.94 |
Table 1. We compare our method, MCC-HO, to prior works on held-out test images from DexYCB, MOW, and HOI4D. Chamfer Distance ( $cm^{2}$), F-score (5mm, 10mm), and Intersection Volume using 0.5cm voxels (as in HO [^27], IHOI [^103]) are reported.
| Method | F-5 ( $\uparrow$) | F-10 ( $\uparrow$) | CD ( $\downarrow$) |
| G-HOP [^105] | 0.61 | 0.89 | 0.8 |
| MCC-HO + RAR | 0.74 | 0.91 | 0.64 |
Table 2. Quantitative comparison to a state-of-the-art video-based hand-held object reconstruction method using the HOI4D test dataset. Mean metrics are reported for consistency with G-HOP.
#### 7.3. 定量评估
我们在多种已标注的手部-物体数据集上定量评估MCC-HO的性能，并将其与现有的无模型重建方法进行比较 [^27] [^63] [^103]。详见表1。为了在手部-物体区域更密集地采样点，用于查询MCC-HO的体素网格的尺寸和粒度是根据初始的粗略预测结果以及默认体素网格确定的。对于DexYCB和HOI4D数据集，我们选取每个测试视频序列中每第5帧的数据。IHOI [^103] 和HO [^27] 在MOW数据集上的结果是取自IHOI和DiffHOI [^104] 论文；其余结果则来自现有研究的公开代码库。我们的方法在所有三个数据集上均取得了Chamfer Distance和F分数指标方面的最优性能，这表明该技术并未过度拟合于某一特定数据集。我们推测，增加训练过程中接触到的独特物体实例数量对模型的泛化能力至关重要。因此，预训练的MCC模型为初始化提供了强大的物体先验信息。
我们还在表2中将该方法与G-HOP [^105] 进行了比较，G-HOP是一种先进的基于视频的RGB手持物体重建方法。我们的方法（使用生成的Genie物体进行RAR处理）在全部三项指标上均优于通用的G-HOP模型（该模型是在七个手部-物体数据集上训练的 [^3] [^6] [^12] [^45] [^79] [^102]）。
#### 7.4. 定性评估
我们进行定性评估的内容包括：（1）MCC-HO的重建质量；（2）通过RAR检索到的物体模型与预测点云在3D空间中实现刚性对齐的程度（这是执行后续任务的必要且充分条件）。图4展示了多个MOW测试样本的预测点云以及RAR的处理结果。由于MCC-HO是用单目图像训练的，因此预测的RGB颜色仅在给定相机视角下才有效。由于物体几何形状是以3D手部为条件的，我们的方法往往能预测出合理的手部-
Figure 4. MCC-HO results for MOW test examples. The input image (top, left), network-inferred hand-object point cloud (top, right), RAR (bottom, left), and an alternative view of the point cloud (bottom, right) are shown.
Image HO IHOI HORSE MCC-HO* + RAR
Figure 5. Qualitative comparisons using MOW test examples. *Note that the MCC-HO point clouds are rendered as a mesh via Poisson surface reconstruction, which can introduce artifacts not attributed to our method. The last column is MCC-HO + RAR.
物体接触情况。此外，无需输入分割图，MCC-HO就能正确识别与手部接触的物体。图5展示了与现有方法的定性对比，其中MCC-HO与RAR的结合能够生成更逼真的物体几何形状。
#### 7.4.1 检索增强型重建
RAR的最终目标是提供一种可扩展的范式，用于创建大规模的手部-物体3D数据集；为此，我们探索了在未经标注的图像和视频上扩展该方法的可能性。图6展示了我们对100DOH数据集中9张没有3D真实标签的图像（即不在MOW中）的处理结果[^76]。每张图像的估计3D手部模型均通过HaMeR获得[^60]。测试时，我们的方法无需输入手部-物体分割掩码[^4] [^59]、深度图像[^96]或手部关节位置信息[^10] [^103]。请
---
Figure 6. Our approach applied to in-the-wild images from the 100 Days of Hands dataset [^76]. For each image, we estimate 3D hands using HaMeR [^60], inference object geometry using MCC-HO and retrieve a 3D model using RAR (e.g., GPT-4(V) and Genie).
| Method | F-5 ( $\uparrow$) | F-10 ( $\uparrow$) | CD ( $\downarrow$) |
| MCC [^96] | 0.10 | 0.21 | 31.6 |
| MCC-HO | 0.15 | 0.31 | 15.2 |
Table 3. Analysis of MCC-HO performance gains over our object reconstruction baseline, MCC, using the MOW test dataset.
| Model Parameters | F-5 ( $\uparrow$) | F-10 ( $\uparrow$) | CD ( $\downarrow$) |
| MCC [^96] | 0.10 | 0.21 | 31.6 |
| MCC-HO (w/o hand) | 0.03 | 0.12 | 71.6 |
| MCC-HO | 0.15 | 0.31 | 15.2 |
Table 4. Analysis of how hand-held object reconstruction benefits from conditioning on the hand using the MOW test dataset.
查看补充材料以获取更多结果。
#### 7.5. 消融实验
MCC基线。由于我们的模型是基于MCC构建的[^96]，我们首先评估MCC-HO是否能对手持物体重建任务带来性能提升。对于MCC，我们使用在CO3Dv2数据集上训练的已发布模型[^72]，并应用现有的单目深度估计器[^68]来获取深度图（因为MCC以RGB-D图像为输入）。表3对比了在MOW测试集上计算的MCC与MCC-HO的3D指标。我们发现，针对手持物体重建这一特定任务训练的MCC-HO，确实能在测试图像上带来性能提升。
输入手部信息的有效性。表4通过分析有无输入手部网格的MCCHO表现，来评估手部姿态预测输入的有效性。正如我们所预期的那样，缺少输入手部几何信息时，模型的表现会显著变差。实验结果进一步印证了这样的假设：将3D物体预测与手部坐标系相关联，能显著缩小重建问题的范围。
RAR重建改进。RAR利用文本到3D的生成模型来合成逼真的几何结构，
Table 5. Analysis of how RAR improves object reconstruction. Median Chamfer Distance (cm²) and F-score (5mm, 10mm) metrics are computed on the MOW test dataset.
我们定量评估了将RAR与MCC-HO结合使用是否能带来更好的结果。表5表明，RAR（配合Genie物体模型）确实能够提升MCC-HO这类单目重建方法的物体重建质量。
### 8. 结论
在本文中，我们提出了一种全新的手持物体重建范式，结合了无模型和基于模型的预测方法的各自优势。我们基于Transformer的模型MCC-HO经过训练后，能够根据单张RGB图像和估计的3D手部模型来预测手部-物体几何结构。使用DexYCB、MOW和HOI4D数据集进行的实验均表明，MCC-HO在手持物体重建任务上取得了最先进的性能。我们还提出了检索增强重建（RAR）方法，这是一种利用大型语言/视觉模型和3D物体数据集的最新成果来实现物体模型自动检索的方法。正如我们利用未标注的100DOH视频所得的结果所显示的那样，这两种方法结合起来能够扩大有标注的手部-物体交互数据的规模[^76]。局限性方面：随着3D生成模型的不断进步，RAR自然能够检索到更精确、更逼真的几何结构。我们的方法还依赖于获取跨帧跟踪的精确手部和物体掩码的能力。我们预计，无论是MCC-HO还是我们的刚性对齐算法，都能从未来图像分割/跟踪技术的进步中受益。
---
## 致谢
我们谨感谢Ilija Radosavovic在讨论和反馈中提供的帮助。本研究得到了ONR MURI N00014-21-1-2801项目的资助。J. W.的研究得到了美国国家科学基金会数学科学博士后奖学金以及加州大学校长博士后奖学金的支持。
## 参考文献
[^1]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, et al. Introducing hot3d: An egocentric dataset for 3d hand and object tracking. arXiv preprint arXiv:2406.09598, 2024. 2
[^2]: Bharat Lal Bhatnagar, Xianghui Xie, Ilya A Petrov, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. Behave: Dataset and method for tracking human object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 15935–15946, 2022. 2, 3
[^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 361–378. Springer, 2020. 7
[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12417–12426, 2021. 2, 3, 6, 7
[^5]: Jose A Castellanos, José MM Montiel, José Neira, and Juan D Tardós. The spmap: A probabilistic framework for simultaneous localization and map building. IEEE Transactions on Robotics and Automation, 15(5):948–952, 1999. 2
[^6]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2, 3, 6, 7
[^7]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In European Conference on Computer Vision, pages 231–248. Springer, 2022. 3
[^8]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gsdf: Geometry-driven signed distance functions for 3d hand-object reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12890–12900, 2023. 3
[^9]: Zilong Chen, Feng Wang, Yikai Wang, and Huaping Liu. Text-to-3d using gaussian splatting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21401–21412, 2024. 2, 5
[^10]: Hongsuk Choi, Nikhil Chavan-Dafle, Jiacheng Yuan, Volkan Isler, and Hyunsoo Park. Handnerf: Learning to reconstruct hand-object interaction scene from a single rgb image. arXiv preprint arXiv:2309.07891, 2023. 3, 7
[^11]: Gheorghe Comanici, Eric Bieber, Mike Schaekermann, Ice Pasupat, Noveen Sachdeva, Inderjit Dhillon, Marcel Blisttein, Ori Ram, Dan Zhang, Evan Rosen, et al. Gemini 2.5: Pushing the frontier with advanced reasoning, multimodality, long context, and next generation agentic capabilities. arXiv preprint arXiv:2507.06261, 2025. 2
[^12]: Enric Corona, Albert Pumarola, Guillem Alenya, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5031–5041, 2020. 7
[^13]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, et al. Scaling egocentric vision: The epic-kitchens dataset. In Proceedings of the European conference on computer vision (ECCV), pages 720–736, 2018. 3
[^14]: Matt Deitke, Dustin Schwenk, Jordi Salvador, Luca Weihs, Oscar Michel, Eli VanderBilt, Ludwig Schmidt, Kiana Ehsani, Aniruddha Kembhavi, and Ali Farhadi. Objaverse: A universe of annotated 3d objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13142–13153, 2023. 2, 5
[^15]: Matt Deitke, Ruoshi Liu, Matthew Wallingford, Huong Ngo, Oscar Michel, Aditya Kusupati, Alan Fan, Christian Laforte, Vikram Voleti, Samir Yitzhak Gadre, et al. Objaverse-xl: A universe of 10m+ 3d objects. Advances in Neural Information Processing Systems, 36, 2024. 2, 5
[^16]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020. 4
[^17]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. 2
[^18]: G David Forney. The viterbi algorithm. Proceedings of the IEEE, 61(3):268–278, 1973. 6
[^19]: Bowen Fu, Yan Di, Chenyangguang Zhang, Gu Wang, Ziqin Huang, Zhiying Leng, Fabian Manhardt, Xiangyang Ji, and Federico Tombari. HacD: Hand-aware conditional diffusion for monocular hand-held object reconstruction. arXiv preprint arXiv:2311.14189, 2023. 3
[^20]: Rao Fu, Dingxi Zhang, Alex Jiang, Wanjia Fu, Austin Funk, Daniel Ritchie, and Srinath Sridhar. Gigahands: A massive annotated dataset of bimanual hand activities. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 17461–17474, 2025. 2
## [^21]: Georgia Gkioxari, Jitendra Malik, and Justin Johnson
---
Mesh R-CNN。载于IEEE/CVF国际计算机视觉会议论文集，第9785–9795页，2019年。2
[^22]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18995–19012, 2022. 3
[^23]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. arXiv preprint arXiv:2311.18259, 2023. 3
[^24]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 3
[^25]: Shreyas Hampali, Tomas Hodan, Luan Tran, Lingni Ma, Cem Keskin, and Vincent Lepetit. In-hand 3d object scanning from an rgb sequence. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17079–17088, 2023. 3
[^26]: Richard Hartley and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003. 2
[^27]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. 3, 7
[^28]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 571–580, 2020. 2
[^29]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from rgb videos. In 2021 International Conference on 3D Vision (3DV), pages 659–668. IEEE, 2021. 2
[^30]: Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. Masked autoencoders are scalable vision learners. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 16000–16009, 2022. 4
[^31]: Yicong Hong, Kai Zhang, Jiuxiang Gu, Sai Bi, Yang Zhou, Difan Liu, Feng Liu, Kalyan Sunkavalli, Trung Bui, and Hao Tan. Lrm: Large reconstruction model for single image to 3d. arXiv preprint arXiv:2311.04400, 2023. 2
[^32]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025. 2
[^33]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Recon-
基于单目视频重构手持物体。载于SIGGRAPH Asia 2022会议论文集，第1–9页，2022年。3
[^34]: Dan Jurafsky. Speech & language processing. Pearson Education India, 2000. 6
[^35]: Korrawe Karunratanakul, Sergey Prokudin, Otmar Hilliges, and Siyu Tang. Harp: Personalized hand reconstruction from a monocular rgb video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12802–12813, 2023. 2
[^36]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023. 3
[^37]: Gerhard Kurz, Florian Pfaff, and Uwe D Hanebeck. Discretization of so (3) using recursive tesseract subdivision. In 2017 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), pages 49–55. IEEE, 2017. 5
[^38]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. 3
[^39]: Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, 33:9459–9474, 2020. 5
[^40]: Jiaman Li, Jiajun Wu, and C Karen Liu. Object motion guided human motion synthesis. ACM Transactions on Graphics (TOG), 42(6):1–11, 2023. 5
[^41]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2761–2770, 2022. 2
[^42]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014. 2
[^43]: Minghua Liu, Chao Xu, Haian Jin, Linghao Chen, Mukund Varma T, Zexiang Xu, and Hao Su. One-2-3-45: Any single image to 3d mesh in 45 seconds without per-shape optimization. Advances in Neural Information Processing Systems, 36, 2024. 1, 2
[^44]: Ruoshi Liu, Rundi Wu, Basile Van Hoorick, Pavel Tokmakov, Sergey Zakharov, and Carl Vondrick. Zero-1-to-3: Zero-shot one image to 3d object. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9298–9309, 2023. 1, 2
## [^45]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF
---
计算机视觉与模式识别会议论文集，第21013–21022页，2022年。2、3、6、7
[^46]: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, et al. Wonder3d: Single image to 3d using cross-domain diffusion. arXiv preprint arXiv:2310.15008, 2023. 2
[^47]: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, et al. Wonder3d: Single image to 3d using cross-domain diffusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9970–9980, 2024. 1, 2, 5
[^48]: Matthew M Loper and Michael J Black. Opendr: An approximate differentiable renderer. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part VII 13, pages 154–169. Springer, 2014. 2
[^49]: Luma AI. Capture 3D. . Luma ai. capture 3d. ., 2023. 2, 3, 5
[^50]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3d interacting hand pose estimation by hand de-occlusion and removal. In European Conference on Computer Vision, pages 380–397. Springer, 2022. 2
[^51]: Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 65(1):99–106, 2021.
[^52]: Gyeongsik Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17028–17037, 2023. 2
[^53]: Thomas Müller, Alex Evans, Christoph Schied, and Alexander Keller. Instant neural graphics primitives with a multiresolution hash encoding. ACM Transactions on Graphics (ToG), 41(4):1–15, 2022. 2
[^54]: Raul Mur-Artal, Jose Maria Martinez Montiel, and Juan D Tardos. Orb-slam: a versatile and accurate monocular slam system. IEEE transactions on robotics, 31(5):1147–1163, 2015. 2
[^55]: OpenAI. Gpt-4v(ision) system card. Openai. gpt-4v(ision) system card., 2023. 2, 5
[^56]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, et al. Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193, 2023. 2, 3, 5
[^57]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1496–1505, 2022. 2
[^58]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. Deepsdf: Learning continuous signed distance functions for shape representation
相关技术细节。载于IEEE/CVF计算机视觉与模式识别会议论文集，第165–174页，2019年。2
[^59]: Austin Patel, Andrew Wang, Ilija Radosavovic, and Jitendra Malik. Learning to imitate object interactions from internet videos. arXiv preprint arXiv:2211.13225, 2022. 2, 3, 6, 7
[^60]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. arXiv preprint arXiv:2312.05251, 2023. 1, 2, 4, 6, 7, 8
[^61]: Ben Poole, Ajay Jain, Jonathan T Barron, and Ben Mildenhall. Dreamfusion: Text-to-3d using 2d diffusion. arXiv preprint arXiv:2209.14988, 2022. 2, 5
[^62]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025. 1
[^63]: Aditya Prakash, Matthew Chang, Matthew Jin, Ruisen Tu, and Saurabh Gupta. 3d reconstruction of objects in hands without real world 3d supervision. In European Conference on Computer Vision (ECCV), 2024. 3, 7
[^64]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3d hand pose estimation in everyday egocentric images. In Proceedings of the European Conference on Computer Vision (ECCV), 2024. 2
[^65]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017. 2
[^66]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. Advances in neural information processing systems, 30, 2017. 2
[^67]: Wentian Qu, Zhaopeng Cui, Yinda Zhang, Chenyu Meng, Cuixia Ma, Xiaoming Deng, and Hongan Wang. Novel-view synthesis and pose estimation for hand-object interaction from sparse views. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 15100–15111, 2023. 2
[^68]: René Ranftl, Alexey Bochkovskiy, and Vladlen Koltun. Vision transformers for dense prediction. ArXiv preprint, 2021.8
[^69]: Nikhila Ravi, Jeremy Reizenstein, David Novotny, Taylor Gordon, Wan-Yen Lo, Justin Johnson, and Georgia Gkioxari. Accelerating 3d deep learning with pytorch3d. arXiv preprint arXiv:2007.08501, 2020. 2, 5, 6
[^70]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, et al. Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714, 2024. 3, 5
## [^71]: Jeremy Reizenstein, Roman Shapovalov, Philipp Henzler, Luca Sbordone, Patrick Labatut, and David Novotny. Common objects in 3d: Large-scale learning and evaluation of real-life 3d category reconstruction. In Proceedings of the
---
IEEE/CVF国际计算机视觉会议论文集，第10901–10911页，2021年。2
[^72]: Jeremy Reizenstein, Roman Shapovalov, Philipp Henzler, Luca Sbordone, Patrick Labatut, and David Novotny. Common objects in 3d: Large-scale learning and evaluation of real-life 3d category reconstruction. In International Conference on Computer Vision, 2021. 2, 3, 8
[^73]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. 2, 4
[^74]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration. arXiv:2008.08324, 2020. 2, 6
[^75]: Daniel Scharstein and Richard Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International journal of computer vision, 47:7–42, 2002. 2
[^76]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9869–9878, 2020. 2, 3, 5, 6, 7, 8
[^77]: Himanshu Gaurav Singh, Antonio Loquercio, Carmelo Sferrazza, Jane Wu, Haozhi Qi, Pieter Abbeel, and Jitendra Malik. Hand-object interaction pretraining from videos. arXiv preprint arXiv:2409.08273, 2024. 2
[^78]: Richard Szeliski. Computer vision: algorithms and applications. Springer Nature, 2022. 2
[^79]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IV 16, pages 581–600. Springer, 2020. 7
[^80]: Takafumi Taketomi, Hideaki Uchiyama, and Sei Ikeda. Visual slam algorithms: A survey from 2010 to 2016. IPSJ Transactions on Computer Vision and Applications, 9(1): 1–11, 2017. 2
[^81]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4511–4520, 2019. 2
[^82]: Ayush Tewari, Ohad Fried, Justus Thies, Vincent Sitzmann, Stephen Lombardi, Kalyan Sunkavalli, Ricardo Martin-Brualla, Tomas Simon, Jason Saragih, Matthias Nießner, et al. State of the art on neural rendering. In Computer Graphics Forum, pages 701–727. Wiley Online Library, 2020. 2
[^83]: Carlo Tomasi and Takeo Kanade. Shape and motion from image streams under orthography: a factorization method. International journal of computer vision, 9:137–154, 1992. 1,2
[^84]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE/CVF Conference on Com-
载于计算机视觉与模式识别会议论文集，第1664–1674页，2022年。2
[^85]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision, 118:172–193, 2016. 2
[^86]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017. 4
[^87]: Andrew Viterbi. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. IEEE transactions on Information Theory, 13(2):260–269, 1967. 6
[^88]: Congyi Wang, Feida Zhu, and Shilei Wen. Memahand: Exploiting mesh-mano interaction for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 564–573, 2023. 2
[^89]: Congyi Wang, Feida Zhu, and Shilei Wen. Memahand: Exploiting mesh-mano interaction for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 564–573, 2023. 2
[^90]: Dan Wang, Xinrui Cui, Xun Chen, Zhengxia Zou, Tianyang Shi, Septimiu Salcudean, Z Jane Wang, and Rabab Ward. Multi-view 3d reconstruction with transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5722–5731, 2021. 2
[^91]: Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, and Wenping Wang. Neus: Learning neural implicit surfaces by volume rendering for multi-view reconstruction. arXiv preprint arXiv:2106.10689, 2021. 2
[^92]: Bowen Wen, Jonathan Tremblay, Valts Blukis, Stephen Tyree, Thomas Müller, Alex Evans, Dieter Fox, Jan Kautz, and Stan Birchfield. Bundlesdf: Neural 6-dof tracking and 3d reconstruction of unknown objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 606–617, 2023. 3
[^93]: Chao Wen, Yinda Zhang, Zhuwen Li, and Yanwei Fu. Pixel2mesh++: Multi-view 3d mesh generation via deformation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 1042–1051, 2019. 2
[^94]: Yilin Wen, Hao Pan, Lei Yang, Jia Pan, Taku Komura, and Wenping Wang. Hierarchical temporal transformer for 3d hand pose estimation and action recognition from egocentric rgb videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21243–21253, 2023. 2
[^95]: Markus Worchel, Rodrigo Diaz, Weiwen Hu, Oliver Schreer, Ingo Feldmann, and Peter Eisert. Multi-view mesh reconstruction with neural deferred shading. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6187–6197, 2022. 2
## [^96]: Chao-Yuan Wu, Justin Johnson, Jitendra Malik, Christoph Feichtenhofer, and Georgia Gkioxari. Multiview compressive coding for 3d reconstruction. In Proceedings of the
---
IEEE/CVF计算机视觉与模式识别会议论文集，第9065–9075页，2023年。2、3、4、7、8
[^97]: Haozhe Xie, Hongxun Yao, Xiaoshuai Sun, Shangchen Zhou, and Shengping Zhang. Pix2vox: Context-aware 3d reconstruction from single and multi-view images. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2690–2698, 2019. 2
[^98]: Xianghui Xie, Bharat Lal Bhatnagar, and Gerard Pons-Moll. Chore: Contact, human and object reconstruction from a single rgb image. In European Conference on Computer Vision, pages 125–145. Springer, 2022. 2
[^99]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 17048–17058, 2023. 2
[^100]: Jiale Xu, Weihao Cheng, Yiming Gao, Xintao Wang, Shenghua Gao, and Ying Shan. Instantmesh: Efficient 3d mesh generation from a single image with sparse-view large reconstruction models. arXiv preprint arXiv:2404.07191, 2024. 1
[^101]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2750–2760, 2022. 2
[^102]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20953–20962, 2022. 7
[^103]: Yufei Ye, Abhinav Gupta, and Shubham Tulsiani. What's in your hands? 3d reconstruction of generic objects in hands. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3895–3905, 2022. 3, 6, 7
[^104]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 19717–19728, 2023. 3, 6, 7
[^105]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. arXiv preprint arXiv:2404.12383, 2024. 3, 7
[^106]: Yufei Ye, Yao Feng, Omid Taheri, Haiwen Feng, Shubham Tulsiani, and Michael J Black. Predicting 4d hand trajectory from monocular videos. arXiv preprint arXiv:2501.08329, 2025. 1
[^107]: Zhengdi Yu, Shaoli Huang, Chen Fang, Toby P. Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12955–12964, 2023. 2
[^108]: Zhengdi Yu, Shaoli Huang, Chen Fang, Toby P Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In Proceedings of
载于IEEE/CVF计算机视觉与模式识别会议论文集，第12955–12964页，2023年。2
[^109]: Chenyangguang Zhang, Guanlong Jiao, Yan Di, Ziqin Huang, Gu Wang, Ruida Zhang, Bowen Fu, Federico Tombari, and Xiangyang Ji. Moho: Learning single-view hand-held object reconstruction with multi-view occlusion-aware supervision. arXiv preprint arXiv:2310.11696, 2023.3
[^110]: Shutong Zhang, Yi-Ling Qiao, Guanglei Zhu, Eric Heiden, Dylan Turpin, Jingzhou Liu, Ming Lin, Miles Macklin, and Animesh Garg. Handypriors: Physically consistent perception of hand-object interactions with differentiable priors. arXiv preprint arXiv:2311.16552, 2023. 2, 3
[^111]: Binghui Zuo, Zimeng Zhao, Wenqian Sun, Wei Xie, Zhou Xue, and Yangang Wang. Reconstructing interacting hands with interaction prior from monocular images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9054–9064, 2023. 2