Figure 1. Given a monocular RGB video sequence of hands interacting with an unknown articulated object, our method, ArtHOI, reconstructs 4D human-object interactions (HOI) without any pre-defined object templates or multi-view scan initialization. Here we show two examples of input videos and the reconstructed HOI results.
## 摘要
现有的手-物体交互（HOI）方法主要局限于刚性物体，而关节物体的4D重建方法通常需要对物体进行预扫描，甚至需要多视角视频。从单目RGB视频中重建4D人体-关节物体交互仍是一个尚未被探索但意义重大的挑战。幸运的是，基础模型领域的最新进展为解决这一高度不适定的问题提供了新的契机。为此，我们提出了ArtHOI——一种基于优化的框架，能够整合并优化来自多个基础模型的先验信息。我们的核心贡献是一系列旨在消除这些先验信息中固有误差及物理不合理性的创新方法。具体而言，我们引入了自适应采样优化（ASR）方法，用于优化物体的尺寸与姿态，从而将其标准化网格准确锚定在世界空间中。
此外，我们提出了一种由多模态大语言模型（MLLM）引导的手-物体对齐方法，利用接触推理信息作为手-物体网格合成优化的约束条件。为了便于全面评估，我们还贡献了两个新数据集：ArtHOI-RGBD和ArtHOI-Wild。大量实验验证了ArtHOI在不同物体及交互场景下的鲁棒性与有效性。项目链接：。
### 1. 引言
手部与物体交互（HOI）重建 [^7] [^8] [^12] [^14] [^16] [^40] [^56] [^60] [^69] 旨在根据视觉观测结果，获得手部、物体及其相互作用的符合物理规律的3D模型。它在诸多应用中发挥着关键作用，包括人类行为分析 [^25]、机器人操控 [^24] [^42] [^75] 以及增强现实 [^55]。
---
早期的研究通常需要预定义的对象模板 [^3] [^4] [^7] [^14] [^15] [^19] 或特定类别的知识 [^5] [^31] [^68]，这限制了它们在无约束、复杂场景中的应用。虽然近期出现的无需模板且独立于类别的方法 [^1] [^12] [^40] [^58] [^60] 展现了更好的泛化能力，但它们大多基于刚体对象的假设。此外，我们还注意到，在基于优化的 [^24] [^27] [^32] [^33] [^38] 和基于学习的技术 [^50] [^57] 方面，4D可动物体重建取得了显著进展 [^64] [^71] [^72] [^24] [^32] [^38] [^50] [^71] [^22] [^44]，不过这些方法通常依赖于对物体的预先扫描（以获取其标准形状） [^24] [^50] [^64]，甚至需要多视角视频 [^39] [^72]。因此，在可动物体（如剪刀、眼镜和笔记本电脑）被自然操作的无人监管环境中，从单目视频中重建人机交互物体仍是一项未被探索的挑战。
由于视觉线索有限且遮挡现象频繁，这项任务本质上属于不适定问题，因此设计出有效且稳健的方法并非易事。相比之下，人类能够轻松感知此类复杂的交互行为，这种能力源于积累的知识与经验。受人类这一能力的启发，我们认为利用各类基础模型所提供的丰富先验是一种有前景的解决方案。具体而言，这些模型能够提供关键的几何、运动和语义信息。例如，图像转3D技术 [^18] [^26] [^29] [^41] [^66] 可以恢复可动物体的3D形状，而姿态估计技术 [^45] [^61] 能够计算出其相对于摄像机的6D变换参数。此外，深度估计技术 [^6] [^51] 和跟踪技术 [^23] [^65] 分别能提供度量几何信息和运动线索。对于手部而言，专门的模型 [^49] [^52] 可以重建其3D网格。多模态大语言模型（MLLMs） [^10] [^59] 则能推断手部与物体之间的交互状态。
然而，简单地整合这些基础模型往往会导致失败，因为它们的单独预测有时存在误差，且部分预测本身并不符合物理现实。尤其是图像转3D模型生成的几何数据通常处于标准化的以物体为中心的坐标系中，缺乏确定物体在世界空间中真实姿态所需的度量尺度。此外，即便物体的4D表示能够被准确重建，将其与手部网格简单组合也常常会产生不符合物理规律的结果，比如两者相互穿透或接触不连续，这是由于二者之间存在空间对齐偏差所致。
为了解决这些问题，我们提出了ArtHOI——一种从单目视频中重建4D手部与物体交互的新颖框架。该框架在协同利用基础模型先验的同时，优化了不一致性和不匹配问题。具体而言，首先，我们提出了一种自适应采样优化（ASR）方法，用于估计规范物体模型的度量尺度和6自由度位姿。该方法可利用生成的归一化网格在世界空间中恢复3D网格，并为物体运动重建做好准备。其次，在手部与物体网格合成方面，我们精心设计提示词以让多模态大语言模型推断每帧的接触状态及手指信息。随后，这些接触信息被用作优化约束条件，共同优化物体尺度与手部位姿，从而提升二者的空间对齐程度。
具体来说，ArtHOI流程主要包含四个阶段：数据预处理、规范物体网格重建、物体部件级运动重建以及手部与物体对齐。首先，预处理阶段利用基础视觉模型提取手部与物体的掩码、度量深度、相机参数等信息。接着应用视频修复模型来还原被手部遮挡的物体区域。其次，我们采用图像转3D模型从修复后的物体生成归一化3D网格；随后利用所提出的ASR方法对该网格进行尺度调整与方向设定，使其适配世界空间。第三，我们利用密集跟踪模型为每个物体部件初始化粗略的运动轨迹；随后结合部件可见性信息，求解出随时间变化的各部件SE(3)变换参数。最后，进行手部重建，并通过我们提出的基于多模态大语言模型引导的对齐方法来优化手部与物体的交互效果。
为了进行更全面的评估，我们在现有的RSRD [^24]数据集基础上补充了两个新基准：ArtHOI-RGBD（包含用RealSense相机拍摄的RGBD视频）和ArtHOI-Wild（由互联网上收集来的具有挑战性的视频组成）。实验表明，我们的ArtHOI能够有效重建出针对各类物体及交互场景的物理上合理的4D手部与物体交互结果。值得注意的是，即便与依赖预扫描物体几何数据的RSRD [^24]相比，我们的方法仍展现出更优越的性能。
## 我们的贡献总结如下
- 我们提出了ArtHOI——一种基于优化的框架，通过整合并优化多个基础模型先验，从单目视频中重建4D手部与物体交互。
- 我们提出了自适应采样优化（ASR）方法，用于优化物体的度量尺度和位姿，从而为在世界空间中重建物体网格提供支持。
- 我们提出了一种基于多模态大语言模型引导的手部与物体对齐方法，该方法通过接触推理来约束手部与物体网格的合成过程。
- 我们在现有数据集以及新引入的具有挑战性数据集上开展了大量实验，结果证明了我们的方法在各类物体及交互场景中具备卓越的鲁棒性与有效性。
---
### 2. 相关工作
#### 2.1. 手部与物体交互重建
从单目RGB图像或视频中重建手-物体交互（HOI）[1, 4, 5, 7–9, 12, 19, 21, 40, 47, 56, 58, 60, 62, 69]本质上十分困难，因为存在严重的遮挡和深度歧义问题 [^1] [^12] [^60]。早期解决方案通过假设已知的物体模板来解决这一问题 [^3] [^4] [^7] [^14] [^15] [^19]，或在小规模3D物体数据集上预训练模型 [^5] [^56] [^68]。更近期提出的无模型方法则利用大型重建模型或基础模型的先验：有些方法采用预训练的大型重建模型（LRMs）来获取初始物体形状 [^40] [^62]；而另一些方法则利用新视角合成技术 [^60] 在稀疏视角输入下恢复几何结构。不过，这些方法大多局限于图像输入、刚性物体假设或优化过程中的静态接触状态 [^1] [^19] [^40] [^62]，因此无法很好地处理动态交互或复杂的关节物体。重要的是，丰富的现实世界先验不仅能用于形状初始化，还能辅助关节运动分析与动态接触推理。通过充分利用来自多个基础模型的这类先验 [^2] [^6] [^23] [^26] [^54] [^61]，我们的工作实现了从普通单目视频中对动态手-关节物体交互的4D重建。
#### 2.2. 关节物体的4D重建
从有限的输入数据重建现实世界的关节物体仍是一个极具挑战性的问题。早期方法通常需要3D点云输入 [^22] [^37] [^46] 或多视角观测数据 [^20] [^72] [^74]；受这些条件限制，它们通常依赖合成数据 [^13] [^34] [^43] 或实验室采集的数据集 [^11] [^24]，因此难以推广到真实场景数据。近期的研究开始尝试从野外拍摄的单目RGB视频中重建关节物体 [^24] [^27] [^38] [^50] [^57] [^63] [^64]，通过结合灵活的3D表示方式与DINOv2 [^48]、SAM [^54] 以及密集跟踪模型 [^23] [^65] [^73] 等基础模型提供的丰富先验，取得了令人鼓舞的成果。然而，这些方法大多需要预先扫描得到的序列（即从周围视角观察到的物体）作为初始条件 [^24] [^38] [^50]，或依赖预定义的物体库 [^27] [^67]。这种初始化方式虽然能提供全视角覆盖和静态几何先验，但在日常拍摄场景中并不实用。此外，现有方法通常仅对关节物体建模，而忽略了真实操作视频中存在的交互手部。尽管在受控环境下效果显著，但这些局限阻碍了其在自然交互场景中的应用。通过利用并协调多个基础模型的先验，我们的方法放宽了这些限制，能够从随意拍摄的单目交互视频中 jointly 重建手部与关节物体。
### 3. 方法
我们的ArtHOI框架主要由四个阶段组成。在第3.1节中，我们利用一组基础模型对输入视频进行预处理，并提取多维先验信息。第3.2节构建了铰接物体的规范表示，包括其网格、度量尺度以及6自由度全局姿态。第3.3节通过遮挡感知优化算法，从密集跟踪先验中估算出各部件对应的SE(3)运动轨迹。最后，第3.4节集成手部重建模型来恢复4D手部网格，并利用MLLM引导的HOI对齐优化技术来解决重建出的手部与物体之间的空间不匹配问题。ArtHOI的流程可参见图2。
#### 3.1. 数据预处理
给定一段包含N帧RGB图像的单目视频$\mathcal{V} = \{\mathbf{I}_i\}_{i=1}^N$，我们首先应用多个基础视觉模型来提取有用的先验信息。利用视频分割模型$\{\mathbf{M}_i\}_{i=1}^N$获取物体掩码[^54]和人体掩码。通过单目深度估计器$\{\mathbf{D}_i\}_{i=1}^N$估算出输入视频的度量深度图$\mathbf{K}$以及相机内参[^6]。为了缓解手与物体之间的遮挡问题，我们采用视频修复模型[^30]将输入视频中的人体移除，从而生成仅包含物体的修复后视频$\mathcal{V}' = \{\mathbf{I}_i\}_{i=1}^N$。随后，对该修复后的视频执行相同的预处理流程，以提取仅含物体的掩码$\{\mathbf{M}_i\}_{i=1}^N$和深度图$\{\mathbf{D}_i\}_{i=1}^N$。
随后，我们利用大型图像转3D重建模型HunYuan3D [^26] 所提供的先验知识，来恢复关节物体的完整几何结构。具体而言，设经过修复的规范帧为 $\mathbf{I}_c'$，我们借助其掩码 $\mathbf{I}_c'$ 从 $\mathbf{M}_c^{to}$ 中提取物体图像，再将裁剪后的物体图像输入HunYuan3D以生成对应的3D网格。
#### 3.2. 物体的度量姿态与尺度优化
在此阶段，我们将HunYuan3D生成的归一化网格与其他先验信息（包括估算出的度量深度$\mathbf{D}_c^{'o}$和物体掩码$\mathbf{M}_c^{'o}$）进行对齐，从而在世界空间中得到度量规范的网格。这一过程是通过优化物体的度量尺度$s_c^o$和6自由度姿态$\mathbf{T}_c^o$来实现的。
一种自然的选择是直接在修复后的帧[^61]上应用先进的6自由度姿态估计算法，例如FoundationPose $\mathbf{I}_c'$，并结合$\mathbf{D}_{c}^{to}$与$\mathbf{M}_{c}^{to}$。然而，尽管FoundationPose在输入精确的度量深度和度量缩放的真实网格时表现优异，但在我们的场景中其性能会显著下降——这是因为生成的网格与不准确的深度之间存在不一致性，从而导致预测结果较差或不稳定。
为了协调这些异构的先验信息，我们提出了自适应采样细化（ASR）方法。ASR首先利用反向投影的度量深度为归一化网格计算出粗略的尺度估计值，随后围绕初始值从自适应范围内迭代采样候选尺度。
---
(b) Metric pose and scale optimization of object
(c) MLLM-guided hand-object alignment
Figure 2. Pipeline of our ArtHOI. ArtHOI is an optimization-based framework (see subfigure (a)) that integrates and refines priors from multiple foundation models for monocular 4D reconstruction of human-articulated-object interactions. In particular, the proposed object's metric scale and pose optimization (see subfigure (b)) recovers 3D mesh in world space from a normalized one, while MLLM-guided hand-object alignment method (see subfigure (c)) promotes physically plausible hand-object mesh composition.
估算。对于每个采样的候选尺度，ASR会调用FoundationPose生成姿态假设，并通过渲染对应的网格并将渲染出的轮廓与预处理后的物体掩码进行匹配来评估每个假设。采样范围会根据最近的优化进展自适应调整：如果最近几次迭代中未见改进，则扩大采样范围；否则保持原样。算法最终会选择渲染反馈最佳的尺度和姿态。通过搜索度量尺度并验证姿态假设，ASR能够稳健地协调归一化网格、含噪深度图以及姿态预测结果，从而得出可靠的度量尺度$s_c^o$和姿态$T_c^o$。详细流程见算法1。
#### 3.3. 部件级运动重建
为了在处理部件遮挡问题时有效利用空间和时间线索，我们利用密集跟踪先验[^23] [^65]来获取粗略的部件运动，随后随时间优化每个部件的SE(3)变换参数。
具体来说，将第i帧的部件掩码记为$\{\mathbf{M}_i^{'p_k}\}_{k=1}^K$，我们首先对标准物体网格$\mathcal{G}_c^o$进行分割：通过应用PartField[^36]对顶点分组，再利用这些掩码完成分割。我们在修复后的视频[^23]上运行CoTracker$\mathcal{V}'$，以生成时间上连贯的点轨迹以及每个点的可见性信息。对于第k个部件，我们在其掩码$\mathbf{M}'^{p_k}$内采样Q个查询像素，并使用CoTrackerV3[^23]对这些查询点进行跟踪，输出二维点轨迹以及每帧的可见性指示。接着利用深度图$\mathbf{D}_i^c$将它们升维到三维，得到三维轨迹和可见性配对$(\mathbf{z}_{i,q}^k, v_{i,q}^k)$，其中$v_{i,q}^k \in \{0,1\}$。在此过程中，通过轻量级的后处理操作去除异常轨迹。
随后我们优化各帧间的部件级SE(3)变换参数$\{\mathbf{T}_i^{p_k}\}_{i=1}^N$，使其在可见性约束下与三维跟踪先验保持一致。对于第i帧中的第k个部件，设$\mathbb{S}$为一组采样的参考帧，则跟踪损失为
$$ \begin{array}{r l}{\mathcal{L}_{\mathrm{t r a c k}}}&{=\displaystyle\sum_{j\in\mathbb{S}}\displaystyle\sum_{q\in\mathbb{W}_{i,j}^{k}}\big\|\mathbf{z}_{j,q}^{k}\mathrm{~-~}(\mathbf{T}_{i}^{p_{k}})^{-1}\mathbf{T}_{j}^{p_{k}}\mathbf{z}_{i,q}^{k}\big\|,}\end{array} $$
其中$\mathbb{W}_{i,j}^k = \{q \mid v_{i,q}^k = 1 \land v_{j,q}^k = 1\}$是在第i帧和第j帧中均可见的轨迹集合。为了规整时间运动动态，我们进一步施加平滑约束：
$$ \mathcal{L}_{\mathrm{s m o o t h}}=\sum_{i=2}^{N-1}\left\|\Delta^{2}\mathbf{T}_{i}^{p_{k}}\right\|. $$
其中$\Delta^{2}$表示沿时间维度应用的离散二阶差分算子，$i.e., \Delta^{2}\mathbf{T}_{i}^{p_{k}} = \mathbf{T}_{i+1}^{p_{k}} - 2\mathbf{T}_{i}^{p_{k}} + \mathbf{T}_{i-1}^{p_{k}}$。
---
```pseudo
// Algorithm 1: Adaptive Sampling Refinement (ASR)
Require: Normalized object mesh $\mathcal{G}^o$; RGB $\mathbf{I}_c^o$, depth $\mathbf{D}_c^o$ and mask $\mathbf{M}_c^o$ of canonical frame; camera intrinsics $\mathbf{K}$; number of iterations J; initial sampling range $\delta$
Ensure: Metric scale $s_c^o$ and pose $\mathbf{T}_c^o$ of canonical object, scaled canonical object mesh $\mathcal{G}_c^o$
1: $s_{coarse}^o \leftarrow \text{COARSE SCALE ESTIMATION}(\mathcal{G}^o, \mathbf{D}_c^o, \mathbf{M}_c^{t_o})$
2: $(\mathcal{L}_{\text{best}}, j_{\text{best}}) \leftarrow (-\infty, 0)$
3: for $j = 1$ to J do
4: if $j_{best} < \frac{i}{2}$ then
5: $\delta \leftarrow 2\delta$ $\triangleright$ Adaptively expand the range end if
6: $\hat{s}_c^o \leftarrow s_{coarse}^o \cdot \text{RANDOMSAMPLE}(-\delta, \delta)$
7: $\hat{g}_c^o \leftarrow \text{SCALE}(\mathcal{G}^o, \hat{s}_c^o)$
8: $\hat{\mathbf{T}}_c^o \leftarrow \text{FOUNDATIONPOSE}(\hat{\mathcal{G}}^o, \mathbf{I}_c^o, \mathbf{D}_c^o, \mathbf{M}_c^{t_o}, \mathbf{K})$
9: $\hat{\mathbf{M}}_c^o \leftarrow \text{RENDER SILHOUETTE}(\hat{\mathbf{T}}_c^o, \hat{\mathcal{G}}^o, \mathbf{K})$
10: $\mathcal{L}_{iou} \leftarrow \text{IOU}(\hat{\mathbf{M}}_c^o, \mathbf{M}_c^{t_o})$
11: if $\mathcal{L}_{iou} > \mathcal{L}_{best}$ then
12: $s_c^o \leftarrow \hat{s}_c^o, \mathbf{T}_c^o \leftarrow \hat{\mathbf{T}}_c^o, \mathcal{L}_{best} \leftarrow \mathcal{L}_{iou}, j_{best} \leftarrow j$
13: end if
14: end for
15: $\mathcal{G}_c^o \leftarrow \text{SCALE}(\mathcal{G}^o, s_c^o)$
16: return $s_c^o, \mathbf{T}_c^o, \mathcal{G}_c^o$
```
最终，部件级运动优化的整体目标可表述为
$$ \mathcal{L}_{\mathrm{m o t i o n}}=\mathcal{L}_{\mathrm{t r a c k}}+\lambda_{\mathrm{s m o o t h}}\mathcal{L}_{\mathrm{s m o o t h}}. $$
#### 3.4. 基于MLLM的关节物体交互对齐
我们采用现成的手部姿态估计器WiLoR[^52]来重建基于MANO模型的4D手部，其参数包括关节姿态$\{\theta_i^h\}_{i=1}^N \in \mathbb{R}^{N \times 45}$、手部形状$\beta^h \in \mathbb{R}^{10}$以及全局变换$\{\mathbf{T}_i^h\}_{i=1}^N$。为了应对因遮挡导致的预测缺失或不可靠问题，我们对手部姿态和全局变换应用球面线性插值（SLERP），以实现手部姿态和变换的时间平滑填充。
对4D关节物体和手部进行分离重建时，由于不同先验之间存在不一致性，往往会导致时空对齐误差，这就促使我们针对关节HOI问题采用联合优化策略。为了实现动态交互推理，我们利用多模态大语言模型（MLLMs）[^10] [^59]来推断接触信息，包括每一帧的二元接触状态以及接触手指，这得益于它们丰富的现实世界先验知识和多模态推理能力。然而，仅通过简单查询MLLMs来获取接触信息并不够：不同的相机视角常常导致左右手混淆，而有限的RGB线索又使得难以区分真正的物理接触与单纯的邻近关系。
为解决这些问题，我们设计了结构化的提示词策略。首先，我们让MLLM确定视频的相机视角（以自我为中心或以外部为中心），并将这一信息纳入后续的接触信息查询中。接着，我们通过迭代查询每一帧来推断逐帧接触信息——包括手部左右属性、二元接触状态以及接触手指。为了提供更丰富的上下文线索，我们将k个相邻的RGB帧及其彩色深度图拼接起来，形成一张大型图像提示词。这一流程能够生成更可靠的逐帧估计结果，以供后续优化使用。我们将手部与物体接触的帧集合记为$\mathbb{C}$，第i帧中的接触手指集合记为$\mathbb{Y}_i$。
我们利用所获取的接触信息作为逐帧约束，来指导4D手物交互对齐。我们的优化分为两个阶段进行。鉴于WiLoR [^52]能提供可靠的手部度量尺度先验，而估计的深度可能仍存在歧义，第一阶段仅优化物体尺度$s_c^o$以使其与手部对齐。第二阶段中，我们固定已优化的物体尺度，同时精细调整手部姿态参数$\theta_i^h$和全局变换参数$\mathbf{T}_i^h$，从而进一步提升交互手部与物体之间的空间一致性。
令$T_i$表示与$\mathbb{Y}_i$对应的MANO指尖顶点集合。接触损失$\mathcal{L}_{\text{contact}}$旨在最小化每个指尖到物体网格$\mathcal{G}_i^o$上最近点的距离。其表达式如下：
$$ \mathcal{L}_{\mathrm{c o n t a c t}}=\sum_{i\in\mathbb{C}}\sum_{\mathbf{v}_{t}\in\mathbb{T}_{i}}\min_{\mathbf{v}_{o}\in\mathcal{G}_{i}^{o}}\left\|\mathbf{v}_{o}-\mathbf{v}_{t}\right\|_{2}. $$
为了进一步约束优化过程，我们引入了基于手部参数$\mathcal{L}_{\text{reg}}$和全局变换参数$\theta_i^h$的运动正则化项$\mathbf{T}_i^h$。该项结合了针对$\mathbf{T}_i^h$的加速度先验，以及对优化后姿态与初始姿态$\ell_1$之间差异的$\theta_i^{h,init}$惩罚，即：
$$ \mathcal{L}_{\mathrm{r e g}}=\lambda_{\mathrm{a c c}}\left\|\boldsymbol{\Delta}^{2}\mathbf{T}^{h}\right\|_{2}+\lambda_{\theta}\sum_{i=1}^{N}\left\|\boldsymbol{\theta}_{i}^{h}-\boldsymbol{\theta}_{i}^{h,i n i t}\right\|_{1}. $$
$$ \mathcal{L}_{\mathrm{h o i}}=\mathcal{L}_{\mathrm{c o n t a c t}}+\mathcal{L}_{\mathrm{r e g}}. $$
最终，整体的HOI对齐损失可表示为：
### 4. 实验
#### 4.1. 数据集
我们使用Intel RealSense立体相机在$1280 \times 720$分辨率下、以30 FPS的帧率采集了五种常见关节物体的演示序列，且深度数据具有精确的度量信息；我们将该数据集称为ArtHOI-RGBD。此外，我们还从互联网资源和智能手机拍摄内容中收集了八段自然场景视频，命名为ArtHOI-Wild。实验是在这两个数据集上进行的，
---
Figure 3. This gallery showcases the results of our hand-articulated-object reconstruction on three data sources: ArtHOI-RGBD, RSRD and ArtHOI-Wild.(more results in the supp.). The first column shows sampled input frames. We present the camera view and a side view to display the reconstructed HOI meshes. Hand reconstructions for RSRD are produced using the same WiLoR model as ours for a fair comparison. Note that RSRD is unable to process the video from ArtHOI-Wild, as it requires an object surrounding scan that is unavailable for internet videos.
我们还在RSRD数据集的九个视频上进行了评估，同时也对ARCTIC [^11]中的三个物体子集进行了测试，这些数据集涵盖了多样化的物体和操作场景。
由于ArtHOI-RGBD中的真实深度数据仅提供部分表面观测，我们开发了一款基于Viser的3D标注工具（[^70]），借助深度图提供的几何引导，为全部五段视频及四段RSRD视频标注各帧中的部件级物体运动。为了获取完整的物体几何信息，我们还对每个物体进行了周边扫描，以重建完整的真实网格（供RSRD使用）。此外，我们还为所有使用的视频标注了手-物体接触状态。
#### 4.2. 实现细节
我们的系统可在NVIDIA A6000 GPU上运行，对于分辨率为$960 \times 540$的单目视频输入，处理100帧所需的总计算时间约为1小时。我们采用Video-Depth-Anything（[^6]）进行深度估计，用UnidepthV2（[^51]）完成度量缩放与相机参数恢复。掩码分割则采用Segment-Anything 2（[^54]）。修复任务由DiffuEraser（[^30]）负责。关节物体的规范网格则是利用HunYuan3D（[^26]）从修复后的规范帧中生成的。
在ASR环节，我们运行20次迭代，初始采样范围为$\delta = 0.03$。部件运动重建针对每帧需执行500次迭代，优化器采用Adam，学习率从0.02线性衰减至0.002。损失权重分别设为$\lambda_{match} = 1.0$和$\lambda_{smooth} = 0.01$。
针对关节型HOI对齐任务，我们采用Qwen-VL-Max（[^2]）进行基于MLLM的接触推理，随后对所有帧执行800步优化，优化器同样为Adam。学习率从$10^{-3}$降至$10^{-4}$，损失权重分别设为$\lambda_{contact} = 1$、$\lambda_{accel} = 1$和$\lambda_{\theta} = 50.0$。
#### 4.3. 评估设置
由于现有方法均无法在无预设或模板物体模型的情况下，从单目RGB视频中重建手-关节物体交互，因此我们将该方法与RSRD（[^24]）及EasyHOI（[^40]）进行对比：前者是一种近期的4D关节型HOI重建方法，需要预先扫描物体序列；后者是一种单目图像HOI重建方法，需逐帧应用。
在评估关节物体的4D重建效果时，我们报告了倒角距离（CD）、最大对称感知表面距离（MSSD）（[^17]）以及5毫米和10毫米阈值下的F分数。对于手-物体对齐效果的评估，我们采用了碰撞-接触指标（$Co^{2}$）。
---
Table 1. 4D reconstruction accuracy of articulated object on monocular RGB videos from ArtHOI-RGBD dataset. Lower CD/MSSD and higher F-scores indicate better performance.
| Objects | Method | CD (mm) $\downarrow$ | MSSD (mm) $\downarrow$ | F10 $\uparrow$ | F5 $\uparrow$ |
| Headphone | EasyHOI [^40] | 209.295 $\pm$107.36 | 291.02 $\pm$105.03 | 1.26 | 0.59 |
| RSRD [^24] | 14.708 $\pm$0.18 | 41.06 $\pm$3.65 | 41.67 | 20.91 |
| Ours | 8.124 $\pm$0.44 | 30.43 $\pm$2.20 | 69.68 | 42.19 |
| Scissor | EasyHOI [^40] | 170.946 $\pm$110.29 | 210.08 $\pm$114.00 | 4.14 | 2.24 |
| RSRD [^24] | 13.841 $\pm$5.89 | 31.53 $\pm$5.20 | 37.98 | 17.55 |
| Ours | 4.256 $\pm$1.02 | 15.14 $\pm$3.14 | 92.57 | 65.00 |
| Candy Box | EasyHOI [^40] | 50.693 $\pm$55.08 | 82.36 $\pm$67.44 | 25.96 | 12.94 |
| RSRD [^24] | 7.768 $\pm$4.88 | 31.40 $\pm$25.10 | 83.11 | 55.25 |
| Ours | 4.104 $\pm$1.33 | 17.67 $\pm$5.90 | 92.55 | 71.63 |
| CD Drive | EasyHOI [^40] | 648.704 $\pm$391.84 | 827.14 $\pm$400.53 | 0.08 | 0.04 |
| RSRD [^24] | 282.330 $\pm$192.30 | 348.59 $\pm$233.49 | 10.90 | 6.92 |
| Ours | 3.334 $\pm$0.20 | 9.71 $\pm$1.89 | 96.01 | 78.75 |
| Stapler | EasyHOI [^40] | 116.813 $\pm$96.20 | 198.25 $\pm$97.52 | 8.58 | 5.28 |
| RSRD [^24] | 288.704 $\pm$144.44 | 363.92 $\pm$106.98 | 0.80 | 0.34 |
| Ours | 4.487 $\pm$0.97 | 20.15 $\pm$5.81 | 91.63 | 67.94 |
Table 2. 4D reconstruction accuracy of articulated object on monocular RGB videos from RSRD [^24] dataset. Lower CD/MSSD and higher F-scores indicate better performance.
| Objects | Method | CD (mm) $\downarrow$ | MSSD (mm) $\downarrow$ | F10 $\uparrow$ | F5 $\uparrow$ |
| Scissor | EasyHOI [^40] | 205.567 $\pm$214.40 | 270.99 $\pm$232.23 | 6.04 | 3.07 |
| RSRD [^24] | 68.564 $\pm$20.94 | 109.31 $\pm$19.91 | 2.09 | 1.20 |
| Ours | 5.447 $\pm$3.34 | 13.12 $\pm$6.38 | 80.95 | 61.81 |
| LED Light | EasyHOI [^40] | 52.435 $\pm$61.43 | 100.18 $\pm$72.43 | 16.43 | 7.64 |
| RSRD [^24] | 10.144 $\pm$1.31 | 32.80 $\pm$5.72 | 63.21 | 46.21 |
| Ours | 10.836 $\pm$7.50 | 35.30 $\pm$21.84 | 60.95 | 31.81 |
| Bear | EasyHOI [^40] | 23.785 $\pm$2.85 | 77.29 $\pm$14.88 | 27.45 | 12.89 |
| RSRD [^24] | 8.739 $\pm$1.03 | 28.70 $\pm$3.63 | 65.63 | 32.73 |
| Ours | 12.374 $\pm$2.34 | 30.31 $\pm$5.76 | 45.48 | 22.86 |
| Sunglasses | EasyHOI [^40] | 123.385 $\pm$56.65 | 304.35 $\pm$84.76 | 3.13 | 1.61 |
| RSRD [^24] | 31.985 $\pm$8.46 | 164.60 $\pm$63.75 | 28.44 | 15.66 |
| Ours | 9.956 $\pm$4.38 | 41.38 $\pm$20.84 | 65.14 | 44.39 |
Table 3. Comparison on a subset of ARCTIC [^11]. ‘Cont.Acc’ denotes binary contact accuracy and ‘Fing.Acc’ denotes main contacting finger (thumb, index, middle) accuracy of MLLM reasoning results.
| Method | CD(mm) \downarrow | F10 \uparrow | MSSD(mm) \downarrow | Cont.Acc% \uparrow | Fing.Acc% \uparrow |
| Mixer | EasyHOI [^40] | 226.0 | 0.05 | 326.1 | N/A | N/A |
| RSRD [^24] | | Failed to reconstruct articulated object |
| Ours | 12.1 | 0.55 | 41.4 | 82.5 | 76.2 |
| Box | EasyHOI [^40] | 207.9 | 0.03 | 356.4 | N/A | N/A |
| RSRD [^24] | | Failed to reconstruct articulated object |
| Ours | 14.0 | 0.44 | 51.2 | 76.6 | 62.3 |
| Scissors | EasyHOI [^40] | 436.4 | 0.01 | 497.1 | N/A | N/A |
| RSRD [^24] | | Failed to reconstruct articulated object |
| Ours | 58.6 | 0.10 | 185.2 | 57.9 | 54.4 |
score from Open3DHOI [^62] to evaluate 3D interaction quality, computing both contact and collision scores on annotated contact frames, and only the collision score on in-contact frames.
#### 4.4. 定量结果
我们从三个方面评估我们的方法：关节物体重建的准确性、整体手-物体交互（HOI）对齐的质量，以及MLLM驱动的接触推理结果的准确性。
关节物体重建质量。我们评估——
Table 4. Comparison of $Co^{2}$ scores for unaligned and aligned articulated HOI reconstruction under different contact reasoning strategies. We evaluate four settings: (1) unaligned hand-object reconstruction, (2) RSRD with WiLoR [^52] hands, (3) our alignment using a mask-intersection contact heuristic (w/o MLLM), and (4) our full alignment with MLLM-based contact reasoning (w/ MLLM). Lower is better. RSRD fails on ArtHOI-Wild due to missing object-scanning inputs.
| ArtHOI-RGBD | RSRD [^24] | ArtHOI-Wild |
| No Alignment | 0.972 | 0.517 | 0.514 |
| RSRD [^24] + WiLoR [^52] | 0.392 | 0.166 | N/A |
| Ours w/o MLLM | 0.046 | 0.035 | 0.059 |
| Ours w/ MLLM | 0.029 | 0.022 | 0.039 |
我们在ArtHOI-RGBD、RSRD和ARCTIC（[^11]）的标注序列上评估关节物体的4D重建效果。为了公平比较，评估过程中将RSRD采用的3D高斯部件表示替换为对应的网格。表1、表2和表3显示，在全部五段存在复杂手-部件遮挡（如订书机）和部件-部件遮挡（如光驱）的ArtHOI-RGBD序列上，我们的方法始终能实现最低的重建误差。在RSRD数据集上，尽管我们的方法无需任何预扫描步骤，但结果与RSRD相当。此外，我们的方法能够成功处理ArtHOI-Wild和ARCTIC视频，而RSRD由于缺少周边扫描数据，无法完成此类视频的处理。
HOI对齐质量。我们采用碰撞接触（$Co^{2}$）得分来评估最终的HOI对齐效果。表4和图3对比了未对齐的输出、RSRD（结合WiLoR [^52]手部估计结果）以及我们基于MLLM引导的对齐方法。我们的优化方案借助MLLM衍生的接触线索，得到了最低的$Co^{2}$得分，同时生成了视觉上合理且对齐良好的4D重建结果，性能优于那些缺乏尺度感知或时间一致性接触约束的竞争方法。
MLLM接触推理准确率。表6记录了接触准确率与假阳性（FP）率。为应对交互边界处的时间模糊性问题，我们将标注接触窗口前后$\pm1-3$帧内的预测结果视为正确。结果显示，我们的提示词设计方案显著降低了假阳性率，同时提升了准确率，尤其是在真实场景数据上的表现更为突出。
#### 4.5. 定性结果
图3展示了所有数据集上的定性对比结果。我们的方法能够稳健地重建关节物体的几何结构与运动，同时还能在受控环境和真实场景中实现交互手部的对齐，充分体现了其在现实场景中的强鲁棒性与实用价值。真实场景序列中往往存在手部部件之间、部件彼此之间的严重遮挡，这使得重建任务极具挑战性。即便在这种条件下，我们的框架仍能通过利用一致的几何、深度及交互线索，保持各帧间几何与运动的连贯性。
---
Table 5. Comparison of canonical mesh pose and scale optimization. We compare with FoundationPose and Any6D [^28]. Metrics include the IoU between rendered and ground-truth masks under the optimized pose, and the optimization success rate (SR%). A case is considered failed if subsequent part motion reconstruction or HOI alignment cannot proceed.
| Method | ArtHOI-RGBD | RSRD [^24] | ArtHOI-Wild |
| IoU $\uparrow$ | SR(%) $\uparrow$ | IoU $\uparrow$ | SR(%) $\uparrow$ | IoU $\uparrow$ | SR(%) $\uparrow$ |
| FoundationPose [^61] | 0.820 | 60% | 0.706 | 78% | 0.749 | 71% |
| Any6D [^28] | 0.876 | 60% | 0.857 | 78% | 0.683 | 57% |
| ASR (ours) | 0.905 | 100% | 0.876 | 100% | 0.882 | 100% |
Table 6. Ablation study on prompting strategies for MLLM contact reasoning, evaluated by accuracy and false positive rate (FP, %). “Temp.” incorporates temporal context from neighboring frames. “Persp.” indicates introducing camera-perspective cues; “MinFP” uses prompts designed to suppress false positives; and “Depth” augments image prompts with colorized depth. Results of ArtHOI-RGBD is excluded due to its near 100% accuracy.
| Prompting Strategy | RSRD [^24] | ArtHOI-Wild |
| Temp. | Persp. | MinFP | Depth | Acc. $\uparrow$ | FP $\downarrow$ | Acc. $\uparrow$ | FP $\downarrow$ |
| | | | 81.53 | 18.24 | 83.50 | 16.59 |
| ✓ | | | | 82.75 | 17.08 | 82.62 | 17.02 |
| ✓ | | ✓ | ✓ | 86.42 | 13.49 | 85.92 | 13.27 |
| ✓ | ✓ | | ✓ | 86.27 | 13.66 | 86.21 | 13.79 |
| ✓ | ✓ | ✓ | | 87.65 | 12.13 | 87.52 | 11.35 |
| ✓ | ✓ | ✓ | ✓ | 88.58 | 11.20 | 86.56 | 9.81 |
相比之下，RSRD在处理严重遮挡和潜在歧义问题时表现不佳，无法生成精确的部件运动轨迹。重要的是，我们的方法对真实场景视频具有强大的泛化能力，能够成功恢复部件运动与手部对齐结果。而RSRD及其他类似方法则需要预先获取物体的规范状态扫描数据，这对于互联网视频而言难以实现，即便是实验室采集的交互视频也往往无法满足这一要求。
#### 4.6. 消融实验
自适应采样细化模块的效果。我们通过将自适应采样细化（ASR）模块与仅使用粗略尺度估计的FoundationPose [^61]方法进行对比，来评估ASR的有效性。我们还将Any6D [^28]纳入比较范围，这是一种无模型的RGB-D尺度与6自由度姿态估计方法，其策略与ASR概念上相似，且能适配我们的设定。为了与Any6D进行公平比较，我们采用了相同的HunYuan3D网格，并匹配ASR所使用的尺度样本数量。表5记录了2D轮廓IoU与优化成功率，其中若后续部件运动重建或HOI对齐无法继续进行，则定义为失败情况。ASR在所有视频上均取得了最高的IoU值与成功率。相比之下，FoundationPose常因生成的网格与噪声深度估计不一致而失败，而Any6D由于依赖经验调优的超参数，难以恢复有效的度量尺度。
(b) FoundationPose
(c) Any6D
(d) Ours
Images are
图4提供了ArtHOI-Wild示例上的定性对比。
在ArtHOI-Wild示例上的对比结果。
MLLM引导的手物交互对齐的效果。我们通过与三种变体对比来消除所提出的MLLM引导的HOI对齐机制：(1)完全移除对齐模块的基线模型；(2)使用WiLoR作为手部估计器的RSRD手物重建方法；(3)一种根据手物掩码交集推断接触的简单启发式方法。如表4所示，排除MLLM衍生的接触线索会一致性地降低重建精度。图3中的定性结果进一步表明，若不对手部和物体参数进行尺度与时空优化，重建出的4D手部与可动物体会出现严重的空间偏移和尺度不一致问题，这凸显了MLLM引导的HOI对齐的必要性。
MLLM推理中提示策略的效果。我们逐步启用四个提示组件：时间上下文（Temp.）、相机视角线索（Persp.）、假阳性抑制（MinFP）以及深度增强图像提示（Depth），并通过表6报告其精度与假阳性率，以此消除它们的影响。引入时间上下文能带来适度的性能提升，而加入视角推理与MinFP提示则能大幅减少虚假接触预测。在单帧外观线索不可靠的复杂自然场景中，时间与深度增强提示能进一步提升模型的鲁棒性。所有组件完全组合后能达到最佳平衡，在RSRD与ArtHOI-Wild数据集上均实现最高的精度与最低的假阳性率。
### 5. 结论
我们提出了一种从单目视频中重建可动物体4D手物交互的方法。该方法利用多个基础模型提供的丰富先验知识，并通过优化策略将它们统一起来，从而显式处理跨先验不一致性与估计噪声问题。在两个数据集上的大量实验表明，这种无模型方法优于以往依赖预扫描可动物体的方法，且能有效泛化到互联网上的自然场景视频，展现出在可动物体交互领域强大的实际应用潜力。
---
## 致谢
本研究部分得到了国家重点研发计划项目（编号：2022YFA1004100）以及中国博士后科学基金（编号：2025M784371）的支持。
## 参考文献
[^1]: Ayce Idil Aytekin, Helge Rhodin, Rishabh Dabral, and Christian Theobalt. Follow my hold: Hand-object interaction reconstruction through geometric guidance. arXiv preprint arXiv:2508.18213, 2025. 2, 3
[^2]: Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, and Jingren Zhou. Qwen-vl: A versatile vision-language model for understanding, localization, text reading, and beyond. arXiv preprint arXiv:2308.12966, 2023. 3, 6
[^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision, pages 361–378. Springer, 2020. 2, 3
[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12417–12426, 2021. 2, 3
[^5]: etc. Chao, Yu-Wei. Dexycb: A benchmark for capturing hand grasping of objects. In Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 2, 3
[^6]: Sili Chen, Hengkai Guo, Shengnan Zhu, Feihu Zhang, Zilong Huang, Jiashi Feng, and Bingyi Kang. Video depth anything: Consistent depth estimation for super-long videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 22831–22840, 2025. 2, 3, 6
[^7]: Yujin Chen, Zhigang Tu, Di Kang, Ruizhi Chen, Linchao Bao, Zhengyou Zhang, and Junsong Yuan. Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion. IEEE Transactions on Image Processing, 30:4008–4021, 2021. 1, 2, 3
[^8]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. AlignSDF: Pose-Aligned signed distance fields for hand-object reconstruction. In ECCV, 2022. 1
[^9]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gSDF: Geometry-Driven signed distance functions for 3D hand-object reconstruction. In CVPR, 2023. 3
[^10]: Gheorghe Comanici, Eric Bieber, Mike Schaekermann, Ice Pasupat, Noveen Sachdeva, Inderjit Dhillon, Marcel Blisttein, Ori Ram, Dan Zhang, Evan Rosen, et al. Gemini 2.5: Pushing the frontier with advanced reasoning, multimodality, long context, and next generation agentic capabilities. arXiv preprint arXiv:2507.06261, 2025. 2, 5
[^11]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF con-
计算机视觉与模式识别会议论文集，第12943–12954页，2023年。3, 6, 7
[^12]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Muhammed Kocabas, Xu Chen, Michael J Black, and Otmar Hilliges. HOLD: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 494–504, 2024. 1, 2, 3
[^13]: Haoran Geng, Helin Xu, Chengyang Zhao, Chao Xu, Li Yi, Siyuan Huang, and He Wang. Gapartnet: Cross-category domain-generalizable object perception and manipulation via generalizable and actionable parts. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7081–7091, 2023. 3
[^14]: Georgia Gkioxari, Ross Girshick, Piotr Dollár, and Kaiming He. Detecting and recognizing human-object interactions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8359–8367, 2018. 1, 2, 3
[^15]: Patrick Grady, Chengcheng Tang, Christopher D Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C Kemp. Contactopt: Optimizing contact to improve grasps. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1471–1481, 2021. 2, 3
[^16]: Yana Hasson, Güil Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1
[^17]: Tomas Hodan, Martin Sundermeyer, Yann Labbe, Van Nguyen Nguyen, Gu Wang, Eric Brachmann, Bertram Drost, Vincent Lepetit, Carsten Rother, and Jiri Matas. Bop challenge 2023 on detection segmentation and pose estimation of seen and unseen rigid objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5610–5619, 2024. 6
[^18]: Yicong Hong, Kai Zhang, Jiuxiang Gu, Sai Bi, Yang Zhou, Difan Liu, Feng Liu, Kalyan Sunkavalli, Trung Bui, and Hao Tan. Lrm: Large reconstruction model for single image to 3d. arXiv preprint arXiv:2311.04400, 2023. 2
[^19]: Di Huang, Xiaopeng Ji, Xingyi He, Jiaming Sun, Tong He, Qing Shuai, Wanli Ouyang, and Xiaowei Zhou. Reconstructing hand-held objects from monocular video. In SIGGRAPH Asia 2022 Conference Papers, pages 1–9, 2022. 2, 3
[^20]: Xiaoxia Huang, Ian Walker, and Stan Birchfield. Occlusion-aware reconstruction and manipulation of 3d articulated objects. In 2012 IEEE international conference on robotics and automation, pages 1365–1371. IEEE, 2012. 3
[^21]: Chaofan Huo, Ye Shi, and Jingya Wang. Monocular human-object reconstruction in the wild. In Proceedings of the 32nd ACM International Conference on Multimedia, page 5547–5555, New York, NY, USA, 2024. Association for Computing Machinery. 3
[^22]: Zhenyu Jiang, Cheng-Chun Hsu, and Yuke Zhu. Ditto: Building digital twins of articulated objects from interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5616–5626, 2022. 2, 3
## [^23]: Nikita Karaev, Yuri Makarov, Jianyuan Wang, Natalia Neverova, Andrea Vedaldi, and Christian Rupprecht. Co
---
Tracker3：通过伪标注真实视频实现更简单且更优的点跟踪。载于IEEE/CVF国际计算机视觉会议论文集，第6013–6022页，2025年。2, 3, 4
[^24]: Justin Kerr, Chung Min Kim, Mingxuan Wu, Brent Yi, Qianqian Wang, Ken Goldberg, and Angjoo Kanazawa. Robot see robot do: Imitating articulated object manipulation with monocular 4d reconstruction. In 8th Annual Conference on Robot Learning, 2024. 1, 2, 3, 6, 7, 8
[^25]: Takashi Kikuchi and Shun Takeuchi. Self-supervised human-object interaction of complex scenes with context-aware mixing: Towards in-store consumer behavior analysis. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 744–751, 2024. 1
[^26]: Zeqiang Lai, Yunfei Zhao, Haolin Liu, Zibo Zhao, Qingxiang Lin, Huiwen Shi, Xianghui Yang, Mingxin Yang, Shuhui Yang, Yifei Feng, et al. Hunyuan3d 2.5: Towards high-fidelity 3d assets generation with ultimate details. arXiv preprint arXiv:2506.16504, 2025. 2, 3, 6, 4
[^27]: Long Le, Jason Xie, William Liang, Hung-Ju Wang, Yue Yang, Yecheng Jason Ma, Kyle Vedder, Arjun Krishna, Dinesh Jayaraman, and Eric Eaton. Articulate-anything: Automatic modeling of articulated objects via a vision-language foundation model. arXiv preprint arXiv:2410.13882, 2024. 2, 3
[^28]: Taeyeop Lee, Bowen Wen, Minjun Kang, Gyuree Kang, In So Kweon, and Kuk-Jin Yoon. Any6d: Model-free 6d pose estimation of novel objects. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 11633–11643, 2025. 8
[^29]: Sixu Li, Chaojian Li, Wenbo Zhu, Boyang Yu, Yang Zhao, Cheng Wan, Haoran You, Huihong Shi, and Yingyan Lin. Instant-3d: Instant neural radiance field training towards on-device ar/vr 3d reconstruction. In Proceedings of the 50th Annual International Symposium on Computer Architecture, pages 1–13, 2023. 2
[^30]: Xiaowen Li, Haolan Xue, Peiran Ren, and Liefeng Bo. Differaser: A diffusion model for video inpainting. arXiv preprint arXiv:2501.10018, 2025. 3, 6
[^31]: Yong-Lu Li, Xinpeng Liu, Han Lu, Shiyi Wang, Junqi Liu, Jiefeng Li, and Cewu Lu. Detailed 2d-3d joint representation for human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10166–10175, 2020. 2
[^32]: Jiayi Liu, Ali Mahdavi-Amiri, and Manolis Savva. Paris: Part-level reconstruction and motion analysis for articulated objects. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 352–363, 2023. 2
[^33]: Jiayi Liu, Manolis Savva, and Ali Mahdavi-Amiri. Survey on modeling of human-made articulated objects, 2025. 2
[^34]: Liu Liu, Wenqiang Xu, Haoyuan Fu, Sucheng Qian, Qiaojun Yu, Yang Han, and Cewu Lu. Akb-48: A real-world articulated object knowledge base. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14809–14818, 2022. 3
[^35]: Minghua Liu, Mikaela Angelina Uy, Donglai Xiang, Hao Su, Sanja Fidler, Nicholas Sharp, and Jun Gao. Partfield: Learning 3d feature fields for part segmentation and beyond. In
IEEE/CVF国际计算机视觉会议论文集，第9704–9715页，2025年。1
[^36]: Minghua Liu, Mikaela Angelina Uy, Donglai Xiang, Hao Su, Sanja Fidler, Nicholas Sharp, and Jun Gao. Partfield: Learning 3d feature fields for part segmentation and beyond. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9704–9715, 2025. 4
[^37]: Shaowei Liu, Saurabh Gupta, and Shenlong Wang. Building rearticulable models for arbitrary 3d objects from 4d point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21138–21147, 2023. 3
[^38]: Yu Liu, Baoxiong Jia, Ruijie Lu, Chuyue Gan, Huayu Chen, Junfeng Ni, Song-Chun Zhu, and Siyuan Huang. Videoartgs: Building digital twins of articulated objects from monocular video. arXiv preprint arXiv:2509.17647, 2025. 2, 3
[^39]: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, and Siyuan Huang. Building interactable replicas of complex articulated objects via gaussian splatting. In The Thirteenth International Conference on Learning Representations, 2025. 2
[^40]: Yumeng Liu, Xiaoxiao Long, Zemin Yang, Yuan Liu, Marc Habermann, Christian Theobalt, Yuexin Ma, and Wenping Wang. Easyhoi: Unleashing the power of large models for reconstructing hand-object interactions in the wild. In CVPR, pages 7037–7047, 2025. 1, 2, 3, 6, 7
[^41]: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, et al. Wonder3d: Single image to 3d using cross-domain diffusion. CVPR, 2024.
[^42]: Hao Luo, Ye Wang, Wanpeng Zhang, Sipeng Zheng, Ziheng Xi, Chaoyi Xu, Haiweng Xu, Haoqi Yuan, Chi Zhang, Yiqing Wang, Yicheng Feng, and Zongqing Lu. Being-h0.5: Scaling human-centric robot learning for cross-embodiment generalization. arXiv preprint arXiv:2601.12993, 2026. 1
[^43]: Kaichun Mo, Shilin Zhu, Angel X Chang, Li Yi, Subarna Tripathi, Leonidas J Guibas, and Hao Su. Partnet: A large-scale benchmark for fine-grained and hierarchical part-level 3d object understanding. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 909–918, 2019. 3
[^44]: Sassan Mokhtar, Eugenio Chisari, Nick Heppert, and Abhinav Valada. Centerart: Joint shape reconstruction and 6-dof grasp estimation of articulated objects. In ICRA 2024 Workshop on 3D Visual Representations for Robot Manipulation, 2024. 2
[^45]: Van Nguyen Nguyen, Thibault Groueix, Mathieu Salzmann, and Vincent Lepetit. Gigapose: Fast and robust novel object pose estimation via one correspondence. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024. 2
[^46]: Neil Nie, Samir Yitzhak Gadre, Kiana Ehsani, and Shuran Song. Structure from action: Learning interactions for articulated object 3d structure discovery. arXiv preprint arXiv:2207.08997, 2022. 3
### [^47]: Jeongwan On, Kyeonghwan Gwak, Gunyoung Kang, Junuk Cha, Soohyun Hwang, Hyein Hwang, and Seungryul Baek
---
Bigs：基于3D高斯泼溅技术，从单目视频中实现类别无关的双手法交互重建。载于计算机视觉与模式识别会议论文集，第17437–17447页，2025年。3
[^48]: Maxime Oquab, Timothée Darcet, Theo Moutakanni, Huy V. Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, Russell Howes, Po-Yao Huang, Hu Xu, Vasu Sharma, Shang-Wen Li, Wojciech Galuba, Mike Rabbat, Mido Assran, Nicolas Ballas, Gabriel Synnaeve, Ishan Misra, Herve Jegou, Julien Mairal, Patrick Labatut, Armand Joulin, and Piotr Bo-janowski. Dinov2: Learning robust visual features without supervision, 2023. 3
[^49]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 2
[^50]: Weikun Peng, Jun Lv, Cewu Lu, and Manolis Savva. iTACO: Interactable Digital Twins of Articulated Objects from Casually Captured RGBD Videos. In 3DV 2026, 2025. 2, 3
[^51]: Luigi Piccinelli, Yung-Hsu Yang, Christos Sakaridis, Mattia Segu, Siyuan Li, Luc Van Gool, and Fisher Yu. UniDepth: Universal monocular metric depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 2, 6
[^52]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025. 2, 5, 7, 4
[^53]: Nikhila Ravi, Jeremy Reizenstein, David Novotny, Taylor Gordon, Wan-Yen Lo, Justin Johnson, and Georgia Gkioxari. Accelerating 3d deep learning with pytorch3d. arXiv:2007.08501, 2020. 1
[^54]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, et al. Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714, 2024. 3, 6
[^55]: Mike Salvato, Negin Heravi, Allison M Okamura, and Jeannette Bohg. Predicting hand-object interaction for improved haptic feedback in mixed reality. IEEE Robotics and Automation Letters, 7(2):3851–3857, 2022. 1
[^56]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9869–9878, 2020. 1,3
[^57]: Chaoyue Song, Jiacheng Wei, Chuan Sheng Foo, Guosheng Lin, and Fayao Liu. Reacto: Reconstructing articulated objects from a single video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5384–5395, 2024. 2, 3
[^58]: Anilkumar Swamy, Vincent Leroy, Philippe Weinzaepfel, Jean-Sébastien Franco, and Grégory Rogez. Host3r: Keypoint-free hand-object 3d reconstruction from rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 7204–7213, 2025. 2, 3
[^59]: Peng Wang, Shuai Bai, Sinan Tan, Shijie Wang, Zhihao Fan, Jinze Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Wenbin Ge, et al. Qwen2-vl: Enhancing vision-language model's perception of the world at any resolution. arXiv preprint arXiv:2409.12191, 2024. 2, 5
[^60]: Shibo Wang, Haonan He, Maria Parelli, Christoph Gebhardt, Zicong Fan, and Jie Song. Magichoi: Leveraging 3d priors for accurate hand-object reconstruction from short monocular video clips. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 5957–5968, 2025. 1, 2, 3
[^61]: Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17868–17879, 2024. 2, 3, 8
[^62]: Boran Wen, Dingbang Huang, Zichen Zhang, Jiahong Zhou, Jianbin Deng, Jingyu Gong, Yulong Chen, Lizhuang Ma, and Yong-Lu Li. Reconstructing in-the-wild open-vocabulary human-object interactions. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 17426–17436, 2025. 3, 7
[^63]: Abdelrhman Werby, Martin Büchner, Adrian Röfer, Chenguang Huang, Wolfram Burgard, and Abhinav Valada. Articulated object estimation in the wild. In Conference on Robot Learning (CoRL), 2025. 3
[^64]: Mingxuan Wu, Huang Huang, Justin Kerr, Chung Min Kim, Anthony Zhang, Brent Yi, and Angjoo Kanazawa. Predict-optimize-distill: A self-improving cycle for 4d object under-standing. arXiv preprint arXiv:2504.17441, 2025. 2, 3
[^65]: Yuxi Xiao, Jianyuan Wang, Nan Xue, Nikita Karaev, Iurii Makarov, Bingyi Kang, Xin Zhu, Hujun Bao, Yujun Shen, and Xiaowei Zhou. Spatialtrackerv2: 3d point tracking made easy. In ICCV, 2025. 2, 3, 4
[^66]: Jiale Xu, Weihao Cheng, Yiming Gao, Xintao Wang, Shenghua Gao, and Ying Shan. Instantmesh: Efficient 3d mesh generation from a single image with sparse-view large reconstruction models. arXiv preprint arXiv:2404.07191, 2024. 2
[^67]: Xianghao Xu, Yifan Ruan, Srinath Sridhar, and Daniel Ritchie. Unsupervised kinematic motion detection for part-segmented 3d shape collections. In ACM SIGGRAPH 2022 Conference Proceedings, pages 1–9, 2022. 3
[^68]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20953–20962, 2022. 2, 3
[^69]: Yu Yang, Zhilu Zhang, Xiang Zhang, Yihan Zeng, Hui Li, and Wangmeng Zuo. Physworld: From real videos to world models of deformable objects via physics-aware demonstration synthesis. arXiv preprint arXiv:2510.21447, 2025. 1, 3
#### [^70]: Brent Yi, Chung Min Kim, Justin Kerr, Gina Wu, Rebecca Feng, Anthony Zhang, Jonas Kulhanek, Hongsuk Choi, Yi Ma, Matthew Tancik, and Angjoo Kanazawa. Viser: Imperative, web-based 3d visualization in python, 2025. 6
---
[^71]: Qiaojun Yu, Xibin Yuan, Junting Chen, Dongzhe Zheng, Ce Hao, Yang You, Yixing Chen, Yao Mu, Liu Liu, Cewu Lu, et al. Artgs: 3d gaussian splatting for interactive visual-physical modeling and manipulation of articulated objects. arXiv preprint arXiv:2507.02600, 2025. 2
[^72]: Tianjiao Yu, Vedant Shah, MuntasIR Wahed, YING Shen, KIT A Nguyen, and ISMINI LOUENTZOU. Part $^{2}$gs: Part-aware modeling of articulated objects using 3D Gaussian splatting. arXiv preprint arXiv:2506.17212, 2025. 2, 3
[^73]: Bowei Zhang, Lei Ke, Adam W Harley, and Katerina Fragki-adaki. Tapip3d: Tracking any point in persistent 3d geometry. arXiv preprint arXiv:2504.14717, 2025. 3
[^74]: Ge Zhang, Or Litany, Srinath Sridhar, and Leonidas Guibas. Strobenet: Category-level multiview reconstruction of articulated objects. arXiv preprint arXiv:2105.08016, 2021. 3
##### [^75]: Huayi Zhou, Ruixiang Wang, Yunxin Tai, Yueci Deng, Guiliang Liu, and Kui Jia. You only teach once: Learn one-shot bimanual robotic manipulation from video demonstrations. arXiv preprint arXiv:2501.14208, 2025. 1
---
##### ArtHOI：利用基础模型实现单目4D手-可动物体交互重建
补充材料
Figure A. Demonstration of our MLLM contact reasoning pipeline. For clarity, we merge 2 neighbouring frames, but in practice, it's typically set to 3. The top row shows RGB frames, the bottom row shows colorized depth maps. The MLLM analyzes visual and depth cues across frames to determine contact status and engaged fingers for each hand.
#### A. 实现细节
#### A.1. 物体的粗略尺度估计
我们将第3.2节中介绍的粗略尺度估计过程详细说明如下。给定估算出的度量深度图后，我们首先利用相机内参$\mathbf{K}$和物体掩码将其反投影到3D空间中。为了抑制边界噪声，在反投影前先对掩码进行腐蚀处理，随后使用统计离群值去除（SOR）滤波器进一步清理点云数据。接着，我们计算归一化后的标准物体以及反投影得到的深度点云的边界框。粗略的度量尺度$s_{\text{coarse}}^0$即为两者在x轴和y轴方向上尺寸比值的最大值。z轴（深度方向）则被排除在外，因为反投影得到的点云仅能捕捉到物体的可见表面，其深度信息通常更具噪声且不可靠。
##### A.2. 物体部件分割
第3.3节描述了多关节物体的部件级运动重建过程。此处我们提供关于部件划分过程的额外细节。我们首先应用PartField [^35]来提取每个顶点的特征场，随后通过凝聚聚类得到顶点组标签。
Table A. Comparison of contact accuracy (Acc.) and false positive rate (FP) between our MLLM-based contact reasoning and a rule-based mask-intersection heuristic. While both methods perform similarly on the controlled RSRD dataset, the heuristic degrades notably on in-the-wild videos, whereas the MLLM remains robust. ArtHOI-RGBD is excluded due to its near-perfect accuracy.
| RSRD [^24] | ArtHOI-Wild |
| Contact Judge | Acc. $\uparrow$ | FP $\downarrow$ | Acc. $\uparrow$ | FP $\downarrow$ |
| Mask Intersection | 0.86 | 0.14 | 0.76 | 0.23 |
| MLLM | 0.89 | 0.11 | 0.87 | 0.10 |
接着，我们使用PyTorch3D [^53]以标准姿态渲染物体，从而生成2D标签图。根据部件掩码合并顶点组后，最终将网格拆分为各个独立部件。
##### A.3. 多模态大语言模型的接触推理
我们采用图文问答策略来提取输入视频每一帧的接触信息。该任务的主要挑战在于抑制误报：在实际视频中，人类和模型常常会将近似接触误认为真正的物理接触，而清晰的分离情况很少被错判为接触，因此漏报情况相对较少。为缓解这一问题，我们在RGB帧中加入了彩色深度信息，引入相邻帧采样以增强时空线索，并明确指示多模态大语言模型要谨慎对待误报情况。此外，由于输入视频可能是自拍视角或外部视角，我们会事先确定视频视角，以减少在推理双手接触情况时出现的手部左右混淆现象。图C、D和E展示了我们流程中使用的完整提示模板。
输入与输出格式 为了提供更丰富的上下文线索，我们将k个相邻帧（实际取k=3）及其彩色深度图拼接成一张大型图像提示，供多模态大语言模型共同分析以判断时空一致性。深度图采用颜色渐变表示（蓝色代表近处，红色代表远处），使深度不连续性在视觉上更加明显。输出结果为结构化的JSON格式，包含：(i) 视频中的帧数及出现的手部；(ii) 每一帧中左右手的二元接触标记；(iii) 每对“手-帧”的接触手指列表，若无接触则为空。这种结构化格式便于后续的优化处理。
---
我们的方法
侧视图
摄像头视图
EasyHOI
摄像头视图
侧视图
Figure B. Qualitative comparison between our method and EasyHOI [^40] on ArtHOI-RGBD. EasyHOI often fails to recover articulated object scale and pose, and exhibits inconsistent hand-object alignment across frames.
能够直接解析并应用接触约束。
三阶段提示策略 多模态大语言模型的接触推理流程包含三个精心设计的阶段，如图C、D和E所示。
阶段1：视角检测。视频视角（自我中心视角 vs. 客观中心视角）会显著影响手部左右侧的判断。在第一人称视角下，唯一可见的手自然属于操作者的视角范围，空间关系也相对简单。在第三人称视角下，多模态大语言模型必须推断操作者的朝向并考虑镜像效应，才能正确识别手部。通过先明确确定视角，我们能在后续推理阶段减少对手部身份的误判。
阶段2：手部映射。确定视角后，手部映射会通过特定于视角的启发式规则来区分左右手。对于第一人称视频（阶段2a），空间位置和拇指方向提供了直接线索；对于第三人称视频（阶段2b），策略则转变为分析相机与操作者身体之间的关系。在此阶段，多模态大语言模型就能将可见的手部分配为左侧或右侧标签。
阶段3：逐帧接触推理。确定了正确的手部身份后，阶段3会进行详细的逐帧接触分析。针对每只可见的手，提示词会引导多模态大语言模型按照结构化的推理链进行处理。提示词中特别强调了谨慎性：不确定的情况应标记为无接触（假），以抑制假阳性结果。这种保守的倾向与我们观察到的情况一致——现实场景中接触预测的假阳性情况比假阴性更常见。
#### B. 计算性能
对于一个分辨率为 $960 \times 540$、包含150帧的视频序列而言，预处理步骤包括掩码分割、深度估计、帧修复、手部估计以及网格重建——
---
Figure C. Stage 1: Perspective Detection Prompt. This prompt determines whether the input video is from a first-person or third-person viewpoint, which is essential for correctly identifying hand laterality in subsequent stages.
Figure D. Stage 2: Hand Mapping Prompt. This stage identifies and maps visible hands to left/right labels. Stage 2a handles first-person perspective videos using spatial positioning and thumb direction cues. Stage 2b handles third-person perspective videos by analyzing camera angle relative to the operator's body and arm connectivity patterns.
使用HunYuan3D [^26])进行重建大约需要10到15分钟。优化物体的标准尺度与姿态仅需不到2分钟。分部件运动恢复是最耗时的阶段，耗时约30分钟；在此阶段，我们的流程能够同时执行MLLM接触推理以获取HOI接触信息。最后，将单独重建的手部与可动物体对齐最多需要5分钟，从而生成最终结果。总体而言，整个流程的运行时间主要取决于从粗到精的分部件运动重建过程，通过更优化的实现方式可进一步加快这一进程。
作为对比，RSRD [^24]报告的整体运行时间与之相近：从预扫描视频中重建和分割3D部件模型约需40分钟，部件运动重建和4D手部估计约需7分钟，但它并未进行任何手部-物体联合优化。
#### C. 其他结果
与EasyHOI的定性比较：我们将我们的方法与EasyHOI [^40]进行比较，这是一种同样利用基础模型的单目图像HOI
---
Figure E. Stage 3: Frame-wise Contact Reasoning Prompt. This stage performs detailed analysis of each frame to determine contact state and identify engaged fingers. The critical depth map verification step (Phase C) distinguishes true physical contact from mere proximity using depth discontinuity analysis.
重建方法。由于EasyHOI仅接受单张图像，我们对其逐帧进行评估。为了公平比较，我们采用了与自身流程中相同的基础模型：用于手部重建的WiLoR [^52]以及用于物体形状重建的HunYuan3D [^26]。
图B展示了EasyHOI使用单帧输入在ArtHOI-RGBD数据集上的结果。EasyHOI对可动物体的操控场景泛化能力较差，因为它假设物体尺度固定且呈6自由度姿态，转而优化相机参数和物体姿态以适应每张图像。虽然这种基于图像的范式对孤立帧而言效率较高，但显然无法在视频上产生连贯的结果。
此外，EasyHOI在跨帧保持手与物体对齐方面存在困难。它通过考虑整个可能的手部交互区域来优化接触效果，这对于抓取刚性物体而言已经足够；但由于没有明确指定接触手指，其在关节型物体的交互中表现会变差。这种逐帧重建的模式也使得视频处理在计算上难以实现：重建一段包含100帧的序列大约需要3小时甚至更长时间。最后，EasyHOI基于单手场景设计，若要进行大幅代码修改才能扩展到双手场景。
---
MLLM接触推理的效果 我们评估了基于MLLM的接触推理方法相较于简单的基于规则的基线方法（通过掩码交集来确定接触点）的有效性。如表A所示，虽然掩码交集启发式方法在受控实验室数据集上的性能略逊一筹，但在随意拍摄的自然场景视频中其准确率会大幅下降。相比之下，MLLM能够利用更广泛的视觉和语义知识，从而在具有挑战性的现实条件下做出更可靠的接触判断。