## 1 引言
从单目视频中重建动态手物交互（HOI）是计算机视觉与图形学领域的关键挑战。最终目标是创建这些交互的高保真数字孪生模型，这类模型不仅视觉上连贯，而且几何结构清晰、物理特性合理，可应用于机器人模仿学习、基于物理的仿真等下游任务。尽管互联网上存有大量真实场景的交互视频，但将这些数据转化为可用于仿真的3D资产仍是一项未解决的难题。我们发现现有流程中存在两大阻碍其可扩展性与可靠性的根本障碍。
第一个障碍源于基于重建的几何方法的固有局限。当前最先进的方法通常依赖神经渲染技术，如NeRF [Mildenhall等人，2021年]或3D高斯泼溅技术 [Kerbl等人，2023年]，来优化场景表示 [Fan等人，2024b；On等人，2025年]。然而，这些方法本质上依赖于多视角一致性。在HOI场景中，严重的手部遮挡常常破坏这一前提，导致生成的几何模型碎片化、噪声多且非闭合。这类模型虽然从训练视角看视觉效果尚可，但无法满足物理引擎对干净、明确拓扑结构的要求。
第二个更为关键的瓶颈是姿态初始化的不稳定性。大多数主流方法 [Fan等人，2024b；Wang等人，2025a] 都依托COLMAP [Schönberger和Frahm，2016年]等运动恢复结构（SfM）流程来估算初始相机与物体姿态。在包含无纹理物体、快速运动或严重遮挡的动态场景中，SfM的表现极其不稳定。当SfM无法匹配帧数据时——这在真实视频中十分常见——整个流程便会崩溃。这种对经典几何匹配方式的依赖，使得现有方法难以在复杂基准测试中取得可靠性能 [Chao等人，2021年]。
近期的人工智能生成技术虽展现出潜力，但在高保真HOI任务中仍缺乏鲁棒性。MagicHOI [Wang等人，2025a]利用扩散先验生成模型，但生成的网格过于平滑，且仍依赖不稳定的SfM。像SAM3D [Team等人，2025年]这样的单视图方法会因遮挡导致信息丢失，生成的几何模型粗糙、纹理差，进而干扰后续的姿态优化过程。要克服这些障碍，就必须整合视频中的多视角线索。但由于标准的3D生成器需要视频中不存在的规范相机参数，我们不得不借助2D生成先验来合成缺失的视角。然而，2D扩散模型的随机性常常会产生与视频中实际物体不符的幻觉内容。因此，要可靠地利用这些先验，就需要一种能够识别有效帧并严格筛选生成视角以确保一致性的智能机制——而这正是当前端到端流程所欠缺的能力。
为填补这一缺口，我们推出了AGILE——一个强大的框架，它将交互学习的范式从重建转变为智能生成。首先，我们采用一种智能流水线，其中视觉-语言模型（VLM）充当智能监督者。VLM会挑选具有信息量的关键帧来指导多视角合成，并通过拒绝采样严格筛选输出结果以确保一致性。关键在于，该流水线还包含纹理优化阶段，能够从视频观测中恢复高频细节。最终生成的网格既严密无缝又具有超逼真的外观——这正是后续基础模型能够可靠地初始化姿态并优化语义对齐的前提条件。
利用这一高质量资产，我们提出了一种稳健的锚点跟踪优化策略，从而无需依赖不稳定的SfM技术。我们利用基础模型仅在首个交互起始帧初始化物体姿态；在视频的剩余部分，则通过时间维度上的姿态传播来进行在线优化。凭借我们所生成的带纹理网格与视频观测之间极强的视觉相似性，我们借助语义特征损失和掩码约束来推动这种对齐，同时确保物理接触的一致性。事实证明，这种方法比依赖每帧的噪声预测或不稳定的SfM要稳定得多。
我们在多个基准测试（HO3D、DexYCB）以及各类真实场景视频中进行的全面评估，充分展现了该方法的变革性影响。AGILE在所有数据集上均取得了顶尖的性能表现，确立了准确性与鲁棒性方面的新标准。以往的方法在复杂序列上的失败率高达75%，而AGILE的成功率却能达到100%。我们的分析揭示了一个关键权衡：虽然某些以往的方法侧重于局部邻近性优化——往往允许物体相互穿透——但我们的方法更重视全局几何精度与非穿透性。因此，经AGILE生成的数字孪生模型可通过真实到模拟的重定向流水线进行验证，成功在物理模拟器中驱动动态交互。
我们的核心贡献在于将人机交互的范式从重建转变为智能生成，具体通过以下设计实现。首先，也是最具创新性的点，我们提出了首个智能人机交互流水线，它将VLM引导的质量评估与生成模型相结合，从而能够在不受视频遮挡影响的情况下生成高保真且严密无缝的网格。其次，我们提出了一种稳健的锚点跟踪优化策略，它无需依赖不稳定的SfM技术，只需在单个接触帧处初始化姿态，再通过语义与几何对齐来传播该姿态。第三，我们在单手交互基准测试、双手交互以及真实场景序列中开展的广泛实验，加上在灵巧机械手上进行的真实到模拟重定向测试，均证明AGILE在几何精度、鲁棒性方面均达到顶尖水平，并能生成可用于模拟的数字孪生模型。
---
## 2 相关工作
三维手部重建。单目三维手部重建技术已从将MANO [Romero et al. 2022]等参数化模型拟合到图像上 [Boukhayma et al. 2019; Pavlakos et al. 2024; Zhang et al. 2019; Zhou et al. 2020]，发展到从视频中恢复动态运动。尽管近期的时间序列方法 [Yu et al. 2025; Zhang et al. 2025]能够回归出四维轨迹，但它们往往牺牲了接触分析所需的逐帧几何精度。在我们的框架中，我们优先考虑几何保真度，以确保准确的交互建模。因此，我们利用WiLoR [Potamias et al. 2025]等最先进的估计器来提供鲁棒且高保真的初始手部网格。
生成式三维物体重建。该领域正从多视角优化（如NeRF [Mildenhall et al. 2021]、高斯泼溅 [Kerbl et al. 2023]）——这类方法需要密集且无遮挡的覆盖，而这在交互视频中极为罕见——转向生成式推理。大型重建模型（LRM）[Hong et al. 2023; Tang et al. 2024; Team 2025; Xu et al. 2024]以及基于扩散的方法 [Liu et al. 2023; Long et al. 2024]如今能够从稀疏输入生成资产。然而，像SAM3D [Team et al. 2025]这样的单视图方法虽然能够实现端到端推理，但本质上缺乏聚合视频中多视角线索的能力。这一局限性导致它们无法解决严重的遮挡问题，也无法保持跨视图的纹理一致性。我们通过提出一种智能体框架来解决这一问题，该框架能巧妙地将视频证据与生成式先验融合，合成密封性好且带纹理的资产，使其严格符合视频观测结果。
手-物交互（HOI）重建。动态HOI重建因严重的相互遮挡而变得复杂。早期的基于模板的方法 [Corona et al. 2020; Fan et al. 2024a; Tekin et al. 2019; Yang et al. 2021]或依赖深度的方法在现实场景中的适用性有限。像HOLD [Fan et al. 2024b]和BIGS [On et al. 2025]这类基于重建的方法会优化隐式表示，但在遮挡情况下会产生破碎且不符合物理规律的几何形状。此外，它们对脆弱的运动结构恢复（SFM）初始化（如COLMAP [Schönberger and Frahm 2016]）的依赖，导致在无纹理或移动物体上频繁出现失败情况。生成式方法试图凭空补全缺失区域；MagicHOI [Wang et al. 2025a]将扩散先验与NeRF结合，但依赖于分数蒸馏采样（SDS），往往会产生过于平滑、缺乏仿真所需细节的网格。关键在于，它仍然保留了SFM初始化的脆弱性。相比之下，AGILE通过稳健的锚定与跟踪策略消除了SFM瓶颈，从而生成高保真且可用于仿真的数字孪生体。
## 3 方法
给定由固定摄像头拍摄的手-物交互单目视频，我们的目标是重建手和物体的四维轨迹，生成高保真且可用于仿真的三维资产，如图3所示。与以往依赖神经渲染和脆弱的运动结构恢复（SfM）初始化的方法 [Fan et al. 2024b; On et al. 2025]不同，我们提出了AGILE——一种生成式框架，它将手-物交互重建的范式从重建转变为智能体生成。
### 3.1 智能体纹理物体生成
从单目视频中重建手与物体的交互关系时，面临的主要挑战是用户的手会严重遮挡物体。虽然神经渲染技术[Kerbl等人，2023年；Mildenhall等人，2021年]在视图合成方面表现优异，但面对这种部分可见的数据时，却难以恢复完整的几何结构。同样，像SAM3D[Team等人，2025年]这样的单视图生成方法本质上存在信息丢失问题，生成的几何形状粗糙且纹理保真度低，这会扰乱后续的姿态优化过程。为克服这些局限，必须利用2D生成先验来聚合视频中的多视角线索，从而合成缺失的视角。然而，扩散模型的随机性常常会产生偏离视频中实际物体的幻觉内容。因此，要可靠地利用这些先验，就需要一种智能机制，能够识别出最具信息量的参考帧，并严格筛选生成的视图以确保其一致性——而这是现有流程所不具备的能力。为解决这一问题，我们提出了一种代理式框架：由视觉语言模型（VLM）作为监督者，充当这一智能评判者，弥合嘈杂的生成先验与严谨的视频证据之间的差距。
基于VLM引导的多视图合成。如图2所示，我们的流程通过由VLM代理控制的生成模型级联来完成。VLM不会依赖单一帧，而是先从输入视频中选出N个具有信息量的关键帧（通常为1-4帧），以最大化视点覆盖范围。这些关键帧会用于提示图像生成模型来合成物体的正交视图。为确保这些生成的视图能准确反映视频内容，我们引入了基于VLM的评判机制。VLM会评估生成视图与原始视频帧之间的一致性，从几何结构、纹理和材质对应性等方面给出评分。通过拒绝采样过程，评分低于严格一致性阈值的候选视图会被丢弃并重新生成。这样一来，用于三维重建的输入不仅具备多视图一致性，还能忠实于现实世界的观测结果。具体实现细节详见补充材料。
三维重建与网格优化。经过验证的多视图图像会被送入前馈式三维生成模型[Team，2025年]以生成初始网格。虽然这些初始网格在几何上合理，但往往存在拓扑不规则、纹理模糊等问题。为解决这些问题，我们首先应用自动拓扑重构和UV展开技术，生成适合物理模拟的干净且轻量化的网格。随后，我们执行代理式的纹理优化步骤：利用基于评估后的高分辨率多视图图像进行条件约束的图像到图像编辑模型，来提升初始纹理的细节表现。关键在于，如图2所示，这一过程同样由VLM代理进行监督。VLM评判者会通过拒绝采样的方式，将优化后的纹理与多视图进行对比评估，确保严格的视觉保真度，并剔除任何幻觉产生的伪影。这种严格的质量控制源于两项下游需求：(1) 用于姿态初始化的基础模型（如FoundationPose [Wen等人，2024年]）高度依赖清晰的纹理特征以实现精准匹配；(2) 我们后续的优化过程
---
Fig. 2. Pipeline for Agentic Textured Object Generation. A VLM agent first selects informative keyframes from the input video to guide multi-view synthesis. To ensure consistency, a VLM-based critic filters the generated views via rejection sampling. The validated images are then lifted to 3D, followed by automated topology optimization and texture refinement. As highlighted in the bottom-right comparison, this refinement step significantly enhances texture fidelity against the evaluated multi-views, yielding a high-quality, simulation-ready asset.
会利用DINO特征，而这些特征对视觉保真度要求极高，才能保证优化结果的准确性。经过这一优化后，最终得到的便是可用于仿真、具备照片级真实感外观且拓扑结构明确的资产。
我们的智能体框架相比传统基准方法具有显著优势。首先，它能够从任意视频中全自动获取资产，有效规避了在严重遮挡条件下摄影测量技术出现的故障模式。其次，通过利用视觉语言模型（VLM）的持续监督来整合时序线索，我们确保了生成的资产与视频之间具备卓越的视觉一致性。最后，与隐式表示方法不同，我们的方法能直接产出干净且闭合的网格，并附带高频纹理，从而为后续的互动跟踪和物理模拟提供至关重要的稳定初始化基础。
### 3.2 姿态与尺度的初始化
为了实现不依赖不稳定的运动结构恢复流程的稳定跟踪，我们为手部与物体建立了统一的度量初始化机制。首先，我们提取关键场景信息，包括分割掩码、相机内参以及估算的度量深度。接着，我们恢复手部的度量几何信息，涵盖其6D姿态、全局尺度以及2D关节投影。最后，我们估算物体在序列中的全局尺度，并在交互起始帧对其姿态进行初始化。
数据预处理。针对每个输入视频帧，我们提取一组关键组件。具体而言，我们采用单目度量深度估计器MoGe-2 [Wang et al. 2025b]来获取相机内参矩阵K以及每帧的度量深度图$\mathbf{D} \in \mathbb{R}^{H \times W}$。同时，我们利用SAM2 [Ravi et al. 2024]来获取手部($\mathbf{M}_h$)和物体($\mathbf{M}_o$)的精确分割掩码。基于相机静止的假设，相机坐标系即作为世界坐标系，其外参被设定为单位矩阵。这些预处理后的先验信息构成了后续所有阶段的基础输入。
手部度量初始化。我们利用预处理后的数据来初始化一个符合物理规律的手部模型。首先，采用现成的估计器WiLoR [Potamias et al. 2025]来预测每一帧的MANO [Romero et al. 2022]参数，包括形状$\beta$、姿态$\theta$、全局旋转$\mathbf{R}_h \in \mathcal{SO}(3)$以及对应的2D关键点标注$J_{2D} \in \mathbb{R}^{21 \times 2}$。由于WiLoR能提供可靠的旋转估计值，我们固定$\mathbf{R}_h$，重点恢复缺失的度量尺度和平移量。为了确定全局尺度$s_h \in \mathbb{R}^+$，我们利用度量深度图D将被掩码覆盖的手部像素反投影为3D点云。随后，采用受限迭代最近点（ICP）算法[Chetverikov et al. 2002]将MANO网格与这些深度观测值对齐。在此步骤中，我们保持$\mathbf{R}_h$固定，优化$s_h$及临时平移量，以最小化模型与扫描数据间的距离。最后，为确保图像对齐的准确性，我们固定$s_h$、$\mathbf{R}_h$以及内参K，利用3D模型关节和预测的2D关键点$\mathbf{T}_h \in \mathbb{R}^3$，通过透视n点（PnP）方法求解每帧的平移量$J_{2D}$。
物体姿态与尺度估计。一旦创建了物体的标准网格（见第3.1节），我们便采用“先确定尺度”的策略将其与视频观测结果对齐。首先，我们应用与手部相同的受限ICP算法，将生成的网格与所有可用帧中的反投影物体点云对齐，从而估算出物体的全局度量尺度$s_o$。接着，我们确定交互起始帧（IOF），即物体掩码$M_o$出现显著位移的时刻。最后，为了在IOF处确定物体的初始姿态$[R_o^{IOF}, T_o^{IOF}]$，我们调用FoundationPose [Wen et al. 2024]算法。该算法以RGB帧、度量深度图以及经$s_o$预缩放后的生成网格作为输入，以确保估算出的姿态在度量上与场景保持一致。
### 3.3 手-物交互优化
为确保像素级对齐与物理一致性，我们采用了一种以交互起始帧（IOF）为锚点的双向在线优化策略（该帧已在第3.2节中确定）。从IOF开始，我们逐帧向视频序列的开头和结尾两个方向推进优化过程。在IOF处，我们共同优化手部与物体的姿态，以及物体的各向异性尺度$s_o$，从而建立起可靠的基准几何模型。对于后续的所有帧，$s_o$的值被固定，每帧我们执行以下两步优化：
步骤 1：手部位移优化。对于当前帧，我们首先优化手部轨迹。借助稳健的朝向
---
Fig. 3. Pipeline of AGILE. Our framework processes the input video in three phases: (1) Agentic Generation (§3.1): A VLM-guided loop extracts keyframes and supervises the synthesis of a watertight, textured object mesh $M_{o}$, utilizing rejection sampling to ensure visual fidelity. (2) SfM-Free Initialization (§3.2): We decouple metric scale and pose. The hand is initialized via WiLoR, while the object pose is anchored at the Interaction Onset Frame (IOF) using a foundation model. (3) Contact-Aware Optimization (§3.3): A bi-directional tracking process refines the trajectories. We stabilize the hand via geometric alignment and track the object using semantic ( $\mathcal{L}_{dino}$) and interaction constraints ( $\mathcal{L}_{interact}$) to ensure physical plausibility.
估计（来自初始化阶段），我们固定手部旋转 $\mathbf{R}_h$ 和缩放 $s_h$。我们仅优化位移 $T_h$ 以使网格与二维观测对齐。该步骤仅由关节重投影损失 ( $\mathcal{L}_{\text{joint}}$) 驱动，该损失将投影后的三维关节与二维检测之间的欧氏距离最小化。这种严格的几何更新确保手部充当物体的稳定锚点。
步骤 2：交互感知的物体跟踪。在精细化后的手部姿态固定的基础上，我们优化物体的刚性姿态 $(\mathbf{R}_o, \mathbf{T}_o)$。为应对快速运动或遮挡，物体姿态使用前一已处理帧的结果进行初始化。在此阶段，我们最小化一个复合目标函数以确保视觉与物理上的保真度：
$$ \mathcal{L}_{\mathrm{o b j}}=\lambda_{\mathrm{m a s k}}\mathcal{L}_{\mathrm{m a s k}}+\lambda_{\mathrm{d i n o}}\mathcal{L}_{\mathrm{d i n o}}+\lambda_{\mathrm{i n t e r a c t}}\mathcal{L}_{\mathrm{i n t e r a c t}}. $$
其中，$\mathcal{L}_{\text{mask}}$ 强制实现轮廓对齐，$\mathcal{L}_{\text{dino}}$ 使用 DINOv3 [Siméoni et al. 2025] 维持语义特征一致性，以缓解纹理歧义。关键的是，$\mathcal{L}_{\text{interact}}$ 惩罚相互穿透并鼓励表面吸引，确保物体以物理上合理的方式紧密锁定在手部。
关节重投影损失 ( $\mathcal{L}_{joint}$)。为了利用可靠的二维线索将手部姿态进行空间锚定，我们引入了关节重投影损失。设 $\Pi(\cdot)$ 表示给定相机内参的透视投影函数。我们将三维手部关节 $J_{3D}$ 的投影位置约束为与预处理后的二维关键点标注 $J_{2D} \in \mathbb{R}^{21 \times 2}$ 相匹配。该损失定义为均方误差（MSE）：
$$ \mathcal{L}_{\mathrm{j o i n t}}=\frac{1}{N_{j}}\sum_{i=1}^{N_{j}}\|\Pi(\mathbf{J}_{3D}^{(i)})-\mathbf{J}_{2D}^{(i)}\|_{2}^{2}. $$
该术语可确保估算的手部几何形状与图像平面上检测到的解剖学标志保持一致。
掩码对齐损失（$L_{mask}$）。为确保重建的几何形状与视觉证据一致，我们采用了掩码对齐损失。该项用于衡量渲染得到的Alpha轮廓线$A_{ren}$与真实分割掩码$M_{gt}$之间的差异。我们将此表示为两张图之间的$L_2$距离：
$$ \mathcal{L}_{\mathrm{m a s k}}=\|\mathbf{A}_{\mathrm{r e n}}-\mathbf{M}_{\mathrm{g t}}\|_{2}^{2}. $$
通过最小化这种差异，优化过程会促使渲染网格紧密贴合观测到的像素级轮廓线，从而有效处理遮挡边界问题。
语义特征损失（$\mathcal{L}_{dino}$）。为缓解由部分遮挡或无纹理区域引发的跟踪歧义，我们利用预训练的Vision Transformer模型——尤其是DINOv3 [Siméoni et al. 2025]提取的深度语义特征。与逐像素的光度损失不同，语义特征能提供对局部光照变化具有鲁棒性的对应关系。
我们通过基于采样的方法建立明确的3D到2D语义对应关系。定期在物体规范表面上选取一组$N_p$可见点$\mathcal{P}_{can} = \{\mathbf{p}_i\}_{i=1}^{N_p}$。对于每个点$\mathbf{p}_i$，我们计算其特征相似度图$\mathbf{S}_i \in \mathbb{R}^{H_f \times W_f}$。
---
具体做法是将该点的特征向量（从渲染视图中提取）与目标真实图像的密集特征图$F_{gt}$进行相关计算。这张相似度图$S_{i}$反映了点$p_{i}$对应目标图像中各个空间位置的可能性。
在优化过程中，我们利用估计的物体姿态$(\mathbf{R}_o, \mathbf{T}_o)$和缩放比例$\mathbf{s}_o$，将这些规范点转换到当前相机坐标系下，并投影得到2D坐标$\mathbf{u}_i = \Pi(\mathbf{R}_o(\mathbf{s}_o \odot \mathbf{p}_i) + \mathbf{T}_o)$。损失函数的设计旨在最大化投影位置的语义相似度，同时借助遮挡掩码忽略不可靠的区域：
$$ \mathcal{L}_{\mathrm{d i n o}}=-\frac{1}{|\mathcal{V}|}\sum_{i\in\mathcal{V}}\mathcal{M}_{o c c}(\mathbf{u}_{i})\cdot\mathrm{s a m p l e}(\mathrm{S}_{i},\mathbf{u}_{i}), $$
其中$\mathcal{V}$表示当前可见的采样点集合，$\mathcal{M}_{occ}$是二元遮挡掩码（遮挡区域取值为0），sample($\cdot$)则表示在坐标$\mathbf{u}_i$处对相似度图进行双线性插值。通过最大化这种相似度，优化过程会促使物体姿态使其语义部分与视频帧中的对应区域对齐。
交互稳定性损失（$L_{interact}$）。由于物体在操作过程中会被严重遮挡，仅凭图像中的几何线索往往不足以确定其状态。为解决这一问题，我们引入了物理先验：即手与物体之间的相对空间结构在抓取过程中应保持稳定，这一假设借鉴了先前研究中的接触稳定性假设 [Fan et al. 2024b; Wang et al. 2025a]。它要求手与物体在交互时近似作为刚体整体运动。
具体而言，我们在物体的规范坐标系下定义了交互稳定性损失。设$\mathbf{V}_h^{(t)} \in \mathbb{R}^{N \times 3}$表示时间t时相机坐标系下的手部顶点，$(\mathbf{R}_o^{(t)}, \mathbf{T}_o^{(t)})$为估计的物体姿态。我们通过逆变换将当前手部顶点映射到物体当前的坐标系中：
$$ \tilde{\mathbf{v}}_{h,i}^{(t)}=(\mathbf{R}_{o}^{(t)})^{\top}(\mathbf{v}_{h,i}^{(t)}-\mathbf{T}_{o}^{(t)}), $$
其中$\mathbf{v}_{h,i}^{(t)}$代表第i个手部顶点。随后，我们最小化这些局部坐标相对于前一跟踪帧（t-1）中位置的位移量。
关键在于，为确保该约束仅适用于有效的抓取区域，我们基于物体的有符号距离函数（SDF）来计算逐顶点权重图$\mathbf{w} \in \mathbb{R}^N$，记为$\Phi(\cdot)$。我们计算先前手部顶点到物体表面的距离：$d_i = \max(0, \Phi(\tilde{\mathbf{v}}_{h,i}^{(t-1)}))$，并通过软门控函数$w_i = 1 - \tanh(\sigma \cdot d_i)$得出权重，其中$\sigma$是控制衰减灵敏度的缩放因子。这种设定会给靠近物体表面的顶点赋予较高权重（$w_i \approx 1$），同时抑制非交互手指的影响。最终损失函数定义如下：
$$ \mathcal{L}_{\mathrm{i n t e r a c t}}=\frac{1}{N}\sum_{i=1}^{N}w_{i}\cdot\|\tilde{\mathbf{v}}_{h,i}^{(t)}-\tilde{\mathbf{v}}_{h,i}^{(t-1)}\|_{2}. $$
最小化该项实际上能将物体“锁定”在抓取手部区域，从而在视觉特征模糊时防止出现不自然的滑动或抖动现象。
总而言之，这一优化框架优先保障重建的保真度与物理一致性。通过直接优化显式3D网格，我们的方法能够无缝整合2D视觉监督与3D交互约束，而这对隐式表示而言往往难以实现。这种设计有效解决了因手部严重遮挡引发的跟踪歧义问题。此外，我们采用的这种解耦且具备交互感知能力的策略，确保了重建出的运动不仅与像素对齐，还符合物理规律，从而保留了前一阶段生成的高质量几何与纹理资产。
## 4 实验
数据集。我们在标准基准测试集以及具有挑战性的真实场景序列上对AGILE进行评估。在定量评估方面，我们采用DexYCB数据集[Chao et al. 2021]，选取了20条涵盖多种物体类别与交互类型的多样化轨迹。为评估在严重遮挡情况下的鲁棒性，我们选用HO3D-v3数据集[Hampali et al. 2020]，按照HOLD [Fan et al. 2024b]的协议对18条序列进行测试。为评估对双手交互的泛化能力，我们进一步纳入ARCTIC数据集[Fan et al. 2023]，采用其刚性物体子集并按照HOLD协议进行测试。此外，为展示模型的泛化能力，我们整理了一个真实场景数据集。该数据集整合了先前研究[Fan et al. 2024b]中的序列以及自行拍摄的素材，专门选取几何结构复杂、操作模式繁复的物体，以验证其在任意环境下的鲁棒性。
基线对比。我们将所提出的框架与单目手-物重建领域的最先进方法进行对比。具体而言，我们将其与HOLD [Fan et al. 2024b]以及MagicHOI [Wang et al. 2025a]进行比较：前者通过隐式神经渲染来重建交互过程，后者则是利用基于扩散的先验知识生成几何结构。详细的超参数、实现细节及运行时间分析详见补充材料。
指标。我们主要从几何保真度、交互合理性和鲁棒性三个方面评估系统性能。(1) 手部精度：我们以毫米为单位报告根节点相关的平均关节位置误差（MPJPE）。(2) 物体几何：遵循HOLD [Fan et al. 2024b]的协议，我们使用平方厘米为单位的倒角距离（CD）（$cm^2$）以及5毫米和10毫米阈值下的F分数（F@5mm、F@10mm）来评估重建质量。(3) 交互质量：我们将物体对齐到手部的根坐标系，通过计算手部相关的倒角距离（$CD_h$），同样以$cm^2$为单位，来衡量相对空间一致性。(4) 鲁棒性：至关重要的一点是，我们统计了成功率（SR）。如果算法出现初始化崩溃（如SfM失效）或严重的跟踪漂移现象，则该序列被视为失败。
### 4.1 对比分析
定量评估。如表1所示，AGILE为单目HOI重建树立了全新的最佳基准。在所有指标上，我们的表现均优于基于优化的方法以及(HOLD)和基于生成的方法（MagicHOI）。
---
Fig. 4. Qualitative Results of Agentic Generation. We visualize the intermediate stages of our pipeline across diverse object categories. Despite severe hand occlusion in the input keyframes, our VLM-guided approach successfully synthesizes consistent multi-view images and reconstructs high-fidelity 3D meshes. Notably, the texture refinement step significantly enhances surface details and sharpness compared to the initial raw generation.
Table 1. Quantitative comparison on DexYCB and HO3D-v3 datasets. The best results are highlighted in bold, and the $\underline{\text{second best}}$ are underlined. Baseline metrics ( $\dagger$) are averaged over the successful subset only, creating a survivor bias.
| Method | DexYCB Dataset | HO3D-v3 Dataset |
| MPJPE (mm) $\downarrow$ | CD (cm $^{2}$) $\downarrow$ | F@5 (%) $\uparrow$ | F@10 (%) $\uparrow$ | CD $_{h}$ (cm $^{2}$) $\downarrow$ | SR (%) $\uparrow$ | MPJPE (mm) $\downarrow$ | CD (cm $^{2}$) $\downarrow$ | F@5 (%) $\uparrow$ | F@10 (%) $\uparrow$ | CD $_{h}$ (cm $^{2}$) $\downarrow$ | SR (%) $\uparrow$ |
| HOLD $^{\dagger}$ [Fan et al. 2024b] | 30.86 | 19.30 | 33.20 | 54.94 | 170.9 | 45.0 | 22.09 | 1.11 | 81.75 | 92.42 | 18.66 | 100.0 |
| MagicHOI $^{\dagger}$ [Wang et al. 2025a] | 21.20 | 2.05 | 45.67 | 67.14 | 661.90 | 25.0 | 7.38 | 0.90 | 76.74 | 91.59 | 21.81 | 83.3 |
| Ours | 19.06 | 0.52 | 83.21 | 95.43 | 94.60 | 100.0 | 3.92 | 0.27 | 86.63 | 97.77 | 15.81 | 100.0 |
在几何保真度方面，AGILE在DexYCB数据集上的倒角距离（CD）达到$0.52 \, cm^2$，与MagicHOI（$2.05 \, cm^2$）相比，重建误差降低了近75%。这一巨大差距凸显出我们的智能体生成流程相较于传统的基于SfM的初始化方法的优势——后者往往会产生噪声较多或不完整的几何模型。
交互稳定性与漂移问题。交互质量$(CD_h)$是其中的关键差异点。以往的方法由于存在尺度模糊且缺乏物理约束，会导致严重的交互漂移现象。例如，MagicHOI的$CD_h$数值高达661.90 $cm^2$，这表明物体频繁脱离手部或远离手部。相比之下，AGILE的$CD_h$仅为94.60 $cm^2$，数值显著更低。这证实了我们的接触感知优化机制能够有效将物体锚定在手部附近，确保重建结果在物理上连贯且适用于模拟场景。
鲁棒性与幸存者偏差。从成功率（SR）一列可以看出，基线方法在DexYCB数据集上的失败率很高：MagicHOI在75%的序列中失败，HOLD则在55%的序列中失败。需要注意的是，这些基线方法所报告的指标存在偏差，因为它们仅基于初始化成功的较简单序列子集计算平均值（即幸存者偏差）。相反，AGILE的成功率达到了100%，其评估范围涵盖了包括最复杂遮挡情况在内的整个数据集。值得注意的是，即便在包含这些较难样本的情况下，AGILE的整体姿态误差（MPJPE：19.06毫米）仍低于MagicHOI在其简单子集上计算出的结果（21.20毫米）。这表明AGILE不仅鲁棒性更强，精确度也更高。
生成质量。图4展示了我们的智能体生成流程在不同物体类别上的中间输出结果。尽管输入关键帧中存在严重的手部遮挡现象，但VLM引导的合成过程仍能产生一致的多视角图像，而且纹理细化步骤也显著提升了原始生成结果表面的细节表现。
定性评估。图5中的定性比较结果支持了定量分析结果。基线方法往往会产生破碎的几何结构，或出现“漂浮物体”现象，即物体偏离交互区域。借助生成式先验，AGILE能够重建出封闭且高保真的网格模型。此外，我们的结果在时间上具备一致性，消除了以往方法中出现的抖动现象，能够准确反映输入视频的内容。
双手交互评估。AGILE能够无缝适配双手交互场景，通过独立的接触约束对两只手进行联合优化。如表2所示，我们的方法创造了新的最优性能，在手部姿态精度、物体几何形状以及交互质量指标方面，均持续优于HOLD和BIGS [On等人，2025]。这证实了AGILE固有的鲁棒性，以及其在无需修改架构的情况下推广到复杂多手操作场景的能力。
### 4.2 消融研究
我们在HO3D数据集上开展了详细的消融研究，以剖析框架中各个组件的贡献。我们评估了它们对三个关键维度的影响：手部姿态精度（MPJPE）、物体几何保真度（CD）以及交互对齐程度（$CD_{h}$）。定量结果汇总于表3中。
---
## 手-物重建与主体重建
Fig. 5. Qualitative Comparison. We compare our reconstructed hands and objects with baseline methods on the HO3D-v3 and DexYCB dataset, showing camera views as well as side views of the object-only and hand-object interaction results.
---
Fig. 6. Qualitative Evaluation on In-the-Wild Sequences. (Left) Comparison against state-of-the-art baselines. While HOLD [Fan et al. 2024b] and MagicHOI [Wang et al. 2025a] suffer from geometric noise or over-smoothed artifacts due to unreliable initialization, AGILE recovers clean, high-fidelity meshes. (Right) Our reconstruction results across temporal sequences. Starting from the Interaction Onset Frame (IOF), our anchor-and-track strategy maintains robust alignment and physical plausibility throughout the dynamic interaction.
Fig. 7. Qualitative Ablation Study. Visual comparisons demonstrate that removing key components—such as agentic generation or interaction constraints—leads to severe geometric artifacts, texture degradation, and physical violations (e.g., interpenetration), validating the necessity of our full pipeline.
Fig. 8. Real-to-Sim retargeting results, demonstrating that AGILE enables stable kinematic transfer of reconstructed human hand-object interactions to a multi-fingered robotic hand without physics-based correction.
Table 2. Quantitative comparison on the ARCTIC dataset (rigid-object subset). Best results are in bold, $\underline{\text{second-best}}$ are underlined.
| Method | MPJPE $_{l}$ $\downarrow$ | MPJPE $_{r}$ $\downarrow$ | CD $_{o}$ $\downarrow$ | F@5 $\uparrow$ | CD $_{l}$ $\downarrow$ | CD $_{r}$ $\downarrow$ |
| HOLD [Fan et al. 2024b] | 27.1 | 24.7 | 2.07 | 37.1 | 105.9 | 123.5 |
| BIGS [On et al. 2025] | 34.1 | 36.1 | 1.36 | 56.4 | 46.1 | 31.3 |
| Ours | 25.0 | 23.8 | 1.12 | 57.6 | 21.9 | 30.6 |
完整模型（a）在所有指标上均取得了最佳性能，验证了高保真资产生成与物理感知跟踪之间的协同效应。
智能生成模块的影响。我们首先分析了负责创建3D资产的组件，该资产是后续跟踪的基础。
禁用整个智能循环（b）并从单帧中提取3D网格时，遮挡区域的几何结构会出现严重的幻觉现象。为了进一步将我们的智能设计与基础模型的固有能力区分开来，我们对其两个核心组件进行了消融实验。用最大掩码启发式方法（$b_{1}$）替换VLM评判器后，精度显著下降，这证明大尺寸掩码往往捕捉的是无信息量或自遮挡的视图，而非最优的几何结构。或者，保留VLM选择但绕过
---
Table 3. Detailed ablation study on the HO3D dataset. We systematically evaluate the impact of generative components and optimization objectives.
| Model Variant | Hand | Object Geometry | Interaction |
| | MPJPE $\downarrow$ | CD $\downarrow$ | F@5mm $\uparrow$ | CD $_{h}$ $\downarrow$ |
| (a) | AGILE (Full) | 3.92 | 0.27 | 86.63 | 15.81 |
| Generative Components |
| (b) | w/o Agentic Multi-view Gen. | 4.02 | 2.85 | 30.12 | 40.12 |
| (b $_{1}$) | Heuristic Selection | 4.17 | 2.04 | 76.51 | 29.37 |
| (b $_{2}$) | w/o Multi-View Synthesis | 4.32 | 2.61 | 66.58 | 46.94 |
| (c) | w/o Texture Refine. | 4.16 | 0.30 | 86.02 | 20.18 |
| Optimization Objectives |
| (d) | w/o $\mathcal{L}_{joint}$ | 5.06 | 0.33 | 84.93 | 19.37 |
| (e) | w/o $\mathcal{L}_{mask}$ | 3.97 | 0.40 | 81.14 | 23.99 |
| (f) | w/o $\mathcal{L}_{dino}$ | 4.13 | 0.34 | 84.36 | 21.64 |
| (g) | w/o $\mathcal{L}_{interact}$ | 4.17 | 0.35 | 86.10 | 54.40 |
多视角合成（$b_{2}$）同样会失败，因为单视角生成迫使模型去幻觉生成未见过的拓扑结构。这些显著的性能下降证明，我们的性能提升源于智能范式，而非仅仅依赖底层基础模型。
在变体（c）中，我们跳过了纹理烘焙与细化步骤。这一消融实验至关重要：高质量纹理并非仅用于视觉美观，而是稳健跟踪的前提条件。由于我们的初始化过程（通过FoundationPose实现）以及语义一致性损失都依赖于具有区分性的表面特征，因此模糊或噪点较多的纹理会导致初始化偏移，进而造成交互误差明显上升（$CD_{h}$）。
优化目标的影响。接下来，我们评估了解耦优化阶段所使用的损失函数。
在变体（d）中，我们去掉了$\mathcal{L}_{\text{joint}}$，使手部姿态仅依赖初始的PnP估计，无法进行进一步优化。MPJPE指标的显著下降证实，仅靠PnP初始化不足以实现高精度跟踪。$\mathcal{L}_{\text{joint}}$对于优化这些初始估计、消除深度歧义并确保手部动作的时间一致性而言不可或缺。
变体(e)去除了$\mathcal{L}_{\text{mask}}$，该约束为刚性物体提供了最强的像素级几何限制。尽管物体尺度已预先初始化，但$\mathcal{L}_{\text{mask}}$对于在锚定帧处微调尺度以及引导整个序列中精确的6D姿态优化至关重要。缺乏这一约束时，物体姿态便无法严格贴合视觉边界，从而导致错位，进而对CD分数和F分数产生负面影响。
变体(f)去除了基于DINO的语义特征损失项$\mathcal{L}_{\text{dino}}$。缺少这一一致性项后，物体跟踪容易出现漂移现象，尤其是在无纹理区域或运动模糊环境下。$CD_h$值的上升表明：当仅靠像素级指标不足以描述对应关系时，语义描述符能提供稳健的匹配依据。
最后，变体(g)中移除交互稳定性损失项$\mathcal{L}_{\text{interact}}$会导致严重的物理违规现象。没有这一约束，物体往往会不自然地滑动，或是为了减小表面距离而穿透手部网格。结果便是细粒度交互质量急剧下降（$CD_h$值飙升至54.40），这凸显了基于SDF的先验知识对于实现物理上合理的重建而言不可或缺。
### 4.3 应用：真实场景到仿真环境的映射
为了展示我们的重建结果在具身智能领域的实用性，我们演示了一个可扩展的真实场景到仿真环境的映射流程。我们将重建后的序列导入Isaac Gym [Makoviychuk et al. 2021]，并通过运动学优化[Qin et al. 2023]，将人类手部动作映射到灵巧的机械手（如Shadow）上，其中代理生成的网格被用作被操控的实体。
如图8所示，AGILE有效地弥合了视频与仿真之间的鸿沟：(1) 仿真就绪的资产：我们生成的网格具有封闭性和拓扑整洁性，无需人工清理即可直接加载到仿真器中。(2) 忠实的运动学映射：通过纯粹的运动学映射，映射后的抓取动作能紧密跟随恢复出的手-物配置，这一结果从定性角度验证了AGILE能够准确还原相对姿态和接触状态。需说明的是，本次演示侧重于运动学可视化，而非完整的基于物理的模拟；将接触动力学与策略学习纳入闭环则留待后续研究。不过，通过自动化实现从单目视频到可映射资产的转化路径，我们的框架为从无约束视频中采集大规模操作数据以用于通用策略学习开辟了道路。
### 5 结论
在这项工作中，我们提出了AGILE——一个强大的框架，它解决了单目手-物交互重建中一直存在的几何不完整和初始化不稳定难题。通过将范式从基于重建的优化转变为智能体生成，我们利用VLM引导的先验知识，即便在手部严重遮挡的情况下也能合成高保真、封闭的物体网格。与之相辅相成的是，我们的锚点跟踪策略消除了对脆弱的SfM流程的依赖，从而能够在以往方法常常失效的复杂真实场景中实现稳定的6D姿态估计。在DexYCB、HO3D-v3、ARCTIC以及真实场景序列上的大量实验表明，AGILE达到了最先进的精度水平，且成功率达100%，它能生成可用于仿真的数字孪生模型，有效弥合视觉观测与物理仿真之间的差距。
局限性与未来工作。我们的框架继承了底层基础模型在深度、分割和多视图生成方面的局限性，因此极端情况（如透明或高反射物体）可能会导致尺度漂移或局部跟踪误差。值得注意的是，静态相机假设仅适用于初始的IOF检测，并不会限制核心跟踪过程；即便相机发生运动，该跟踪机制依然有效（详见补充材料）。有前景的研究方向包括将智能体生成技术从刚性物体拓展到关节型和可变形物体类别，以及更广泛地利用视觉语言模型——既将其作为筛选可行片段的可重建性预过滤器，又将其用作能够实现抗长序列漂移的双向传播的多锚点检测器。
### 致谢
本研究得到了国家自然科学基金（项目编号：62576315）的支持。
---
### 参考文献
Adnane Boukhayma、Rodrigo de Bem和Philip HS Torr。2019年。基于野外图像的3D手部形状与姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10843–10852页。
Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield等。2021年。DexYCB：用于捕捉物体抓取行为的基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页。
Dmitry Chetverikov、Dmitry Svirko、Dmitry Stepanov和Pavel Krsek。2002年。修剪型迭代最近点算法。载于2002年国际模式识别会议论文集，第3卷。IEEE出版社，第545–548页。
Enric Corona、Albert Pumarola、Guillem Alenya、Francesc Moreno-Noguer和Grégory Rogez。2020年。GANHand：预测多物体场景中人类的抓取可能性。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5031–5041页。
Zicong Fan、Takehiko Ohkawa、Linlin Yang、Nie Lin、Zhishan Zhou、Shihao Zhou、Jiajun Liang、Zhong Gao、Xuanyang Zhang、Xue Zhang等。2024a。以第一视角进行的手部与物体交互姿态估计基准测试与挑战。载于欧洲计算机视觉会议论文集。Springer出版社，第428–448页。
Zicong Fan、Maria Parelli、Maria Eleni Kadoglou、Xu Chen、Muhammed Kocabas、Michael J Black和Otmar Hilliges。2024b。HOLD：从视频中实现类别无关的手部与物体交互3D重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第494–504页。
Zicong Fan、Omid Taheri、Dimitrios Tzionas、Muhammed Kocabas、Manuel Kaufmann、Michael J. Black和Otmar Hilliges。2023年。ARCTIC：灵巧双手法与物体交互数据集。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Shreyas Hampali、Mahdi Rad、Markus Oberweger和Vincent Lepetit。2020年。HonnoTate：一种手部与物体姿态的3D标注方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3196–3206页。
Yicong Hong、Kai Zhang、Jiuxiang Gu、Sai Bi、Yang Zhou、Difan Liu、Feng Liu、Kalyan Sunkavalli、Trung Bui和Hao Tan。2023年。LRM：用于单图像转3D的大型重建模型。arXiv预印本arXiv:2311.04400（2023年）。
Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler和George Drettakis。2023年。用于实时辐射场渲染的3D高斯泼溅技术。ACM图形学交易，第42卷第4期（2023年），第139–1页。
刘若石、吴润迪、Basile Van Hoorick、Pavel Tokmakov、Sergey Zakharov和Carl Vondrick。2023年。Zero-1-to-3：零样本从单张图像生成3D物体。载于IEEE/CVF国际计算机视觉会议论文集，第9298–9309页。
龙晓晓、郭远辰、林成、刘远、窦志扬、刘凌杰、马跃新、张松海、Marc Habermann、Christian Theobalt等。2024年。Wonder3D：利用跨域扩散模型从单张图像生成3D模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9970–9980页。
Viktor Makoviychuk、Lukasz Wawrzyniak、郭云荣、Michelle Lu、Kier Storey、Miles Macklin、David Hoeller、Nikita Rudin、Arthur Allshire、Ankur Handa和Gavriel State。2021年。Isaac Gym：面向机器人学习的高性能基于GPU的物理仿真工具。
Ben Mildenhall、Pratul P Srinivasan、Matthew Tancik、Jonathan T Barron、Ravi Ramamoorthi和Ren Ng。2021年。NeRF：将场景表示为神经辐射场以实现视图合成。《ACM通讯》第65卷第1期，第99–106页。
安正完、郭景焕、姜根永、车俊旭、黄秀贤、黄惠仁和白承烈。2025年。BIGS：通过3D高斯泼溅技术从单目视频中重建类别无关的双臂交互场景。载于计算机视觉与模式识别会议论文集，第17437–17447页。
Georgios Pavlakos、单丹丹、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Jitendra Malik。2024年。利用Transformer模型进行3D手部重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9826–9836页。
Rolandos Alexandros Potamias、张静蕾、邓建康和Stefanos Zafeiriou。2025年。Wilor：面向真实场景的端到端3D手部定位与重建方法。载于计算机视觉与模式识别会议论文集，第12242–12254页。
秦玉哲、杨伟、黄秉豪、Karl Van Wyk、苏浩、王晓龙、赵宇伟和Dieter Fox。2023年。AnyTeleop：一种通用的基于视觉的灵巧机械臂-手遥操作系统。载于机器人：科学与系统会议论文集。
Nikhila Ravi、Valentin Gabeur、胡元廷、胡荣航、Chaitanya Ryali、马腾宇、Khedr Haitham、Roman Rädle、Chloe Rolland、Laura Gustafson等。2024年。SAM 2：用于图像和视频的任意物体分割工具。arXiv预印本arXiv:2408.00714（2024年）。
Romero Javier、Tzionas Dimitrios和Black Michael J。2022年。具身手部：同时建模与捕捉手部与身体。arXiv预印本arXiv:2201.02610（2022年）。
Johannes Lutz Schönberger和Jan-Michael Frahm。2016年。重新审视运动恢复结构技术。载于计算机视觉与模式识别会议（CVPR）论文集。
Oriane Siméoni、Huy V. Vo、Maximilian Seitzer、Federico Baldassarre、Maxime Oquab、Cijo Jose、Vasil Khalidov、Marc Szafraniec、Seungeun Yi、Michaël Ramamonjisa、Francisco Massa、Daniel Haziza、Luca Wehrstedt、王建元、Timothée Darcet、Théo Moutakanni、Leonel Sentana、Claire Roberts、Andrea Vedaldi、Jamie Tolan、John Brandt、Camille Couprie、Julien Mairal、Hervé Jégou、Patrick Labatut和Piotr
Bojanowski。2025年。DINOv3。arXiv:2508.10104 [cs.CV]
唐家翔、陈兆熙、陈晓康、王腾飞、曾刚和刘子威。2024年。LGM：用于高分辨率3D内容创作的大型多视角高斯模型。载于欧洲计算机视觉会议论文集，Springer出版社，第1–18页。
SAM 3D团队、陈星宇、朱富仁、Pierre Gleize、Kevin J Liang、Alexander Sax、唐浩、王伟尧、Michelle Guo、Thibaut Hardin、李翔、林奥涵、刘佳伟、马子琪、Anushka Sagar、宋博文、王晓东、杨佳宁、张博文、Piotr Dollár、Georgia Gkioxari、Matt Feiszli以及Jitendra Malik。2025年。SAM 3D：将图像中的任何物体转化为3D模型。（2025年）。arXiv:2511.16624 [cs.CV]
腾讯混元3D团队。2025年。混元3D 2.0：利用扩散模型生成高分辨率带纹理的3D资产。arXiv:2501.12202 [cs.CV]
Bugra Tekin、Federica Bogo和Marc Pollefeys。2019年。H+ o：统一识别以自我为中心的3D手-物体姿态及交互。载于IEEE/CVF计算机视觉与模式识别会议论文集，第4511–4520页。
王瑞成、徐思成、Cassie Dai、向建峰、邓宇、童欣以及杨教龙。2025b。Moge：借助最优训练监督机制，实现开放域图像的精确单目几何估计。载于计算机视觉与模式识别会议论文集，第5261–5271页。
王世博、$^{t}$ 范子聪以及宋杰。
2025a。M $^{a}$t重建
源自$\cdots$ternational
温博文、杨威、Jan Kautz以及Stan Birchfield。2024年。Foundationpose：实现对新物体的统一6D姿态估计与跟踪。载于IEEE/CVF计算机视觉与模式识别会议论文集，第17868–17879页。
徐佳乐、程伟豪、高一鸣、王鑫涛、高胜华以及尹山。2024年。Instantmesh：利用稀疏视图大型重建模型，从单张图像高效生成3D网格。arXiv预印本arXiv:2404.07191（2024年）。
杨立新、詹欣宇、李凯琳、徐文强、李杰峰以及卢泽武。2021年。Cpf：通过学习接触势场来建模手-物体交互。载于IEEE/CVF国际计算机视觉会议论文集，第11097–11106页。
余正迪、Stefanos Zafeiriou以及Tolga Birdal。2025年。Dyn-hamr：从动态摄像头中恢复4D交互手部运动。载于计算机视觉与模式识别会议论文集，第27716–27726页。
张景雷、邓建康、马超以及Rolandos Alexandros Potamias。2025年。HaWoR：从以自我为中心的视频中重建世界坐标系下的手部运动。载于计算机视觉与模式识别会议论文集，第1805–1815页。
张雄、李强、莫宏、张文博以及郑文。2019年。基于单目RGB图像端到端的手部网格恢复。载于IEEE/CVF国际计算机视觉会议论文集，第2354–2364页。
周玉晓、Marc Habermann、徐伟鹏、Ikhsanul Habibie、Christian Theobalt以及徐峰。2020年。利用多模态数据实现单目实时手部形状与动作捕捉。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5346–5355页。