# 4D-HOF：用于前馈式4D交互重建的手物流动匹配技术

李诗琪 $^{1}$ 肖 Sean $^{1}$ 李一杰 $^{1}$ 郭凤志 $^{1}$ 温博文 $^{2}$ 张程 $^{1}$

 $^{1}$德克萨斯A&M大学 $^{2}$英伟达

<https://tamu-visual-ai.github.io/4D-HOF>

![Image](images/fc34752c716154fc48eb03ffa53cf80d5a6a8500ad6d91622de3864fef6515b3.jpg)

<div style="text-align: center;">Figure 1: 4D Hand-Object Flow Matching (4D-HOF). Given a monocular video of a hand interacting with an unseen object, we learn a flow matching model for accurate and efficient 4D hand-object interaction reconstruction. Our method generalizes across diverse and challenging scenarios, including ambiguous depth (headset), occlusion (kettle), complex articulated hand poses (bar), and large object rotation (camera). Moreover, 4D-HOF is substantially faster than prior optimization-based methods due to our feed-forward design.</div>

## 摘要

现有的4D手物重建方法往往依赖耗时的逐序列优化，而生成式方法通常从随机噪声中合成交互场景，这可能导致交互预测不稳定。我们提出了4D-HOF，这是一种前馈式框架，能够利用视觉基础模型生成的粗略但具信息量的估计结果来重建4D手物交互。具体而言，我们训练了一个条件流匹配模型，该模型将基础模型推导出的手物状态映射到交互流形上，从而使模型能够以前馈方式修正平移、旋转和对齐方面的误差。我们这种生成式建模方法的一个关键优势在于，它天然支持在传输过程中进行测试时引导。我们无需在重建后再进行单独的事后优化，而是直接利用物理交互约束和观测到的2D证据来引导不断演化的生成状态，从而让重建过程作为生成流程的一部分得到优化。通过在多样化数据集上训练生成模型，4D-HOF能够稳健地适配具有挑战性的真实场景。在域外基准测试上的实验表明，4D-HOF取得了最先进的性能，能够生成更稳定、更精确的4D手物重建结果。

## 1 引言

从单目视频中重建4D手物交互（HOI）是理解人类行为以及实现机器人学习（He等人，2025；Zhong等人，2025；Paliwal等人，2026）、扩展现实（Marchand等人，2015）以及人机交互（Pavlovic等人，2002）等多种应用的基础。尽管近期取得了不少进展（Fan等人，2024；Wang等人，2025b；Shi等人，2026；Xu等人，2026），但由于物体几何形状和姿态的多样性、严重遮挡现象以及单目观测的固有模糊性，恢复精确的手物几何结构与交互仍颇具挑战性。

---

为应对这些挑战，现有方法主要分为两类。基于优化的方法（Fan等人，2024；Wang等人，2025b；Shi等人，2026；Aytekin等人，2026b；Zhu等人，2025）将HOI重建视为逐序列拟合问题，通过接触、渲染和交互稳定性等人工设计的目标来强制满足交互约束。虽然这些方法效果显著，但计算成本高昂，且在初始化不完美或存在遮挡的情况下往往表现不稳定。生成式方法（Ye等人，2023；Christen等人，2024；Li等人，2025；Ye等人，2026）从大规模数据中学习HOI分布的先验，但这类方法往往从随机噪声出发，或依赖类别级先验及封闭词表，因此难以保留特定实例的几何与姿态特征。这就引出了一个关键问题：我们能否在保留生成式建模所学先验的同时，从具备信息量的观测而非随机噪声出发来进行重建呢？

为应对这些挑战，现有方法主要分为两类。基于优化的方法（Fan等人，2024；Wang等人，2025b；Shi等人，2026；Aytekin等人，2026b；Zhu等人，2025）将HOI重建表述为一个序列拟合问题，通过接触、渲染和交互稳定性等人工设计的目标来强制施加交互约束。尽管这些方法效果显著，但计算成本较高，且在初始化不完美或存在遮挡的情况下往往表现不稳定。生成式方法（Ye等人，2023；Christen等人，2024；Li等人，2025；Ye等人，2026）则从大规模数据中学习HOI分布的先验知识，不过它们通常从随机噪声出发，或者依赖具有封闭词汇集的类别级先验，因此难以保留实例特定的几何与姿态特征。这就引出了一个关键问题：我们能否在利用生成式建模所学到的先验知识的同时，从具有信息量的观测数据而非随机噪声出发呢？

视觉基础模型提供了一个自然的起点。近期的大规模预训练模型能够仅凭单目输入就估算出手势、物体几何形状、深度以及场景结构（Carion等人，2026年；Oquab等人，2023年；Piccinelli等人，2025年；Lin等人，2025b年；Wen等人，2024年；Pavlakos等人，2024年；Potamias等人，2025年）。这些模型生成的估算结果虽然较为粗糙，却包含丰富的信息，能够捕捉到重要的几何线索。事实上，近期已有研究开始将基础模型应用于人机交互重建领域（Liu等人，2025b年；Wang等人，2026年；Lin等人，2025a年；Xu等人，2026年）。不过，这类方法通常仅将这些估算结果用作初始化数据，随后依赖后续的启发式优化来保障一致性，这又会重新引入效率低下和不稳定的问题。

在本研究中，我们直接将基础模型的感知能力与生成式建模相结合。我们利用它们来定义条件生成传输过程的源分布。从粗糙但信息量充足的手-物状态出发，我们学习这些状态应如何演化为符合物理规律的互动形式。具体而言，我们采用流匹配和随机插值技术（Liu等人，2022b年；Shi等人，2023年；Albergo等人，2025年）来构建一条生成式桥梁，将初始估算结果引导至人机交互流形中。为了使优化过程有观测证据作为依据，并能充分利用互动动态特性，该桥梁的生成过程会以输入的视频帧以及初始的4D手-物序列的时间上下文为条件。这种表述方式能够以前馈方式统一修正几何形状、姿态和对齐情况，同时保留输入数据中的实例特定线索。重要的是，这种生成式表述还为我们提供了在测试阶段进行控制的自然机制，从而进一步提升物理合理性和与2D观测结果的一致性。我们的方法被称为4D-HOF，是一种前馈框架，它以基础模型的估算结果作为输入，共同优化手-物互动。我们的贡献总结如下：

- 我们将4D人机交互重建表述为从基础模型衍生的手-物状态初始化到符合物理规律的互动的条件生成传输过程，避免了将随机噪声用作流匹配的初始化数据，也省去了耗时的逐序列优化步骤。

- 我们设计了一种条件流匹配模型，能够利用视觉、几何和时间线索共同优化手-物几何形状、姿态以及对齐情况。

- 我们借助生成式传输过程引入了测试时引导机制，无需额外的后期优化，就能通过图像、互动和时间约束来调控状态的演化过程。

• 在4D人机交互基准测试和具有挑战性的真实场景中的实验表明，该方法在手姿估算、物体重建、互动一致性和时间稳定性方面均取得了最先进的性能，且运行速度比现有方法快5倍以上。

## 2 相关工作

手-物重建。早期基于图像的方法利用参数化手部先验和接触约束来联合回归手部和物体的网格模型（Hasson等人，2019年；Ye等人，2022年）。基于视频的方法通常会针对每个序列进行优化，设定手工设计的几何和互动目标（Hasson等人，2021年；Wen等人，2023年；Fan等人，2024年；Wang等人，2025b年；Lin等人，2025a年；Shi等人，2026年；Aytekin等人，2026a年；On等人，2025年；Liu等人，2025a年；Aboukhadra等人，2026年），这类方法不仅计算成本高昂，而且对初始化结果极为敏感。前馈方法虽然加快了推理速度（Chen等人，2026b年），但侧重于几何建模，并未显式地模拟互动过程。

---

动力学。我们的方法则是学习一种交互先验，将粗略估计映射到物理上合理的交互，从而实现前馈式重建。

用于3D理解的基础模型。基础模型为分割（Carion等人，2026年）、视觉表征（Oquab等人，2023年）、单目及多视图几何（Kong等人，2026年；Piccinelli等人，2025年；Lin等人，2025b；Wen等人，2025年、2026年；Wang等人，2025a）、物体姿态（Wen等人，2024年）、手部重建（Pavlakos等人，2024年；Potamias等人，2025年）以及3D生成（Chen等人，2026a；Xiang等人，2026年）提供了强大的先验知识。近期的人物-物体交互重建流程会利用这些模型进行初始化（Wang等人，2026年；Lin等人，2025a；Xie等人，2026年），但独立估计的各组件往往在尺度、深度和方向上存在不一致性。现有方法通过额外的优化来解决这些差异（Shi等人，2026年；Aytekin等人，2026a）；而我们则学会在不针对每个序列进行优化的情况下，共同细化这些估计结果。

用于手-物体交互的生成式先验。生成式模型通过扩散模型（Ho等人，2020年；Christen等人，2024年；Li等人，2025年）或语言建模（Huang等人，2025a）来捕捉人物-物体交互的分布，主要用于交互合成。互补的去噪方法则学习时空先验以细化含噪声的人物-物体交互轨迹（Zhou等人，2022年；Liu和Yi，2024年；Luo等人，2024年），这证明了学习到的先验在人物-物体交互校正方面的潜力。在重建方面，Diff-HOI（Ye等人，2023年）和G-HOP（Ye等人，2024年）引入了生成式先验，但它们依赖噪声驱动的生成方式，或是基于封闭词汇集的类别级先验。与之最为相近的是CHOIR（Xu等人，2026年），它学习了一种流匹配先验，用于从初始状态出发校正沿视线方向的手-物体一维深度位移，再通过接触感知优化来细化整个交互过程。基于流匹配和随机插值技术（Liu等人，2022b；Shi等人，2023年；Albergo等人，2025年），我们转而学习一种条件桥接模型，能够共同细化完整的人物-物体交互状态，使学习到的先验成为主要的重建机制，并在测试时辅以引导。

智能体驱动的真实到仿真转换。智能体AI领域的最新进展推动了其与3D重建流程的融合。AgentSTAR（Mazur等人，2026年）将视觉推理与数值优化结合在渲染-比较循环中，以恢复物体几何结构、关节运动和运动轨迹，但并未显式建模手-物体交互。受GPT-6 Astra能力的启发，我们开展了关于智能体驱动的人物-物体交互重建的初步实验，详见附录B.4。初步研究结果表明该方法颇具前景，但会耗费大量的运行时间和成本。我们提出的前馈式方法提供了一种高效的重建模块，可供智能体用来加速这一过程。

## 3 方法

### 3.1 问题表述

4D人物-物体交互重建。给定一段包含N帧的单目RGB视频$\mathcal{I} = \{\mathbf{I}^i\}_{i=1}^N$，其中手部与任意形状的物体发生交互，我们的目标是重建底层的4D手-物体交互。我们要重建物体网格$\mathbf{m}_o$及其对应的每帧6自由度姿态$\mathbf{o}^i = (\mathbf{R}^o, \mathbf{t}^o)$，其中包含旋转$\mathbf{R}^o \in SO(3)$和平移$\mathbf{t}^o \in \mathbb{R}^3$。对于手部，我们估计每帧的MANO（Romero等人，2022年）参数，包括形状$\beta$和姿态$\mathbf{h}^i = (\mathbf{R}^h, \mathbf{t}^h)$。我们将完整的交互轨迹表示为$\mathcal{S} = \{\mathbf{s}^i\}_{i=1}^N$，其中$\mathbf{s}^i = [\mathbf{h}^i, \mathbf{o}^i]$。

用于HOI重建的流匹配。流匹配（Lipman等人，2022年；Liu等人，2022a）将生成式建模表述为从源分布$p(\mathbf{x}_0)$到目标数据分布$p(\mathbf{x}_1)$的连续传输学习过程。设$\mathbf{x}_0 \sim p(\mathbf{x}_0)$和$\mathbf{x}_1 \sim p(\mathbf{x}_1)$。随机插值剂定义了中间状态$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1 + \gamma(t)\epsilon$，其中$t \in [0,1], \epsilon \sim \mathcal{N}(0,\mathbf{I})$，而$\gamma(t)$是噪声调度函数。流匹配学习一个速度场$\mathbf{v}_\theta(\mathbf{x},t)$，使得轨迹遵循$d\mathbf{x}(t)/dt = \mathbf{v}_\theta(\mathbf{x}(t),t)$，从而将样本从$p(\mathbf{x}_0)$传输到$p(\mathbf{x}_1)$。实践中，$\mathbf{v}_\theta$可以是一个神经网络（例如DiT（Peebles & Xie，2023）），它被训练用来通过以下目标函数匹配由插值剂诱导的条件漂移：

 $$ \begin{array}{r}{\mathcal{L}_{\theta}=\mathbb{E}_{t,\mathbf{x}_{0},\mathbf{x}_{1},\boldsymbol{\epsilon}}\left[\left\|\mathbf{v}_{\theta}(\mathbf{x}_{t},t)-\left(\mathbf{x}_{1}-\mathbf{x}_{t}\right)/(1-t)\right\|_{2}^{2}\right].}\end{array} $$

在HOI场景下，目标分布$p(\mathbf{x}_1)$对应物理上合理的手-物体交互，这类交互可从大规模HOI数据集中学习得到（Wang等人，2024年；Yang等人，2022年；Swamy等人，2023年；Hampali等人，2020年）。尽管近期有不少研究采用生成式模型来处理HOI问题，但它们往往从随机噪声出发（Ye等人，2022年；2026年），依赖物体模板（Ye等人，2024年），或者旨在实现抓取合成任务（Wu等人，2026年），而非完整的4D HOI重建。

---

![Image](images/38f6531c4ae23a790bfc425acdff6cc988f6cbb776188e0913462ec41d4af54f.jpg)

<div style="text-align: center;">Figure 2: 4D-HOF overview. Given a monocular video, we construct initial hand-object states by leveraging foundation models, including (a) contextual scene parsing, (b) object reconstruction, (d) hand reconstruction, and (c) depth alignment for recovering metric geometry, producing coarse HOI initialization. We then formulate HOI refinement as a conditional generative bridge matching problem that takes the HOI initialization together with RGB and 3D cues as input and outputs the refined HOI reconstruction. At inference time, test-time guidance adjusts the evolving states to better satisfy physical and image-space constraints.</div>

桥匹配。传统流匹配的一个关键局限在于它假设了固定的高斯先验，其随机特性可能会妨碍许多确定性任务的物理准确性。为解决这一问题，桥匹配框架（Albergo等人，2025年）通过学习任意分布$\pi_0$与$\pi_1$之间的传输来缓解这一难题。给定$\mathbf{x}_0 \sim \pi_0$和$\mathbf{x}_1 \sim \pi_1$，轨迹可表示为：

 $$ d\mathbf{x}_{t}=\mathbf{v}_{\theta}(\mathbf{x}_{t},t)d t+\sigma(t)d\mathbf{W}_{t}, $$

其中$\mathbf{v}_{\theta}$表示可学习的漂移项，$\sigma(t)$用于控制噪声水平。常见的实例是$\sigma(t) = \sigma\sqrt{t(1-t)}$对应的布朗桥。速度场通过匹配漂移项来训练：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{b r i d g e}}=\mathbb{E}_{t,\mathbf{x}_{0},\mathbf{x}_{1}}\left[\|\mathbf{v}_{\theta}(\mathbf{x}_{t},t)-\left(\mathbf{x}_{1}-\mathbf{x}_{t}\right)/(1-t)\|_{2}^{2}\right].}\end{array} $$

当$\sigma(t)=0$时，公式(3)就退化为确定性流匹配。通过用更合理的初始分布替代高斯先验，可降低噪声驱动生成过程中固有的随机性。因此，剩下的关键问题就是源分布的选择。在本研究中，我们利用基础模型衍生的手部和物体状态来定义源分布，相关内容将在下一节中介绍。

### 3.2 手部与物体状态的初始化

我们的目标是利用基础模型来获取初始的手部与物体几何形状，以及逐帧的交互初始化结果$\mathbf{s}_0^i = [\mathbf{h}_0^i, \mathbf{o}_0^i]$，其中i表示视频帧索引。为简洁起见，我们省略帧索引i。这些估计值提供了粗略但具有参考价值的手部和物体姿态，可作为我们的条件生成桥的起点。尽管基础模型已取得显著进展，但它们分别处理手部、物体及上下文信息，并未考虑它们之间的复杂交互。为解决这一问题，我们提出了以下用于重建手部、物体及其交互的方法。详细过程请参阅附录。

---

上下文场景解析。我们首先进行整体的3D场景理解，以减少单目重建中的歧义，并生成用于物体和手部状态估计的输出。具体而言，对于每一帧，我们通过视觉语言定位技术（Comanici等人，2025年）和分割模型（Carion等人，2026年）获取物体掩码$M_{i}$。我们还利用MoGe-3（Kong等人，2026年）来估计深度$D_{i}$和相机参数，这些几何线索为手部和物体的重建提供了依据。这些输出确保了各帧之间的空间一致性。图2-(a)展示了这一核心思路。

手部重建与状态估计。在手部初始化阶段，我们采用WiLoR（Potamias等人，2025年）来估计每帧的MANO（Romero等人，2022年）参数及2D关键点，手部边界框则从掩码中提取。虽然WiLoR能提供可靠的手部关节活动和旋转估计结果，但其平移预测受限于弱透视相机假设，无法准确恢复度量化的相机空间深度。为解决这一问题，我们通过求解一个轻量级的闭式最小二乘问题来估计手部平移。图2-(d)展示了该流程。

物体重建与状态估计。我们估计物体的规范网格$m_o$以及时间上一致的每帧姿态$\{o^i\}_{i=1}^N$。我们选取具有不同视角的稀疏关键帧，利用预训练的多视角生成模型（Comanici等人，2025年；Zhao等人，2025年）在归一化空间中重建网格。与单视角生成方法（Chen等人，2026a）相比，这种方法能减少遮挡带来的歧义并提高纹理质量。随后，我们利用深度线索和改进的FoundationPose（Wen等人，2024年）将物体与场景对齐，如图2-(b)所示。由此得到的状态虽能实现合理的结构对齐，但仍易受遮挡引发的不稳定性及生成伪影的影响，这也促使我们进一步开展桥接匹配优化。

### 3.3 4D HOI流匹配

在从输入视频序列中获取初始化的手-物状态$\mathbf{s}_0$之后，我们训练一个条件生成模型，将这些状态转化为物理上合理的交互形态。我们使用神经网络来参数化条件速度场$\mathbf{v}_\theta(\mathbf{s}_t, t)$，该网络的输入包括当前状态$\mathbf{s}_t$、流动时间t以及来自输入视频的多模态条件。

条件桥接匹配。如3.1节所述，由于解空间庞大且单目观测存在歧义，直接将方程(1)应用于HOI重建颇具挑战性。为解决这一问题，我们通过方程(3)中的桥接匹配公式引入初始化状态$s_0$，从而引导传输过程朝着物理上合理的手-物配置发展。

我们进一步通过将点云形式用于表示手部和物体来编码几何结构。具体而言，我们从物体网格$m_o$中采样点，同时利用由形状系数$\beta$参数化的MANO顶点来表示手部。这些点云会经由Point Transformer V3骨干网络（Wu等人，2024年）处理，以捕捉手部和物体间的空间关系。为了融入视觉上下文，我们采用预训练的DINOv2编码器（Oquab等人，2023年）从每帧中提取图像特征。为实现高效的4D建模，我们聚合多帧特征并将其输入DiT骨干网络，以进行时序推理和条件流预测。详细架构如图S1所示。方程(3)中的桥接匹配目标可表示为：

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{h o f}}=\mathbb{E}_{\mathbf{s}_{0},\mathbf{s}_{1},t}\left[\|\mathbf{v}_{\theta}(\mathbf{s}_{t},t,\mathbf{m}_{o},\boldsymbol{\beta},\mathcal{I})-(\mathbf{s}_{1}-\mathbf{s}_{t})/(1-t)\|_{2}^{2}\right],}\end{array} $$

其中，$m_o$ 表示物体网格，$\beta$ 表示手部形状，而 $\mathcal{I}$ 则表示输入图像序列。该目标旨在将初始状态 $s_0$ 转化为目标交互分布。

训练目标。我们引入了三种辅助损失以提升重建质量：3D位置损失 $\mathcal{L}_{3D}$、交互损失 $\mathcal{L}_{inter}$ 以及正则化损失 $\mathcal{L}_{reg}$。

我们采用基于回归的方法（Pavlakos等人，2024年）来计算3D位置损失 $\mathcal{L}_{\mathrm{3D}}$，将其应用于从生成轨迹中得到的终端估计值 $s_1$，因为流匹配模型预测的是速度而非状态。3D损失包含三个组成部分：（1）用于监督3D MANO关节的手部损失 $\mathbf{J}_{\mathrm{3D}}$；（2）用于监督变换后物体点云的物体损失 $\mathbf{P}$；以及（3）用于通过相对欧几里得距离来监督手与物体之间空间关系的相对损失：

 $$ \mathcal{L}_{\mathrm{3D}}=\left\|\mathbf{J}_{\mathrm{3D}}-\mathbf{J}_{\mathrm{3D}}^{*}\right\|_{1}+\left\|\mathbf{P}-\mathbf{P}^{*}\right\|_{1}+\left\|\mathbf{D}(\mathbf{P},\mathbf{J}_{\mathrm{3D}})-\mathbf{D}(\mathbf{P}^{*},\mathbf{J}_{\mathrm{3D}}^{*})\right\|_{1}, $$

其中，$\mathbf{P}$ 是从变换后的物体网格 $\mathbf{m}_o$ 中采样得到的点云，$\mathbf{D}(\mathbf{P}, \mathbf{J}_{3D})$ 则是每个变换后的物体点与手关节对之间的距离矩阵。星号表示真实值。

---

为了促进物理上合理的交互，我们进一步加入了基于接触和穿透的约束（Jiang等人，2021年），记为 $\mathcal{L}_{\text{inter}}$，这些约束作用于手部网格与物体点云之间：

 $$ \mathcal{L}_{\mathrm{i n t e r}}=\sum_{j\in\Omega}d(p_{j},\mathcal{H})+\sum_{j\in\mathcal{P}}d(p_{j},\mathcal{H}), $$

其中，$d(p_j, \mathcal{H})$ 表示物体点 $p_j$ 到MANO网格表面 $\mathcal{H}$ 的距离，$\Omega$ 是由真实姿态得出的接触集，而 $\mathcal{P}$ 则是穿透手部网格的物体点集。第一项鼓励在真实接触区域产生接触，第二项则对穿透现象进行惩罚。

此外，我们通过实验发现，初始化阶段给出的手部估计在大多数情况下是准确的。因此，优化过程应仅做细微调整以提高物理合理性，而非进行无约束的优化，以免引入不必要的伪影。为此，我们引入了一个正则化项 $\mathcal{L}_{\text{reg}}$，作用于与手部关节相关的通道 $\mathbf{v}_{\theta, \text{hand}}$，以便在优化过程中保留初始的手部运动：

 $$ \mathcal{L}_{\mathrm{r e g}}=\left\|\mathbf{v}_{\theta,\mathrm{h a n d}}(\mathbf{s}_{t},t,\mathbf{m}_{o},\boldsymbol{\beta},\mathcal{I})\right\|_{2}^{2}. $$

整体训练目标将桥接匹配损失与辅助项结合起来：

 $$ \mathcal{L}_{\mathrm{t o t a l}}=\mathcal{L}_{\mathrm{h o f}}+\mathcal{L}_{\mathrm{3D}}+\mathcal{L}_{\mathrm{i n t e r}}+\mathcal{L}_{\mathrm{r e g}}. $$

测试时引导。我们的桥接匹配公式还有一个额外优势：连续传输过程为测试时的控制提供了灵活的接口。在推理阶段，可以通过沿学习到的传输轨迹引导中间状态，直接融入特定任务的约束，而无需进行耗时的逐序列优化。这使我们能够高效地施加额外的几何和交互约束，如接触、时间一致性和图像空间对齐，同时保留模型学到的交互先验。具体来说，我们将以下轻量级的测试时引导项 $G(s_t)$ 整合到桥接匹配过程中：

 $$ \mathbf{s}_{t}=\mathbf{s}_{t}-\nabla_{\mathbf{s}_{t}}G(\mathbf{s}_{t}). $$

引导函数G结合了三个互补的目标：用于图像对齐的轮廓引导 $G_{\mathrm{sil}}$、用于保证物理正确性的交互引导 $G_{\mathrm{inter}}$，以及用于确保运动一致性的时间平滑引导 $G_{\mathrm{temp}}$。

轮廓引导机制 $G_{sil}$ 能够将投影的物体几何形状与观测到的分割结果对齐。我们采样物体表面点并将其投影到图像平面上以得到 U。令 B 表示可见物体掩码中采样的边界像素，M 则为物体掩码与膨胀后的手部掩码的并集。该引导机制定义如下：

 $$ G_{\mathrm{s i l}}=\frac{1}{2|\mathcal{U}|}\sum_{\mathbf{u}\in\mathcal{U}}\rho(D_{\mathcal{M}}(\mathbf{u})+D_{\Psi}(\mathbf{u}))+\frac{1}{2|\mathcal{B}|}\sum_{\mathbf{b}\in\mathcal{B}}\rho(D_{\mathcal{U}}(\mathbf{b})), $$

其中 $D_{\mathcal{M}}(\mathbf{u})$ 表示 $\mathbf{u}$ 到允许区域 $\mathcal{M}$ 的距离，$D_{\Psi}(\mathbf{u})$ 代表投影到图像外的点，而 $D_{\mathcal{U}}(\mathbf{b})$ 则是 $\mathbf{b}$ 到其在 $\mathcal{U}$ 中最近投影点的距离。此处，$\rho$ 表示平滑的 L1 惩罚项。第一项用于惩罚那些落在物体或手部遮挡区域外的投影点，第二项则旨在促使投影能够覆盖可见物体的边界。

我们的交互引导机制 $G_{inter}$ 遵循训练阶段所使用的交互损失函数 $\mathcal{L}_{inter}$，它既鼓励产生接触，又会对相互穿透的情况予以惩罚。由于测试时无法获得真实的接触标注信息，我们采用已训练好的接触预测模型 HACO（Jung & Lee, 2026）来推断接触点集 $\Omega$。这样一来，引导机制就能适应多种多样的手部-物体交互模式，无需依赖人工预先定义的固定接触区域（Fan et al., 2024; Hasson et al., 2019）。

为了进一步减少时间上的抖动现象，我们引入了时间平滑引导机制 $G_{temp}$，它对手部和物体的速度及加速度进行惩罚：

 $$ \begin{array}{r}{G_{\mathrm{t e m p}}=\|\nabla\mathbf{s}^{i}\|_{2}^{2}+\|\nabla^{2}\mathbf{s}^{i}\|_{2}^{2},}\end{array} $$

其中 $\nabla$ 和 $\nabla^{2}$ 分别表示一阶和二阶时间有限差分。平移增量是通过连续位置之差来计算的，而旋转增量则由相应相对旋转的轴角向量来表示。二阶差分则是基于连续的增量计算得出的。

我们仅在流匹配积分的后期阶段才应用这种引导机制，此时预测状态已经接近合理的交互形态，仅需进行细微调整。通过将精细化处理集中在这些后期步骤上，引导机制能够进行有针对性的调整，从而改善图像对齐效果、交互有效性以及时间一致性，同时引入的计算开销也极为有限。

---

<div style="text-align: center;">Table 1: Results on HO3D-v3. Our method shows strong improvements on interaction metrics, which are often underreported in previous methods (Wang et al., 2025b; Shi et al., 2026). Hand and object accuracy are determined by foundation models and our method performs on par with AGILE (code not available).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="4">Interaction</td><td style='text-align: center; word-wrap: break-word;'>Hand</td><td colspan="3">Object</td><td style='text-align: center; word-wrap: break-word;'>Robustness</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$CD_{{h}} \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$IV \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$CA \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$JM \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$CD \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$F5 \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$F10 \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$SR \uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOLD</td><td style='text-align: center; word-wrap: break-word;'>18.66</td><td style='text-align: center; word-wrap: break-word;'>18.76</td><td style='text-align: center; word-wrap: break-word;'>89.50</td><td style='text-align: center; word-wrap: break-word;'>10.43</td><td style='text-align: center; word-wrap: break-word;'>22.09</td><td style='text-align: center; word-wrap: break-word;'>1.11</td><td style='text-align: center; word-wrap: break-word;'>81.75</td><td style='text-align: center; word-wrap: break-word;'>92.42</td><td style='text-align: center; word-wrap: break-word;'>100.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MagicHOI</td><td style='text-align: center; word-wrap: break-word;'>21.81</td><td style='text-align: center; word-wrap: break-word;'>17.41</td><td style='text-align: center; word-wrap: break-word;'>83.00</td><td style='text-align: center; word-wrap: break-word;'>21.66</td><td style='text-align: center; word-wrap: break-word;'>7.38</td><td style='text-align: center; word-wrap: break-word;'>0.90</td><td style='text-align: center; word-wrap: break-word;'>76.74</td><td style='text-align: center; word-wrap: break-word;'>91.59</td><td style='text-align: center; word-wrap: break-word;'>83.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AGILE</td><td style='text-align: center; word-wrap: break-word;'>15.81</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>3.92</td><td style='text-align: center; word-wrap: break-word;'>0.27</td><td style='text-align: center; word-wrap: break-word;'>86.63</td><td style='text-align: center; word-wrap: break-word;'>97.77</td><td style='text-align: center; word-wrap: break-word;'>100.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CHOIR</td><td style='text-align: center; word-wrap: break-word;'>42.37</td><td style='text-align: center; word-wrap: break-word;'>22.90</td><td style='text-align: center; word-wrap: break-word;'>90.99</td><td style='text-align: center; word-wrap: break-word;'>0.92</td><td style='text-align: center; word-wrap: break-word;'>21.12</td><td style='text-align: center; word-wrap: break-word;'>0.84</td><td style='text-align: center; word-wrap: break-word;'>63.87</td><td style='text-align: center; word-wrap: break-word;'>90.29</td><td style='text-align: center; word-wrap: break-word;'>94.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF (ours)</td><td style='text-align: center; word-wrap: break-word;'>5.98</td><td style='text-align: center; word-wrap: break-word;'>13.44</td><td style='text-align: center; word-wrap: break-word;'>97.27</td><td style='text-align: center; word-wrap: break-word;'>1.61</td><td style='text-align: center; word-wrap: break-word;'>4.40</td><td style='text-align: center; word-wrap: break-word;'>0.28</td><td style='text-align: center; word-wrap: break-word;'>89.11</td><td style='text-align: center; word-wrap: break-word;'>97.13</td><td style='text-align: center; word-wrap: break-word;'>100.0</td></tr></table>

### 3.4 数据准备与模型训练

我们在多个大规模的手部-物体交互数据集上训练模型，包括 HO-Cap（Wang et al., 2024）、OakInk（Yang et al., 2022）和 SHOWMe（Swamy et al., 2023），这些数据集涵盖了多样化的交互场景和物体类别。训练过程排除了所有评估用基准数据集，且我们在不同测试数据集上使用相同的模型权重，以评估模型的跨数据集泛化能力。

为了高效利用现有数据并防止模型过度拟合特定数据集的模式，我们通过向真实的手部-物体交互状态 $s_{1}$ 中添加随机采样的噪声来构建训练样本对（详见附录）。与传统生成模型从纯高斯噪声中生成样本的方式不同，我们的框架学习的是从不完美但结构化的初始状态到物理上合理的手部-物体交互状态之间的条件传输过程。这与实际的推理场景相契合——现代基础模型已经能提供强大但不完美的估计结果。

## 4 实验

### 4.1 实验设置

数据集。我们在两个标准基准测试上评估我们的方法：HO3D-v3（Hampali等人，2020年）和DexYCB（Chao等人，2021年）。HO3D-v3包含复杂的交互场景，会导致严重的遮挡现象；而DexYCB则侧重于不同物体在桌面上的抓取任务。遵循AGILE的评估协议（Shi等人，2026年），我们使用了18个HO3D-v3序列和20个DexYCB序列；关于序列选择和评估细节，请参阅AGILE的相关内容。

基线方法。我们将其与最先进的单目HOI重建方法进行比较：HOLD（Fan等人，2024年）能够联合优化隐式的手-物体场；MagicHOI（Wang等人，2025b）利用新视角合成先验来改进物体几何形状。AGILE（Shi等人，2026年）结合了智能体初始化与启发式优化技术，而CHOIR（Xu等人，2026年）则集成了基础模型初始化、学习到的相对深度校正以及考虑接触关系的联合优化。

评估指标。我们从五个互补的维度进行评估。手部精度：局部关节的运动误差平均值（MPJPE）[毫米]，用于衡量关节运动准确性。物体精度：双向Chamfer距离（CD）[平方厘米]以及经过ICP算法对尺度、旋转和平移对齐后的5/10毫米阈值下的F分数（F5/F10）[%]。交互一致性：手相对Chamfer距离（CD_h）[平方厘米]（Fan等人，2024年），该数值是在手根坐标系下计算的；穿透体积（IV）[立方厘米]，用于衡量手与物体的重叠程度；以及接触精度（CA）[%]（Jiang等人，2021年），即接触状态与真实值匹配的帧数占比。时间稳定性：手部关节轨迹的抖动幅度（JM）[米/秒³]，数值越低表明运动越平滑。鲁棒性：每序列的成功率（SR）[%]（Shi等人，2026年），要求手部与物体的重建过程均不出现失败。

### 4.2 4D HOI重建对比

我们在HO3D-v3（表1）和DexYCB（表2）上对比了4D-HOF与最先进的方法，并在图3及补充视频中展示了定性结果。

---

<div style="text-align: center;">Table 2: Results on DexYCB (Chao et al., 2021) dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td style='text-align: center; word-wrap: break-word;'>Hand</td><td colspan="3">Object</td><td style='text-align: center; word-wrap: break-word;'>Interaction</td><td style='text-align: center; word-wrap: break-word;'>Robustness</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F10 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$CD_{h}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>SR $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOLD</td><td style='text-align: center; word-wrap: break-word;'>30.86</td><td style='text-align: center; word-wrap: break-word;'>19.30</td><td style='text-align: center; word-wrap: break-word;'>33.20</td><td style='text-align: center; word-wrap: break-word;'>54.94</td><td style='text-align: center; word-wrap: break-word;'>170.90</td><td style='text-align: center; word-wrap: break-word;'>45.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MagicHOI</td><td style='text-align: center; word-wrap: break-word;'>21.20</td><td style='text-align: center; word-wrap: break-word;'>2.05</td><td style='text-align: center; word-wrap: break-word;'>45.67</td><td style='text-align: center; word-wrap: break-word;'>67.14</td><td style='text-align: center; word-wrap: break-word;'>661.90</td><td style='text-align: center; word-wrap: break-word;'>25.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AGILE</td><td style='text-align: center; word-wrap: break-word;'>19.06</td><td style='text-align: center; word-wrap: break-word;'>0.52</td><td style='text-align: center; word-wrap: break-word;'>83.21</td><td style='text-align: center; word-wrap: break-word;'>95.43</td><td style='text-align: center; word-wrap: break-word;'>94.60</td><td style='text-align: center; word-wrap: break-word;'>100.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CHOIR</td><td style='text-align: center; word-wrap: break-word;'>27.24</td><td style='text-align: center; word-wrap: break-word;'>0.84</td><td style='text-align: center; word-wrap: break-word;'>79.46</td><td style='text-align: center; word-wrap: break-word;'>93.09</td><td style='text-align: center; word-wrap: break-word;'>134.74</td><td style='text-align: center; word-wrap: break-word;'>100.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF (ours)</td><td style='text-align: center; word-wrap: break-word;'>6.84</td><td style='text-align: center; word-wrap: break-word;'>0.45</td><td style='text-align: center; word-wrap: break-word;'>83.62</td><td style='text-align: center; word-wrap: break-word;'>95.81</td><td style='text-align: center; word-wrap: break-word;'>48.85</td><td style='text-align: center; word-wrap: break-word;'>100.0</td></tr></table>

<div style="text-align: center;">Table 3: Computational cost.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Preproc.</td><td style='text-align: center; word-wrap: break-word;'>Optim.</td><td style='text-align: center; word-wrap: break-word;'>Total</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF</td><td style='text-align: center; word-wrap: break-word;'>~23 min</td><td style='text-align: center; word-wrap: break-word;'>~1 min</td><td style='text-align: center; word-wrap: break-word;'>~24 min</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOLD</td><td style='text-align: center; word-wrap: break-word;'>~65 min</td><td style='text-align: center; word-wrap: break-word;'>~24 h</td><td style='text-align: center; word-wrap: break-word;'>~25.1 h</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MagicHOI</td><td style='text-align: center; word-wrap: break-word;'>~25 min</td><td style='text-align: center; word-wrap: break-word;'>~2 h</td><td style='text-align: center; word-wrap: break-word;'>~2.4 h</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AGILE</td><td style='text-align: center; word-wrap: break-word;'>21-29 min</td><td style='text-align: center; word-wrap: break-word;'>~1.75 h</td><td style='text-align: center; word-wrap: break-word;'>2.1-2.2 h</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CHOIR</td><td style='text-align: center; word-wrap: break-word;'>~11 min</td><td style='text-align: center; word-wrap: break-word;'>~19 min</td><td style='text-align: center; word-wrap: break-word;'>~30 min</td></tr></table>

![Image](images/d56d063692cd53f12d669887767940b47001349d66447e34f4c2aa974991d17e.jpg)

<div style="text-align: center;">Figure 3: Qualitative results on HO3D-v3 (Hampali et al., 2020) and DexYCB (Chao et al., 2021). 4D-HOF consistently outperforms HOLD (Fan et al., 2024) and MagicHOI (Wang et al., 2025b) in preserving accurate geometry and hand-object interactions. Please see our supplementary video for detailed comparisons.</div>

HO3D-v3上的结果。在所有方法中，4D-HOF的手-物体Chamfer距离和穿透体积均为最小值，相比次优基线在$CD_{h}$方面提升了62.2%。其抖动幅度降低到了比HOLD（Fan等人，2024年）低$6.4\times$、比MagicHOI（Wang等人，2025b）低$13.4\times$的水平，这证实了我们所学习到的交互先验能够生成时间上稳定的轨迹，且无需显式的平滑正则化约束。此外，我们的方法在报告的方法中实现了最高的接触比率，在所有基线中也取得了最强的F5分数。

DexYCB上的结果。DexYCB包含多种物体进行桌面抓取的场景，以往的基线方法在此类场景中往往存在较大的尺度和平移误差。与其他基线相比，4D-HOF在所有指标上均展现出显著的优势。

计算成本。我们在表3中对比了推理时间。现有方法依赖于耗时的测试时优化过程，处理一个200帧的序列通常需要数小时。相比之下，4D-HOF通过前馈式生成传输过程来完成重建，将优化阶段缩短至大约一分钟，同时仍能保持具有竞争力的重建质量。

### 4.3 消融实验与分析

我们在HO3D-v3（Hampali等人，2020年）上开展消融实验，以验证各项设计选择的合理性。

如何使用视觉基础模型？我们首先研究了构建初始手-物体状态的不同策略（表4）。(a) 用SAM3D（Chen等人，2026a）替换我们的多视角物体生成模块后，交互质量显著下降，这体现了时间一致性至关重要。

---

<div style="text-align: center;">Table 4: Ablation of vision foundation models.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method Variants</td><td colspan="4">Interaction</td><td style='text-align: center; word-wrap: break-word;'>Hand</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$CD_{h} \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$IV \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$CA \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$JM \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF (full model)</td><td style='text-align: center; word-wrap: break-word;'>5.98</td><td style='text-align: center; word-wrap: break-word;'>13.44</td><td style='text-align: center; word-wrap: break-word;'>97.27</td><td style='text-align: center; word-wrap: break-word;'>1.61</td><td style='text-align: center; word-wrap: break-word;'>4.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(a) SAM3D object recon.</td><td style='text-align: center; word-wrap: break-word;'>262.19</td><td style='text-align: center; word-wrap: break-word;'>9.87</td><td style='text-align: center; word-wrap: break-word;'>64.40</td><td style='text-align: center; word-wrap: break-word;'>1.75</td><td style='text-align: center; word-wrap: break-word;'>6.09</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(b) FPose default tracking</td><td style='text-align: center; word-wrap: break-word;'>15646.78</td><td style='text-align: center; word-wrap: break-word;'>9.39</td><td style='text-align: center; word-wrap: break-word;'>75.74</td><td style='text-align: center; word-wrap: break-word;'>2.07</td><td style='text-align: center; word-wrap: break-word;'>5.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(c) VFM only</td><td style='text-align: center; word-wrap: break-word;'>46.58</td><td style='text-align: center; word-wrap: break-word;'>11.06</td><td style='text-align: center; word-wrap: break-word;'>78.07</td><td style='text-align: center; word-wrap: break-word;'>3.95</td><td style='text-align: center; word-wrap: break-word;'>4.03</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(d) VFM + guidance</td><td style='text-align: center; word-wrap: break-word;'>41.75</td><td style='text-align: center; word-wrap: break-word;'>11.89</td><td style='text-align: center; word-wrap: break-word;'>81.53</td><td style='text-align: center; word-wrap: break-word;'>3.71</td><td style='text-align: center; word-wrap: break-word;'>4.03</td></tr></table>

<div style="text-align: center;">Table 6: Ablation studies on loss functions.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">$\mathcal{L}$ Variants</td><td colspan="4">Interaction</td><td style='text-align: center; word-wrap: break-word;'>Hand</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$CD_{{h}} \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$IV \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$CA \uparrow$</td><td style='text-align: center; word-wrap: break-word;'>$JM \downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF</td><td style='text-align: center; word-wrap: break-word;'>5.98</td><td style='text-align: center; word-wrap: break-word;'>13.44</td><td style='text-align: center; word-wrap: break-word;'>97.27</td><td style='text-align: center; word-wrap: break-word;'>1.61</td><td style='text-align: center; word-wrap: break-word;'>4.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{{3D}}$</td><td style='text-align: center; word-wrap: break-word;'>7.68</td><td style='text-align: center; word-wrap: break-word;'>15.94</td><td style='text-align: center; word-wrap: break-word;'>96.27</td><td style='text-align: center; word-wrap: break-word;'>2.93</td><td style='text-align: center; word-wrap: break-word;'>3.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{{inter}}$</td><td style='text-align: center; word-wrap: break-word;'>6.02</td><td style='text-align: center; word-wrap: break-word;'>13.78</td><td style='text-align: center; word-wrap: break-word;'>97.00</td><td style='text-align: center; word-wrap: break-word;'>1.63</td><td style='text-align: center; word-wrap: break-word;'>4.60</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $\mathcal{L}_{{reg}}$</td><td style='text-align: center; word-wrap: break-word;'>6.71</td><td style='text-align: center; word-wrap: break-word;'>13.78</td><td style='text-align: center; word-wrap: break-word;'>97.15</td><td style='text-align: center; word-wrap: break-word;'>1.10</td><td style='text-align: center; word-wrap: break-word;'>5.64</td></tr></table>

<div style="text-align: center;">Table 5: Ablation of the bridge matching model.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method Variants</td><td colspan="4">Interaction</td><td rowspan="2">Hand MPJPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$CD_{h}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>IV $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CA $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>JM $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF (full model)</td><td style='text-align: center; word-wrap: break-word;'>5.98</td><td style='text-align: center; word-wrap: break-word;'>13.44</td><td style='text-align: center; word-wrap: break-word;'>97.27</td><td style='text-align: center; word-wrap: break-word;'>1.61</td><td style='text-align: center; word-wrap: break-word;'>4.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(a) w/o temporal design</td><td style='text-align: center; word-wrap: break-word;'>18.93</td><td style='text-align: center; word-wrap: break-word;'>14.23</td><td style='text-align: center; word-wrap: break-word;'>95.64</td><td style='text-align: center; word-wrap: break-word;'>4.26</td><td style='text-align: center; word-wrap: break-word;'>4.15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(b) w/o explicit encoding</td><td style='text-align: center; word-wrap: break-word;'>11.92</td><td style='text-align: center; word-wrap: break-word;'>14.76</td><td style='text-align: center; word-wrap: break-word;'>96.41</td><td style='text-align: center; word-wrap: break-word;'>1.62</td><td style='text-align: center; word-wrap: break-word;'>4.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(c) w/o object optimization</td><td style='text-align: center; word-wrap: break-word;'>90.49</td><td style='text-align: center; word-wrap: break-word;'>9.63</td><td style='text-align: center; word-wrap: break-word;'>62.23</td><td style='text-align: center; word-wrap: break-word;'>2.31</td><td style='text-align: center; word-wrap: break-word;'>5.06</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(d) w/o hand optimization</td><td style='text-align: center; word-wrap: break-word;'>12.34</td><td style='text-align: center; word-wrap: break-word;'>13.05</td><td style='text-align: center; word-wrap: break-word;'>96.02</td><td style='text-align: center; word-wrap: break-word;'>3.95</td><td style='text-align: center; word-wrap: break-word;'>4.03</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>(e) w/o guidance</td><td style='text-align: center; word-wrap: break-word;'>8.03</td><td style='text-align: center; word-wrap: break-word;'>13.39</td><td style='text-align: center; word-wrap: break-word;'>96.62</td><td style='text-align: center; word-wrap: break-word;'>1.71</td><td style='text-align: center; word-wrap: break-word;'>4.37</td></tr></table>

<div style="text-align: center;">Table 7: Ablation studies on guidance terms.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">G Variants</td><td colspan="4">Interaction</td><td style='text-align: center; word-wrap: break-word;'>Hand</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$CD_{h}$ $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>IV $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CA $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>JM $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF</td><td style='text-align: center; word-wrap: break-word;'>5.98</td><td style='text-align: center; word-wrap: break-word;'>13.44</td><td style='text-align: center; word-wrap: break-word;'>97.27</td><td style='text-align: center; word-wrap: break-word;'>1.61</td><td style='text-align: center; word-wrap: break-word;'>4.40</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $G_{sil}$</td><td style='text-align: center; word-wrap: break-word;'>7.51</td><td style='text-align: center; word-wrap: break-word;'>13.85</td><td style='text-align: center; word-wrap: break-word;'>97.06</td><td style='text-align: center; word-wrap: break-word;'>1.72</td><td style='text-align: center; word-wrap: break-word;'>4.75</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $G_{inter}$</td><td style='text-align: center; word-wrap: break-word;'>7.81</td><td style='text-align: center; word-wrap: break-word;'>16.00</td><td style='text-align: center; word-wrap: break-word;'>95.07</td><td style='text-align: center; word-wrap: break-word;'>1.63</td><td style='text-align: center; word-wrap: break-word;'>4.74</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/o $G_{temp}$</td><td style='text-align: center; word-wrap: break-word;'>6.35</td><td style='text-align: center; word-wrap: break-word;'>14.53</td><td style='text-align: center; word-wrap: break-word;'>97.29</td><td style='text-align: center; word-wrap: break-word;'>1.91</td><td style='text-align: center; word-wrap: break-word;'>4.74</td></tr></table>

物体重建方面也是如此。(b) 在严重遮挡情况下，仅使用FoundationPose（Wen等人，2024）的纯跟踪模式也会失败，因为单个跟踪错误的帧就足以破坏整个序列。(c) 若不借助我们的生成式桥接模块，直接利用视觉基础模型的输出，会导致对齐和接触效果很差。(d) 加入引导机制（但缺少桥接匹配模型）也只能带来有限的改进，这表明需要借助学习得到的交互先验来优化独立估计的手-物体交互状态。

如何设计手-物体交互流匹配模型？接下来我们分析了条件桥接模块的设计（表5）。(a) 去除时间建模后会产生不稳定的4D轨迹，这说明仅靠逐帧独立优化无法捕捉交互动态。(b) 去除显式的手-物体结构编码后，交互指标会持续恶化，这凸显了显式建模手-物体相对几何关系的重要性。(c)和(d) 仅优化手部或仅优化物体同样会导致交互质量变差，这表明必须同时优化手部和物体状态，才能消除它们之间的相互歧义。(e) 去除测试时的引导机制后，接触和交互质量都会下降，这说明引导机制能为生成几何与物理上一致的手-物体交互状态提供有效的测试时控制。值得注意的是，这些变体并不会改变物体的几何形状，但接触质量和物理交互效果却会显著变差。

如何监督4D-HOF的训练？我们在表6中逐一分析了各辅助损失项的作用。移除$\mathcal{L}_{3D}$后，大多数指标都会出现严重退化，这表明显式的3D监督对手-物体交互重建至关重要。移除$\mathcal{L}_{inter}$后，接触质量和手部姿态精度会下降，这说明接触损失能够促进有意义的物理交互。移除$\mathcal{L}_{reg}$后，手部姿态的退化程度最为明显，这表明正则化项有助于保留基础模型给出的手部状态。

如何指导4D-HOF的推理？我们在表7中逐一分析了各测试时引导项的作用。移除$G_{sil}$后，所有指标都会下降，这说明图像空间的对齐有助于优化重建后的交互效果。移除$G_{inter}$后，物体穿插现象会最严重，接触精度也会大幅下降，这证明了其对生成合理交互的重要性。移除$G_{temp}$后，运动抖动现象会最明显，这也证实了时间引导能够提升运动的一致性。

## 5 结论与未来工作

我们提出了4D-HOF，这是一种用于从单目视频重建4D手物交互的新颖前馈框架。我们的关键创新在于用基于基础模型的初始化来取代噪声驱动的生成方式，并学习一个条件生成桥接器，将这些初始状态转化为物理上合理的交互。该框架能够以前馈方式对手部、物体及其交互进行联合优化。实验表明，该方法在交互质量方面表现优异，同时能保持具有竞争力的手部与物体重建精度，且推理效率显著提升。不过，与许多基于基础模型的方法类似，它对初始化失败较为敏感（见图S6）。目前该框架主要针对手部与刚性物体的交互场景；将其扩展到更复杂的情境，如双手交互以及关节或可变形物体交互，是未来重要的研究方向。

---

## 参考文献

Ahmed Tawfik Aboukhadra、Marcel Rogge、Nadia Robertini、Abdalla Arafa、Jameel Malik、Ahmed Elhayek和Didier Stricker。Ghost：利用高斯泼溅技术从RGB视频中快速实现类别无关的手物交互重建。arXiv预印本arXiv:2603.18912，2026年。

Michael Albergo、Nicholas M Boffi和Eric Vanden-Eijnden。随机插值法：统一流与扩散的框架。《机器学习研究杂志》，26(209)：1–80页，2025年。

Ayce Idil Aytekin、Xu Chen、Zhengyang Shen、Thabo Beeler、Helge Rhodin、Rishabh Dabral和Christian Theobalt。Grasp in Gaussians：动态手物交互的快速单目重建。arXiv预印本arXiv:2604.12929，2026a年。

Ayce Idil Aytekin、Helge Rhodin、Rishabh Dabral和Christian Theobalt。Follow my hold：通过几何引导实现手物交互重建。载于第十三届3D视觉国际会议论文集，2026b年。

Blender在线社区。Blender：一款3D建模与渲染软件，2026年。网址：<https://www.blender.org>。

Nicolas Carion、Laura Gustafson、Yuan-Ting Hu、Shoubhik Debnath、Ronghang Hu、Didac Suris Coll-Vinent、Chaitanya Ryali、Kalyan Vasudev Alwala、Haitham Khedr、Andrew Huang等。SAM 3：基于概念的图像分割技术。载于2026年国际学习表征会议论文集，第138846–138923页，2026年。

Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield等。DexYCB：用于捕捉物体抓取行为的基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页，2021年。

Xingyu Chen、Fu-Jen Chu、Pierre Gleize、Kevin J Liang、Alexander Sax、Hao Tang、Weiyao Wang、Michelle Guo、Thibaut Hardin、Xiang Li等。SAM 3D：图像中的任意3D物体分割技术。载于IEEE/CVF计算机视觉与模式识别会议论文集，第7220–7232页，2026a年。

Yuantao Chen、Jiahao Chang、Chongjie Ye、Chaoran Zhang、Zhaojie Fang、Chenghong Li和Xiaoguang Han。ForeHOI：从日常手物交互视频中实现前馈式3D物体重建。arXiv预印本arXiv:2602.06226，2026b年。

Sammy Christen、Shreyas Hampali、Fadime Sener、Edoardo Remelli、Tomas Hodan、Eric Sauser、Shugao Ma和Bugra Tekin。Diff $^{2}$o：基于文本描述生成手物交互的扩散模型。载于2024年SIGGRAPH Asia会议论文集，第1–11页，2024年。

乔治·科马尼奇、埃里克·比伯、迈克·沙克尔曼、艾斯·帕苏帕特、诺维恩·萨切德瓦、因德尔吉特·迪隆、马塞尔·布利斯泰因、奥里·拉姆、张丹、埃文·罗森等。Gemini 2.5：凭借先进的推理能力、多模态特性、长上下文支持以及下一代智能体功能，继续拓展技术前沿。arXiv预印本arXiv:2507.06261，2025年。

范子聪、玛丽亚·帕雷利、玛丽亚·埃莱尼·卡多格卢、陈旭、穆罕默德·科卡巴斯、迈克尔·J·布莱克和奥特马尔·希利格斯。Hold：一种从视频中实现对交互中的手与物体进行类别无关的三维重建方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第494–504页，2024年。

什雷亚斯·汉帕利、马赫迪·拉德、马库斯·奥伯韦格和文森特·勒佩蒂。Honnotate：一种用于手与物体姿态的三维标注方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3196–3206页，2020年。

雅娜·哈松、古尔·瓦罗尔、季米特里奥斯·齐奥纳斯、伊戈尔·卡列瓦特赫、迈克尔·J·布莱克、伊万·拉普捷夫和科迪莉亚·施密德。学习手与被操纵物体的联合重建方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第11807–11816页，2019年。

雅娜·哈松、古尔·瓦罗尔、科迪莉亚·施密德和伊万·拉普捷夫。致力于从RGB视频中实现无约束的手与物体联合重建。载于2021年国际3D视觉会议（3DV）论文集，第659–668页。IEEE出版社，2021年。

---

何佳伟、李丹石、余新强、齐泽坤、张文耀、陈嘉怡、张兆祥、张志正、易立和王贺。Dexvlg：大规模灵巧视觉-语言-抓取模型。载于IEEE/CVF国际计算机视觉会议论文集，第14248–14258页，2025年。

乔纳森·何、阿杰伊·贾恩和皮特·阿贝尔。去噪扩散概率模型。《神经信息处理系统进展》第33卷：6840–6851页，2020年。

黄明珍、朱富健、布格拉·特金、梁凯文、马浩宇、王伟尧、陈星宇、皮埃尔·格莱兹、薛宏飞、吕思伟等。Hoigpt：利用语言模型学习长序列手-物体交互。载于计算机视觉与模式识别会议论文集，第7136–7146页，2025a年。

黄泽桓、郭远辰、王浩然、易然、马立壮、曹彦培和盛璐。Mv-adapter：轻松实现多视角一致的图像生成。载于IEEE/CVF国际计算机视觉会议论文集，第16377–16387页，2025b年。

姜涵文、刘少伟、王家顺和王小龙。用于人类抓取生成的手-物体接触一致性推理。载于IEEE/CVF国际计算机视觉会议论文集，第11107–11116页，2021年。

丹尼尔·荣格和李炅模。从不平衡数据中学习密集手接触估计。《神经信息处理系统进展》第38卷：120351–120384页，2026年。

孔令宇、李瑞成、王瑞成、徐思成、姚承堂、向建峰和杨教龙。Moge-3：具有自引导稀疏体积精修功能的细节级单目几何估计。arXiv电子预印本，arXiv–2607页，2026年。

李慕晨、萨米·克里斯滕、万成德、蔡宇军、廖仁杰、莱昂尼德·西格尔和马书高。Latenthoi：基于潜在手扩散模型的通用化手-物体运动生成。载于计算机视觉与模式识别会议论文集，第17416–17425页，2025年。

林迪轩、王天佑、潘卓阳、王玉福、刘凌杰和科斯塔斯·达尼伊利迪斯。从视频中实现场景中物体操作的零样本重建。arXiv预印本arXiv:2512.19684，2025a年。

林浩桐、陈思丽、刘俊豪、陈东尼、李振宇、石光、冯家士、康炳毅。Depth Anything 3：从任意视角恢复视觉空间。arXiv预印本arXiv:2511.10647，2025b。

亚伦·利普曼、陈立群、赫利·本-哈穆、马克西米利安·尼克尔、马特·勒。用于生成式建模的流匹配技术。arXiv预印本arXiv:2210.02747，2022年。

刘星超、龚成越、刘强。Flow Straight and Fast：利用修正流学习数据生成与传输。arXiv预印本arXiv:2209.03003，2022a年。

刘星超、吴乐萌、叶茂、刘强。让我们搭建桥梁：理解并拓展扩散生成模型。arXiv预印本arXiv:2208.14699，2022b年。

刘星宇、任鹏飞、齐琪、孙海峰、庄子瑞、王静、廖建新、王景宇。基于单目RGB图像通过3D高斯模型实现可泛化的手物建模。《神经信息处理系统进展》第38卷：127318–127340页，2025a年。

刘雪怡、李毅。GeneOH Diffusion：通过去噪扩散实现可泛化的手物交互去噪。arXiv预印本arXiv:2402.14810，2024年。

刘玉萌、龙晓晓、杨泽民、刘远、马尔克·哈伯曼、克里斯蒂安·特博尔特、马跃新、王文平。EasyHOI：释放大模型的潜力以重建野外场景中的手物交互。收录于《计算机视觉与模式识别会议论文集》，第7037–7047页，2025b年。

罗浩文、刘云泽、李毅。具备物理感知的手物交互去噪技术。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第2341–2350页，2024年。

---

埃里克·马尔尚、内藤秀明、法比安·斯宾德勒。增强现实中的姿态估计：实践性综述。《IEEE可视化与计算机图形学汇刊》第22卷第12期：2633–2651页，2015年。

基里尔·马祖尔、尼基塔·卡拉耶夫、马修·张、吉滕德拉·马利克、努尔·穆罕默德·沙菲乌拉。AgentSTAR：从单目视频中进行智能形状跟踪与重建，2026年。网址：<https://arxiv.org/abs/2609.24487>。

郑万恩、郭京焕、姜根永、车俊旭、黄秀贤、黄惠仁、白承烈。BIGS：通过3D高斯泼溅技术从单目视频中实现双手法类别无关的交互重建。收录于《计算机视觉与模式识别会议论文集》，第17437–17447页，2025年。

OpenAI。ChatGPT（6-Astra）[大型语言模型]。<https://chatgpt.com>，2026年。访问日期：2026年9月25日。

马克西姆·奥夸布、蒂莫泰·达尔塞、泰奥·穆塔卡尼、胡伊·沃、马克·萨夫拉涅茨、瓦西尔·哈利多夫、皮埃尔·费尔南德斯、丹尼尔·哈齐扎、弗朗西斯科·马萨、阿拉丁·埃尔-努比等。DINOv2：无需监督即可学习鲁棒的视觉特征。arXiv预印本arXiv:2304.07193，2023年。

巴瓦娜·帕利瓦尔、哈里特贾·埃图库鲁、威廉·梁、皮特·阿贝尔、努尔·穆罕默德·马希·沙菲乌拉、吉滕德拉·马利克。Do As I Do：源自日常人类视频的灵巧操控数据。arXiv预印本arXiv:2606.19333，2026年。

乔治奥斯·帕夫拉科斯、单丹丹、伊利亚·拉多索维奇、安吉尤·卡纳扎瓦、大卫·福伊、吉滕德拉·马利克。利用Transformer重建3D手部模型。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第9826–9836页，2024年。

弗拉基米尔·I·帕夫洛维奇、拉吉夫·夏尔马、托马斯·S·黄。用于人机交互的手势视觉解读：综述。《IEEE模式分析与机器智能汇刊》第19卷第7期：677–695页，2002年。

William Peebles和Saining Xie。基于Transformer的可扩展扩散模型。载于《IEEE/CVF国际计算机视觉会议论文集》，第4195–4205页，2023年。

Luigi Piccinelli、Christos Sakaridis、Yung-Hsu Yang、Mattia Segu、Siyuan Li、Wim Abbeloos和Luc Van Gool。Unidepthv2：更简便的通用单目度量深度估计方法。《IEEE模式分析与机器智能交易》杂志，2025年。

Rolandos Alexandros Potamias、Jinglei Zhang、Jiankang Deng和Stefanos Zafeiriou。Wilor：野外环境下的端到端3D手部定位与重建。载于《计算机视觉与模式识别会议论文集》，第12242–12254页，2025年。

Javier Romero、Dimitrios Tzionas和Michael J Black。具身化手部：手部与身体的联合建模与捕捉。arXiv预印本arXiv:2201.02610，2022年。

Jin-Chuan Shi、Binhong Ye、Tao Liu、Xiaoyang Liu、Yangjinhui Xu、Junzhe He、Zeju Li、Hao Chen和Chunhua Shen。Agile：通过智能生成技术从视频中重建手-物体交互。载于《计算机图形学与交互技术特别兴趣小组会议论文集》，第1–11页，2026年。

Yuyang Shi、Valentin De Bortoli、Andrew Campbell和Arnaud Doucet。扩散薛定谔桥匹配技术。《神经信息处理系统进展》第36卷：62183–62223页，2023年。

Jianlin Su、Murtadha Ahmed、Yu Lu、Shengfeng Pan、Wen Bo和Yunfeng Liu。Roformer：采用旋转位置编码的增强型Transformer。《神经计算》杂志，第568卷：127063页，2024年。

Anilkumar Swamy、Vincent Leroy、Philippe Weinzaepfel、Fabien Baradel、Salma Galaaoui、Romain Brégier、Matthieu Armando、Jean-Sebastien Franco和Grégory Rogez。Showme：面向物体无关的手-物体3D重建基准测试。载于《IEEE/CVF国际计算机视觉会议（ICCV）研讨会论文集》，第1935–1944页，2023年。

---

Eugene Valassakis和Guillermo Garcia-Hernando。Handdgp：基于可微全局定位的相机空间手部网格预测。载于《欧洲计算机视觉会议论文集》，第479–496页。Springer出版社，2024年。

Jianyuan Wang、Minghao Chen、Nikita Karaev、Andrea Vedaldi、Christian Rupprecht和David Novotny。Vggt：基于视觉几何的Transformer模型。载于《计算机视觉与模式识别会议论文集》，第5294–5306页，2025a年。

Jikai Wang、Qifan Zhang、Yu-Wei Chao、Bowen Wen、Xiaohu Guo和Yu Xiang。Ho-cap：用于手-物体交互的3D重建与姿态跟踪捕获系统与数据集。arXiv预印本arXiv:2406.06843，2024年。

Shibo Wang、Haonan He、Maria Parelli、Christoph Gebhardt、Zicong Fan和Jie Song。Magicho：利用3D先验从短单目视频片段中精确重建手-物体交互。载于《IEEE/CVF国际计算机视觉会议论文集》，第5957–5968页，2025b年。

Zikai Wang、Zhilu Zhang、Yiqing Wang、Hui Li和Wangmeng Zuo。Arthoi：利用基础模型实现手-关节物体交互的单目4D重建。arXiv预印本arXiv:2603.25791，2026年。

Bowen Wen、Jonathan Tremblay、Valts Blukis、Stephen Tyree、Thomas Müller、Alex Evans、Dieter Fox、Jan Kautz和Stan Birchfield。Bundlesdf：未知物体的神经6自由度跟踪与3D重建。载于《2023 IEEE/CVF计算机视觉与模式识别会议（CVPR）》论文集，第606–617页。IEEE出版社，2023年。

文博恩、杨伟、扬·考茨和斯坦·伯奇菲尔德。FoundationPose：新型物体的统一6D姿态估计与跟踪。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第17868–17879页，2024年。

文博恩、马修·特雷普特、约瑟夫·阿里比多、扬·考茨、奥拉齐奥·加洛和斯坦·伯奇菲尔德。Foundation Stereo：零样本立体匹配技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第5249–5260页，2025年。

文博恩、绍里亚·德万和斯坦·伯奇菲尔德。Fast-Foundation Stereo：实时零样本立体匹配技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第7513–7524页，2026年。

托马斯·维默、普鲁妮·特鲁昂、玛丽-朱莉·拉科托索纳、迈克尔·厄克斯勒、费德里科·汤巴里、贝恩特·席勒和扬·埃里克·伦森。AnyUp：通用特征上采样技术。载于《国际学习表征会议论文集》，2026卷，第140700–140720页，2026年。

吴晓飞、张毅、刘玉萌、马月欣、史玉娇和何旭明。AffordGrasp：基于跨模态扩散的可操作感知抓取合成技术。arXiv预印本arXiv:2603.08021，2026年。

吴晓阳、蒋力、王鹏帅、刘志坚、刘希辉、欧阳万里、何通和赵恒双。Point Transformer V3：更简洁、更快捷、更强大的模型。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第4840–4851页，2024年。

向建峰、陈晓雪、徐思成、王瑞成、吕泽龙、邓宇、朱洪源、董越、赵浩、袁景宁等。用于3D生成的原生紧凑型结构化潜变量。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第14419–14429页，2026年。

谢向辉、文博恩、严畅、赫萨姆·拉贝蒂、李杰峰、袁烨、杰拉德·庞斯-莫尔和斯坦·伯奇菲尔德。CARI4D：类别无关的人体-物体交互4D重建技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，2026年。

徐浩、刘怡琳、王银桥、傅治荣和尼洛伊·J·米特拉。Choir：基于接触感知的4D手-物交互重建技术。arXiv预印本arXiv:2605.20992，2026年。

杨立新、李凯琳、詹欣宇、吴飞、徐安冉、刘柳和卢泽武。OakInk：用于理解手-物交互的大规模知识库。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第20953–20962页，2022年。

---

叶宇飞、阿宾纳夫·古普塔和舒巴姆·图尔西亚尼。你手里拿的是什么？手中普通物体的3D重建技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第3895–3905页，2022年。

叶宇飞、普尔维·赫巴尔、阿宾纳夫·古普塔和舒巴姆·图尔西亚尼。基于扩散引导的日常手-物交互片段重建技术。载于《IEEE/CVF国际计算机视觉会议论文集》，第19717–19728页，2023年。

叶宇飞、阿宾纳夫·古普塔、克里斯·基塔尼和舒巴姆·图尔西亚尼。G-HOP：用于交互重建与抓取合成的生成式手-物先验模型。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第1911–1920页，2024年。

叶宇飞、李佳曼、Ryan Rong和刘凯伦。Whole：从第一人称视频中提取的世界坐标系下的手-物交互数据。arXiv预印本arXiv:2602.22209，2026年。

赵子博、赖泽强、林庆祥、赵云飞、刘浩林、杨书辉、冯一飞、杨明欣、张胜、杨向辉等。Hunyuan3D 2.0：用于高分辨率带纹理3D资产生成的扩散模型规模化方法。arXiv预印本arXiv:2501.12202，2025年。

钟一鸣、蒋琪、虞静怡、马月欣。DexGrasp Anything：面向具备物理感知能力的通用机器人灵巧抓取技术。载于计算机视觉与模式识别会议论文集，第22584–22594页，2025年。

周凯阳、巴尔哈特·拉尔·巴特纳加尔、扬·埃里克·伦森、杰拉德·庞斯-莫尔。ToCH：用于运动优化的时空物体到手部对应关系。载于欧洲计算机视觉大会论文集，第1–19页。施普林格出版社，2022年。

朱志帆、西丹特·班萨尔、沙尚克·特里帕蒂、迪玛·达门。在 Egocentric 视频中沿手部交互时间线重建物体。arXiv预印本arXiv:2512.07394，2025年。

---

## 附录中的目录

A 实现细节 16  
A.1 手部与物体状态初始化 16  
A.1.1 场景语义解析 16  
A.1.2 手部重建与状态估计 16  
A.1.3 物体重建与状态估计 16  
A.2 4D HOI 流匹配 17  
A.2.1 模型架构 17  
A.2.2 训练数据筛选 18  
A.2.3 训练细节 18  
B 更多实验结果 18  
B.1 HO3D-v3 MagicHOI 的实验设置 18  
B.2 物体生成效果对比 18  
B.3 更多的HOI数据是否有帮助？ 19  
B.4 与GPT-6 Astra Ultra（截至2026年9月20日）的对比 20  
C 失败案例分析 22  
D VLM提示词 22  
D.1 交互物体推理 22  
D.2 多视角图像生成 22  
D.3 纹理选择 23

---

## A 实现细节

在本节中，我们将介绍该方法的其他细节。首先，我们在A.1节中介绍了基于各类基础模型的手部与物体状态初始化流程，随后在A.2节中阐述了流匹配模型的细节。

### A.1 手部与物体状态初始化

#### A.1.1 场景语义解析

给定输入视频I，我们首先利用VLM（Comanici等人，2025年）来理解交互过程并识别出被人手操作的物体。由于处理所有视频帧在计算上成本过高，我们从视频中均匀采样五帧，并提示VLM描述目标物体。随后，将得到的物体描述与提示词“hand”一同输入SAM 3（Carion等人，2026年）进行分割。

#### A.1.2 手部重建与状态估计

对于手部估计，我们使用WiLoR（Potamias等人，2025年）来预测MANO（Romero等人，2022年）参数和2D关键点。接着，我们利用MoGe-3（Kong等人，2026年；Valassakis & Garcia-Hernando，2024年）提供的相机内参，恢复出相机坐标系下的手部平移量。具体而言，对于每个关节，透视投影会得出每个3D关节的2D位置$(u, v)$，其遵循以下方程：

 $$ u=f_{x}\frac{\mathbf{J}_{x}+\mathbf{t}_{x}}{\mathbf{J}_{z}+\mathbf{t}_{z}}+c_{x}, $$

 $$ v=f_{y}\frac{\mathbf{J}_{y}+\mathbf{t}_{y}}{\mathbf{J}_{z}+\mathbf{t}_{z}}+c_{y}, $$

其中$(\mathbf{J}_x, \mathbf{J}_y, \mathbf{J}_z)$表示规范手部空间中的3D关节位置，$(\mathbf{t}_x, \mathbf{t}_y, \mathbf{t}_z)$代表全局手部平移量，而$f_x, f_y, c_x, c_y$为相机内参。通过汇总所有关节的约束条件，我们构建出一个线性系统，并利用最小二乘法求解。

#### A.1.3 物体重建与状态估计

为了从视频中自动选取一组既紧凑又具备信息量的物体观测帧，我们提出了一种基于视觉特征的帧选择策略。具体来说，我们使用预训练的DINOv2（Oquab等人，2023）图像编码器来提取图像特征。由于DINO仅能生成图像块级别的嵌入，我们还应用AnyUp（Wimmer等人，2026）来提升其空间分辨率。随后，我们在物体掩码区域内对上采样后的特征进行聚合，从而获取每一帧对应的物体描述符。

获得物体描述符后，下一步便是挑选出视觉差异较大的帧。首先选取物体掩码面积最大的帧作为锚点，随后在描述符空间中执行最远点采样（FPS）算法，以选出视觉多样性丰富的帧集。这些选出的帧被用作生成规范视图的上下文提示，而合成后的视图随后会被输入到多视图转3D模型（Zhao等人，2025）中以恢复物体网格。尽管物体几何结构通常较为可靠，但生成模型产生的纹理往往不尽如人意：它们只能保留粗糙的色彩斑块，却无法呈现精细的图案和文字。为解决这一局限，我们构建了两种类型的纹理图：一种直接源自生成模型，适用于外观简单的非结构化物体；另一种则通过投影规范视图得到（Huang等人，2025b），能更好地保留结构化物体的细节图案。我们利用这两种纹理类型在多个视角下渲染物体，并借助视觉语言模型（VLM）自动选出最优变体。

为了更有效地利用FoundationPose（Wen等人，2024）进行物体姿态估计，我们以物体掩码面积最大的帧为起点初始化姿态，并将其沿序列双向传播。与FoundationPose默认的跟踪模式不同——在该模式下，单个被遮挡的帧就可能导致灾难性的误差累积——我们采用逐帧独立配准的方式，同时明确排除那些与先前估计值偏差过大的姿态假设。具体而言，

---

![Image](images/c29a5a0338232db2ab17ffe6c3c5b99ea1f76ceb98a76db89c91362f6bbc15f0.jpg)

<div style="text-align: center;">Figure S1: Model architecture. Our model adopts a DiT-style architecture for conditional flow matching. The latent hand-object state is processed through temporal self-attention, point-stream cross-attention using Point Transformer V3 features, and visual cross-attention using DINO features. Adaptive layer normalization conditioned on the timestep is applied throughout the network to modulate the generative transport process.</div>

我们以相邻帧旋转之间的测地距离作为过滤准则，并将阈值设为$60^{\circ}$。

我们进一步采用基于轮廓的过滤方法来强化视觉一致性。对于每一个姿态假设，我们先渲染出物体掩码$\tilde{M}^{o}$，再计算它与分割掩码$M^{o}$之间的交并比（IoU）。为减少手部遮挡的影响，在计算IoU之前会先排除手部掩码$M^{h}$所覆盖的区域：

 $$ \mathrm{I o U}=\frac{(\tilde{\mathbf{M}}^{o}\cap\sim\mathbf{M}^{h})\cap(\tilde{\mathbf{M}}^{o}\cap\sim\mathbf{M}^{h})}{(\tilde{\mathbf{M}}^{o}\cap\sim\mathbf{M}^{h})\cup(\tilde{\mathbf{M}}^{o}\cap\sim\mathbf{M}^{h})}. $$

我们仅保留IoU得分最高的前30个姿态假设。为进一步提升鲁棒性，我们在FoundationPose的姿态优化与评分阶段同时启用RGB和RGB-D模式，并将最终姿态得分定义为这两种模态得分的平均值。

### A.2 4D HOI流匹配

#### A.2.1 模型架构

我们的流匹配模型会将基于基础模型初始化的含噪手部和物体姿态，映射到合理的交互姿态流形中。由于我们的目标是重建4D手部与物体的交互过程，自然的设计思路是直接处理序列数据，以充分利用其中的时间信息交互。具体而言，模型以手部和物体姿态序列为输入：在每一帧中，手部姿态与物体姿态会被拼接起来，并通过线性层进行标记化。随后，该姿态标记序列会被送入多个堆叠的Transformer模块，最后再从对应的姿态标记中解码出每一帧的手部与物体姿态。

每个Transformer模块中包含三种注意力操作。我们的模块首先沿着时间维度进行自注意力操作，采用RoPE（Su等人，2024年）来实现时间嵌入。这一层的作用是利用序列中的时间修正信息。在运动序列中，相邻帧之间的姿态差异通常较小，而相隔较远的帧之间差异较大；此外，序列中的运动演变应当是平滑的。通过学习大规模数据，这一层能够使姿态序列保持连贯且平滑。第二层是3D HOI点云序列与姿态令牌之间的交叉注意力层。采用这种操作的动机是为了向模型注入显式的3D空间信息，因为仅凭一组单纯的旋转和平移数据是无法理解手与物体的交互关系的。为了获取3D线索，我们利用初始化阶段得到的姿态结果来变换MANO手模型和物体，随后使用Point Transformer V3（Wu等人，2024年）对它们进行编码。在每一帧中，我们将MANO顶点作为手部点云，在物体表面采样点作为物体点云。我们把这两部分视为单一的点云，并为每个点添加类别标签。特征提取完成后，通过最大池化操作来构建最终的HOI点云令牌序列。通过这种交叉注意力机制，模型能够获取显式的3D信息，从而促进联合优化。第三种操作是与2D图像特征进行的另一轮交叉注意力，因为我们希望重建结果能与观测数据相符。对于每一视频帧，我们使用预训练的DINOv2-B模型提取视觉特征，并利用普吕克射线为每个补丁嵌入添加相机信息。为了平衡计算成本，我们仅在每帧内应用交叉注意力。

---

<div style="text-align: center;">Table S1: Results on HO3D-v3 (Hampali et al., 2020) following MagicHOI's setting.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td style='text-align: center; word-wrap: break-word;'>Hand</td><td colspan="4">Object</td><td style='text-align: center; word-wrap: break-word;'>Interaction</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CD $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F10 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>RS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$CD_{{h}} \downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>iHOI</td><td style='text-align: center; word-wrap: break-word;'>27.75</td><td style='text-align: center; word-wrap: break-word;'>2.37</td><td style='text-align: center; word-wrap: break-word;'>35.78</td><td style='text-align: center; word-wrap: break-word;'>62.11</td><td style='text-align: center; word-wrap: break-word;'>0.17</td><td style='text-align: center; word-wrap: break-word;'>25.45</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DiffHOI</td><td style='text-align: center; word-wrap: break-word;'>16.02</td><td style='text-align: center; word-wrap: break-word;'>2.30</td><td style='text-align: center; word-wrap: break-word;'>39.59</td><td style='text-align: center; word-wrap: break-word;'>64.49</td><td style='text-align: center; word-wrap: break-word;'>0.13</td><td style='text-align: center; word-wrap: break-word;'>33.33</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EasyHOI</td><td style='text-align: center; word-wrap: break-word;'>16.69</td><td style='text-align: center; word-wrap: break-word;'>1.86</td><td style='text-align: center; word-wrap: break-word;'>46.10</td><td style='text-align: center; word-wrap: break-word;'>70.92</td><td style='text-align: center; word-wrap: break-word;'>0.28</td><td style='text-align: center; word-wrap: break-word;'>19.55</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOLD</td><td style='text-align: center; word-wrap: break-word;'>30.79</td><td style='text-align: center; word-wrap: break-word;'>1.31</td><td style='text-align: center; word-wrap: break-word;'>57.20</td><td style='text-align: center; word-wrap: break-word;'>80.23</td><td style='text-align: center; word-wrap: break-word;'>0.62</td><td style='text-align: center; word-wrap: break-word;'>21.28</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MagicHOI</td><td style='text-align: center; word-wrap: break-word;'>4.62</td><td style='text-align: center; word-wrap: break-word;'>0.87</td><td style='text-align: center; word-wrap: break-word;'>69.72</td><td style='text-align: center; word-wrap: break-word;'>92.15</td><td style='text-align: center; word-wrap: break-word;'>0.11</td><td style='text-align: center; word-wrap: break-word;'>2.39</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>CHOIR</td><td style='text-align: center; word-wrap: break-word;'>5.55</td><td style='text-align: center; word-wrap: break-word;'>0.77</td><td style='text-align: center; word-wrap: break-word;'>72.33</td><td style='text-align: center; word-wrap: break-word;'>96.03</td><td style='text-align: center; word-wrap: break-word;'>0.10</td><td style='text-align: center; word-wrap: break-word;'>2.41</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF (ours)</td><td style='text-align: center; word-wrap: break-word;'>4.60</td><td style='text-align: center; word-wrap: break-word;'>0.24</td><td style='text-align: center; word-wrap: break-word;'>90.24</td><td style='text-align: center; word-wrap: break-word;'>98.13</td><td style='text-align: center; word-wrap: break-word;'>0.13</td><td style='text-align: center; word-wrap: break-word;'>2.17</td></tr></table>

模块末尾会添加一个标准的前馈层，而在每次注意力操作和前馈操作之前，会使用自适应层归一化来注入流步信息。

#### A.2.2 训练数据筛选

我们最初尝试使用由基础模型流程生成的初始化数据进行训练，但发现了两个局限性。首先，物体的对称性会导致估计出的旋转参数存在歧义，从而给桥接匹配及后续训练中的插值路径构建带来困难。其次，初始化误差会表现出数据集特定的偏差，使得这些初始化数据作为训练源的效果有限。因此，我们采用了一种与数据集无关的扰动策略：人为破坏真实的HOI状态，以模拟不完美的初始化情况。

我们向真实的HOI状态中加入合成噪声，以模拟基础模型生成的不完美初始化结果。为了扰动物体姿态，我们在20%的帧中施加较大的偏移量（3.14弧度，0.2米），以模拟严重的姿态估计失误情况；其余80%的帧则施加较小的偏移量（0.1弧度，0.02米）。对于手部参数，平移向量是通过从均匀空间分布（0.02, 0.02, 0.1）中采样的噪声来扰动的；同时，手部的全局朝向和局部姿态也会通过添加标准差为0.1的高斯噪声来进行扰动。

#### A.2.3 训练细节

我们采用AdamW优化器来训练模型，学习率设为0.0001，权重衰减为0.0001，并配合带有预热阶段的余弦学习率调度器。训练过程共进行20个epoch，批量大小为16。在特征提取阶段，输入图像会被缩放至$224 \times 224$大小，随后由DINOv2进行编码。为了建立显式的3D编码，我们会从物体网格表面均匀采样4096个点。最终，训练时的时间序列长度设为16帧，推理时则扩展至128帧。整个训练过程在单张NVIDIA H100 GPU上大约需要30小时。

## B 更多实验结果

### B.1 HO3D-V3与MAGICHOI的实验设置

我们通过实验发现，某些方法在较短的视频片段上表现更佳，因此参照MagicHOI（Wang等人，2025b）所使用的序列和帧数进行了额外评估。表S1和图S2分别展示了定量和定性结果。在此协议下，4D-HOF在六项指标中的五项上取得了最佳结果，尤其在物体重建精度方面提升显著。

### B.2 物体生成效果对比

我们将基于多视图的物体生成流程与SAM3D（Chen等人，2026a）进行比较，定量和定性结果分别见表S2和图S3。受限于

---

![Image](images/d0e0320249f1810fd78261e8f2586ddfa06df3a3401a20c38cfc3a784ea0637b.jpg)

<div style="text-align: center;">Figure S2: Qualitative results on HO3D-v3 (Hampali et al., 2020) following MagicHOI's setting.</div>

<div style="text-align: center;">Table S2: Object generation comparison. Our multiview-based pipeline outperforms SAM3D across all metrics, demonstrating the benefit of complementary visual observations for object reconstruction.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Methods</td><td style='text-align: center; word-wrap: break-word;'>CD $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>F5 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F10 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>RS $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SAM3D</td><td style='text-align: center; word-wrap: break-word;'>0.47</td><td style='text-align: center; word-wrap: break-word;'>77.54</td><td style='text-align: center; word-wrap: break-word;'>96.20</td><td style='text-align: center; word-wrap: break-word;'>0.17</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4D-HOF (Ours)</td><td style='text-align: center; word-wrap: break-word;'>0.28</td><td style='text-align: center; word-wrap: break-word;'>89.11</td><td style='text-align: center; word-wrap: break-word;'>97.13</td><td style='text-align: center; word-wrap: break-word;'>0.12</td></tr></table>

仅使用单张输入图像时，SAM3D生成的纹理可靠性较低，这可能会影响后续利用FoundationPose进行的姿态估计——因为渲染出的物体外观是姿态评估的关键线索。通过结合多视图下的互补信息以及强大的图像生成模型，我们的流程能够生成几何精度更高、纹理更逼真的物体。

### B.3 更多的HOI数据是否有帮助？

为了探究训练数据量对模型性能的影响，我们使用CD $_{h}$指标在HO3D数据集上评估了模型表现（见图S4）。结果表明，增加训练数据集的规模能够带来持续的性能提升，这证明了我们方法的可扩展性。

---

![Image](images/660d1546b864ec92f47f1354fb1cbfda71b0713a31845a40565a0b27966765e4.jpg)

<div style="text-align: center;">GT</div>

<div style="text-align: center;">GT</div>

<div style="text-align: center;">Figure S3: Qualitative comparison of object generation. We show two views of each object reconstructed by 4D-HOF and SAM3D (Chen et al., 2026a) alongside the ground truth. Our pipeline better preserves object geometry and texture details, including labels and fine structures. Ground-truth object widths are provided for scale reference.</div>

![Image](images/85fcaee0b4d9b2d190778e456339eb14e30721a2d8421f6f09254d9bd5c5aa29.jpg)

<div style="text-align: center;">Figure S4: Dataset scaling analysis for bridge matching model training.</div>

### B.4 与GPT-6 Astra Ultra的比较（截至2026年9月20日）

近期推出的GPT-6（OpenAI，2026）模型在3D推理和工具使用方面展现出强大能力。为了更全面、严谨地评估我们的模型，我们构建了一个代理式基线：给GPT-6-Astra设定超强推理强度，并为其提供FoundationPose（Wen等人，2024）、WiLoR（Potamias等人，2025）、MoGe-3（Kong等人，2026）、Blender（Blender Online Community，2026）等相关工具的访问权限。我们要求该代理从HO3D数据集的ABF12和SM2序列中重建4D手-物交互场景，且不限制执行时间或令牌预算。我们的提示词详见B.4节。定性比较结果见图S5。虽然GPT-6能恢复出合理的手部及物体姿态，但存在明显的手-物分离现象，且跨视图接触一致性较差。相比之下，我们的方法能更好地保留特定实例的物体几何结构，生成更紧密、更符合物理规律的手-物配置：在SM2场景中，手指能更一致地包裹住瓶子；而在ABF12场景中，我们的重建结果能更准确地捕捉复杂的指尖接触情况，且在不同视角下结果保持一致。这些结果表明，尽管GPT-6具备强大的通用3D推理能力，但我们提出的流程仍能提供更精确的几何信息以及更连贯的手-物交互效果。

除了重建质量外，基于智能体的基线方法还会带来巨大的运行时和资源开销。在我们的实验中，单次运行通常需要数小时，并会消耗我们价值100美元订阅计划下每周使用配额的约35%，因此在该预算下进行大规模评估是不切实际的。这些现象凸显了将通用智能体系统应用于高效且接触一致的HOI重建时所面临的挑战。我们的前馈模块可以作为此类系统中的专用组件，在提升几何与交互一致性的同时加速重建过程。

---

![Image](images/d994b91404fb34cd68dbc0b917a4b4787c8e397da87eb4f1558f0c13fa9c9b59.jpg)

<div style="text-align: center;">Figure S5: Qualitative comparison between GPT6-Astra and our 4D-HOF.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="2">GPT6 HOI Reconstruction Prompt</td></tr><tr><td colspan="2">Two third-person-view human hand–object interaction videos is available at: data/ABF12.mp4, data/SM2.mp4</td></tr><tr><td colspan="2">For each video, reconstruct:</td></tr><tr><td colspan="2">1. A temporally consistent MANO hand sequence.</td></tr><tr><td colspan="2">2. A textured mesh for each manipulated object.</td></tr><tr><td colspan="2">3. A per-frame 6DoF object pose sequence.</td></tr><tr><td colspan="2">The hand and object should share a consistent metric coordinate system. Minimize hand–object penetration and separation, keep motion smooth, preserve plausible physical contact, and ensure rendered hand/object meshes align closely with the original RGB frames in 2D. Handle occlusion and tracking loss without large pose jumps, scale changes, or identity switches.</td></tr><tr><td colspan="2">If additional Python packages are needed, create a virtual environment in the current directory rather than modifying the system environment. Blender and Blender-mcp are installed and enabled.</td></tr><tr><td colspan="2">- Use MoGe-3 (<https://github.com/microsoft/MoGe>) for monocular depth estimation.</td></tr><tr><td colspan="2">- Use WiLoR (<https://github.com/rolpotamias/WiLoR>) for MANO hand reconstruction, plus additional optimization procedures.</td></tr><tr><td colspan="2">- Use FoundationPose (<https://github.com/NVlabs/FoundationPose>) for object 6DoF pose estimation, and make suitable modifications if you need. Create textured mesh and adjust mesh scale before running the model. You can use the depth from MoGe 3 as input.</td></tr><tr><td colspan="2">Output:</td></tr><tr><td colspan="2">- MANO parameters, joints, and vertices.</td></tr><tr><td colspan="2">- Textured object meshes.</td></tr><tr><td colspan="2">- Per-frame object poses and confidence.</td></tr><tr><td colspan="2">- Camera parameters and coordinate-system documentation.</td></tr><tr><td colspan="2">- RGB overlay videos and necessary 3D/diagnostic visualizations.</td></tr><tr><td colspan="2">- README and other documents containing setup, commands, methods, optimization details, output paths, validation results, and known limitations.</td></tr></table>

---

![Image](images/075d1c81aebfb6a31e4fd50daa894bd3a4513c7915c2ed7c0879c7ad676a4234.jpg)

<div style="text-align: center;">Figure S6: Failure analysis. When the estimated point map contains severe artifacts or out-of-distribution predictions, the resulting initialization may become unreliable, which can affect the flow-matching refinement process and lead to reconstruction failures.</div>

## C 失败案例分析

我们的流程依赖于多个视觉基础模型，其中单目深度估计器MoGe-3起着关键的几何锚点作用。MoGe-3（Kong等人，2026年）能够恢复物体的度量尺度以匹配手部，并将两者粗略地对齐到统一的坐标空间中。因此，如果预测的点图存在明显伪影（见图S6），这些误差会直接传导至物体尺度和姿态估计模块。这种严重受损、超出分布范围的初始状态最终会误导流匹配细化模型，从而导致灾难性的重建失败。

## D VLM提示词

我们的手部和物体状态初始化流程运用VLM来实现多种功能，包括识别被操作的物体、生成多视角图像以及选择物体纹理。我们在下文分别描述各项任务并提供对应的提示词。

### D.1 交互物体推理

给定输入视频后，VLM会识别出被手部操作的物体并生成文本描述。该描述随后会被作为提示词传递给SAM3，以实现自动物体分割。

## 物体识别提示词

描述物体与手部的交互情况，仅以[颜色 物体名称]的格式返回结果。

### D.2 多视角图像生成

我们从输入视频中选取物体关键帧，将其提供给图像生成模型，以合成物体的规范视图。提示词中的占位符{description}会被上一步推理得到的物体描述填充。

## 规范视图生成提示词

生成该物体的正面、背面、左侧面、右侧面、顶部和底部的规范视图。生成的图像必须与参考图像中物体的形状、纹理、颜色和几何细节完全一致。补全被遮挡的区域。以$2*3$网格形式呈现：上行排列正面、背面、左侧面，下行排列右侧面、顶部、底部。背景为纯白色。图像中不得包含指示视向的文字。

每次生成尝试之后，VLM会充当评判者，评估生成的图像是否满足指定要求。若图像未通过评估，我们会重新生成。

---

## 生成视图评估提示词

你是一位专业评估员。请查看最后提供的生成图像。

该图像应为2x3的网格，展示参考图像中物体的正面、背面、左侧面、右侧面、顶部和底部规范视图。

生成的图像是否严格符合以下要求：

1. 它恰好是2x3的网格。

2. 背景为纯白色。

3. 没有标明视角方向的文字。

4. 身份和纹理得以保留。

请直接回答“是”或“否”，无需任何解释。

如果连续两次尝试均失败，VLM会选出两个候选结果中较好的一个，从而让流程继续推进。

## 候选图像选择提示词

我手头有两张生成的图像，每张都应呈现为2×3的网格，展示同一物体基于前述参考图像的规范视图。图像1是之前效果最好的结果，图像2是新生成的。

请根据以下标准对它们进行比较：

1. 严格符合2×3的网格布局。

2. 背景为纯白色。

3. 没有文字或标签。

4. 视觉质量高且能准确呈现规范视图。

哪张图像更严格地遵循这些要求且质量更好？

请直接返回“图像1”或“图像2”，无需任何解释，也不要使用Markdown格式。

### D.3 纹理选择

根据重建的物体几何形状，我们分别通过直接生成和图像投影的方式得到两张候选纹理贴图。我们将每张纹理贴图应用到几何模型上，并从多个视角渲染出带纹理的物体。随后VLM会对这些多视角渲染结果进行比较，选出更好的纹理。

## 纹理选择提示词

我手头有两张2×3的图像网格，展示同一3D物体几何形状的规范视图。图像1代表模型A，图像2代表模型B。需要注意的是：两个模型中的3D几何形状完全相同，但两幅图像中的姿态或视角可能有所不同。请充当3D纹理质量评判员。忽略任何姿态或方向差异，仅专注于比较纹理质量。重点考察细节、清晰度、真实感以及是否存在噪点或其他瑕疵。哪个模型的纹理质量更好？

请直接返回“模型A”或“模型B”，无需任何解释，也不要使用Markdown格式。