# DYNAMICHOI：面向物理感知的HOI重建耦合动力学方法
预印本
郭文良、黄展博、孔宇，密歇根州立大学
## 摘要
我们研究了基于单目RGB视频的手物交互（HOI）重建问题。由于观测信息存在缺失，重建出的轨迹往往在视觉上合理，但在力学上却不一致。现有方法主要侧重于保证视觉与几何一致性，对底层交互动力学的约束不足。我们提出了DYNAMICHOI——一种融合几何引导的扩散优化与手物耦合动力学的物理感知HOI重建框架。几何信息为轨迹优化提供了空间上的视觉证据基础；而关节逆动力学与牛顿-欧拉动力学则用于推导手的广义力和物体的力矩，从而实现动力学层面的监督。我们进一步通过接触力传递机制将手与物体的动力学相耦合，将手的活动状态恢复为交互层面的物理量。我们将该量的经验分布建模为概率先验，用以惩罚不可能的活动状态、抑制力学上不合理的重建运动。在三个HOI数据集上的实验表明，该方法在手与物体的重建效果上均有显著提升。重建出的轨迹还能为后续应用提供支持，包括手部世界模型生成与机器人操控学习，这证明了物理感知型HOI建模在重建之外的价值。项目页面：。
## 1 引言
手是人类进行日常手物交互（HOI）的主要媒介。将单目视频中的这些交互重建为时序三维手物网格轨迹，对于沉浸式技术（Zhou等人，2023；Feng等人，2020）、具身学习（Qin等人，2022；Chen等人，2025）以及世界建模（Li等人，2026）而言至关重要。单目视频在遮挡与视角模糊的情况下只能提供部分观测信息，因此存在多种可解释相同视觉证据的3D轨迹，这使得可靠的重建极具挑战性。
近期的研究在HOI重建领域取得了显著进展。基于优化的方法能够同时拟合手、物体与场景表征（Huang等人，2022；Ye等人，2023；Fan等人，2024）；前馈式方法则利用接触关系、遮挡信息以及学习得到的交互先验来辅助重建（Chen等人，2022；Wang等人，2025；Aboukhadra等人，2026；Wang等人，2026）。最近还有研究将HOI重建拓展到第一人称视频场景（Zhang等人，2025a；Fu等人，2026；Ye等人，2026）。尽管取得了这些进展，仍存在两大挑战。首先，几何信息未被充分利用来为视觉表征提供依据，导致在遮挡与受限视角下难以有效消除歧义（Ye等人，2026）。更重要的是，现有重建方法通常在轨迹层面进行监督，这种方式虽能保证几何精度，却无法对运动所隐含的动力学施加明确约束。例如，重建出的物体在被操控过程中可能会突然平移或旋转，但手并未施加相应的力。动力学提供了补充性的监督机制，能够约束产生重建运动所需的力与力矩。
## 引入此类动态约束仍然十分困难，因为力等物理量无法直接从视频中观测到。Zhang等人（2024年）和Ismayilzada等人（2026年）开创了关节手动力学的研究，他们通过逆向动力学从重建的轨迹中推导出广义力，从而提供了超越几何状态的物理监督信息。不过，这些公式仅描述了手部运动，并未考虑被操纵物体的动力学特性。在人机交互场景中，物体的运动受其自身刚体动力学的支配，而手部和物体之间则存在机械耦合关系。
---
手部的主动驱动会产生手部运动并生成相互作用力，进而推动物体运动。因此，若仅对手部动力学进行建模或将两者独立处理，这种机械依赖关系便无法得到约束。具备物理感知能力的人机交互重建技术，需要同时考虑手部与物体的动力学特性，以及二者通过接触产生的物理耦合，才能形成一个受动态约束的统一系统。
为应对这些挑战，我们提出了DYNAMICHOI——一种融合基于几何的视觉优化与手-物耦合动力学的物理感知型人机交互重建框架。为更好地消除视觉歧义，我们对手-物几何结构进行编码，并将其用于基于扩散模型的迭代优化过程中，从而为轨迹估计提供符合几何对齐要求的引导。为进一步约束运动本身，我们通过关节逆向动力学推导手部的广义力（Zhang等人，2025b；Ismayilzada等人，2026年），并通过牛顿-欧拉动力学计算刚体的力矩（Luh等人，1980年；Khalil，2011年；Hu等人，2022年；Lutter，2023年）。将重建轨迹与真实轨迹中所蕴含的这些物理量进行对齐，便能获得超越轨迹对齐层面的动力学级监督信息。
我们进一步通过接触力传递机制将手部与物体耦合起来（Hu等人，2022年；Nakajima等人，2022年）。手部主动驱动既满足了手部运动所需的广义力要求，又产生了驱动物体运动所产生的接触反作用力，从而为两条轨迹提供了统一的物理解释。我们的核心发现是：日常操作中的主动驱动行为遵循特定的统计分布规律（Tanghe等人，2019年）。我们估算出这一经验分布，并将其负对数似然值作为概率正则化项，用以惩罚那些产生低概率驱动模式的重建结果。手部动力学、物体动力学以及驱动先验共同构成了一个耦合动力学系统，为人机交互重建提供了基于物理原理的监督依据。
我们在三个人机交互重建数据集上开展的实验表明（Banerjee等人，2025年；Chao等人，2021年；Hampali等人，2020年），DYNAMICHOI能够稳定提升手部与物体的重建效果。我们还利用重建得到的轨迹来约束手部世界模型视频的生成（Li等人，2026年），并用于灵巧机器人操控的训练（Chen等人，2025年）。这两项应用中的改进成果均表明：具备物理感知能力的重建技术所提供的运动信号，其价值远超单纯的重建精度。总而言之，我们的贡献主要有三点：
- 我们提出了一种基于几何的人机交互重建框架，该框架利用三维几何信息在扩散优化过程中对视觉证据进行空间定位，从而实现更精确的轨迹估计。
• 我们通过在重建轨迹与真实轨迹之间对齐手部的广义力和物体的力矩，引入了动力学级的监督机制，以促使运动过程符合物理规律。
• 我们通过接触力传递来耦合手与物体的动力学关系，并利用概率先验对主动手部动作进行正则化，从而抑制那些会导致不合理动作的重建结果。
## 2 相关工作
手与物体重建。基于图像的手部模型，如HaMeR（Pavlakos等人，2024年）和WiLoR（Potamias等人，2025年），能够学习用于网格回归的强视觉先验；而基于视频的方法，如HaWoR（Zhang等人，2025a年）和Dyn-HaMR（Yu等人，2025年），则进一步利用时间上下文和相机运动来恢复全局手部轨迹。对于物体而言，FoundationPose（Wen等人，2024年）将6D姿态估计建立在物体几何结构之上，而ForeHOI（Chen等人，2026年）则结合视觉证据与3D形状先验，以在手部遮挡的情况下重建物体。然而，这些方法并未明确利用手与物体的联合3D几何结构来组织视觉证据。相比之下，我们的框架在扩散细化过程中将视觉线索锚定在3D HOI几何结构中，从而改善了遮挡和单目歧义情况下的重建效果。
手-物体交互重建。联合HOI重建通过利用手与物体之间的依赖关系来减少单目歧义。早期方法利用接触和非穿透约束来共同估计或细化它们的几何结构与姿态（Hasson等人，2019年；Grady等人，2021年；Chen等人，2022年）。基于视频的方法进一步引入了可微渲染、隐式表示以及学习到的交互先验（Ye等人，2023年；Huang等人，2022年；Fan等人，2024年）；而近期的方法则提升了在有限视角、未见过的类别、铰接物体以及 Egocentric 场景下的泛化能力（Wang等人，2025年；Aboukhadra等人，2026年；Wang等人，2026年；Fu等人，2026年；Ye等人，2026年）。这些方法主要确保运动的视觉与几何一致性，而我们提出的框架则侧重于建模铰接手部与刚体物体的动力学，以约束它们联合轨迹背后的物理要求。
具备物理感知能力的HOI建模。具备物理感知能力的方法通过显式动力学或学习到的物理约束来提升机械合理性。Physical Interaction能够从RGB-D观测数据中估算出满足刚体物体动力学的接触力（Hu等人，2022年），而Physics-Aware HOI Denoising则能在已知精确物体轨迹的前提下优化手部运动（Luo等人，2024年）。其他以手部为中心的方法引入了与相位相关的物理约束（Zhang等人，2025b年），或概率性铰接动力学模型（Ismayilzada等人，2026年）。不过，现有方法
---
Figure 1: Framework overview. Framewise reconstruction models first estimate the initial trajectory in parametric states, which is then refined progressively by a diffusion-based refinement network, and finally decoded to HOI mesh trajectory.
并未将手部动力学、物体动力学以及它们之间的接触耦合关系纳入统一建模。我们针对这一缺口，通过接触力来耦合这两个动力学系统，并利用概率先验对由此产生的主动手部动作进行正则化。
### 3 方法论
### 3.1 问题表述
给定一段RGB视频$I_{1:T} = \{I_t\}_{t=1}^T$以及相互作用物体$\mathcal{M}^o$的规范网格$^1$，HOI重建的目标是在T帧内恢复3D手部与物体网格轨迹。遵循先前的研究（Ismayilzada等人，2026年；Ye等人，2026年），我们使用紧凑的参数化状态来表示重建结果，随后将其确定性地解码为网格。具体而言，具有可学习参数$\mathcal{G}_\Theta$的重建模型$\Theta$会在推理阶段预测手与物体的联合轨迹。
$$ \mathbf{x}_{1:T}=\left\{\left(\mathbf{x}_{t}^{h},\mathbf{x}_{t}^{o}\right)\right\}_{t=1}^{T}=\mathcal{G}_{\Theta}\left(I_{1:T},\mathcal{M}^{o}\right), $$
其中，$\mathbf{x}_t^h$ 和 $\mathbf{x}_t^o$ 分别表示第 t 帧时手部和物体的参数化状态。手部状态 $\mathbf{x}_t^h = (\boldsymbol{\rho}_t^h, \mathbf{t}_t^h, \boldsymbol{\beta}^h)$ 由 MANO 参数（Romero 等人，2017）来描述：$\boldsymbol{\rho}_t^h \in \mathbb{R}^{16 \times 6}$ 包含全局手部方向的 6D 旋转以及 15 个关节的 MANO 参数，$\mathbf{t}_t^h \in \mathbb{R}^3$ 表示全局平移量，而 $\boldsymbol{\beta}^h \in \mathbb{R}^{10}$ 则代表手部形状，该值在视频中保持不变。通过 MANO 层（Romero 等人，2017）对估计出的状态 $\mathbf{x}_{1:T}^h$ 进行解码，便可得到手部网格轨迹 $\mathcal{M}_{1:T}^h$。物体状态 $\mathbf{x}_t^o = (\mathbf{R}_t^o, \mathbf{t}_t^o)$ 由其刚体姿态来表示，其中 $\mathbf{R}_t^o \in SO(3)$ 和 $\mathbf{t}_t^o \in \mathbb{R}^3$ 分别对应其旋转和平移量。第 t 帧的物体网格则是通过刚体变换 $\mathcal{M}_t^o = \mathbf{R}_t^o \mathcal{M}^o + \mathbf{t}_t^o$ 得到的。
仅靠轨迹层面的监督并不能保证运动符合物理规律。因此，我们进一步对手部和物体的动力学分别加以约束，同时也要考虑它们相互作用时的物理耦合关系。设 $\hat{x}_{1:T}$ 表示
---
真实轨迹。我们将重建目标表述为
$$ \mathbf{x}_{1:T}^{*}=\arg\min_{\mathbf{x}_{1:T}\in\mathcal{X}}\left[\mathcal{C}_{t}\left(\mathbf{x}_{1:T},\hat{\mathbf{x}}_{1:T}\right)+\lambda_{d}\mathcal{C}_{d}\left(\mathbf{x}_{1:T},\hat{\mathbf{x}}_{1:T}\right)+\lambda_{a}\mathcal{C}_{a}\left(\mathbf{x}_{1:T}^{h},\mathbf{x}_{1:T}^{o}\right)\right], $$
其中，$\mathcal{X}$ 表示允许的轨迹空间。这三个约束涵盖了重建的不同方面：$C_{t}$ 用于强制轨迹对齐，$C_{d}$ 单独约束关节型手部与刚体物体的动力学，而 $C_{a}$ 则约束二者在交互过程中的耦合动力学。权重 $\lambda_{d}$ 和 $\lambda_{a}$ 用于平衡相应的物理约束。公式 2 仅提供了约束的概念性分解；在实际应用中，它们会被具体化为模型的训练目标。
#### 3.2 考虑物理规律的 HOI 重建
图 1 展示了 DYNAMICHOI 的整体框架，该框架由固定的重建估计器和我们设计的可学习的轨迹优化网络组成。具体而言，固定的手部估计器 $\mathcal{E}^{h}$（Potamias 等人，2025）以帧 $I_{t}$ 作为输入，预测手部参数 $\mathbf{y}_{t}^{h}$；而固定的物体估计器 $\mathcal{E}^{o}$（Wen 等人，2024）则以 $I_{t}$ 和物体模板 $\mathcal{M}^{o}$ 作为输入，预测物体参数 $\mathbf{y}_{t}^{o}$，从而得到手部和物体轨迹的初始估计 $\mathbf{y}_{1:T} = (\mathbf{y}_{1:T}^{h}, \mathbf{y}_{1:T}^{o})$。由于这些估计依赖于逐帧的视觉信息，其预测结果可能会出现时间和物理上的不一致性，尤其是在单目视觉模糊或遮挡的情况下。我们通过迭代扩散过程来建模视觉几何证据与物理特性，从而对初始估计进行优化（Zhang 等人，2025b,a；Ismayilzada 等人，2026）。
#### 3.2.1 优化网络
我们将优化过程置于扩散流程（Ho 等人，2020；Peebles 和 Xie，2023）之中，通过迭代去噪来逐步修正时间上的不连贯性。具体来说，给定初始重建结果 $\mathbf{y}_{1:T}$、随机采样的扩散步数 n 以及其他输入，优化网络 $f_{\Theta}$ 通过以下方式估计出时间上一致的轨迹：
$$ \mathbf{x}_{1:T}^{(n)}=f_{\Theta}\left(\mathbf{y}_{1:T};n,I_{1:T},\mathcal{M}^{o}\right). $$
$f_{\Theta}$ 包含前向噪声注入过程和可学习的去噪过程，它通过结合视觉证据、3D 几何信息以及手物依赖建模，逐步优化初始轨迹。在训练阶段，我们首先采样一个扩散步数 n，并通过前向噪声注入过程构造对应的含噪轨迹 $\mathbf{z}_{n,1:T}$：
$$ \begin{array}{r}{\mathbf{z}_{n,1:T}=\hat{\mathbf{x}}_{1:T}+\eta_{n}^{2}\left(\mathbf{y}_{1:T}-\hat{\mathbf{x}}_{1:T}\right)+\eta_{n}\kappa\boldsymbol{\epsilon},}\end{array} $$
其中，$\eta_n$ 用于控制扩散程度，$\kappa$ 决定随机噪声的幅度，而 $\epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ 表示高斯噪声。与 $\mathbf{y}_{1:T}$ 类似，我们将含噪轨迹表示为 $\mathbf{z}_{n,1:T} = \{(\mathbf{z}_{n,t}^h, \mathbf{z}_{n,t}^o)\}_{t=1}^T$，它由含噪手部轨迹 $\mathbf{z}_{n,1:T}^h$ 和含噪物体轨迹 $\mathbf{z}_{n,1:T}^o$ 组成。去噪过程通过以下模块完成：
几何编码。我们在网格空间中进行几何编码，以揭示紧凑状态参数中隐藏的显式3D结构，从而使去噪过程能够推断手部与物体的空间关系以及局部表面几何特征。中间的含噪状态 $\mathbf{z}_{n,1:T}$ 首先通过应用MANO层到手部参数以及物体的刚性变换来转换为网格，随后通过独立的几何编码器将其编码为潜在特征。我们进一步利用时序自注意力层来聚合帧序列中的时序信息，从而生成几何特征序列 $\mathbf{h}_{n,1:T}^{\text{geo}}$ 和 $\mathbf{o}_{n,1:T}^{\text{geo}}$。
视觉对齐。几何特征虽然能捕捉显式的3D结构，但缺乏来自观测视频的外观信息。因此，我们需要用空间上对应的视觉证据来对其进行对齐。具体来说，一个冻结的视觉编码器（Oquab等人，2024年）会从每一帧 $\mathbf{F}_t$ 中提取出Patch级的特征图 $I_t$。为了建立空间对应关系，我们从初始的手部和物体估计值 $\mathbf{y}_t^h$ 和 $\mathbf{y}_t^o$ 中导出3D几何锚点，手部采用MANO关节，物体则采用姿态变换后的规范关键点。这些锚点被投影到图像上，以提取并聚合相应的视觉特征 $\zeta_t^h$ 和 $\zeta_t^o$：
$$ \zeta_{t}^{m}=\frac{1}{|\mathcal{Q}_{t}^{m}|}\sum_{\mathbf{p}\in\mathcal{Q}_{t}^{m}}\mathbf{F}_{t}(\Pi_{t}(\mathbf{p})),\qquad m\in\{h,o\}, $$
其中，$Q_t^h$ 和 $Q_t^o$ 分别表示可见的手部锚点和物体锚点集合，而 $\Pi_t$ 表示相机投影函数。得到的几何对齐视觉特征会通过残差投影与对应的几何特征融合：$\mathbf{h}_{n,t}^{\mathrm{vis}} = \mathbf{h}_{n,t}^{\mathrm{geo}} + \phi^h(\zeta_t^h)$ 和 $\mathbf{o}_{n,t}^{\mathrm{vis}} = \mathbf{o}_{n,t}^{\mathrm{geo}} + \phi^o(\zeta_t^o)$，这里 $\phi^h$ 和 $\phi^o$ 是可学习的投影层。最终生成视觉对齐的特征序列 $\mathbf{h}_{n,1:T}^{\mathrm{vis}}$ 和 $\mathbf{o}_{n,1:T}^{\mathrm{vis}}$。
---
交互建模。尽管手部和物体特征已经经过视觉对齐，但它们仍被分开编码，未能明确捕捉它们之间的相互依赖关系。因此，我们将 $\mathbf{h}_{n,1:T}^{vis}$ 和 $\mathbf{o}_{n,1:T}^{vis}$ 拼接起来，并利用时空自注意力层（Dosovitskiy等人，2021年）对它们进行联合处理，以建模随时间变化的手物交互关系。输出的标记随后根据原始的标记位置被拆分为包含交互信息的手部特征和物体特征，前T个标记构成 $\tilde{\mathbf{h}}_{n,1:T}$，剩余的T个标记构成 $\tilde{\mathbf{o}}_{n,1:T}$。单独的预测头会回归到初始手部和物体状态的残差更新量，即 $\mathbf{x}_{t}^{h,(n)} = \mathbf{y}_{t}^{h} + g^{h}(\tilde{\mathbf{h}}_{n,t})$ 和 $\mathbf{x}_{t}^{o,(n)} = \mathbf{y}_{t}^{o} + g^{o}(\tilde{\mathbf{o}}_{n,t})$，其中 $g^{h}$ 和 $g^{o}$ 是对应的MLP投影层。我们将它们拼接为 $\mathbf{x}_{t}^{(n)} = [\mathbf{x}_{t}^{h,(n)}, \mathbf{x}_{t}^{o,(n)}]$，再在多个帧上汇总，从而得到 $\mathbf{x}_{1:T}^{(n)} = \{\mathbf{x}_{t}^{(n)}\}_{t=1}^{T}$，作为 $f_{\Theta}$ 的输出。
扩散目标。我们在公式2中引入轨迹级约束$\mathcal{C}_t$以及扩散目标$\mathcal{L}_{\text{diff}}$。具体而言，我们训练基于扩散的细化网络$f_\Theta$，以便从不同扩散级别采样的含噪轨迹中恢复出真实轨迹。我们通过以下方式将估计出的轨迹$\mathbf{x}_{1:T}^{(n)}$与真实轨迹$\hat{\mathbf{x}}_{1:T}$进行对齐：
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{d i f f}}=\mathbb{E}_{n,\epsilon}\left[d_{x}\left(\hat{\mathbf{x}}_{1:T},\mathbf{x}_{1:T}^{(n)}\right)\right],}\end{array} $$
其中$d_{x}$用于衡量旋转和平移空间中的轨迹差异。该目标使$f_{\Theta}$能够通过联合视觉-几何表示学习来恢复精确的HOI轨迹。
#### 3.2.2 手与物体的动力学
尽管扩散目标能够实现轨迹重建，但它并未明确考虑产生手和物体运动的底层动力学，这可能导致物理上不合理的行为，比如异常加速度或突然旋转。为了在视觉合理性之外进一步确保物理一致性，我们从轨迹中推导出手和物体的动力学，并将重建运动与真实运动之间的物理量进行对齐。
手部动力学。遵循以往的研究（Zhang等人，2024年；Ismayilzada等人，2026年），我们将人手视为一个多关节物体，并推导产生其运动所需的广义力。16个手部旋转参数$\boldsymbol{\rho}_t^h$被转换为欧拉-ZXY角$\boldsymbol{\phi}_t^h \in \mathbb{R}^{48}$，这些角度对应全局方位以及15个MANO关节。结合全局平移量$\mathbf{t}_t^h$，我们将广义坐标定义为$\mathbf{q}_t^h = [(\mathbf{t}_t^h)^\top, (\boldsymbol{\phi}_t^h)^\top]^\top \in \mathbb{R}^{51}$。我们利用相邻帧之间的时间有限差分来估算广义速度$\dot{\mathbf{q}}_t^h$和加速度$\ddot{\mathbf{q}}_t^h$。基于这些运动学量，通过逆动力学可求出相应的广义力：
$$ \pmb{\tau}_{t}^{h}=M^{h}(\mathbf{q}_{t}^{h})\ddot{\mathbf{q}}_{t}^{h}+C^{h}(\mathbf{q}_{t}^{h},\dot{\mathbf{q}}_{t}^{h})\dot{\mathbf{q}}_{t}^{h}+\mathbf{g}_{\mathrm{g r a v}}^{h}(\mathbf{q}_{t}^{h}), $$
其中$M^h$、$C^h$和$\mathbf{g}_{\text{grav}}^h$分别表示手部质量矩阵、科里奥利力和离心项以及重力项。将公式7应用于整个帧序列，即可得到广义力轨迹$\{\boldsymbol{\tau}_t^h\}_{t=1}^T$，它揭示了驱动手部运动所需的动力学要求。
物体动力学。我们将牛顿-欧拉公式（Luh等人，1980年；Khalil，2011年；Hu等人，2022年；Lutter，2023年）——这一机器人学和刚体控制中用于逆动力学的基本框架——引入HOI重建过程，从而将物体运动与其底层物理需求相关联。具体而言，如第3.1节所述，我们将物体建模为一个具有位姿$\mathbf{x}_t^o = (\mathbf{R}_t^o, \mathbf{t}_t^o)$的刚体。我们根据平移轨迹$\mathbf{a}_t^o$计算出其质心的线性加速度$\{\mathbf{t}_t^o\}_{t=1}^T$，并利用相邻帧之间的时间有限差分从旋转轨迹$\omega_t^o$中推导出其角速度$\dot{\omega}_t^o$和角加速度$\{\mathbf{R}_t^o\}_{t=1}^T$。产生这种运动所需的物理作用力便由物体力矩来表示：
$$ \mathbf{w}_{t}^{o}=\left[\begin{matrix}{\mathbf{f}_{t}^{o}}\\ {\mathbf{\tau}_{t}^{o}}\\ \end{matrix}\right]=\left[\begin{matrix}{m^{o}(\mathbf{a}_{t}^{o}-\mathbf{g})}\\ {\mathbf{I}_{t}^{o}\dot{\mathbf{\omega}}_{t}^{o}+\mathbf{\omega}_{t}^{o}\times(\mathbf{I}_{t}^{o}\mathbf{\omega}_{t}^{o})}\\ \end{matrix}\right], $$
其中，$\mathbf{f}_t^o$ 和 $\mathbf{f}_t^o$ 分别表示驱动物体平动和转动所需的非引力外部力和力矩。$\mathbf{g}$ 代表重力加速度，$\mathbf{I}_t^o$ 是世界坐标系中的惯性张量，而 $m^o$ 则表示物体的质量。如果数据集中提供了物体质量信息，我们就直接使用；否则，我们会借助大型语言模型（OpenAI，2026）来估算该数值。这种表述方式将物体姿态轨迹与其受力情况 $\{\mathbf{w}_t^o\}_{t=1}^T$ 相对应，从而提供了基于动力学的物体运动特征描述。更多的理论与实现细节详见补充材料。
动力学目标。上文推导出的手部广义力和物体受力情况为运动提供了动力学层面的描述。我们通过将方程2中的动力学约束 $C_d$ 实例化，使重建轨迹所蕴含的力学量与真实轨迹对应的力学量保持一致。对于时间步t，我们根据预测轨迹计算出扩散步骤n时的手部广义力和物体受力 $(\boldsymbol{\tau}_t^{h,(n)},\mathbf{w}_t^{o,(n)})$，
---
Figure 2: Coupled HOI dynamics. The bottom-right plot shows the empirical distribution of standardized active actuation $z = (a_{t,d} - \mu_d) / \sigma_d$ for an example DoF. The logarithmic density axis highlights the heavy-tailed behavior, which is empirically better captured by the Student-t distribution than the Gaussian distribution.
以及来自真实轨迹的 $(\hat{\tau}_{t}^{h}, \hat{\mathbf{w}}_{t}^{o})$。由此得到的动力学目标为
$$ \mathcal{L}_{\mathrm{d y n}}=\sum_{t=1}^{T}\left\|\boldsymbol{\tau}_{t}^{h,(n)}-\hat{\boldsymbol{\tau}}_{t}^{h}\right\|_{2}^{2}+\sum_{t=1}^{T}\left\|\mathbf{w}_{t}^{o,(n)}-\hat{\mathbf{w}}_{t}^{o}\right\|_{2}^{2}. $$
这一目标通过强制运动背后的力学量保持一致，对扩散监督起到补充作用，从而避免出现动力学上不一致的轨迹。
### 3.2.3 耦合的HOI动力学
即便单独来看手部和物体的动力学是合理的，它们之间仍可能存在矛盾，因为符合物理规律的HOI要求同一种相互作用能够解释两者的运动（Hu等人，2022；Nakajima等人，2022）。主动手部驱动提供了一种联合的物理描述方式，它既考虑了产生手部运动所需的广义力，也考虑了驱动物体运动的作用力。因此，我们利用它来耦合动力学，并借助概率先验（Tanghe等人，2019）对其进行正则化，以促使关节运动符合物理规律。
为了恢复主动手部驱动，我们首先推断手部施加在物体上的接触力，用以驱动物体运动。由于我们关注的是空中操控场景，此时物体主要由手部接触驱动，因此我们并不显式建模桌面支撑等外部因素。我们用手部网格上的 $K = 6$ 锚点来近似分布式的接触，这些锚点包括五个指尖和掌心中心。根据时间步t的接触几何形状，我们推断出 $\mathbf{f}_t \in \mathbb{R}^{3K}$，其综合效果可解释物体受力 $\mathbf{w}_t^o$。这些接触力通过 $\mathcal{J}_{c,t}^T \mathbf{f}_t$ 映射到手部的广义坐标上，再与手部运动所需的广义力 $\boldsymbol{\tau}_t^h$ 相结合，便得到了主动手部驱动 $\mathbf{a}_t \in \mathbb{R}^{51}$：
$$ \mathbf{a}_{t}=\boldsymbol{\tau}_{t}^{h}+\boldsymbol{J}_{c,t}^{\top}\mathbf{f}_{t}, $$
该驱动机制同时考虑了手部和物体运动背后的物理做功，从而耦合了两者的动力学。关于接触力推断的更多细节详见补充材料。
我们假设，日常物体操作中的手部受力通常都处在特定范围内，因此主动驱动应遵循一种结构化的分布，而非随意变化。我们根据基于真实训练轨迹计算出的逐帧驱动数据来估计这种分布。如图2所示，大多数样本集中在狭窄范围内，而在提起或释放物体等动态交互过程中偶尔会出现较大的数值，从而形成符合学生t分布特征的厚尾分布。据此，我们在公式2中通过为每个自由度拟合独立的学生t分布，并利用其负对数似然来惩罚不可能的驱动情况，从而实例化耦合动力学约束$C_a$。对于参数为$d \in \{1, \ldots, 51\}$的坐标$(\mu_d, \sigma_d, \nu_d)$，主动驱动目标函数为：
$$ \mathcal{L}_{\mathrm{a c t}}=\sum_{t,d}\alpha_{t}\hat{c}_{t}\left[\log\sigma_{d}+\frac{\nu_{d}+1}{2}\log\left(1+\frac{(a_{t,d}-\mu_{d})^{2}}{\nu_{d}\sigma_{d}^{2}}\right)\right], $$
---
其中$a_{t,d}$是$\mathbf{a}_t$的第d个自由度，$\hat{c}_t \in \{0,1\}$表示手部与物体的真实接触情况，而$\alpha_t$则用于强调动态活跃的帧。由于$\mathbf{a}_t$同时受手部运动、物体运动和接触几何形状的影响，该目标函数不仅提供了关于它们耦合动力学的学习先验，还能容忍合理的高驱动事件。
## 3.3 训练目标与推理
我们采用端到端方式联合优化三个目标函数来训练模型，其定义如下：
$$ \mathcal{L}=\mathcal{L}_{\mathrm{d i f f}}+\lambda_{\mathrm{d}}\mathcal{L}_{\mathrm{d y n}}+\lambda_{\mathrm{a}}\mathcal{L}_{\mathrm{a c t}}, $$
其中$\mathcal{L}_{\mathrm{diff}}$用于监督轨迹重建，$\mathcal{L}_{\mathrm{dyn}}$用于约束单个手部和物体的动力学，而$\mathcal{L}_{\mathrm{act}}$则通过接触关系进一步强制实现它们的耦合力学特性。这三个目标共同实现了公式2中所表述的问题，从而促使重建出的轨迹既在几何上精确又在物理上一致。这些物理量仅在训练阶段进行计算，因此不会给推理过程带来额外的计算开销。
### 4 实验
### 4.1 实验设置
数据集与协议。我们的实验使用了以人眼视角拍摄的视频数据集HOT3D（Banerjee等人，2025年），以及两个以物体为中心视角拍摄的视频数据集HO3D-v2（Hampali等人，2020年）和DexYCB（Chao等人，2021年）。对于HOT3D数据集，我们采用Aria视频划分方式（Ye等人，2026年），使用1,311个训练片段和147个评估片段，每个片段包含150帧。对于HO3D-v2数据集，我们采用官方划分方式，包括55个训练序列和13个评估序列（共11,524帧）。对于DexYCB数据集，我们遵循官方协议，将每个摄像头视角视为一个片段，从而得到6,400个训练片段、320个验证片段和1,280个测试片段。
评估指标。在手部重建方面，HOT3D数据集报告了W-MPJPE（W；厘米）、WA-MPJPE（WA；厘米）、PA-MPJPE（PA；毫米）、RTE（%）以及ACCEL（毫米/帧²），其中W和WA分别利用前两帧和整个序列来对轨迹进行对齐。HO3D-v2数据集则报告关节和顶点的PA-MPJPE值（PA/PA-V；毫米），以及相应的AUC/AUC-V（单位为[^0] [^1]）、F@5/F@15和ACCEL（毫米/帧²）。DexYCB数据集则报告手腕相对MPJPE、PA-MPJPE（PA；毫米）、AUC（单位为[^0] [^1]）以及ACCEL（毫米/帧²）。物体姿态则通过阈值分别为0.1/0.3米时的ADD(-S) AUC（%）、0.1d召回率（%）、ACCEL（毫米/帧²）以及5°/5厘米的成功率（%）来评估。更多评估与实现细节详见补充材料。
### 4.2 实验结果分析
模型对比。我们将DYNAMICHOI与现有的重建方法进行比较，包括WiLoR（Potamias等人，2025年）、FoundationPose（Wen等人，2024年）、HaWoR（Zhang等人，2025a）、WHOLE（Ye等人，2026年）、AMVUR（Jiang等人，2023年）、HaMeR（Pavlakos等人，2024年）、Hamba（Dong等人，2024年）、Deformer（Fu等人，2023年）以及PAD-Hand（Ismayilzada等人，2026年）。表1显示，DYNAMICHOI在大多数指标上均取得了最佳性能，同时还能持续改善输入的手部和物体估计结果。在以自我为中心的HOT3D数据集上，性能提升尤为显著，这表明我们的模型在视角移动的情况下仍能保持有效性。重要的是，对物体动态的建模并将其与手部动态相耦合，不仅能改善物体重建效果，还能优化手部运动。在DexYCB数据集上，DYNAMICHOI的表现优于专门建模手部动态的PAD-Hand，这一结果表明：通过物理交互，物体动态为手部重建提供了补充性约束。这种优势还体现在所有数据集中手部与物体的加速度误差（ACCEL）降低上，说明我们提出的物理约束不仅提升了轨迹精度，还增强了手-物运动的动力学一致性。
模块消融实验。如表2所示，在手部重建方面，移除视觉定位模块会对以自我为中心的HOT3D数据集造成最大的性能下降，这说明几何对齐的视觉证据对于修正移动摄像头下的轨迹尤为重要。相比之下，交互模块的影响较小，因为密集的手-物协同运动已能被时间细化机制捕捉到。在固定视角的HO3D数据集上，移除交互模块会导致最大的性能下降，由于存在持续遮挡和部分可见性问题，显式的手-物运动耦合显得更为重要，而在摄像头稳定的情况下，几何编码的重要性则相对较低。在HOT3D数据集的物体重建方面，交互模块的影响力最大，这表明手部运动为恢复物体姿态提供了强约束；几何编码的影响较小，因为刚体物体的结构本身已被较好保留，其余两个模块才是解析其姿态变化的主要线索。
损失消融实验。如表3所示，加入$\mathcal{L}_{\mathrm{dyn}}$（第2行与第4行对比）能显著改善HOT3D数据集上的手部与物体重建效果，这证实了显式约束其动力学关系的益处。对比最后两行数据可进一步发现，
---
Table 1: Comparison on HOT3D, HO3D-v2, and DexYCB datasets. Bold /underline denote the best / second-best reconstruction methods. † denotes our reproduction, and unmarked values are their paper-reported. “-” denotes metrics that are either inapplicable to the method or unavailable due to missing reports and unreleased code.
(a) Hand-object reconstruction on HOT3D dataset.
| Method | Hand | Object |
| W $\downarrow$ | WA $\downarrow$ | PA $\downarrow$ | ACCEL $\downarrow$ | RTE $\downarrow$ | ADD@.1 $\uparrow$ | ADD@.3 $\uparrow$ | ADD-S@.1 $\uparrow$ | ADD-S@.3 $\uparrow$ | 0.1d $\uparrow$ | ACCEL $\downarrow$ | 5°5cm $\uparrow$ |
| Input estimates (y) |
| WiLoR $^{\dagger}$ | 11.74 | 3.70 | 6.52 | 16.22 | 75.16 | - | - | - | - | - | - | - |
| FoundationPose $^{\dagger}$ | - | - | - | - | - | 12.8 | 38.9 | 25.3 | 52.8 | 6.5 | 70.15 | 6.7 |
| Reconstruction methods |
| HaWoR $^{\dagger}$ | 11.73 | 3.92 | 8.38 | 12.90 | 73.69 | - | - | - | - | - | - | - |
| WHOLE | 10.41 | 3.26 | 6.67 | - | - | - | 51.1 | - | 69.9 | - | - | - |
| DYNAMICHOI | 5.26 | 1.83 | 4.15 | 1.68 | 73.49 | 25.8 | 65.4 | 48.2 | 78.4 | 7.1 | 5.57 | 9.8 |
(b) Hand reconstruction on HO3D-v2 dataset.
| Method | PA $\downarrow$ | AUC $\uparrow$ | PA-V $\downarrow$ | AUC-V $\uparrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ | ACCEL $\downarrow$ |
| Input estimates (y) |
| WiLoR $\dagger$ | 7.67 | 0.847 | 7.66 | 0.846 | 0.647 | 0.984 | 4.12 |
| Reconstruction methods |
| AMVUR | 8.30 | 0.835 | 8.20 | 0.836 | 0.608 | 0.965 | - |
| HaMeR | 7.70 | 0.846 | 7.90 | 0.841 | 0.635 | 0.980 | - |
| Hamba | 7.50 | 0.850 | 7.70 | 0.846 | 0.648 | 0.982 | - |
| DYNAMICHOI | 7.45 | 0.851 | 7.49 | 0.850 | 0.656 | 0.985 | 2.77 |
(c) Hand reconstruction on DexYCB dataset.
| Method | MPJPE $\downarrow$ | PA $\downarrow$ | AUC $\uparrow$ | ACCEL $\downarrow$ |
| Input estimates (y) |
| WiLoR $^{\dagger}$ | 11.52 | 5.33 | 0.893 | 6.88 |
| Reconstruction methods |
| Deformer | 13.64 | 5.22 | - | 6.77 |
| HaWoR $^{\dagger}$ | 11.09 | 5.32 | 0.894 | 3.88 |
| PAD-Hand | 10.56 | 4.63 | - | 3.34 |
| DYNAMICHOI | 9.51 | 4.68 | 0.906 | 3.27 |
Table 2: Module ablation. $\underline{\text{Bold /underline}}$ denote the best / second-best configurations.
(a) Ablations for hand-object reconstruction on the HOT3D dataset.
| Model | Hand | Object |
| W $\downarrow$ | WA $\downarrow$ | PA $\downarrow$ | ACCEL $\downarrow$ | ADD@0.1 $\uparrow$ | ADD-S@0.1 $\uparrow$ | 0.1d $\uparrow$ | 5°5cm $\uparrow$ |
| w/o Geometric | 5.83 | 1.92 | 4.33 | $\underline{1.71}$ | $\underline{24.4}$ | $\underline{46.0}$ | 7.1 | $\underline{9.5}$ |
| w/o Grounding | 6.65 | 2.40 | 4.45 | 1.74 | 21.5 | 43.0 | 5.3 | 8.1 |
| w/o Interaction | $\underline{5.72}$ | $\underline{1.90}$ | $\underline{4.24}$ | 1.73 | 21.2 | 40.0 | $\underline{5.5}$ | 8.0 |
| Full model | 5.26 | 1.83 | 4.15 | 1.68 | 25.8 | 48.2 | 7.1 | 9.8 |
(b) Ablations for hand reconstruction on the HO3D dataset.
| Model | PA $\downarrow$ | PA-V $\downarrow$ | F@5 $\uparrow$ |
| w/o Geometric | 7.52 | 7.51 | 0.655 |
| w/o Grounding | 7.55 | 7.51 | 0.654 |
| w/o Interaction | 7.59 | 7.52 | 0.654 |
| Full model | 7.45 | 7.49 | 0.656 |
$\mathcal{L}_{act}$虽带来的提升幅度较小，但效果稳定。我们将这种有限的改进部分归因于视频内容的高度差异性，以及欧拉-拉格朗日方程和牛顿-欧拉方程在力估计上的误差，这些误差可能会传导至推断出的驱动分布中。更精确的力估计与驱动建模仍是未来值得探索的方向。在固定视角的HO3D数据集上，两类物理损失带来的提升较为有限，这表明动力学监督对以眼为中心的重建任务尤为有益——在该任务中，相机运动与轨迹模糊性使得纯视觉约束不足以满足需求。
驱动分布。如表4所示，我们通过每个有效训练坐标的平均NLL以及PA/ADD@0.1重建指标来比较驱动先验。可以观察到，不合适的先验会降低重建效果：高斯先验在去除$\mathcal{L}_{act}$后的表现较差，这印证了推断出的驱动具有重尾特性。为每个自由度单独拟合$\nu_d$，其性能始终优于固定的$\nu$学生t分布先验，并能取得最佳的整体性能。值得注意的是，更好的似然拟合并不一定意味着更好的重建效果：尽管$\nu = 2$的NLL值低于$\nu = 10$，但其在物体重建方面的表现却更差，这表明仅凭似然拟合无法决定先验作为重建约束的有效性。
## 4.3 下游应用
除了重建任务外，我们还评估了来自DYNAMICHOI的物理感知手部轨迹是否有助于下游具身任务。对于灵巧操作任务，我们遵循ViViDex（Chen等人，2025年）的方法，将在DexYCB数据集上重建的轨迹重新用于机器人策略学习。对于以自我为中心的世界建模任务，我们遵循EgoHOI（Li等人，2026年）的方法，使用在HOT3D数据集上重建的轨迹作为手部动作条件。在这两类任务中，只有输入的手部轨迹会因重建方法的不同而有所差异，其余组件均保持不变。我们使用在相应数据集上训练的模型所生成的重建轨迹，无需针对特定任务进行重新训练。
---
Table 3: Loss ablation. $\underline{\text{Bold /underline}}$ denote the best / second-best configurations.
(a) Ablations for hand-object reconstruction on the HOT3D dataset.
| Training objective | Hand | Object |
| $\mathcal{L}_{diff}$ | $\mathcal{L}_{dyn}$ | $\mathcal{L}_{act}$ | W $\downarrow$ | WA $\downarrow$ | PA $\downarrow$ | ACCEL $\downarrow$ | ADD@0.1 $\uparrow$ | ADD-S@0.1 $\uparrow$ | 0.1d $\uparrow$ |
| ✓ | | | 8.27 | 2.82 | 5.16 | 6.10 | 17.8 | 33.6 | 4.7 |
| ✓ | | ✓ | 7.77 | 2.31 | 5.06 | 5.01 | 20.0 | 37.9 | 5.3 |
| ✓ | ✓ | | 6.12 | 1.91 | 4.22 | 2.78 | 24.9 | 47.4 | 6.7 |
| ✓ | ✓ | ✓ | 5.26 | 1.83 | 4.15 | 1.68 | 25.8 | 48.2 | 7.1 |
(b) Ablations for hand on HO3D.
| Training objective | Hand |
| $\mathcal{L}_{\text{diff}}$ | $\mathcal{L}_{\text{dyn}}$ | $\mathcal{L}_{\text{act}}$ | PA $\downarrow$ | PA-V $\downarrow$ | F@5 $\uparrow$ |
| ✓ | | | 7.55 | 7.59 | 0.650 |
| ✓ | | ✓ | 7.48 | 7.50 | 0.651 |
| ✓ | ✓ | | 7.46 | 7.50 | 0.651 |
| ✓ | ✓ | ✓ | 7.45 | 7.49 | 0.656 |
Figure 3: Visualization for reconstruction.
灵巧操作任务方面，我们评估了八个未参与训练的DexYCB物品搬运任务，针对每种物品和轨迹来源分别训练一个PPO策略（Schulman等人，2017年），且每项任务评估100个情节。如图4a所示，下游任务的成功率是衡量重建质量的任务级指标。重建精度相近的方法（如WiLoR和HaWoR，见表1c）也表现出相似的成功率。相比之下，DYNAMICHOI相比WiLoR将MPJPE降低了17.4%，且在具身学习中这一优势更为明显，成功率从25.0%提升至74.9%。这表明，当这些轨迹被用于机器人学习时，物理一致性更高的手部重建所带来的提升会更加显著。
在以自我为中心的世界建模任务中，我们评估了动作保真度和生成的手部外观。mLPIPS用于衡量GT手部区域内的感知相似性，而MPJPE则用于衡量生成手部的运动学精度。图4b显示，在所有指标上DYNAMICHOI在各类重建动作源中表现最佳。由于EgoHOI的生成过程是以与图像像素对齐的逐帧MANO渲染结果为条件，因此更精确的轨迹能为手部出现的位置和方式提供更好的空间指引。由此可见，改进的重建不仅能产生更逼真的生成运动，还能提升手部区域的视觉质量。
以眼为中心的世界建模。我们评估了动作保真度与生成的手部外观质量。mLPIPS用于衡量生成手部区域与真实值的感知相似度，MPJPE则用于评估生成手部的运动学精度。图4b显示，在所有指标上DYNAMICHOI的表现均优于其他重建动作源。由于EgoHOI的生成过程依赖于与图像像素对齐的逐帧MANO渲染结果，更精准的轨迹能为手部的出现位置与形态提供更好的空间指引。因此，重建效果的改善不仅带来了更逼真的生成动作，也提升了手部区域的视觉质量。
---
Table 4: Ablation of different distribution choices for modeling active hand actuation on HOT3D dataset.
| Distribution | NLL $\downarrow$ | PA $\downarrow$ | ADD@.1 $\uparrow$ |
| w/o $\mathcal{L}_{act}$ | - | 4.22 | 24.9 |
| Gaussian | -0.39 | 4.54 | 24.2 |
| Laplace | -0.11 | 4.17 | 24.9 |
| Cauchy ( $\nu=1$) | -1.45 | 4.20 | 24.7 |
| Student-t distributions |
| Fixed $\nu=10$ | -0.70 | 4.17 | 25.6 |
| Fixed $\nu=5$ | -0.96 | 4.16 | 25.2 |
| Fixed $\nu=2$ | -1.15 | 4.16 | 25.3 |
| Fitted $\nu_{d}$ | -1.59 | 4.15 | 25.8 |
(a) Dexterous manipulation.
(b) Egocentric video generation.
Figure 4: Downstream applications with different hand-trajectory sources.
## 5 结论
我们提出了DYNAMICHOI，这是一个物理感知的HOI重建框架，它结合了基于几何的轨迹优化与耦合的手部-物体动力学。我们对手部和刚体物体的动力学进行建模，并通过接触关系将它们耦合起来，同时利用学习到的概率先验来描述手部的主动驱动。在自我中心和外部中心数据集上的实验表明，该框架能提升重建效果；而在灵巧操作和以自我为中心的世界建模任务中的下游收益，则体现了物理一致性更高的HOI轨迹的更广泛价值。未来的工作将致力于实现更精确的力估计、更丰富的驱动先验，以及能够超越已知模板网格、适用于未见物体的统一物体表示。
## 参考文献
Ahmed Tawfik Aboukhadra、Marcel Rogge、Nadia Robertini、Abdalla Arafa、Jameel Malik、Ahmed Elhayek和Didier Stricker。GHOST：利用高斯泼溅技术从RGB视频中快速实现类别无关的手部-物体交互重建。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，2026年。
Prithviraj Banerjee、Sindi Shkodrani、Pierre Moulon、Shreyas Hampali、Shangchen Han、Fan Zhang、Linguang Zhang、Jade Fountain、Edward Miller、Selen Basol、Richard Newcombe、Robert Wang、Jakob Julian Engel和Tomas Hodan。HOT3D：基于双目多视角视频的3D手部与物体跟踪技术。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）》，2025年。
Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S. Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield、Jan Kautz和Dieter Fox。DexYCB：用于捕捉手部抓取物体的基准测试。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）》，2021年。
Yuantao Chen、Jiahao Chang、Chongjie Ye、Chaoran Zhang、Zhaojie Fang、Chenghong Li和Xiaoguang Han。ForeHOI：从日常手部-物体交互视频中快速进行3D物体重建。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）》，第8868–8879页，2026年。
Zerui Chen、Yana Hasson、Cordelia Schmid和Ivan Laptev。AlignSDF：用于手部-物体重建的姿态对齐有向距离场。载于《欧洲计算机视觉会议（ECCV）》，2022年。
Zerui Chen、Shizhe Chen、Etienne Arlaud、Ivan Laptev和Cordelia Schmid。ViViDex：从人类视频中学习基于视觉的灵巧操作技术。载于《IEEE国际机器人与自动化会议（ICRA）》，2025年。
---
Haoye Dong、Aviral Chharia、Wenbo Gou、Francisco Vicente Carrasco和Fernando D De la Torre。Hamba：基于图引导的双扫描Mamba模型的单视图3D手部重建技术。《神经信息处理系统进展》第37卷：2127–2160页，2024年。
Alexey Dosovitskiy、Lucas Beyer、Alexander Kolesnikov、Dirk Weissenborn、Xiaohua Zhai、Thomas Unterthiner、Mostafa Dehghani、Matthias Minderer、Georg Heigold、Sylvain Gelly、Jakob Uszkoreit和Neil Houlsby。一张图片相当于16×16个词：大规模图像识别的Transformer模型。载于《国际学习表征会议》，2021年。网址：。
Zicong Fan、Maria Parelli、Maria Eleni Kadoglou、Muhammed Kocabas、Xu Chen、Michael J. Black和Otmar Hilliges。HOLD：从视频中实现类别无关的交互式手部与物体3D重建技术。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）》，2024年。
Qi Feng、Hubert PH Shum和Shigeo Morishima。结合深度学习与模型优化技术解决混合现实中的手部-物体遮挡问题。《计算机动画与虚拟世界》第31卷第4-5期：e1956页，2020年。
Hongming Fu、Wenjia Wang、Xiaozhen Qiao、Rolandos Alexandros Potamias、Taku Komura、Shuo Yang、Zheng Liu和Bo Zhao。EgoGrasp：基于第一人称视频的世界空间手部-物体交互估计技术，2026年。
Qichen Fu、Xingyu Liu、Ran Xu、Juan Carlos Niebles和Kris M Kitani。Deformer：用于鲁棒手部姿态估计的动态融合Transformer模型。载于《2023 IEEE/CVF国际计算机视觉会议（ICCV）》，第23543–23554页。IEEE出版社，2023年。
Patrick Grady、唐成成、Christopher D. Twigg、Minh Vo、Samarth Brahmbhatt和Charles C. Kemp。ContactOpt：优化接触以提升抓取效果。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，2021年。
Shreyas Hampali、Mahdi Rad、Markus Oberweger和Vincent Lepetit。Honnotate：一种用于手部与物体姿态的3D标注方法。载于2020年IEEE/CVF计算机视觉与模式识别会议（CVPR），第3193–3203页。IEEE出版社，2020年。
Yana Hasson、Gul Varol、Dimitrios Tzionas、Igor Kalevatykh、Michael J. Black、Ivan Laptev和Cordelia Schmid。学习手部与被操纵物体的联合重建。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，第11807–11816页，2019年。
Jonathan Ho、Ajay Jain和Pieter Abbeel。去噪扩散概率模型。载于第34届神经信息处理系统国际会议（NIPS '20）论文集，美国纽约州红钩市，2020年。Curran Associates Inc.出版。ISBN：。
胡浩宇、易欣雨、张浩、雍俊海和徐峰。物理交互：利用物理原理重建手-物交互过程。载于SIGGRAPH Asia 2022会议论文集。计算机协会，2022年。doi: 10.1145/3550469.3555421。
黄迪、季晓鹏、何星毅、孙佳明、何彤、舒青、欧阳万里和周晓伟。从单目视频中重建手持物体。载于ACM SIGGRAPH Asia会议论文集，2022年。
Elkhan Ismayilzada、张宇飞和崔子君。PAD-Hand：用于手部运动恢复的物理感知扩散模型。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，2026年。
蒋哲恒、Hossein Rahmani、Sue Black和Bryan M Williams。一种基于概率注意力模型且具备遮挡感知纹理回归功能的单RGB图像3D手部重建方法。载于2023年IEEE/CVF计算机视觉与模式识别会议（CVPR），第758–768页。IEEE出版社，2023年。
Wisama Khalil。利用牛顿-欧拉公式对机器人进行动态建模。载于《控制、自动化与机器人领域信息学：2010年国际控制、自动化与机器人信息学会议精选修订论文集》，第3–20页。Springer出版社，2011年。
李大友、刘璐琳、刘邦亚、周世杰、冯久、陆子琪、郑明辉、尤晨宇和范志文。用于照片级真实感手-物交互合成的以自我为中心的世界模型，2026年。
John YS Luh、Michael W Walker和Richard PC Paul。机械 Manipulator的在线计算方案。《动态系统、测量与控制杂志》，102(2)：69–76，1980年6月。ISSN 0022-0434。doi: 10.1115/1.3149599。URL：。
罗浩文、刘云泽和李立。物理感知的手-物交互去噪技术。载于2024年IEEE/CVF计算机视觉与模式识别会议（CVPR），第2341–2350页，美国加利福尼亚州洛斯阿拉米托斯，2024年6月。IEEE计算机协会。doi: 10.1109/CVPR52733.2024.00227。URL：。
Michael Lutter。一种用于现实世界机器人的可微牛顿-欧拉算法。载于《机器学习在机器人与控制领域的归纳偏差》一书，第9–34页。Springer出版社，2023年。
---
中岛贵之、浅见悠希、远藤由衣、多田光则和小栗直道。基于肌肉努力最小化原理，预测人体手部在解剖学与生物力学上可行的精细抓握姿势。《科学报告》，12(1)：13247，2022年。
OpenAI. GPT-5.6：与你雄心相匹配的前沿智能。，2026年7月。该模型系列于2026年7月9日发布。访问日期：2026年8月17日。
Maxime Oquab、Timothée Darcet、Théo Moutakanni、Huy V. Vo、Marc Szafraniec、Vasil Khalidov、Pierre Fernandez、Daniel HAZIZA、Francisco Massa、Alaaeldin El-Nouby、Mido Assran、Nicolas Ballas、Wojciech Galuba、Russell Howes、Po-Yao Huang、Shang-Wen Li、Ishan Misra、Michael Rabbat、Vasu Sharma、Gabriel Synnaeve、Hu Xu、Herve Jegou、Julien Mairal、Patrick Labatut、Armand Joulin和Piotr Bojanowski。DINOv2：无需监督即可学习鲁棒的视觉特征。《机器学习研究交易》，2024年。ISSN 2835-8856。网址：。获特色认证。
Georgios Pavlakos、Dandan Shan、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Jitendra Malik。利用Transformer重建三维手部模型。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，2024年。
William Peebles和Saining Xie。基于Transformer的可扩展扩散模型。载于《2023年IEEE/CVF国际计算机视觉会议（ICCV）》，第4172–4182页。IEEE出版社，2023年。
Rolandos Alexandros Potamias、Jinglei Zhang、Jiankang Deng和Stefanos Zafeiriou。WiLoR：在复杂场景下实现端到端的三维手部定位与重建。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，2025年。
Yuzhe Qin、Yueh-Hua Wu、Shaowei Liu、Hanwen Jiang、Ruihan Yang、Yang Fu和Xiaolong Wang。DexMV：从人类视频中学习灵巧操作策略。载于《欧洲计算机视觉会议（ECCV）》，2022年。
Javier Romero、Dimitrios Tzionas和Michael J. Black。具身化手部模型：同步建模与捕捉手部与身体。ACM图形学交易，36(6)：245:1–245:17，2017年。
John Schulman、Filip Wolski、Prafulla Dhariwal、Alec Radford和Oleg Klimov。近端策略优化算法。arXiv预印本arXiv:1707.06347，2017年。
Kevin Tanghe、Maarten Afschrift、Ilse Jonkers、Friedl De Groote、Joris De Schutter和Erwin Aertbiliën。一种在无法测量地面反作用力时估算步态动力学的概率方法。《生物力学杂志》，第96卷：109327页，2019年。
Shibo Wang、Haonan He、Maria Parelli、Christoph Gebhardt、Zicong Fan和Jie Song。MagicHOI：利用三维先验从短单目视频片段中精准重建手物交互模型。载于《IEEE/CVF国际计算机视觉会议（ICCV）论文集》，2025年。
Zikai Wang、Zhilu Zhang、Yiqing Wang、Hui Li和Wangmeng Zuo。ArtHOI：利用基础模型实现单目下手部与物体交互的4D重建。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，2026年。
Bowen Wen、Wei Yang、Jan Kautz和Stan Birchfield。FoundationPose：新型物体的统一六维姿态估计与跟踪。载于《IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集》，2024年。
Yufei Ye、Poorvi Hebbar、Abhinav Gupta和Shubham Tulsiani。基于扩散模型引导的日常手物交互片段重建。载于《IEEE/CVF国际计算机视觉会议（ICCV）论文集》，2023年。
Yufei Ye、Jiaman Li、Ryan Rong和C. Karen Liu。WHOLE：从第一人称视频中提取以世界为基准的手物交互模型。CVPR Findings，2026年。
虞正迪、Stefanos Zafeiriou和Tolga Birdal。Dyn-HaMR：从动态摄像头恢复4D交互手部运动。收录于2025年IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。
张景雷、邓建康、马超和Rolandos Alexandros Potamias。HaWoR：从第一人称视角视频中重建世界坐标系下的手部运动。收录于2025年IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集。
张宇飞、Jeffrey O. Kephart、崔子君和季强。Physpt：一种用于从单目视频估计人体动态的具备物理感知能力的预训练Transformer模型。收录于2024年IEEE/CVF计算机视觉与模式识别会议（CVPR），第2305–2317页。IEEE出版社，2024年。
张宇飞、崔子君、Jeffrey O. Kephart和季强。基于扩散模型的3D手部运动恢复技术，结合直观的物理规律。收录于2025年IEEE/CVF国际计算机视觉会议（ICCV），第7306–7317页。IEEE出版社，2025年。
---
周康乐、陈晨、马越、冷志颖、Hubert PH Shum、Frederick WB Li和梁晓辉。一种用于在模拟微重力环境中进行手物交互的混合现实训练系统。收录于2023年IEEE混合与增强现实国际研讨会（ISMAR），第167–176页。IEEE出版社，2023年。