# 基于扩散模型的3D手部运动恢复与直观物理规律应用

张宇飞 $^{1}$，崔子君 $^{2}$，Jeffrey O. Kephart $^{3}$，季强 $^{1}$

$^{1}$伦斯勒理工学院，$^{2}$密歇根州立大学，$^{3}$IBM研究院

<mailto:yufeizhang96@outlook.com>, <mailto:cuizijun@msu.edu>, <mailto:kephart@us.ibm.com>, <mailto:jiq@rpi.edu>

## 摘要

尽管基于单目图像的3D手部重建已取得显著进展，但从视频中生成准确且时间连贯的运动估计仍颇具挑战性，尤其是在手部与物体交互的场景中。在本文中，我们提出了一种新颖的3D手部运动恢复框架，该框架通过基于扩散模型且融入物理规律的 motion refinement 模型来优化基于图像的重建结果。我们的模型能够捕捉以初始运动估计为条件的精细化运动估计的分布，通过迭代去噪过程生成更优的运动序列。我们并未依赖稀缺的标注视频数据，仅使用运动捕捉数据即可训练模型。我们识别出了手部与物体交互过程中的重要直观物理规律，包括关键运动状态及其对应的运动约束；我们有效地将这些物理认知整合到扩散模型中以提升其性能。大量实验表明，我们的方法显著优化了各类逐帧重建算法，在现有基准测试中取得了最先进的性能。

### 1. 引言

从单个RGB摄像头重建3D手部及其运动，在虚拟/增强现实（VR/AR）[^3] [^20]、机器人灵巧操控[^47]等领域有着广泛的应用。虽然深度学习在单图像手部重建方面取得了令人瞩目的成果[^24] [^35] [^36] [^54] [^66] [^83]，但从视频序列中生成时间连贯的手部运动仍面临诸多挑战。这一挑战在手部与物体交互的场景中尤为突出，此类场景下往往会出现严重的遮挡现象。如图1所示，即便是目前领先的逐帧3D手部重建方法，当手部被所操控的物体或外部物体部分遮挡时（标记为红色），也会产生质量较差的预测结果。

为了提升模型的鲁棒性并实现连贯的运动恢复，利用时间信息的基于视频的方法提供了有前景的解决方案。传统方法需要基于标注的视频序列进行训练，

<div style="text-align: center;">Input Video Sequence</div>

![Image](images/206d440c1b68f20713944cfe0ae9e55c1f03d6013977f1521226ab0d95446a56.jpg)

<div style="text-align: center;">Figure 1. Motivation for Temporal Dependency Modeling. The example testing sequence (top) is from DexYCB [^7]. The 3D hand reconstructions are generated by the leading frame-wise reconstruction method HaMer [^44] (bottom left) and our method (bottom right). The 3D hand reconstructions are color-coded from light to dark across consecutive frames (left to right).</div>

而这类视频序列相比单帧标注数据要稀缺得多，收集成本也更高。在数据标注方面，手部与物体交互场景的要求更为严苛：由于物体操控方式多样，所需的标注工作量进一步增加。因此，尽管基于视频的方法在保持时间连贯性方面具有优势，但其在逐帧重建精度上仍未达到最先进的基于图像的方法的水平[^14] [^16] [^31]。

为了解决视频数据稀缺的问题，近期的研究[^4] [^40] [^62] [^75] [^78]提出仅利用3D运动数据来训练运动优化模型。这些模型能够将基于图像的方法得到的初始3D手部重建结果$\mathbf{y}_{1:T}$优化为时间上连贯的序列$\mathbf{x}_{1:T}$。然而，这种策略存在两个根本性局限：(1)其确定性特性使其无法捕捉基于图像的估计中所固有的不确定性，从而限制了其生成更精确重建结果的潜力；(2)它们主要聚焦于特定类型的手-物体交互，忽略了支配高效手-环境交互的一般物理原理。

---

实现高效的手部与环境的交互。

在本研究中，我们通过引入一种用于手部运动优化的物理增强型条件扩散模型来解决这些局限。该模型能够同时(1)通过扩散模型捕捉初始逐帧估计中的不确定性，(2)融入直观物理原理，从而在物体交互过程中生成自然的手部动态效果。具体而言，我们并非构建从$\mathbf{y}_{1:T}$到$\mathbf{x}_{1:T}$的确定性映射，而是对其条件概率分布进行建模$p(\mathbf{x}_{1:T}|\mathbf{y}_{1:T})$。由于手部运动复杂且基于图像的估计存在多种噪声，这一分布可能十分复杂。受近期扩散模型进展的启发[^25] [^52]，我们开发了基于扩散的框架来捕捉这一复杂分布，并通过迭代去噪将含噪的运动估计转化为更符合物理规律的优化结果。此外，我们从关于直观物理的研究中汲取灵感，这些研究揭示了手在物体交互过程中在物理世界中的优雅行为[^5] [^51] [^77]。基于这些见解，我们确定了手-物体交互中的四种基本状态：伸手、稳定抓取、操控和释放，每种状态都涉及独特的运动模式和物理约束，以确保自然的手-物体交互。我们将这些特定状态的约束明确纳入扩散模型中，以提升其生成符合物理规律且自然的手部运动的能力。通过将扩散建模与直观物理原理相结合，我们仅利用动作捕捉数据来训练模型。训练完成后，该模型可直接与任何现有的逐帧重建方法集成，以优化3D手部运动的恢复效果。

总而言之，我们的主要贡献如下：

- 我们提出了一种基于条件扩散的新型手部运动恢复框架，该框架能够捕捉初始运动估计的不确定性，并通过迭代去噪生成优化的运动估计。

- 我们识别出了手部动力学的关键直观知识，并将其有效融入扩散模型中，以增强其动态建模能力。

- 通过大量实验，我们验证了该方法的有效性，并证明其与现有的运动优化及基于视频的重建方法相比具有最先进的性能。

### 2. 相关工作

基于图像的3D手部重建。近年来，得益于深度学习的发展，从图像中重建3D手部模型的技术取得了快速进步。在完全监督的方法中，人们提出了多种策略来提高重建精度，包括利用先验3D手部模型[^1] [^43] [^74]以及用于捕捉空间依赖关系的模型设计[9, 11, 19, 27, 35, 41, 44–46, 71, 79, 80]。此外，一些方法针对特定挑战展开研究，例如手部与物体的交互作用[^23] [^57] [^63] [^64] [^67] [^68]，或是相互交互的手部模型的重建[^33] [^49] [^61] [^70] [^73] [^84]。为了减少对昂贵的3D标注数据的依赖，一些方法进一步探索了弱监督学习[^2] [^6] [^8] [^10] [^17] [^30] [^42] [^48] [^53] [^58] [^76]。不过，当前基于图像的方法往往会产生不切实际的运动估计结果，尤其是在图像条件较差的情况下。解决这些问题的一个有前景的方向是从视频序列中重建3D手部模型，下文将对此进行阐述。

基于视频的3D手部重建。对于给定视频，一些方法侧重于通过复杂的时间模型提取时间上一致的特征[^12] [^16]。这些方法严重依赖标注好的视频序列进行训练，但由于其依赖于专门的动作捕捉系统，这类数据在可用性和多样性方面存在先天局限。因此，它们逐帧重建的精度往往不及最先进的基于图像的方法[^75]。为解决数据稀缺问题，另一些方法提出利用自然场景视频进行训练，同时引入光度一致性[^24]或运动平滑性约束[^15] [^29] [^36] [^65] [^82]，从而无需3D标注即可实现连续帧间的连贯3D重建。与这些特征提取方法不同，PoseBERT[^4]通过利用经过随机输入扰动和掩码处理的Transformer[^59]训练，实现了更优的性能。训练完成后，它可直接用于优化基于图像的预测结果。不过，PoseBERT主要是确定性的、数据驱动的方法。我们的工作推进了这一优化范式，具体做法是显式地对初始估计中的不确定性进行建模，同时有效融入直观的物理知识，以改进手部动力学建模。

总而言之，我们的工作通过以下关键贡献区别于现有方法：首先，我们提出了一种基于条件扩散模型的新型视频手部运动恢复框架。虽然扩散模型已被应用于基于图像的3D手部重建[^34]以及特定物体的手部可操作性行为建模[^37]，但我们针对手部运动优化问题构建了条件扩散模型。其次，受近期利用直观物理知识进行3D人体重建的成功经验启发[^56] [^60]，我们利用手部运动中的直观物理知识，并将其整合到扩散模型中，以增强其捕捉真实手部动态的能力。与现有模型所采用的特定物体建模[^22] [^40] [^78] [^81]或肌肉动力学建模[^62]不同，我们的直观物理建模方法能够学习人类对自然手部运动及其与物理世界交互的直观理解。

### 3. 方法

图2展示了从视频帧序列中重建3D手部运动的所提方法概览。我们的方法始于逐帧重建模型，该模型会生成每帧的3D手部形态，具体细节见第3.1节。不过，逐帧重建模型在捕捉时间依赖性方面存在局限，从而导致不真实的运动估计结果。因此，我们提出了一种新颖的运动优化模型，它结合了条件扩散模型与手部直观物理知识，以生成更精确的运动估计。基于扩散的优化框架细节将在第3.2节中介绍，第3.3节则会探讨直观物理知识在手部运动中的作用，以及这些知识是如何被整合进扩散模型的。

---

![Image](images/7bdae579ac6c1deb8f0a6b84de2f01f07c497c4397e5651f5bd2747f72215216.jpg)

<div style="text-align: center;">Figure 2. Overview of the Proposed Method. Given a sequence of hand image frames  $I_{1:T}$ with sequence length T, the frame-wise reconstruction model produces initial estimates of 3D hands for every frame  $y_{1:T}$. Then, the proposed motion refinement model, based on conditional diffusion and incorporated with intuitive physics, generates improved 3D hand motion estimates  $x_{1:T}$.</div>

手部形态，具体细节见第3.1节。逐帧重建模型在捕捉时间依赖性方面可能存在不足，进而产生不真实的运动估计结果。因此，我们提出了一种新颖的运动优化模型，该模型结合了条件扩散模型与手部直观物理知识，以生成更精准的运动估计。基于扩散的优化框架细节将在第3.2节中阐述，第3.3节则会讨论直观物理知识在手部运动中的作用，以及这些知识是如何被整合进扩散模型的。

#### 3.1. 逐帧重建模型

逐帧重建模型以T个视频帧为输入，输出每帧对应的3D手部形态。我们的流程对具体的逐帧重建方法并无特殊要求。尽管以往的研究探索了多种框架以在不同基准测试中取得最优性能，但大多数方法都依赖于广泛使用的3D手部表示形式——MANO[^50]。因此，我们将逐帧重建模型定义为估算MANO参数的模型。

MANO使用3D网格来表示手部表面$\mathbf{M}(\theta, \beta) \in \mathbb{R}^{778 \times 3}$，其中$\theta \in \mathbb{R}^{15 \times 3}$和$\beta \in \mathbb{R}^{10}$分别表示姿态参数和形状参数。此外，3D手部关节$\mathbf{P}(\theta, \beta) \in \mathbb{R}^{J \times 3}$可以通过$\mathbf{P}(\theta, \beta) = \mathbf{H}\mathbf{M}(\theta, \beta)$由网格顶点线性组合得到，这里$\mathbf{H} \in \mathbb{R}^{J \times 778}$是从数据中学习得到的关节回归器，$J = 21$则表示建模的手部关节数量。采用MANO作为3D手部表示后，我们使用成熟的方法为输入视频序列中的每一帧估算手部姿态和形状参数$\theta_{1:T}$和$\beta_{1:T}$。有了这些初始的3D手部形态估计结果$y_{1:T} = (\theta_{1:T}, \beta_{1:T})$之后，我们提出的运动优化模型便会生成更优的运动估计，具体细节将在下一节中介绍。

#### 3.2. 基于扩散的运动优化

基于初始的3D手部重建结果，记为 $\mathbf{y}_{1:T}$，现有方法 [^4] [^75] 采用Transformer [^59] 来直接学习从 $\mathbf{y}_{1:T}$ 到精细化运动估计值 $\mathbf{x}_{1:T}$ 的确定性映射，这一过程利用3D手部运动捕捉数据。然而，这些初始估计值 $\mathbf{y}_{1:T}$ 可能会存在各种问题，比如运动抖动或因遮挡导致的重建质量下降。我们并未采用学习确定性映射的方式，而是对条件分布 $p(\mathbf{x}_{1:T}|\mathbf{y}_{1:T})$ 进行建模。具体而言，受近期扩散模型 [^25] [^52] 在捕捉复杂分布方面取得的成功启发，我们采用基于扩散的框架来表示数据分布 $q(\mathbf{x}_{1:T}|\mathbf{y}_{1:T})$。具体来说，如同 [^52] [^72] 的做法一样，我们构建了连接初始估计值 $\mathbf{y}_{1:T}$ 与精细化估计值 $\mathbf{x}_{1:T}$ 的正向与反向扩散过程，具体细节将在后续章节中阐述。

正向扩散过程。我们将 $\mathbf{y}_{1:T}$ 定义为观测到的初始运动估计值，将 $\mathbf{x}_{1:T}$ 定义为训练阶段得到的、经过精细化处理的干净手部运动数据。正向过程会通过N个扩散步骤，逐步向 $\mathbf{x}_{1:T}$ 添加高斯噪声，使其转变为 $\mathbf{y}_{1:T}$。具体而言，初始运动估计值与精细化运动估计值之间的残差记为 $\mathbf{e}_{1:T} = \mathbf{y}_{1:T} - \mathbf{x}_{1:T}$。任意正向扩散步骤n对应的边际分布可表示为：

 $$ \begin{array}{r}{q(\mathbf{x}_{1:T}^{n}|\mathbf{x}_{1:T},\mathbf{y}_{1:T})\sim\mathcal{N}(\mathbf{x}_{1:T}+\eta_{n}\mathbf{e}_{1:T},\kappa^{2}\eta_{n}\mathbf{I}),}\end{array} $$

其中 $\kappa$ 是控制噪声方差的超参数，$\mathbf{I}$ 是与 $\mathbf{x}_{1:T}^n$ 尺寸相同的单位矩阵，$\{\eta_t\}_{t=1}^T$ 是预先定义的偏移序列，该序列随步骤n的增加而单调递增，且满足 $\eta_1 \to 0$ 和 $\eta_N \to 1$。关于边际分布的详细推导以及偏移序列的构建方式，请参阅 [^72]。如公式1所示，正向扩散过程在步骤0时始于以 $\mathbf{x}_{1:T}$ 为中心的狄拉克δ分布。该过程会逐渐加入 $\mathbf{e}_{1:T}$ 并注入随机噪声，最终在扩散步骤N时收敛为边际分布 $\mathcal{N}(\mathbf{y}_{1:T}, \kappa^2\mathbf{I})$。通过这种设定，我们建立了一种正向扩散过程：它利用残差作为加噪方向，逐步将真实运动转化为初始运动估计值，同时引入高斯噪声。接下来我们将描述反向扩散过程，该过程会将初始运动估计值去噪还原为真实运动。

反向扩散过程。反向扩散过程用于刻画后验分布：

 $$ p(\mathbf{x}_{1:T}|\mathbf{y}_{1:T})=\int p(\mathbf{x}_{1:T},\mathbf{x}_{1:T}^{1:N}|\mathbf{y}_{1:T})\mathrm{d}\mathbf{x}_{1:T}^{1:N}, $$

---

![Image](images/69b87c9cc3158733f00a2d53305d21276f84be164b591477099a3d5152ab9b38.jpg)

<div style="text-align: center;">Figure 3. Illustration of the Reverse Diffusion Framework. The framework operates iteratively, where at step n, it processes the initial motion estimates $\mathbf{y}_{1:T}$ and the current sample $\mathbf{x}_{1:T}^n$ to generate the estimated clean motion $\hat{\mathbf{x}}_{1:T} = f\mathbf{w}(\mathbf{x}_{1:T}^n, \mathbf{y}_{1:T}, n)$. This estimation is achieved through a hybrid architecture combining MeshCNN and Transformer to capture spatial-temporal dependencies, along with an MLP for encoding diffusion step information. The estimated clean motion $\hat{\mathbf{x}}_{1:T}^n$ then parameterizes the transition distribution $p\mathbf{w}(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^n, \mathbf{y}_{1:T})$, enabling the generation of refined motion at step $n-1$ through sampling. The process concludes at $n=1$, producing the final refined motion $\mathbf{x}_{1:T}$.</div>

其中

 $$ \begin{array}{r}{p(\mathbf{x}_{1:T}^{0:N}|\mathbf{y}_{1:T})=p(\mathbf{x}_{1:T}^{N}|\mathbf{y}_{1:T})\prod_{n=1}^{N}p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T}),}\end{array} $$

为简化表述，此处用 $\mathbf{x}_{1:T}^{0} = \mathbf{x}_{1:T}$ 表示。在公式3中，$p(\mathbf{x}_{1:T}^{N}|\mathbf{y}_{1:T}) \approx \mathcal{N}(\mathbf{y}_{1:T}, \kappa^{2}I)$ 即是以 $\mathbf{y}_{1:T}$ 为中心的多变量高斯分布。$p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^{n}, \mathbf{y}_{1:T})$ 代表学习得到的分布，其参数为 $\mathbf{W}$，用于近似描述数据分布 $q(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^{n}, \mathbf{x}_{1:T}, \mathbf{y}_{1:T})$。给定 $p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{y}_{1:T}^{n}, \mathbf{y}_{1:T})$，我们可以将 $\mathbf{x}_{1:T}^{n}$ 转换为 $\mathbf{x}_{1:T}^{n-1}$，进而通过从 $\mathbf{x}_{1:T}$ 向 $\mathbf{y}_{1:T}$ 迭代去噪采样，从初始估计值 $\mathbf{y}_{1:T}$ 推断出精细化运动 $\mathbf{x}_{1:T}$。接下来我们将介绍用于在反向扩散过程中捕捉逆转换分布 $p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{y}_{1:T}^{n}, \mathbf{y}_{1:T})$ 的框架。

为了捕捉$p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T})$，以往的方法要么侧重于预测过渡噪声[^25]，要么直接估计最终的干净状态[^32] [^55]。受近期人手扩散模型取得成功的启发[^55]，我们采用了后一种方法。如图3所示，我们的框架以初始运动估计$\mathbf{y}_{1:T}$以及扩散步骤n时的精细化估计$\mathbf{x}_{1:T}^{n}$作为输入，输出用于参数化过渡分布$\hat{\mathbf{x}}_{1:T} = f_{\mathbf{W}}(\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T},n)$的估计干净运动$p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T})$。随后我们通过从$\mathbf{x}_{1:T}^{n-1}$中采样生成$p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T})$，并在$\mathbf{x}_{1:T} = \hat{\mathbf{x}}_{1:T}$时得到最终精细化的运动估计$n = 1$。

我们的反向扩散框架的核心是一个Transformer架构[^59]，它能够有效捕捉运动序列中的时间依赖关系。对于每个时间帧的特征嵌入，我们首先对姿态和形状参数应用正向运动学，从而得到初始运动和精细化运动的3D手部网格，分别记为$M_{1:T}^{y}$和$M_{2:T}^{n}$。接着采用网格卷积神经网络（MeshCNN）[^9]来捕捉3D手部几何结构内的空间依赖关系。此外，我们使用多层感知机（MLP）对扩散步骤n进行编码。这些输入特征结合时间位置编码后，由Transformer处理以通过自回归预测生成干净的运动估计$\hat{x}_{1:T}$。具体而言，时间步$t + 1$的预测结果取决于输入数据以及从时间步1到t的历史预测值。

为了训练我们的框架，给定$\mathbf{y}_{1:T}$以及从$\mathbf{x}_{1:T}$中抽取的样本$q(\mathbf{x}_{1:T}|\mathbf{y}_{1:T})$，我们最小化：

 $$ \begin{array}{r}{\mathcal{L}_{d a t a}=\mathbb{E}_{n\sim[1,N]}\left\|\mathbf{x}_{1:T}-f_{\mathbf{W}}(\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T},n)\right\|^{2},}\end{array} $$

其中$\mathbf{W}$表示我们反向扩散框架中的可学习参数。公式4是扩散模型训练中广为采用的优化目标[^55]。虽然这种方法效果显著，但这种训练策略完全依赖数据驱动，并未考虑人类在不同场景下高效运动的方式。为此，我们引入了人手运动的直观物理规律来提升模型性能，具体细节将在下一节中阐述。

#### 3.3. 利用直观物理规律改进手部动力学建模

人类双手基于对场景的直观理解与外界互动，经过多年练习后能以极高的效率和精确度移动。在本节中，我们研究了人手运动中的直观物理规律，并提出了将这类知识融入扩散模型以提升其性能的有效方法。

人手运动物理规律的识别。手部运动大致可分为两种情景：自由运动和与外部物体的交互。尽管手-物交互本身更为复杂，但它仍遵循由直观物理规律所决定的基本原则。如图4所示，物体交互过程中的手部运动通常经历几个明确的阶段。起初，手从静止或自由运动状态直接朝向物体移动，不会出现不必要的偏移。接触物体后，手会抓住它并将其保持在稳定的姿势。在操控过程中，手

---

![Image](images/68b65e2cd0e75868e7a89755c8b6d83e312cf051d161573a26b32b4d7fa81aad.jpg)

<div style="text-align: center;">Figure 4. Illustration of Key Hand Motion States. Each state is defined by its contact condition and temporal change in hand-object distance ( $d(t)$). The contact status indicates whether the hand is touching the object, while distance changes reflect the temporal evolution of hand-object separation. The images are from HO3D [^21]. The solid arrow describes the state transition for this example video sequence, while the dashed arrow indicates possible transitions among the four motion states.</div>

会根据物体的不同状态发生显著的姿势变化。最后，操控完成后，手会释放物体并回到自由运动状态。

基于这些观察结果，我们将手部动作分为四种基本状态：伸展、稳定抓取、操作和释放。如图4所示，每种状态均由接触条件以及手与物体间距离的时间变化来定义。以这些动作状态为基础，我们进一步确定了两种表征高效且逼真手部动作的基本物理约束。具体而言，在伸展和释放过程中，手部运动遵循动力学约束：手部会沿最小努力的轨迹朝向或远离物体移动；而在稳定抓取时，手部则遵循稳定性约束：手指基本保持静止。

所推导出的直觉物理规则为手部运动提供了直观的约束，但难以通过计算方法加以捕捉[^18]。我们在第4节中的实验也揭示了现有3D手部重建模型在落实这些原则时的局限性。为解决这一问题，我们将这些认知融入扩散模型中，以优化动力学建模，具体细节将在后续章节中详述。

将直觉物理与扩散模型相融合。为使模型能够学习特定状态下的动力学规律，我们的方法首先为3D运动数据添加运动状态标注。具体而言，我们为所有训练序列标注运动状态，并改进基于扩散的细化模型，使其能预测每一帧的运动状态，记为$\hat{c}_{1:T}$。我们引入一个损失项，用于最小化预测状态与标注状态之间的差异：

 $$ \begin{array}{r}{\mathcal{L}_{s t a t e}=\frac{1}{T}\sum_{t=1}^{T}C E(c_{t},\hat{c}_{t}),}\end{array} $$

其中$CE(\cdot,\cdot)$表示利用每一时间帧的预测运动状态与标注运动状态计算得到的交叉熵损失$\hat{c}_t$和$c_t$。通过将运动状态融入扩散模型，状态建模可作为自回归预测中预测未来运动及状态的条件变量，如图3上部所示。由于预测状态$\hat{c}_t$是离散的独热编码，我们采用Gumbel-Softmax层[^26]来实现可微训练。

针对动力学约束，我们引入了最小动力学运动约束，该约束鼓励手部沿直达目标位置的路径移动，同时减少不必要的偏移，其公式如下：

 $$ \begin{array}{r}{\mathcal{L}_{k i n e t i c s}=\frac{1}{|\mathcal{C}_{r}|}\sum_{t,t+1,t+2\in\mathcal{C}_{r}}\operatorname*{m a x}(0,\phi(\boldsymbol{\theta}_{t},\boldsymbol{\theta}_{t+1},\boldsymbol{\theta}_{t+2})),}\end{array} $$

其中$C_r$表示属于伸展或释放状态的帧索引集合，其大小为$|\mathcal{C}_r|$；$\phi(\boldsymbol{\theta}_t, \boldsymbol{\theta}_{t+1}, \boldsymbol{\theta}_{t+2}) = -\mathrm{sign}(\boldsymbol{\theta}_t - \boldsymbol{\theta}_{t+1})(\boldsymbol{\theta}_{t+2} - \boldsymbol{\theta}_{t+3})$用于衡量手部姿态的方向变化，用以判断运动在连续三帧中是否保持同一方向或发生反转$t, t+1, t+2$。该损失函数促使预测的手部轨迹在伸展和释放状态下遵循最小努力路径。

此外，我们将稳定性约束表述为：

 $$ \mathcal{L}_{s t a b i l i t y}=\frac{1}{|\mathcal{C}_{g}|}\sum_{t,t+1\in\mathcal{C}_{g}}\left\|\boldsymbol{\theta}_{f,t}-\boldsymbol{\theta}_{f,t+1}\right\|_{2}^{2}, $$

其中$C_g$表示属于稳定抓取状态的帧索引集合，其大小为$|\mathcal{C}_g|$；t和$t + 1$为相邻帧，$\|\cdot\|_2^2$表示平方L2范数，$\theta_{f,t}$代表某一时间帧下的手指关节姿态（不包括根关节）。该损失函数会对稳定抓取期间的手部姿态变化进行惩罚。

#### 3.4. 整体模型训练与推理

将数据驱动项与基于直觉物理的损失相结合，我们定义了总体训练目标：

 $$ \mathcal{L}_{t o t a l}=\mathcal{L}_{d a t a}+\lambda_{1}\mathcal{L}_{s t a t e}+\lambda_{2}\mathcal{L}_{k i n e t i c}+\lambda_{3}\mathcal{L}_{s t a b i l i t y} $$

训练过程中，我们遵循[^4]和[^75]的方法，使用随机扰动后的真实运动数据作为初始运动估计，从而使我们的模型能够基于任意帧级重建方法优化预测结果。在附录A中，我们展示了将该方法应用于特定帧级重建方法时更为显著的性能提升。推理阶段，给定任意帧级预测模型提供的初始估计后，我们会从公式3所定义的后验分布中采样，以迭代生成更精细的运动预测。详细的训练和推理流程分别详见算法1和算法2。

---

```pseudo
// Algorithm 1: Model Training

Require: $\eta_{1:N}$: diffusion noise scheduling; $\kappa$: noise variance level; $q(\mathbf{x}_{1:T},\mathbf{y}_{1:T})$: data distribution

1: repeat

2: Sample $(\mathbf{x}_{1:T},\mathbf{y}_{1:T})$ from $q(\mathbf{x}_{1:T},\mathbf{y}_{1:T})$

3: Compute diffused data at step n (Equation 1) $\epsilon \sim \mathcal{N}(\mathbf{0},\mathbf{I})$

```

$\mathbf{e}_{1:T} = \mathbf{y}_{1:T} - \mathbf{x}_{1:T}$

$\mathbf{x}_{1:T}^{n} = \mathbf{x}_{1:T} + \eta_{n}\mathbf{e}_{1:T} + \kappa\sqrt{\eta_{n}}\epsilon$

4：对$\nabla_{\mathbf{W}}\mathcal{L}_{total}$（公式8）执行梯度更新操作

5：直至收敛

```pseudo
// Algorithm 2: Model Inference

Require: $\eta_{1:N}$: diffusion noise scheduling; $\kappa$: noise variance level; $f_{\mathbf{W}}(\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T},n)$: trained denoising model; $\mathbf{y}_{1:T}$: initial motion estimates

1: $\mathbf{x}_{1:T}^{N} \sim \mathcal{N}(\mathbf{y}_{1:T},\kappa\mathbf{I})$

2: for all n from N to 1 do

3: Estimate the inverse transition distribution $p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T})$ via $\hat{\mathbf{x}}_{1:T} = f_{\mathbf{W}}(\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T},n)$

4: Sample $\mathbf{x}_{1:T}^{n-1}$ from $p_{\mathbf{W}}(\mathbf{x}_{1:T}^{n-1}|\mathbf{x}_{1:T}^{n},\mathbf{y}_{1:T})$

5: end for

6: $\mathbf{x}_{1:T} = \mathbf{x}_{1:T}^{0}$

```

### 4. 实验

在本节中，我们验证了所提出的物理增强型扩散基运动优化模型的有效性。我们首先在第4.1节概述评估方案，包括所用数据集、评估指标以及实现细节。接着，在第4.2节将我们的方法与最先进（SOTA）方法进行比较，以展示其更优的性能。最后，我们在第4.3节给出消融研究结果，分析模型各组成部分的贡献。

#### 4.1. 数据集、指标与实现细节

数据集。我们的实验采用广泛应用的DexYCB [^7]和HO3Dv2 [^21]数据集。这两个数据集均包含捕捉手物交互的多视角数据，且往往存在较多遮挡情况。为了与其他研究进行公平比较，我们遵循DexYCB的标准训练与测试划分方式。我们直接在HO3Dv2上测试在DexYCB上训练的模型，无需微调，这一设置比现有方法更具挑战性。

评估指标。遵循以往研究方法[^7]、[^29]、[^44]、[^76]的协议，我们评估3D重建误差（Rec. Error）和物理合理性（Phys. Plausibility）。Rec. Error包括Procrustes对齐前后预测3D手部关节位置与真实位置之间的平均欧几里得距离（MJE/P-MJE）。Phys. Plausibility则涉及预测值与真实值之间的平均差异。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">Rec. Error</td><td colspan="3">Phys. Plausibility</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MJE</td><td style='text-align: center; word-wrap: break-word;'>P-MJE</td><td style='text-align: center; word-wrap: break-word;'>ACCL</td><td style='text-align: center; word-wrap: break-word;'>KIN</td><td style='text-align: center; word-wrap: break-word;'>STA</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A: K-Hand [^76]</td><td style='text-align: center; word-wrap: break-word;'>24.4</td><td style='text-align: center; word-wrap: break-word;'>5.8</td><td style='text-align: center; word-wrap: break-word;'>14.41</td><td style='text-align: center; word-wrap: break-word;'>23.24</td><td style='text-align: center; word-wrap: break-word;'>1.68</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>B: HaMer [^44]</td><td style='text-align: center; word-wrap: break-word;'>18.9</td><td style='text-align: center; word-wrap: break-word;'>4.4</td><td style='text-align: center; word-wrap: break-word;'>7.95</td><td style='text-align: center; word-wrap: break-word;'>22.49</td><td style='text-align: center; word-wrap: break-word;'>1.08</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A + PoseBERT [^4]</td><td style='text-align: center; word-wrap: break-word;'>22.1/22.3</td><td style='text-align: center; word-wrap: break-word;'>6.0/5.5</td><td style='text-align: center; word-wrap: break-word;'>2.96/3.33</td><td style='text-align: center; word-wrap: break-word;'>0.73/-</td><td style='text-align: center; word-wrap: break-word;'>0.00/-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>B + PoseBERT [^4]</td><td style='text-align: center; word-wrap: break-word;'>18.4/18.0</td><td style='text-align: center; word-wrap: break-word;'>5.0/4.4</td><td style='text-align: center; word-wrap: break-word;'>2.71/2.38</td><td style='text-align: center; word-wrap: break-word;'>0.67/-</td><td style='text-align: center; word-wrap: break-word;'>0.00/-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A + Ours</td><td style='text-align: center; word-wrap: break-word;'>21.5</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>1.17</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>B + Ours</td><td style='text-align: center; word-wrap: break-word;'>17.5</td><td style='text-align: center; word-wrap: break-word;'>4.1</td><td style='text-align: center; word-wrap: break-word;'>1.01</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr></table>

<div style="text-align: center;">Table 1. Comparison with SOTA Motion Refinement on Different Frame-wise Reconstruction Models. The evaluation is conducted on the DexYCB dataset. We compare our method against the SOTA motion refinement baseline PoseBERT on two frame-wise reconstruction models: (A) K-Hand and (B) HaMer. Results of PoseBERT ( $\cdot$/ $\cdot$) represent its two versions refining joint angles/positions. For all the values, the smaller, the better.</div>

预测加速度ACCL（单位为毫米/帧的加速度误差$^{2}$）。我们还计算了公式6所定义的最小动能约束的违反程度（KIN，单位为度）以及公式7所定义的稳定性约束的违反程度（STA，单位为度）。在HO3Dv2的评估中，我们按照既定评估体系[^21]报告网格顶点重建误差（P-MVE），以及误差低于5毫米和15毫米的比例（F@5和F@15）。

实现方式：在模型架构方面，Transformer主干网络由标准的编码器和解码器层组成，共4层，8个注意力头，嵌入维度为512。MeshCNN包含4层，其特征维度分别为[^32]、[^64]、[^64]、[^64]。与大多数现有方法一致，输入序列长度为16。在数据预处理阶段，我们采用高斯滤波器对数据进行平滑处理，以减少数据采集过程中引入的无关噪声的影响。在模型训练方面，我们使用AdamW [^39]优化器，初始学习率为$10^{-4}$，每经过5个训练周期学习率会乘以0.8进行衰减。超参数经经验设定为：$\lambda_1 = 50$、$\lambda_2 = 5e^2$和$\lambda_3 = 1e^3$。我们还引入了[^55]中使用的几何损失函数，以促使模型准确预测几何位置；同时采用[^28]中的轨迹一致性损失，以减轻扩散过程中的误差累积问题。

#### 4.2. 与SOTA方法的比较

在本节中，我们首先展示该方法应用于不同逐帧重建方法时，相较于SOTA运动细化模型所取得的一致性提升；随后展示我们在性能上相对于现有基于视频的3D手部重建方法的优势。

与SOTA运动细化方法的比较：与我们方法最相关的工作是PoseBERT，这是一种领先的运动细化模型……

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>P-MJE</td><td style='text-align: center; word-wrap: break-word;'>P-MVE</td><td style='text-align: center; word-wrap: break-word;'>F@5</td><td style='text-align: center; word-wrap: break-word;'>F@15</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMer [^44]</td><td style='text-align: center; word-wrap: break-word;'>8.1</td><td style='text-align: center; word-wrap: break-word;'>8.6</td><td style='text-align: center; word-wrap: break-word;'>58.0</td><td style='text-align: center; word-wrap: break-word;'>97.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^29]</td><td style='text-align: center; word-wrap: break-word;'>9.9</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>52.6</td><td style='text-align: center; word-wrap: break-word;'>95.5</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^12]</td><td style='text-align: center; word-wrap: break-word;'>11.4</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>46.3</td><td style='text-align: center; word-wrap: break-word;'>93.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TempCLR [^82]</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>48.1</td><td style='text-align: center; word-wrap: break-word;'>93.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformer [^16]</td><td style='text-align: center; word-wrap: break-word;'>9.4</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>54.6</td><td style='text-align: center; word-wrap: break-word;'>96.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours $^{{*}}$</td><td style='text-align: center; word-wrap: break-word;'>8.0</td><td style='text-align: center; word-wrap: break-word;'>8.3</td><td style='text-align: center; word-wrap: break-word;'>59.7</td><td style='text-align: center; word-wrap: break-word;'>97.6</td></tr></table>

<div style="text-align: center;">Table 2. Comparison with SOTA Video-based Reconstruction. The evaluation is on HO3Dv2. The frame-wise reconstruction we use is HaMer. Results of other methods are obtained from published papers [^16]. * denotes a zero-shot setting where our method is not trained on HO3Dv2. Lower values are better for P-MJE and P-MVE, while higher values are better for F@5 and F@15.</div>

ing 运动细化模型，该模型采用 Transformer 编码器，并使用随机输入掩码和噪声扰动进行训练。我们在两个广泛使用的逐帧重建模型——KNOWN-Hand (K-Hand) 和 HaMer——上，将我们基于物理增强扩散的运动细化模型与 PoseBERT 进行了比较。K-Hand 利用通用手部知识，而 HaMer 依赖大规模手部数据来实现良好的重建精度。虽然 PoseBERT 和我们的方法都能在这些逐帧重建的基础上有所改进，但如表 1 所示，我们的方法在所有指标上都取得了更显著的提升，无论是在重建精度还是在物理合理性方面。具体来说，在对 K-Hand（24.4 mm MJE）进行细化时，我们的方法达到了 21.7 mm MJE，优于 PoseBERT 的 22.3 mm MJE；在 18.0 mm MJE 时，我们达到 17.5 mm MJE，优于 PoseBERT 的 18.0 mm MJE。物理合理性方面的提升更加显著。我们将 ACCL 值分别降低到 1.30 mm/frame $^{2}$ 和 1.18 mm/frame $^{2}$，而 K-Hand 为 14.41 mm/frame $^{2}$，HaMer 为 7.95 mm/frame $^{2}$，大幅超越了 PoseBERT 的 3.33 和 2.38 mm/frame $^{2}$ 的改进。跨不同逐帧模型的一致性改进证明了我们方法在利用扩散建模和直观物理来增强运动细化方面的有效性。接下来，我们将展示我们在从单目视频进行 3D 手部重建方面相对于现有方法的优势。

与SOTA基于视频的方法的比较：现有的从单目视频重建3D手部运动的方法通常需要基于标注好的视频序列进行训练，由于此类数据较为稀缺，限制了它们的性能。相比之下，我们的方法仅利用3D运动数据，就能有效借助扩散模型和物理原理实现更优的性能。将我们的模型应用于领先的逐帧重建模型之上，可得到最佳的3D手部重建效果……

<div style="text-align: center;">(a) Reconstruction Accuracy</div>

![Image](images/0d52a9e03890c8e568281196029b2a8146993e65acf6c96d33e4b10f0a6ac566.jpg)

<div style="text-align: center;">Figure 5. Qualitative Evaluation. The test sequences are from HO3Dv2, with the video frames presented in causal time order from left to right. The hand reconstructions are from the ground truth (GT, gray), the leading frame-wise reconstruction model (HaMer, orange), the leading motion refinement model (PoseBERT, lime), and our method (Ours, green). The red boxes mark degraded reconstructions from HaMer and PoseBERT. (a) shows comparisons with GT across time frames  $t_{1}$ to  $t_{4}$. (b) illustrates motion consistency, where lighter colors indicate later frames. Additionally, we highlight our advantages in handling stable grasping sequences through more qualitative evaluations in Appendix C.</div>

从视频中获取结构信息。如表2所示，我们的方法在HO3Dv2数据集上的表现显著优于现有的基于视频的方法，在所有指标上均取得了最佳结果（P-MJE：8.0毫米，P-MVE：8.3毫米，F@5：59.7%，F@15：97.6%）。值得注意的是，我们并未在HO3Dv2数据集上训练，仅依靠DexYCB数据集就实现了这些提升，这凸显了我们提出的物理增强扩散模型在手部运动优化方面的泛化能力。我们在附录B中进一步展示了该模型在复杂的双手与物体交互数据上的稳定改进效果。

定性评估。为了进一步验证我们的方法，我们在图5中提供了定性评估结果。我们的方法在重建精度和物理合理性方面均明显优于当前最先进的3D手部重建与运动优化模型。在图5(a)所示的瓶子抓取测试序列中，逐帧重建模型HaMer生成的3D手部构型存在误差，

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Model</td><td colspan="3">Physics Losses</td><td colspan="2">Rec. Error</td><td colspan="3">Phys. Plausibility</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Prob.</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{state}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{kin}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{sta}$</td><td style='text-align: center; word-wrap: break-word;'>MJE</td><td style='text-align: center; word-wrap: break-word;'>P-MJE</td><td style='text-align: center; word-wrap: break-word;'>ACCL</td><td style='text-align: center; word-wrap: break-word;'>KIN</td><td style='text-align: center; word-wrap: break-word;'>STA</td></tr><tr><td colspan="4">Frame-wise Rec.</td><td style='text-align: center; word-wrap: break-word;'>24.4</td><td style='text-align: center; word-wrap: break-word;'>5.8</td><td style='text-align: center; word-wrap: break-word;'>14.41</td><td style='text-align: center; word-wrap: break-word;'>23.24</td><td style='text-align: center; word-wrap: break-word;'>1.68</td></tr><tr><td colspan="4">SmoothFilter [^69]</td><td style='text-align: center; word-wrap: break-word;'>25.3</td><td style='text-align: center; word-wrap: break-word;'>5.4</td><td style='text-align: center; word-wrap: break-word;'>1.96</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td colspan="4">Constant Accl. Loss</td><td style='text-align: center; word-wrap: break-word;'>21.7</td><td style='text-align: center; word-wrap: break-word;'>5.5</td><td style='text-align: center; word-wrap: break-word;'>1.29</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>22.7</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>2.53</td><td style='text-align: center; word-wrap: break-word;'>0.39</td><td style='text-align: center; word-wrap: break-word;'>0.04</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>21.9</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>1.38</td><td style='text-align: center; word-wrap: break-word;'>0.12</td><td style='text-align: center; word-wrap: break-word;'>0.02</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>21.6</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>1.27</td><td style='text-align: center; word-wrap: break-word;'>0.06</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>21.7</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>1.17</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>21.5</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>1.27</td><td style='text-align: center; word-wrap: break-word;'>0.05</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>21.5</td><td style='text-align: center; word-wrap: break-word;'>5.3</td><td style='text-align: center; word-wrap: break-word;'>1.17</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr></table>

<div style="text-align: center;">Table 3. Ablation on the Diffusion Model and the Training Losses Derived from Intuitive Physics. The evaluation is conducted on DexYCB. “SmoothFilter” and “Constant Accl. Loss” are heuristic methods to promote smoothness that apply a low-pass filter to the estimates or enforce constant acceleration during training (like [^13]), respectively. Prob. indicates whether the model is probabilistic. The deterministic model is a Transformer, while being probabilistic means using our proposed diffusion-based motion refinement.  $\mathcal{L}_{kin}$ and  $\mathcal{L}_{sta}$ denotes the kinetic and stability constraint, respectively. For all the values, the smaller, the better.</div>

而运动优化模型PoseBERT即便利用时间信息也无法纠正这些错误。在涉及细微手部运动的测试序列中（图5(b)），虽然PoseBERT在时间平滑性方面优于HaMer，但结果仍无法达到连贯的真实运动水平。相比之下，我们的方法在这些手部与物体交互场景中实现了最佳的重建质量，并展现出极强的物理合理性，充分体现了我们提出的物理增强扩散框架的有效性。

#### 4.3. 消融研究

本节验证了我们方法中各个组件的有效性，包括通过扩散模型建模初始运动估计条件下的优化后运动分布，以及融入动态直觉物理规则。我们在表3中展示了评估结果，其中逐帧重建环节采用了K-Hand [^76]。

基于扩散的模型。如表所示，我们首先评估了一种基线方法：该方法采用Transformer学习从初始运动估计到优化后运动估计的确定性映射，未利用扩散建模。虽然这种方法通过捕捉时间依赖性改善了逐帧评估效果，但无法体现初始运动估计中固有的不确定性。而我们提出的基于扩散的运动优化框架则在重建精度和物理合理性方面取得了进一步提升。具体而言，MJE值从22.7毫米降至21.9毫米，而ACCL指标更是提升了45%，从2.53毫米/帧降至1.38毫米/帧 $^{2}$。这些改进证明了我们的方法通过迭代去噪过程处理不确定性的有效性。

直觉物理规则的融合。纯数据驱动的模型往往忽略基本物理原理，因此重建精度较低且难以保证物理合理性。如表3所示，将四种关键手部运动状态融入扩散模型后，重建精度和物理合理性均得到提升。具体来说，MJE值从21.9毫米降至21.6毫米，ACCL值从1.38毫米/帧降至1.27毫米/帧 $^{2}$。此外，引入基于最小动能运动约束的损失函数以及稳定性损失后，物理合理性进一步增强。例如，采用最小动能运动约束后，ACCL值进一步降至1.17毫米/帧 $^{2}$，同时动能与稳定性约束的违反情况几乎为零。

最终，通过结合扩散模型与直观物理规律，我们取得了最佳的模型性能。值得注意的是，启发式方法无法产生可比的结果。具体而言，利用高斯滤波器（“SmoothFilter”）对预测结果进行平滑处理，虽然能生成更平滑且物理合理性更高的轨迹，但重建精度往往会受到影响。此外，假设预测运动具有恒定加速度（“Constant Accl. Loss”）也会导致不理想的结果。相比之下，我们的方法在重建精度和物理合理性方面均表现更佳，它能比恒定加速度假设更有效地捕捉不同运动状态下的独特行为。

### 5. 结论

在这项工作中，我们提出了一种通过将扩散模型与直观手部物理规律相结合，从单目视频中估计3D手部运动的新方法。我们设计了专门的基于扩散的框架，通过迭代去噪来优化逐帧的3D手部重建结果，从而捕捉以初始预测为条件的精细化估计分布。此外，我们发现了与手部运动相关的有价值的直观物理知识，并通过状态建模损失和特定状态约束将其有效融入扩散模型中。我们的方法始终优于现有的运动优化模型；当应用于主流的逐帧重建方法时，它在3D手部运动估计任务中能达到最先进的性能，同时提升重建精度和物理合理性。尤其值得关注的是，它解决了纯数据驱动模型的一个关键缺陷——当视觉输入受损时，这类模型甚至无法处理简单的静态运动，比如稳定抓取物体。

---

## 致谢

本研究部分得到了IBM通过IBM-伦斯勒计算未来研究合作项目提供的支持，也得到了DARPA授予的HR00112390059号基金的支持。

## 参考文献

[^1]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 2

[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Weakly-supervised domain adaptation via gan and mesh model for estimating 3d hand poses interacting objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6121–6131, 2020. 2

[^3]: Huidong Bai, Prasanth Sasikumar, Jing Yang, and Mark Billinghurst. A user study on mixed reality remote collaboration with eye gaze and hand gesture sharing. In Proceedings of the 2020 CHI conference on human factors in computing systems, pages 1–13, 2020. 1

[^4]: Fabien Baradel, Romain Brégier, Thibault Groueix, Philippe Weinzaepfel, Yannis Kalantidis, and Grégory Rogez. Posebert: A generic transformer module for temporal 3d human modeling. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(11):12798–12815, 2022. 1, 2, 3, 5, 6

[^5]: Nayan Bhatt and SKM Varadhan. Hand posture comparison in synergy space. PeerJ PrePrints, 2017. 2

[^6]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 2

[^7]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 1, 6

[^8]: Rongyu Chen, Linlin Yang, and Angela Yao. Mhentropy: Entropy meets multiple hypotheses for pose and shape recovery. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14840–14849, 2023. 2

[^9]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20544–20554, 2022. 2, 4

[^10]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10451–10460, 2021. 2

[^11]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose

以及从2D人体姿态恢复网格。载于《欧洲计算机视觉会议论文集》，第769–787页。施普林格出版社，2020年。

[^12]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3d human pose and shape from a video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1964–1973, 2021. 2, 7, 1

[^13]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20577–20586, 2022. 8

[^14]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. arXiv preprint arXiv:2407.09646, 2024. 1

[^15]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J Black. Hmp: Hand motion priors for pose and shape estimation from video. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 6353–6363, 2024. 2

[^16]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M. Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 23600–23611, 2023. 1, 2, 7

[^17]: Daiheng Gao, Xindi Zhang, Xingyu Chen, Andong Tan, Bang Zhang, Pan Pan, and Ping Tan. Cyclehand: Increasing 3d pose estimation ability on in-the-wild monocular image through cyclic flow. In Proceedings of the 30th ACM International Conference on Multimedia, pages 2452–2463, 2022. 2

[^18]: Quentin Garrido, Nicolas Ballas, Mahmoud Assran, Adrien Bardes, Laurent Najman, Michael Rabbat, Emmanuel Dupoux, and Yann LeCun. Intuitive physics understanding emerges from self-supervised pretraining on natural videos. arXiv preprint arXiv:2502.11831, 2025. 5

[^19]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10833–10842, 2019. 2

[^20]: Jens Grubert, Lukas Witzani, Eyal Ofek, Michel Pahud, Matthias Kranz, and Per Ola Kristensson. Effects of hand representations for typing in virtual reality. In 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pages 151–158. IEEE, 2018. 1

[^21]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 5, 6

## [^22]: Yuze Hao, Jianrong Zhang, Tao Zhuo, Fuan Wen, and Hehe Fan. Hand-centric motion refinement for 3d hand-object interaction via hierarchical spatial-temporal modeling. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 2076–2084, 2024. 2

---

[^23]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. 2

[^24]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 571–580, 2020. 1, 2

[^25]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in neural information processing systems, 33:6840–6851, 2020. 2, 3, 4

[^26]: Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. arXiv preprint arXiv:1611.01144, 2016. 5

[^27]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 758–767, 2023. 2

[^28]: Dongjun Kim, Chieh-Hsin Lai, Wei-Hsiang Liao, Naoki Murata, Yuhta Takida, Toshimitsu Uesaka, Yutong He, Yuki Mitsufuji, and Stefano Ermon. Consistency trajectory models: Learning probability flow ode trajectory of diffusion. arXiv preprint arXiv:2310.02279, 2023. 6

[^29]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5253–5263, 2020. 2, 6, 7, 1

[^30]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4990–5000, 2020. 2

[^31]: Jihyun Lee, Junbong Jang, Donghwan Kim, Minhyuk Sung, and Tae-Kyun Kim. Fourierhandflow: Neural 4d hand representation using fourier query flow. Advances in Neural Information Processing Systems, 36:29239–29251, 2023. 1

[^32]: Jihyun Lee, Shunsuke Saito, Giljoo Nam, Minhyuk Sung, and Tae-Kyun Kim. Interhandgen: Two-hand interaction generation via cascaded reverse diffusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 527–537, 2024. 4

[^33]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2761–2770, 2022. 2

[^34]: Mengcheng Li, Hongwen Zhang, Yuxiang Zhang, Ruizhi Shao, Tao Yu, and Yebin Liu. Hhmr: Holistic hand mesh recovery by enhancing the multimodal controllability of graph

扩散模型。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第645–654页，2024年。2

[^35]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1954–1963, 2021. 1, 2

[^36]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14687–14697, 2021. 1, 2

[^37]: Xueyi Liu and Li Yi. Geneoh diffusion: Towards generalizable hand-object interaction denoising via denoising diffusion. arXiv preprint arXiv:2402.14810, 2024. 2

[^38]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21740–21751, 2024. 1

[^39]: I Loshchilov. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. 6

[^40]: Haowen Luo, Yunze Liu, and Li Yi. Physics-aware hand-object interaction denoising. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2341–2350, 2024. 1, 2

[^41]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VII 16, pages 752–768. Springer, 2020. 2

[^42]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 49–59, 2018. 2

[^43]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1496–1505, 2022. 2

[^44]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. arXiv preprint arXiv:2312.05251, 2023. 1, 2, 6, 7

[^45]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. arXiv preprint arXiv:2409.12259, 2024.

### [^46]: Haozhe Qi, Chen Zhao, Mathieu Salzmann, and Alexander Mathis. Hoisdf: Constraining 3d hand-object pose estimation with global signed distance fields. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10392–10402, 2024. 2

---

[^47]: Yuzhe Qin, Hao Su, and Xiaolong Wang. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation. IEEE Robotics and Automation Letters, 7(4):10873–10881, 2022. 1

[^48]: Jinwei Ren, Jianke Zhu, and Jialiang Zhang. End-to-end weakly-supervised single-stage multiple 3d hand mesh reconstruction from a single rgb image. arXiv preprint arXiv:2204.08154, 2022. 2

[^49]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8014–8025, 2023. 2

[^50]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (ToG), 36(6):1–17, 2017. 3

[^51]: Marco Santello, Gabriel Baud-Bovy, and Henrik Jörntell. Neural bases of hand synergies. Frontiers in computational neuroscience, 7:23, 2013. 2

[^52]: Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502, 2020. 2, 3

[^53]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. arXiv preprint arXiv:2003.09282, 2020. 2

[^54]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3d hand pose estimation from monocular rgb via contrastive learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11230–11239, 2021. 1

[^55]: Guy Tevet, Sigal Raab, Brian Gordon, Yoni Shafir, Daniel Cohen-or, and Amit Haim Bermano. Human motion diffusion model. In The Eleventh International Conference on Learning Representations, 2023. 4, 6

[^56]: Shashank Tripathi, Lea Müller, Chun-Hao P Huang, Omid Taheri, Michael J Black, and Dimitrios Tzionas. 3d human pose estimation via intuitive physics. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4713–4725, 2023. 2

[^57]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1664–1674, 2022. 2

[^58]: Zhigang Tu, Zhisheng Huang, Yujin Chen, Di Kang, Linchao Bao, Bisheng Yang, and Junsong Yuan. Consistent 3d hand reconstruction in video via self-supervised learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023. 2

[^59]: A Vaswani. Attention is all you need. Advances in Neural Information Processing Systems, 2017. 2, 3, 4

[^60]: Minh Vo, Yaser Sheikh, and Srinivasa G Narasimhan. Spatiotemporal bundle adjustment for dynamic 3d human reconstruction in the wild. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(2):1066–1080, 2020. 2

[^61]: Congyi Wang, Feida Zhu, and Shilei Wen. Memahand: Exploiting mesh-mano interaction for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 564–573, 2023. 2

[^62]: Pengfei Xie, Wenqiang Xu, Tutian Tang, Zhenjun Yu, and Cewu Lu. Ms-mano: Enabling hand pose tracking with biomechanical constraints. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2382–2392, 2024. 1, 2

[^63]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17048–17058, 2023. 2

[^64]: Hao Xu, Haipeng Li, Yinqiao Wang, Shuaicheng Liu, and Chi-Wing Fu. Handbooster: Boosting 3d hand-mesh reconstruction by conditional synthesis and sampling of hand-object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10159–10169, 2024. 2

[^65]: John Yang, Hyung Jin Chang, Seungeui Lee, and Nojun Kwak. Seqhand: RGB-sequence-based 3d hand pose and shape estimation. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XII 16, pages 122–139. Springer, 2020. 2

[^66]: Linlin Yang, Shile Li, Dongheui Lee, and Angela Yao. Aligning latent spaces for 3d hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2335–2343, 2019. 1

[^67]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2750–2760, 2022. 2

[^68]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-hop: Generative hand-object prior for interaction reconstruction and grasp synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1911–1920, 2024. 2

[^69]: Ian T Young and Lucas J Van Vliet. Recursive implementation of the gaussian filter. Signal processing, 44(2):139–151, 1995. 8

[^70]: Zhengdi Yu, Shaoli Huang, Chen Fang, Toby P Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12955–12964, 2023. 2

[^71]: Ziwei Yu, Chen Li, Linlin Yang, Xiaoxu Zheng, Michael Bi Mi, Gim Hee Lee, and Angela Yao. Overcoming the trade-off between accuracy and plausibility in 3d hand shape reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 544–553, 2023. 2

#### [^72]: Zongsheng Yue, Jianyi Wang, and Chen Change Loy. Resshift: Efficient diffusion model for image super-

---

通过残差偏移实现高分辨率。载于《神经信息处理系统进展》，第36卷，2024年。3

[^73]: Baowen Zhang, Yanggang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11354–11363, 2021.

[^74]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 2

[^75]: Yufei Zhang, Jeffrey O Kephart, Zijun Cui, and Qiang Ji. Physpt: Physics-aware pretrained transformer for estimating human dynamics from monocular videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2305–2317, 2024. 1, 2, 3, 5

[^76]: Yufei Zhang, Jeffrey O Kephart, and Qiang Ji. Weakly-supervised 3d hand reconstruction with knowledge prior and uncertainty guidance. arXiv preprint arXiv:2407.12307, 2024. 2, 6, 8

[^77]: Wenping Zhao, Jianjie Zhang, Jianyuan Min, and Jinxiang Chai. Robust realtime physics-based motion control for human grasping. ACM Transactions on Graphics (TOG), 32(6):1–12, 2013. 2

[^78]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. Toch: Spatio-temporal object-to-hand correspondence for motion refinement. In European Conference on Computer Vision, pages 1–19. Springer, 2022. 1, 2

[^79]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1367–1376, 2024. 2

[^80]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1367–1376, 2024. 2

[^81]: Zhifan Zhu and Dima Damen. Get a grip: Reconstructing hand-object stable grasps in egocentric videos, 2024. 2

[^82]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. Tempclr: Reconstructing hands via time-coherent contrastive learning. In 2022 International Conference on 3D Vision (3DV), pages 627–636. IEEE, 2022. 2, 7

[^83]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In Proceedings of the IEEE international conference on computer vision, pages 4903–4911, 2017. 1

#### [^84]: Binghui Zuo, Zimeng Zhao, Wenqian Sun, Wei Xie, Zhou Xue, and Yangang Wang. Reconstructing interacting hands with interaction prior from monocular images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9054–9064, 2023. 2

---

## 基于扩散的3D手部运动恢复与直观物理规律

补充材料

在这份补充材料（主文中提及的附录）中，我们提供了对所提出方法的额外评估，包括：

• 附录A：针对特定模型的训练评估

• 附录B：复杂双手-物体操控数据集上的评估

• 附录C：额外的定性评估

### A. 针对特定模型的训练评估

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">Rec. Error</td><td colspan="3">Phys. Plausibility</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MJE</td><td style='text-align: center; word-wrap: break-word;'>P-MJE</td><td style='text-align: center; word-wrap: break-word;'>ACCL</td><td style='text-align: center; word-wrap: break-word;'>KIN</td><td style='text-align: center; word-wrap: break-word;'>STA</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMer [^44]</td><td style='text-align: center; word-wrap: break-word;'>18.9</td><td style='text-align: center; word-wrap: break-word;'>4.4</td><td style='text-align: center; word-wrap: break-word;'>7.95</td><td style='text-align: center; word-wrap: break-word;'>22.49</td><td style='text-align: center; word-wrap: break-word;'>1.08</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^29]</td><td style='text-align: center; word-wrap: break-word;'>17.0</td><td style='text-align: center; word-wrap: break-word;'>6.4</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^12]</td><td style='text-align: center; word-wrap: break-word;'>16.0</td><td style='text-align: center; word-wrap: break-word;'>6.3</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformer [^16]</td><td style='text-align: center; word-wrap: break-word;'>13.6</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BioPR [^12]</td><td style='text-align: center; word-wrap: break-word;'>12.9</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours (A)</td><td style='text-align: center; word-wrap: break-word;'>17.5</td><td style='text-align: center; word-wrap: break-word;'>4.1</td><td style='text-align: center; word-wrap: break-word;'>1.01</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours (S)</td><td style='text-align: center; word-wrap: break-word;'>12.4</td><td style='text-align: center; word-wrap: break-word;'>3.9</td><td style='text-align: center; word-wrap: break-word;'>0.80</td><td style='text-align: center; word-wrap: break-word;'>0.00</td><td style='text-align: center; word-wrap: break-word;'>0.00</td></tr></table>

<div style="text-align: center;">Table 4. Quantitative Comparison of Our Model-Specific Approach against SOTA Methods. The evaluation is conducted on the DexYCB dataset. Results of other methods are obtained from their published papers. “Ours (A)” refers to our model-agnostic approach discussed in the main manuscript, while “Ours (S)” represents our model-specific variant trained to enhance HaMer. For all the values, the smaller, the better.</div>

在主论文中，我们聚焦于一种具有挑战性的模型无关场景，该场景不要求访问特定的逐帧重建模型。在此，我们通过模型特定训练来探索我们方法的潜力，即调整我们的优化模型以增强某种特定的逐帧重建方法。我们以领先的方法HaMer作为基准，在配对序列（$\mathbf{x}_{1:T}, \mathbf{y}_{1:T}$）上训练我们的模型，这些序列包含HaMer的逐帧预测结果和真实运动数据。表4展示了在DexYCB数据集上的评估结果。我们的模型特定变体（Ours (S)）在重建精度（将MJE从18.9毫米降至12.6毫米）和物理合理性（将ACCL从7.95降至0.8毫米/帧 $^2$）方面均较HaMer有显著提升。此外，我们的模型特定变体在3D手部重建精度上也显著优于近期的基于视频的方法。具体而言，与领先方法BioPR相比，我们的方法取得了更好的精度，其MJE仅为12.4毫米，而BioPR则为12.9毫米。这些改进进一步证明了我们这种融合物理约束的扩散基优化方法的有效性。虽然我们的模型无关方法能够灵活适配不同的重建方法，但针对特定逐帧重建模型进行模型特定训练能实现更优的性能。

#### B. 复杂双手手物交互数据集上的评估

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>P-MJE</td><td style='text-align: center; word-wrap: break-word;'>ACCL</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A: HaMer [^44]</td><td style='text-align: center; word-wrap: break-word;'>9.7</td><td style='text-align: center; word-wrap: break-word;'>9.88</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A+PoseBERT [^4]</td><td style='text-align: center; word-wrap: break-word;'>11.0</td><td style='text-align: center; word-wrap: break-word;'>3.58</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>A+Ours</td><td style='text-align: center; word-wrap: break-word;'>8.9</td><td style='text-align: center; word-wrap: break-word;'>0.81</td></tr></table>

<div style="text-align: center;">Table 5. Quantitative Evaluation on Complex Bimanual Hand-object Manipulation Dataset TACO [^38]. For all the values, the smaller, the better.</div>

在此，我们将评估范围扩展到一个包含更复杂手物交互序列的最新数据集上，以进一步证明我们方法的有效性。具体而言，我们考虑TACO数据集，这是一个针对双手手物交互的大规模基准数据集。该数据集通过多视角设置采集，涵盖了反映日常人类活动的各类工具-动作-物体组合。无需对任何模型进行微调或重新训练，我们便将该方法集成到HaMer之上，并在TACO数据集的S1测试集上进行评估。表5展示了评估结果。如图所示，我们的方法在逐帧重建精度上持续优于领先的HaMer方法（P-MJE从9.7毫米降至8.9毫米，ACCL从9.88毫米/帧降至0.81毫米/帧 $^{2}$），同时也优于领先的运动优化模型PoseBERT（P-MJE为11.0毫米，ACCL为3.58毫米/帧 $^{2}$）。在涉及复杂双手手物交互的动态场景中取得的这些改进，进一步验证了我们这种融合物理约束的扩散基方法的鲁棒性。

#### C. 额外的定性评估

主论文中的定性评估已表明，与现有最先进方法相比，我们的方法在手部运动恢复方面的精度和物理合理性均有提升。在本节中，我们通过稳定抓取序列上的评估进一步凸显我们的优势。我们展示了一张定性的

---

![Image](images/9245b7eae804089fbba6daa2d726382242e88ba1ae95a68ec8f8e3163b115b4f.jpg)

<div style="text-align: center;">Figure 6. Qualitative Evaluation on Stable Grasping Sequences. The testing sequences are from DexYCB (left) and HO3Dv2 (right). To better illustrate the enhanced reconstruction of our model on grasping poses, root rotation is removed in the results on the right.</div>

图6中与HaMer的对比结果。尽管HaMer是在大规模数据上训练的高容量模型，但即便对于简单、静态的手部姿态——比如握持瓶子时（由红色矩形标出）——在部分观测情况下，它仍会产生质量较差的重建结果。相比之下，我们的模型通过捕捉手部与物体自然交互的直观理解，实现了时间上一致的运动恢复。尤其是右侧的示例显示，在长时间抓取过程中，我们的方法能保持稳定的手部姿态。