# PAD-Hand：面向手部运动恢复的物理感知扩散模型

Elkhan Ismayilzada $^{1}$、张宇飞 $^{2}$、崔子君 $^{1}$

$^{1}$密歇根州立大学 $^{2}$独立研究员 {ismayill, cuizijun}@msu.edu，<mailto:yufeizhang96@outlook.com>

![Image](images/3bde2f141c54b613a2b1fdfb72ca8e01ab2dc3ec2401e358dc62cac23441cdc6.jpg)

<div style="text-align: center;">Figure 1. Refined motion estimates by PAD-Hand with dynamic variance. Top: Image-based estimates (left) are refined by our model (PAD-Hand) (right) to enforce temporal and physics consistency. Bottom: Joint-level (left) and mesh-level (right) variance maps concentrate on frames/regions where the image-based motion estimate is unreliable (highlighted in red), aligning high variance with poor motion estimates. The color bar shows normalized variance (low to high).</div>

## 摘要

在基于图像的手部重建领域已取得显著进展，能够输出精准的单帧估计结果，但这类方法往往缺乏物理一致性，也无法反映运动满足物理规律的可信度。在本文中，我们提出了一种新颖的物理感知条件扩散框架，该框架能将含噪的姿态序列优化为符合物理规律的手部运动，同时估算运动估计中的物理方差。我们以MeshCNN-Transformer作为骨干网络，为关节式手部建模欧拉-拉格朗日动力学。与以往强制残差为零的研究不同，我们将生成的动态残差视为虚拟可观测量，从而更有效地融入物理约束。通过最后一层的拉普拉斯近似，我们的方法可输出每个关节、每个时间点的方差，用以衡量物理一致性；同时还能生成可解释的方差图，指示物理一致性较弱的区域。

我们在两个知名手部数据集上开展的实验表明，相较于强大的基于图像的初始化方法以及具有竞争力的基于视频的方法，我们的模型性能均有稳定提升。定性结果证实，我们的方差估算结果与基于图像估计的运动物理合理性高度吻合。

### 1. 引言

从单目相机恢复手部运动，旨在从单视图图像中重建手部随时间变化的3D结构。这一技术对于增强现实和虚拟现实（AR/VR）[^9] [^15] [^44] [^70]、人机交互[^23] [^47]等领域至关重要，应用前景广阔。

随着深度学习的不断发展，从单目图像或视频中恢复手部网格方面取得了显著进展[^1] [^10] [^24] [^29] [^39] [^41] [^48] [^54] [^56] [^59] [^62] [^64] [^68] [^75]。尤其是，构建基础模型带来了持续的性能提升[^3] [^16] [^71] [^73]。

---

扩大规模以构建基础模型持续带来了性能提升 [^14] [^43] [^45]，尽管由于获取视频数据的成本，这些模型仍然仅基于图像。它们提高了逐帧准确率，但时间不一致性依然存在。此外，所有这些方法主要捕捉手部运动学模式，并对动力学保持不感知，从而受制于物理不合理性，并限制了其在具身 AI 等场景中的适用性。

为应对这些挑战，将物理规律引入三维手部重建是一个极具前景的方向。在全身运动及手-物交互等相关领域，已有研究通过外部模拟器来整合物理规律[^6] [^21] [^22] [^35] [^51] [^58]。这类方法先基于运动学模型获取初始运动估计，随后通过学习控制策略或施加显式的物理约束，以事后修正的方式优化结果。另一些研究则充分利用深度学习技术，直接构建用于运动优化的物理信息模型[^38] [^67]。Zhang等人最新发表的研究成果[^69]更是借助扩散模型捕捉初始运动估计中的不确定性，从而取得了进一步改进。不过，现有基于物理的方法存在一个关键局限：它们对物理规律的整合是确定性的。这些方法通过将方程残差强制归零来施加物理约束，而非对这些残差建立分布模型。此类方法假定观测到的运动能够完全满足物理规律，不存在噪声、偏差或模型不匹配问题。然而，三维手部估计结果本身存在噪声，且物理模型也仅为近似描述，因此强制残差为零的做法忽略了固有的不确定性。这种对完美数据的假设可能导致优化过程陷入复杂局面[^33]，或产生次优解[^46]。确定性建模方式也无法揭示不可靠的情况，限制了模型的可解释性。这便催生了物理规律整合的概率化建模思路，使模型能够基于运动数据流形进行推理，并构建分布式的解决方案空间。

在本研究中，我们提出了一种新颖的物理感知扩散框架，能够有效将手部动力学融入基于视频的三维手部运动恢复过程。我们为关节型手部建立了欧拉-拉格朗日（EL）动力学模型，并将其整合到扩散模型中。我们将由此产生的动力学残差视为源自某一分布的虚拟观测值；这些残差的出现概率会与常规的视觉数据项相结合，引导反向扩散过程朝着符合物理规律的运动轨迹发展。为了获得可解释的物理一致性指标，我们采用最后一层拉普拉斯近似方法来估算相关动力学残差的方差。所估算出的方差可作为恢复过程中不确定性的指示剂，帮助我们识别那些可能不可靠的数据段，如图1所示。总而言之，我们的贡献如下：

• 一种物理规律整合的概率化框架。我们将欧拉-拉格朗日残差视为虚拟观测值[^4] [^49]，并将其出现概率纳入扩散目标函数中，从而实现物理规律的概率化整合。

- 可解释的物理一致性。我们通过最后一层拉普拉斯近似方法估算动力学残差的方差，这一结果为恢复过程中的不确定性提供了合理的指示指标，有助于判断物理一致性何时会减弱。

- 全面的评估。在两个广泛采用的手部数据集上，我们的方法提升了重建精度与物理合理性。定性结果表明，我们所估算的方差与图像估计结果中的运动物理合理性高度吻合。

### 2. 相关工作

单目3D手部重建。目前从图像重建3D手部的方法[^2] [^5] [^8] [^26] [^43] [^65] [^66] [^68] [^72] [^74]在单帧精度上表现优异，且在手-物体[1, 10, 18–20, 24, 54, 59]以及手-手交互等特殊场景中已被证明有效[^29] [^39] [^41] [^48] [^56] [^62] [^64] [^75]。近期基于更大模型和数据集训练的模型[^14] [^43] [^45]进一步提升了泛化能力。为了进一步增强时间一致性，其他方法采用视频输入，并利用时序对比学习[^73]或时序编码器[^16]来捕捉运动依赖性。由于高质量标注的手部视频数据集较为稀缺，这些方法在单帧重建精度上仍可能不及基于图像的方法。相反，部分研究[^3] [^38] [^67] [^69] [^71]通过从基于图像的估计中恢复手部运动来解决这一局限。这些方法仅基于3D动作捕捉数据进行训练，无需视频，从而提供能够确保时间一致性的强大运动先验。然而，仅有时间一致性并不足以产生物理上合理的手部运动。这类方法提供的运动先验是基于数据的，忽略了运动动力学规律的约束。

物理约束下的手部运动建模。现有将物理规律纳入考量的工作主要聚焦于手-物体交互场景。部分研究[^12] [^60]在虚拟环境中模拟交互过程，利用物理信息深度强化学习来获取逼真的抓取与接触模式。这类方法的一个共同局限在于它们依赖物理模拟器，这给端到端学习带来了困难。另一类研究[^6] [^21] [^22] [^51]利用物体信息在手部重建过程中施加物理约束，但这些方法假定能获取精确的物体几何形状与运动轨迹。它们还是确定性的，无法捕捉或反映预测的不确定性。最近，Zhang等人[^69]采用由直观物理项正则化的条件扩散模型来促进自然的手部运动。尽管基于手-物体邻近关系推导出的运动状态作为条件输入确实能提升接触区域的真实感，

---

![Image](images/ab67de872684f3d21e11e6dea3e3633400aa8bdd454ca5e05a0d34db2e208ce9.jpg)

<div style="text-align: center;">Figure 2. Overview of PAD-Hand. A sequence of images  $\mathcal{I}_{1:T}$ is passed through an image-based pose estimator to obtain per-frame pose  $\theta_{1:T}$ and the average shape  $\beta_{avg}$ estimates. The pose estimates are then refined via a diffusion process to obtain temporally coherent motion. Simultaneously, we propagate the variance at each diffusion step starting from delta Dirac distribution at diffusion step N to obtain per-frame dynamic variance estimates. At each diffusion step, backbone predicts clean motion  $\hat{x}_{1:T}$ which is supervised with data-driven loss  $\mathcal{L}_{data}$ and physics-driven loss  $\mathcal{L}_{EL}$ during training.</div>

但这种设计本质上依赖于特定物体，且无法提供关于手部动力学的充足信息，比如运动力。此外，当观测到的运动并不完全符合物理规律时，现有方法缺乏将其纳入考量的适当机制。

概率扩散模型。现有文献中有多项研究提出了将物理规律融入扩散模型的方法[^4] [^25] [^49] [^52]。Rixner等人[^49]提出将物理残差作为虚拟可观测量，并基于数据与残差的联合分布来计算ELBO近似值。Bastek等人[^4]则通过将物理似然视为辅助训练目标来简化这一过程。然而，这些研究均未提出估算其估计结果方差的方法。尽管已有多种方法能够量化图像生成过程中的不确定性[^13] [^32]，例如Kou等人[^32]采用最后一层拉普拉斯近似来获取逐像素的不确定性信息，但我们却是首个以概率方式融入物理规律并估算3D手部运动恢复过程中方差的研究。

### 3. 方法

概述。我们提出的框架整体如图 2 所示。我们的流程以 T 帧序列 $\mathcal{I}_{1:T}$ 作为输入，首先运行现成的手部姿态估计器，以获得逐帧 MANO [^50] 形状 $\beta_{1:T}$ 和姿态 $\theta_{1:T}$ 估计。由于手部形状在整个序列中保持不变，我们考虑平均形状 $\beta_{avg} = \frac{1}{T} \sum_{i=1}^{T} \beta_i$。然后，我们引入一个条件扩散模型，该模型在 N 个扩散步骤中，以平均形状和逐帧姿态估计 $x_{1:T}^N$ 为条件，将运动从噪声状态 $x_{1:T}^0$ 迭代精炼到干净状态 $y_{1:T} = \{\beta_{avg}, \theta_{1:T}\}$。同时，我们的模型为 $\mathrm{Var}(\mathcal{F}_{1:T}^n)$ 生成逐步动态方差 $n \in [1, N]$。最终输出是精炼后的姿态轨迹 $x_{1:T}^0$，以及相关动力学残差的方差估计 $\mathrm{Var}(\mathcal{F}_{1:T}^0)$。在第 3.1 节中，我们为手部运动建立 Euler-Lagrange 方程，并在第 3.2 节中介绍条件扩散模型。在第 3.3 节中，

---

我们探讨了将欧拉-拉格朗日残差作为虚拟可观测量融入扩散模型的过程，第3.4节则介绍了动态残差方差的估算方法。

#### 3.1. 手部运动的欧拉-拉格朗日动力学

我们基于MANO参数化模型[^50]展开研究。该模型的姿态参数$\theta \in \mathbb{R}^{15 \times 3}$用于定义15个手部关节的旋转，而形状参数$\beta \in \mathbb{R}^{10}$则用于描述不同手部形状间的差异。遵循已有的研究策略[^67]，我们假设物体做刚体运动且形状随时间保持不变，并将广义坐标定义为$\mathbf{q} = \{R, t, \theta\}$，其中$R \in \mathbb{R}^{3 \times 3}$和$t \in \mathbb{R}^{3}$分别对应腕部的旋转和平移。利用这些广义坐标，我们可以推导出欧拉-拉格朗日方程如下：

 $$ {\mathsf{M}}(\mathbf{q};\mathsf{m},\operatorname{I})\ddot{\mathbf{q}}+{\mathsf{C}}(\mathbf{q},\dot{\mathbf{q}};\mathsf{m},\operatorname{I})+\mathbf{g}(\mathbf{q};\mathsf{m})={\mathcal{F}} $$

其中 M、C、g 分别为广义质量矩阵、Coriolis 与离心项、重力项；方程右侧的 $\mathcal{F}$ 是用于解释观测到的手部运动的净广义力（这些术语的更多说明见附录 A。）。广义速度 $\dot{q}$ 和加速度 $\ddot{q}$ 可通过有限差分 [^36] [^57] 获得。为参数化惯性属性，我们通过线性混合蒙皮函数 LBS $V_h \in \mathbb{R}^{778 \times 3}$ 获得网格 [^50]，记为 $\dot{V}_h = \text{LBS}(\theta, \beta)$，并通过 MANO 蒙皮权重将每个顶点分配给运动学部件。对于每个手部部件，我们计算体积（通过对封闭曲面进行四面体化）、质量 $\mathbf{m}_k = \rho V_k, k \in \{1, \ldots, 15\}$（在恒定密度 $\rho$ 下，该密度由文献 [^40] 获得）以及局部惯性张量 $I_k$。更多细节参见 [^67]。

#### 3.2. 用于手部运动优化的条件扩散模型

为了恢复物理上合理的干净运动轨迹，我们采用了基于扩散的框架，该框架支持对轨迹进行概率推断。具体来说，我们针对最终优化后的估计结果$p(x_{1:T}|y_{1:T})$建模一个条件分布$x_{1:T}$，该分布以初始的图像基估计结果$y_{1:T}$为条件，用以逼近数据分布$q(x_{1:T}|y_{1:T})$。

前向过程。与以往的研究类似[^63] [^69]，我们构建了一个马尔可夫链过程，在训练期间逐步将干净的运动轨迹$x_{1:T}$转化为初始运动估计结果$y_{1:T}$，具体做法是通过长度为N的变换序列$d_{1:T} = y_{1:T} - x_{1:T}$来叠加两者之间的距离$\{\eta\}_{n=1}^{N}$：

 $$ q(x_{1:T}^{n}|x_{1:T}^{n-1},y_{1:T})=\mathcal{N}(x_{1:T}^{n};x_{1:T}^{n-1}+\alpha_{n}d_{1:T},\kappa^{2}\alpha_{n}I) $$

其中$\kappa$表示噪声方差，$\alpha_n = \eta_n - \eta_{n-1}$对应$n > 1$，而$\alpha_1 = \eta_1$。基于这种转移分布，任意扩散步骤n处的边缘分布都有如下的闭式解：

 $$ q(x_{1:T}^{n}|x_{1:T},y_{1:T})=\mathcal{N}(x_{1:T}^{n};x_{1:T}+\eta_{n}d_{1:T},\kappa^{2}\eta_{n}I) $$

为了构造该变换序列，我们参考以往的研究[^63]，让$\eta$从$\eta_1 \to 0$单调增加至$\eta_N \to 1$。因此，在前向过程中，我们从扩散步骤0时均值为$x_{1:T}$的狄拉克分布开始，到扩散步骤N时变为高斯分布$\mathcal{N}(y_{1:T}, \kappa^2 I)$。

反向过程。在反向过程中，我们按如下方式计算后验分布$p(x_{1:T}|y_{1:T})$：

 $$ \begin{align*}p(x_{1:T}|y_{1:T})=&p(x_{1:T}^{N}|y_{1:T})\\\ &\int\prod_{n=1}^{N} p_\phi(x_{1:T}^{n-1}|x_{1:T}^{n},y_{1:T})dx_{1:T}^{1:N}\end{align*} $$

此处，$p(x_{1:T}^{N}|y_{1:T})$近似为一个均值为$y_{1:T}$、方差为$\kappa^{2}$的多变量高斯分布（即$\mathcal{N}(y_{1:T}, \kappa^{2}I)$）。反向核$p_{\phi}(x_{1:T}^{n-1}|x_{1:T}^{n}, y_{1:T})$是我们通过带有可学习权重$\phi$的骨干网络学习得到的分布，相关内容将在下一小节介绍。

骨干网络。遵循以往的研究[^63]，我们假设反向核为高斯分布，即$p_{\phi}(x_{1:T}^{n-1}|x_{1:T}^{n}, y_{1:T}) = \mathcal{N}(x_{1:T}^{n-1}; \mu_{\phi}(x_{1:T}^{n}, y_{1:T}, n), \Sigma_{n}I)$，其方差固定为$\Sigma_{n} = \frac{\eta_{n-1}}{\eta_{n}} \alpha_{n} \kappa^{2}$。此时目标反向分布可表述如下：

 $$ q(x_{1:T}^{n-1}|x_{1:T}^{n},x_{1:T},y_{1:T})=\mathcal{N}(x_{1:T}^{n-1}|A_{n}x_{1:T}^{n}+B_{n}x_{1:T},\Sigma_{n}I) $$

其中$A_{n}=\frac{\eta_{n-1}}{\eta_{n}}$、$B_{n}=\frac{\alpha_{n}}{\eta_{n}}$。关于方程5的推导过程，请参阅[^63]。为了估计均值，我们将其重新参数化为：

 $$ \mu_{\phi}(x_{1:T}^{n},y_{1:T},n)=A_{n}x_{1:T}^{n}+B_{n}f_{\phi}(x_{1:T}^{n},y_{1:T},n) $$

其中$f_{\phi}(x_{1:T}^{n}, y_{1:T}, n)$是带有权重$\phi$的骨干网络，它输出去噪后的运动轨迹$\hat{x}_{1:T}$。为了训练该骨干网络，我们优化如下损失函数：

 $$ \begin{array}{r}{\mathcal{L}_{d a t a}=\mathbb{E}_{n\sim[1,N]}||x_{1:T}-f_{\phi}(x_{1:T}^{n},y_{1:T},n)||^{2}}\end{array} $$

其中，$x_{1:T}$ 是从数据分布 $q(x_{1:T}|y_{1:T})$ 中采样的真实运动。主干网络结构如图3所示。我们采用Transformer编码器-解码器来建模帧间的时间依赖关系。利用姿态和形状参数（即 $\beta_{avg}$）进行正向运动学计算，从而得到手部网格序列 $V_{1:T}^{n}$；随后使用MeshCNN提取拓扑感知的空间特征 [^8]。这些特征会与扩散步骤n对应的MLP嵌入向量拼接起来。至此，模型已经能够捕捉几何与时间模式，但仍对运动动力学一无所知。在下一节中，我们将介绍一种整合手部动力学并让模型具备物理感知能力的机制。

#### 3.3. 具备物理感知能力的扩散优化

将动态残差视为虚拟可观测变量。由于主干网络的输出是一个运动序列，我们可以对其进行评估

---

![Image](images/9c79647203647f60bc66ee1a468d2a092048388d415b46d58a524eb24235cfae.jpg)

<div style="text-align: center;">Figure 3. Backbone architecture. At diffusion step n, the current pose sequence $x_{1:T}^{n}$ and image-based estimates $y_{1:T}$ are converted to meshes and encoded by MeshCNN [^8], while an MLP encodes n. A Transformer encoder-decoder fuses these features, and an LLLA head predicts the refined pose sequence $\hat{x}_{1:T}$ and its variance $\mathrm{Var}(\hat{x}_{1:T})$.</div>

每个帧上的欧拉-拉格朗日残差表示为：

 $$ Z_{t}=\mathtt{M}_{t}\ddot{\mathtt{q}}_{t}+\mathtt{C}_{t}+\mathtt{g}_{t}-\hat{\mathcal{F}}_{t} $$

直接的确定性惩罚项为 $\mathcal{L}_{EL}^{D} = \sum_{t=1}^{T}||Z_{t}||_{1}$，其中 $\hat{\mathcal{F}}_{t}$ 是根据运动数据计算得到的伪力，相关说明见 [^67]。我们并未将该损失项作为硬约束来强制执行，而是将残差视为虚拟可观测变量。这样做有诸多好处：我们所优化的轨迹来自一个蕴含了强数据先验的学习型估计器；强制这些轨迹严格满足近似动力学模型（该模型未显式建模接触力，且使用的物理属性如质量也是近似的），可能会引入模型不匹配问题，进而扭曲真实的手部动力学。将残差视为虚拟观测值，仅能衡量候选优化结果与物理规律的一致性，而不会覆盖已有信息。因此，我们将残差视为从下述分布中采样的虚拟可观测变量 [^4] [^49]：

 $$ q_{Z}(\zeta_{1:T}|x_{1:T})=\mathcal{N}(\zeta_{1:T};Z(x_{1:T}^{0}),\sigma^{2}I) $$

其中，$x_{1:T}^{0}$ 是在训练期间通过反向扩散过程从 $p(x_{1:T}|y_{1:T})$ 中采样得到的样本，$\sigma^{2}$ 是预定义的方差。我们选择 $x_{1:T}^{0}$ 而非 $\hat{x}_{1:T}$ 的原因是，$\hat{x}_{1:T}$ 只是 $\mathbb{E}[x_{1:T}^{0}|x_{1:T}^{n}]$ 的估计值，基于该估计值进行的残差评估并不一致，因为存在 $Z(\mathbb{E}[x_{1:T}^{0}|x_{1:T}^{n}]) \neq \mathbb{E}[Z(x_{1:T}^{0}|x_{1:T}^{n})]$（即詹森间隙 [^17]）。我们对残差计算负对数似然损失如下：

 $$ \mathcal{L}_{E L}=\mathbb{E}_{n\sim[1,N]}\frac{1}{2\sigma_{n}}||Z_{1:T}(x_{1:T}^{0})||^{2} $$

其中 $\sigma_{n} = \Sigma_{n}/c$ 是虚拟可观测变量的缩放后方差。

总损失。综合上述各部分，我们的框架采用以下总目标函数进行训练：

 $$ \mathcal{L}_{t o t a l}=\lambda_{1}\mathcal{L}_{d a t a}+\lambda_{2}\mathcal{L}_{E L} $$

其中，$\lambda_{1}$、$\lambda_{2}$ 分别是 $\mathcal{L}_{data}$ 和 $\mathcal{L}_{EL}$ 的训练权重。训练期间，我们使用现成的基于图像的姿态估计器输出的运动估计结果作为 $y_{1:T}$，用以捕捉该姿态估计器到运动数据的映射分布。

#### 3.4. 贝叶斯推断

为了完整捕捉条件分布，我们采用最后一层拉普拉斯近似（LLLA）[^32] 作为事后推断步骤。具体而言，主干网络最后一层参数的后验分布会被映射为高斯后验预测分布：

 $$ \begin{aligned}p(\hat{x}_{1:T}|x_{1:T}^{n},n,D)\approx\mathcal{N}(f_{\phi}(x_{1:T}^{n},y_{1:T},n),\\ \operatorname{diag}(\gamma_{\phi}^{2}(x_{1:T}^{n},y_{1:T},n))\end{aligned} $$

其中 $D = \{(x_{1:T}^{s}, y_{1:T}^{s})\}_{s=1}^{S}$ 表示训练数据集，$\gamma_{\phi}^{2}$ 表示逐关节方差预测函数。如今我们已经能够估算主干网络输出的方差，但无法得到扩散模型最终输出的方差（即 $x_{1:T}^{0}$）。为了实现这一点，我们通过对每个状态应用方差估算来传播主干网络的不确定性。具体而言，反向扩散的采样过程可表述为：

 $$ x_{1:T}^{n-1}=A_{n}x_{1:T}^{n}+B_{n}\hat{x}_{1:T}+\Sigma_{n}\epsilon $$

其中 $\epsilon \sim \mathcal{N}(0, I)$。对等式两边应用方差估算后可得：

 $$ \begin{aligned}\mathbf{Var}(x_{1:T}^{n-1})&=A_{n}^{2}\mathbf{Var}(x_{1:T}^{n})+B_{n}^{2}\mathbf{Var}(\hat{x}_{1:T})\\&+\Sigma_{n}^{2}+2A_{n}B_{n}\mathbf{Cov}(x_{1:T}^{n},\hat{x}_{1:T})\end{aligned} $$

其中 $\mathrm{Var}(\hat{x}_{1:T}) = \mathrm{diag}(\gamma_{\phi}^{2}(x_{1:T}^{n}, y_{1:T}, n))$，以及

 $$ \begin{aligned}\operatorname{Cov}(x_{1:T}^{n},\hat{x}_{1:T})&\approx\frac{1}{S}\sum_{i=1}^{S}(x_{1:T}^{n,i}\cdot\hat{x}_{1:T}^{i})\\&-\mathbb{E}[x_{1:T}^{n}]\cdot\frac{1}{S}\sum_{i=1}^{S}\hat{x}_{1:T}^{i}\end{aligned} $$

其中 $\cdot$ 表示逐元素乘法。各状态的期望值则为：

 $$ \mathbb{E}[x_{1:T}^{n-1}]=A_{n}\mathbb{E}[x_{1:T}^{n}]+B_{n}\mathbb{E}[\hat{x}_{1:T}] $$

---

```pseudo
// Algorithm 1: Variance Estimation for PAD-Hand

Require: Starting point  $x_{1:T}^{N} \sim \mathcal{N}(y_{1:T}, \kappa^{2}I)$, Monte Carlo sample size S, Pre-trained backbone  $f_{\phi}$.

Ensure: Motion generation  $x_{1:T}^{0}$ and joint-wise uncertainty  $\mathrm{Var}(x_{1:T}^{0})$.

1: Construct the joint-wise variance prediction function  $\gamma_{\phi}^{2}$ via LLLA (Last Layer Laplace Approximation);

2:  $\mathbb{E}[x_{1:T}^{N}] \leftarrow x_{1:T}^{N}$,  $\mathrm{Var}(x_{1:T}^{N}) \leftarrow \mathbf{0}$;

3:  $\mathrm{Cov}(x_{1:T}^{N}, \hat{x}_{1:T}) \leftarrow \mathbf{0}$;

4: for  $n = N \rightarrow 1$ do

5: Sample  $\hat{x}_{1:T}$ from the Gaussian distribution  $\mathcal{N}(f_{\phi}(x_{1:T}^{n}, n, y_{1:T}), \mathrm{diag}(\gamma_{\phi}^{2}(x_{1:T}^{n}, n, y_{1:T})))$;

6: Obtain  $x_{1:T}^{n-1}$ via Equation 13;

7: Estimate  $\mathbb{E}[x_{1:T}^{n-1}]$ via Equation 16;

8: Estimate  $\mathrm{Var}(x_{1:T}^{n-1})$ via Equation 14;

9: Sample  $x_{1:T}^{n-1, i} \sim \mathcal{N}(\mathbb{E}[x_{1:T}^{n-1}], \mathrm{Var}(x_{1:T}^{n-1}))$,  $i \in \{1, \ldots, S\}$;

10: Estimate  $\mathrm{Cov}(x_{1:T}^{n-1}, \hat{x}_{1:T})$ via Equation 15;

11: end for

For the derivations of Equations 14, 15 and 16, please refer to Appendix B. Algorithm 1 demonstrates the procedure to obtain final motion variance  $\mathrm{Var}(x_{1:T}^{0})$. We then compute the dynamics residual variance using the variance of the force inferred from motion since pseudoforce is unavailable at inference. This causes no impact because pseudoforce is only a constant shift and does not change the variance:

```

 $$ \mathbf{V a r}(\mathcal{F}_{1:T})\approx J_{\mathcal{F}_{1:T}}\mathbf{V a r}(x_{1:T}^{0})J_{\mathcal{F}_{1:T}}^{\top} $$

其中 $J_{\mathcal{F}_{1:T}} = \left. \frac{\partial \mathcal{F}_{1:T}}{\partial x} \right|_{x=\mathbb{E}[x_{1:T}^0]}$。$\mathrm{Var}(\mathcal{F}_{1:T})$ 用于衡量运动恢复过程中的不确定性，从而识别出可能不可靠的运动估计结果。

### 4. 实验

#### 4.1. 实验设置

数据集。为了评估我们的流程，我们采用了两个基准数据集：DexYCB [^7] 和 HO3D [^18]。这两个数据集均提供了高质量的单帧3D手部姿态与形状标注，是通过多视角设置在不同受试者身上采集的。我们采用了以往研究中使用的官方训练集与测试集划分方式。

评价指标。遵循以往的研究 [^16] [^43] [^45] [^72] [^73]，我们报告DexYCB上的PA-MPJPE（Procrustes对齐的平均关节误差）和MPJPE（平均关节误差），以及HO3D上的PA-MPJPE（单位：毫米）作为重建精度指标。对于物理合理性方面，我们还报告加速度误差（ACCEL，单位：毫米/帧 $^{2}$）。

实现方式：我们的主干网络是一个Transformer编码器-解码器，包含四层编码器和四层解码器，每层使用八个注意力头和一个嵌入层。

<div style="text-align: center;">Table 1. Comparison to SOTAs on DexYCB. “*” denotes results obtained from official models; others are from original papers. “P” and “D” denote probabilistic and deterministic models, respectively.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Input</td><td style='text-align: center; word-wrap: break-word;'>Type PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MaskHand [^34]</td><td rowspan="2">Image</td><td style='text-align: center; word-wrap: break-word;'>P</td><td style='text-align: center; word-wrap: break-word;'>5.0</td><td style='text-align: center; word-wrap: break-word;'>11.70</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$^{*}WiLoR$ [^45]</td><td style='text-align: center; word-wrap: break-word;'>D</td><td style='text-align: center; word-wrap: break-word;'>4.88</td><td style='text-align: center; word-wrap: break-word;'>12.75</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>S $^{2}$HAND(V) [^55]</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>7.27</td><td style='text-align: center; word-wrap: break-word;'>19.67</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^31]</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>6.43</td><td style='text-align: center; word-wrap: break-word;'>16.95</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^11]</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>D</td><td style='text-align: center; word-wrap: break-word;'>6.28</td><td style='text-align: center; word-wrap: break-word;'>16.03</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$^{*}Deformer$ [^16]</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>5.22</td><td style='text-align: center; word-wrap: break-word;'>13.64</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BioPR [^58]</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>12.81</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR + Ours</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>P</td><td style='text-align: center; word-wrap: break-word;'>4.63</td><td style='text-align: center; word-wrap: break-word;'>10.56</td></tr></table>

<div style="text-align: center;">Table 2. Comparison to SOTAs on HO3D. "*" denotes results from official models; others are from original papers. "P" and "D" denote probabilistic and deterministic models, respectively.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Input</td><td style='text-align: center; word-wrap: break-word;'>Type</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>AMVUR [^27]</td><td rowspan="2">Image</td><td style='text-align: center; word-wrap: break-word;'>P</td><td style='text-align: center; word-wrap: break-word;'>10.3</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$^{{*}}WiLoR$ [^45]</td><td style='text-align: center; word-wrap: break-word;'>D</td><td style='text-align: center; word-wrap: break-word;'>7.50</td><td style='text-align: center; word-wrap: break-word;'>4.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VIBE [^31]</td><td rowspan="4">Sequence</td><td rowspan="4">D</td><td style='text-align: center; word-wrap: break-word;'>9.90</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TCMR [^11]</td><td style='text-align: center; word-wrap: break-word;'>11.40</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TempCLR [^73]</td><td style='text-align: center; word-wrap: break-word;'>10.60</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$^{{*}}Deformer$ [^16]</td><td style='text-align: center; word-wrap: break-word;'>9.40</td><td style='text-align: center; word-wrap: break-word;'>6.37</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR + Ours</td><td style='text-align: center; word-wrap: break-word;'>Sequence</td><td style='text-align: center; word-wrap: break-word;'>P</td><td style='text-align: center; word-wrap: break-word;'>7.43</td><td style='text-align: center; word-wrap: break-word;'>2.71</td></tr></table>

将尺寸设为512。对于逐帧空间编码，MeshCNN模块包含四层，其通道维度分别为[^32]、[^64]、[^64]和[^64]。由于骨干网络中的Transformer具有排列不变性，我们在将帧级网格标记输入Transformer之前，会为其添加标准的正弦位置编码。遵循先前的研究[^31]、[^67]、[^69]，我们将序列长度设为T = 16。我们使用AdamW优化器[^30]进行训练，初始学习率为$2 \times 10^{-4}$，每10个epoch学习率会衰减0.8倍。损失权重分别为$\lambda_1 = 2 \times 10^3$和$\lambda_2 = 500$。N和S分别被设为4和20。此外，我们采用来自[^53]的几何损失进行监督，并加入一致性正则化项以减轻扩散采样过程中的误差累积，这一做法参考了[^28]的相关研究（关于这些损失的消融研究详见附录C.1）。

#### 4.2. 定量结果

DexYCB上的实验结果。我们以大规模预训练的WiLoR模型生成的图像估计结果作为训练起点[^45]，并将我们的优化结果与最先进的基于视频的手部重建方法进行比较。表1展示了DexYCB上的实验结果。我们的框架在重建精度和物理合理性指标上均优于WiLoR：PA-MPJPE值从4.88毫米降至

---

![Image](images/6b2a0dde140dd70820c91a1104887ba33f2ca7b0ed1dd7b14bac3335e8a2c39b.jpg)

![Image](images/c57652e4befd7f413ab84243958335c08331233c28bb972488812a6841e0547f.jpg)

![Image](images/7f3a8a1e356d4d839d8023c5a90aa89d46c5882e07f783502234e97c92b8c040.jpg)

![Image](images/0f6201a9c37c02dca5dacc7983ce0708cff5bdb3561eac6c0b3acc294244ecd5.jpg)

![Image](images/bd90a4a3fe86d79805ef309ac3a1a4d29de745799b53938dc26d03f21c65f8af.jpg)

![Image](images/ba835b3161d32e2a018a0cf284a9a73a3a590ea46f8e5aa27a4c68a5aa4152f6.jpg)

![Image](images/f9a2c3aaa0eefe6a7bfe0fc3992f0ba7decf5ac43825c32663ad0940c5cc992d.jpg)

<div style="text-align: center;">Figure 4. Refined motion estimates by PAD-Hand with dynamic variance on DexYCB. We visualize three representative sequences (I–III). In each block, row (a) compares the original image-based motion estimates to the trajectories refined by PAD-Hand, while row (b) shows the corresponding variance estimations in terms of joint-level and mesh-level dynamic variance. The red boxes highlight frames where the image-based estimates exhibit strong jitter.</div>

4.63毫米（降低5.1%），MPJPE从12.75毫米降至10.56毫米（降低17.2%），加速度误差从6.70毫米/帧 $^{2}$ 降至3.34毫米/帧 $^{2}$（降低50.1%）。我们在附录C.2中还报告了在DexYCB上相对于另外两个基线的改进结果。

HO3D上的实验结果。在HO3D上也观察到了类似的趋势。如表2所示，我们的框架将PA-MPJPE从7.50毫米降低至7.43毫米，同时显著提升了物理一致性，将加速度误差从4.98毫米/帧 $^{2}$ 降至2.71毫米/帧 $^{2}$。

#### 4.3. 定性结果

图4定性展示了PAD-Hand对来自DexYCB的三个代表性序列的影响。在所有序列中，与抖动明显的基于图像的估计结果相比，PAD-Hand生成的运动更加平滑且符合物理规律。在序列I（a）中，基于图像的运动中存在明显的不连续性；

---

全局旋转在基于图像的运动中清晰可见；我们的优化算法消除了这种跳跃，恢复了连贯的轨迹。序列I（b）中的对应方差图显示，在相同帧数处，关节和网格层面的数值均有所升高，这表明我们的力方差能够可靠地标记出这一有问题的片段。在序列II和III中也出现了同样的现象：PAD-Hand修正了不合理的姿态变化，而关节层面和网格层面的方差恰好在原始基于图像的估计结果不稳定的位置达到峰值。这种一致性支持了我们的观点：PAD-Hand不仅提升了运动质量，还提供了反映底层估计结果不可靠程度的有效指标。HO3D的定性结果详见附录D。

#### 4.4. 消融实验

物理残差损失的有效性。我们验证了物理损失在DexYCB数据集上的有效性。如表3所示，引入欧拉-拉格朗日残差损失后，所有指标的错误率均有所降低。在重建精度方面，PA-MPJPE从4.65毫米降至4.63毫米，MPJPE从10.62毫米降至10.56毫米。就物理合理性而言，加速度误差从3.36毫米/帧 $^{2}$ 改善为3.34毫米/帧 $^{2}$。附录C.3中的结果表明这些改进具有统计显著性，而微小的提升源于WiLoR在该分布内数据集上的数据充足性。如附录C.4所示，在分布外数据集上测试时还能观察到更多改进。

<div style="text-align: center;">Table 3. Effectiveness of residual loss on DexYCB.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="2">Loss</td><td colspan="3">Evaluation Metrics</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{data}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{EL}$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td></tr><tr><td colspan="2">$^{*}WiLoR$ [^45]</td><td style='text-align: center; word-wrap: break-word;'>4.88</td><td style='text-align: center; word-wrap: break-word;'>12.75</td><td style='text-align: center; word-wrap: break-word;'>6.70</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>4.65</td><td style='text-align: center; word-wrap: break-word;'>10.62</td><td style='text-align: center; word-wrap: break-word;'>3.36</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>4.63</td><td style='text-align: center; word-wrap: break-word;'>10.56</td><td style='text-align: center; word-wrap: break-word;'>3.34</td></tr></table>

物理集成机制的有效性。我们通过将确定性惩罚项（$L_{EL}^{D}$）与我们提出的概率性物理集成方法进行比较，来探究物理机制在我们概率框架中的作用。如表4所示，概率性变体的表现始终更优，这表明在分布层面强制施加物理约束更为可取，也更符合扩散模型的概率特性。动态方差的实用性。我们用直方图来可视化估算出的动态方差，直方图的柱子颜色根据每个区间内平均欧拉-拉格朗日残差的大小而定。如图5所示，方差较大的区间恰好对应较大的残差，这说明较大的动态方差能够标记出不符合物理规律的运动，这类运动通常源于质量较差的基于图像的估计结果。

<div style="text-align: center;">Table 4. Ablation on physics integration on DexYCB.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Loss</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$^{*}WiLoR$ [^45]</td><td style='text-align: center; word-wrap: break-word;'>4.88</td><td style='text-align: center; word-wrap: break-word;'>12.75</td><td style='text-align: center; word-wrap: break-word;'>6.70</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{EL}^{D}$</td><td style='text-align: center; word-wrap: break-word;'>4.66</td><td style='text-align: center; word-wrap: break-word;'>10.61</td><td style='text-align: center; word-wrap: break-word;'>3.35</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>4.63</td><td style='text-align: center; word-wrap: break-word;'>10.56</td><td style='text-align: center; word-wrap: break-word;'>3.34</td></tr></table>

![Image](images/3c6bcb5e7f0c0c9b3b2e7267e804e2cc0dd0fa544f41325a073b3ce6771bccfd.jpg)

<div style="text-align: center;">Figure 5. Distribution of dynamic variances for PAD-Hand. Bar color encodes the mean Euler–Lagrange residual within each variance bin (blue is low, red is high). Higher variance bins coincide with larger residuals, indicating that the model's uncertainty aligns with physics violations.</div>

### 5. 结论

在本文中，我们提出了一种面向物理规律的扩散框架，用于恢复3D手部运动并同时获取其动态方差信息。我们为手部运动建立了欧拉-拉格朗日动力学模型，并将残差视为概率模型中的虚拟观测值，从而让物理规律引导运动参数的精细化调整，而无需将其设为硬性约束。在两个常用的手部数据集上进行的实验表明，该方法相较于基于图像的基线方法以及以往的基于视频的方法均有稳定的性能提升。此外，我们提出了一种估计每个时间点、每个关节动态方差的方法，实验证明这些方差能够可靠地标识出那些基于图像的运动估计不可靠的帧，从而为运动质量提供了具有物理依据的评价指标。本研究展示了动态方差的首个应用场景，探索该信息的更广泛用途仍是未来值得研究的方向。

我们方法的一个局限性在于当前的物理建模并未显式捕捉物体几何形状或接触情况。我们认为将这些要素纳入手部与物体的精细动力学建模中，是未来颇具前景的研究方向。

---

## 致谢

本研究得到了密歇根州立大学的支持。

## 参考文献

[^1]: Ahmed Tawfik Aboukhadra, Jameel Malik, Ahmed Elhayek, Nadia Robertini, and Didier Stricker. Thor-net: End-to-end graformer-based realistic two hands and object reconstruction with self-supervision. In WACV, 2023. 1, 2

[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In CVPR, 2019. 2

[^3]: Fabien Baradel, Romain Brégier, Thibault Groueix, Philippe Weinzaepfel, Yannis Kalantidis, and Grégory Rogez. Posebert: A generic transformer module for temporal 3d human modeling. TPAMI, 2022. 1, 2

[^4]: Jan-Hendrik Bastek, WaiChing Sun, and Dennis M Kochmann. Physics-informed diffusion models. ICLR, 2025. 2, 3, 5

[^5]: Adnane Boukhayma, Rodrigo Bem, and Philip H.S. Torr. 3d hand shape and pose from images in the wild. In CVPR, 2019. 2

[^6]: Jona Braun, Sammy Christen, Muhammed Kocabas, Emre Aksan, and Otmar Hilliges. Physically plausible full-body hand-object interaction synthesis. In 3DV, 2024. 2

[^7]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 6

[^8]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, 2022. 2, 4, 5

[^9]: Xingyu Chen, Baoyuan Wang, and Heung-Yeung Shum. Hand avatar: Free-pose hand animation and rendering from monocular video. In CVPR, 2023. 1

[^10]: Hoseong Cho, Chanwoo Kim, Jihyeon Kim, Seongyeong Lee, Elkhan Ismayilzada, and Seungryul Baek. Transformer-based unified recognition of two hands manipulating objects. In CVPR, 2023. 1, 2

[^11]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3d human pose and shape from a video. In CVPR, 2021.

[^12]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In CVPR, 2022. 2

[^13]: Michele De Vita and Vasileios Belagiannis. Diffusion model guided sampling with pixel-wise aleatoric uncertainty estimation. In WACV, 2025. 3

[^14]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando D De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. NeurIPS, 2024. 2

[^15]: Haoye Dong, Tiange Xiang, Sravan Chittupalli, Jun Liu, and Dong Huang. Physical-space multi-body mesh detection achieved by local alignment and global dense learning. In WACV, 2024. 1

[^16]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In ICCV, 2023. 1, 2, 6

[^17]: Xiang Gao, Meera Sitharam, and Adrian E Roitberg. Bounds on the Jensen gap, and implications for mean-concentrated distributions. arXiv, 2017. 5

[^18]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In CVPR, 2020. 2, 6

[^19]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019.

[^20]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, 2020. 2

[^21]: Haoyu Hu, Xinyu Yi, Hao Zhang, Jun-Hai Yong, and Feng Xu. Physical interaction: Reconstructing hand-object interactions with physics. In SIGGRAPH Asia, 2022. 2

[^22]: Haoyu Hu, Xinyu Yi, Zhe Cao, Jun-Hai Yong, and Feng Xu. Hand-object interaction controller (hoic): Deep reinforcement learning for reconstructing interactions with physics. In SIGGRAPH, 2024. 2

[^23]: Rongtian Huo, Qing Gao, Jing Qi, and Zhaojie Ju. 3d human pose estimation in video for human-computer/robot interaction. In ICIRA, 2023. 1

[^24]: Elkhan Ismayilzada, MD Khalequzzaman Chowdhury Sayem, Yihalem Yimolal Tiruneh, Mubarrat Tajoar Chowdhury, Muhammadjon Boboev, and Seungryul Baek. Qortformer: Query-optimized real-time transformer for understanding two hands manipulating objects. In AAAI, 2025. 1,2

[^25]: Christian Jacobsen, Yilin Zhuang, and Karthik Duraisamy. Cocogen: Physically consistent and conditioned score-based generative models for forward and inverse problems. SIAM Journal on Scientific Computing, 2025. 3

[^26]: Changlong Jiang, Yang Xiao, Cunlin Wu, Mingyang Zhang, Jinghong Zheng, Zhiguo Cao, and Joey Tianyi Zhou. A2j-transformer: Anchor-to-joint transformer network for 3d interacting hand pose estimation from a single rgb image. In CVPR, 2023. 2

[^27]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In CVPR, 2023. 6

[^28]: Dongjun Kim, Chieh-Hsin Lai, Wei-Hsiang Liao, Naoki Murata, Yuhta Takida, Toshimitsu Uesaka, Yutong He, Yuki Mitsufuji, and Stefano Ermon. Consistency trajectory models: Learning probability flow ode trajectory of diffusion. arXiv, 2023. 6

## [^29]: Dong Uk Kim, Kwang In Kim, and Seungryul Baek. End-to-end detection and pose estimation of two interacting hands. In ICCV, 2021. 1,2

---

[^30]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. ICLR, 2014. 6

[^31]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In CVPR, 2020. 6

[^32]: Siqi Kou, Lei Gan, Dequan Wang, Chongxuan Li, and Zhi-jie Deng. Bayesdiff: Estimating pixel-wise uncertainty in diffusion via bayesian inference. ICLR, 2023. 3, 5

[^33]: Aditi Krishnapriyan, Amir Gholami, Shandian Zhe, Robert Kirby, and Michael W Mahoney. Characterizing possible failure modes in physics-informed neural networks. Advances in neural information processing systems, 34:26548–26560, 2021. 2

[^34]: Mengcheng Li, Hongwen Zhang, Yuxiang Zhang, Ruizhi Shao, Tao Yu, and Yebin Liu. Hhmr: Holistic hand mesh recovery by enhancing the multimodal controllability of graph diffusion models. In CVPR, 2024. 6

[^35]: Zongmian Li, Jiri Sedlar, Justin Carpentier, Ivan Laptev, Nicolas Mansard, and Josef Sivic. Estimating 3d motion and forces of person-object interactions from monocular video. In CVPR, 2019. 2

[^36]: C Karen Liu and Sumit Jain. A quick tutorial on multibody dynamics. Online tutorial, June, 2012. 4

[^37]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. In CVPR, 2024. 2

[^38]: Haowen Luo, Yunze Liu, and Li Yi. Physics-aware hand-object interaction denoising. In CVPR, 2024. 2

[^39]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3d interacting hand pose estimation by hand de-occlusion and removal. In ECCV, 2022. 1,2

[^40]: Mojtaba Mirakhorlo, Judith MA Visser, BAAX Goisland de Monsabert, FCT Van der Helm, Huub Maas, and HEJ Veeger. Anatomical parameters for musculoskeletal modeling of the hand and wrist. International Biomechanics, 2016.

[^41]: Gyeongsik Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In CVPR, 2023. 1,2

[^42]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3d hand mesh estimation network. In CVPR, 2022. 2

[^43]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In CVPR, 2024. 2, 6

[^44]: Siyou Pei, Alexander Chen, Jaewook Lee, and Yang Zhang. Hand interfaces: Using hands to imitate objects in ar/vr for expressive interactions. In CHI, 2022. 1

[^45]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. CVPR, 2025. 2, 6, 8, 1, 3

[^46]: Ibai Ramirez, Jokin Alcibar, Joel Pino, Mikel Sanz, David Pardo, and Jose I Aizpurua. Bayesian physics informed neural networks for reliable transformer prognostics. arXiv, 2025. 2

[^47]: Fuji Ren and Yanwei Bao. A review on human-computer interaction and intelligent robots. International Journal of Information Technology & Decision Making, 2020. 1

[^48]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In ICCV, 2023. 1,2

[^49]: Maximilian Rixner and Phaedon-Stelios Koutsourelakis. A probabilistic generative model for semi-supervised training of coarse-grained surrogates and enforcing physical constraints through virtual observables. Journal of Computational Physics, 2021. 2, 3, 5

[^50]: Javier Romero, Dimitris Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 2017. 3, 4

[^51]: Soshi Shimada, Franziska Mueller, Jan Bednarik, Bardia Doosti, Bernd Bickel, Danhang Tang, Vladislav Golyanik, Jonathan Taylor, Christian Theobalt, and Thabo Beeler. Macs: Mass conditioned 3d hand and object motion synthesis. In 3DV, 2024. 2

[^52]: Dule Shu, Zijie Li, and Amir Barati Farimani. A physics-informed diffusion model for high-fidelity flow field reconstruction. Journal of Computational Physics, 2023. 3

[^53]: Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. arXiv, 2022. 6

[^54]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In CVPR, 2022. 1,2

[^55]: Zhigang Tu, Zhisheng Huang, Yujin Chen, Di Kang, Linchao Bao, Bisheng Yang, and Junsong Yuan. Consistent 3d hand reconstruction in video via self-supervised learning. IEEE TPAMI, 2023. 6

[^56]: Congyi Wang, Feida Zhu, and Shilei Wen. Memahand: Exploiting mesh-mano interaction for single image two-hand reconstruction. In CVPR, 2023. 1, 2

[^57]: Kevin Xie, Tingwu Wang, Umar Iqbal, Yunrong Guo, Sanja Fidler, and Florian Shkurti. Physics-based human motion estimation and synthesis from videos. In ICCV, 2021. 4

[^58]: Pengfei Xie, Wenqiang Xu, Tutian Tang, Zhenjun Yu, and Cewu Lu. Ms-mano: Enabling hand pose tracking with biomechanical constraints. In CVPR, 2024. 2, 6

[^59]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In CVPR, 2022. 1, 2

[^60]: Zeshi Yang, Kangkang Yin, and Libin Liu. Learning to use chopsticks in diverse gripping styles. ACM Transactions on Graphics (TOG), 2022. 2

[^61]: Ian T Young and Lucas J Van Vliet. Recursive implementation of the gaussian filter. Signal processing, 44(2):139–151, 1995. 3

### [^62]: Zhengdi Yu, Shaoli Huang, Chen Fang, Toby P. Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In CVPR, 2023. 1, 2

---

[^63]: Zongsheng Yue, Jianyi Wang, and Chen Change Loy. Resshift: Efficient diffusion model for image super-resolution by residual shifting. NeurIPS, 2023. 4

[^64]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In ICCV, 2021. 1, 2

[^65]: Pengfei Zhang and Deying Kong. Handformer2t: A lightweight regression-based model for interacting hands pose estimation from a single rgb image. In WACV, 2024. 2

[^66]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, 2019. 2

[^67]: Yufei Zhang, Jeffrey O Kephart, Zijun Cui, and Qiang Ji. Physpt: Physics-aware pretrained transformer for estimating human dynamics from monocular videos. In CVPR, 2024. 2, 4, 5, 6

[^68]: Yufei Zhang, Jeffrey O Kephart, and Qiang Ji. Weakly-supervised 3d hand reconstruction with knowledge prior and uncertainty guidance. In ECCV, 2024. 1, 2

[^69]: Yufei Zhang, Zijun Cui, Jeffrey O Kephart, and Qiang Ji. Diffusion-based 3d hand motion recovery with intuitive physics. In ICCV, 2025. 2, 4, 6, 3

[^70]: Fuwei Zhao, Zhenyu Xie, Michael Kampffmeyer, Haoye Dong, Songfang Han, Tianxiang Zheng, Tao Zhang, and Xiaodan Liang. M3d-vton: A monocular-to-3d virtual try-on network. In ICCV, 2021. 1

[^71]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. Toch: Spatio-temporal object-to-hand correspondence for motion refinement. In ECCV, 2022. 1, 2

[^72]: Zhishan Zhou, Shihao Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. A simple baseline for efficient hand mesh reconstruction. In CVPR, 2024. 2, 6

[^73]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. Tempclr: Reconstructing hands via time-coherent contrastive learning. In 3DV, 2022. 1,2,6

[^74]: Christian Zimmermann and Thomas Brox. Learning to estimate 3d hand pose from single rgb images. In ICCV, 2017. 2

#### [^75]: Binghui Zuo, Zimeng Zhao, Wenqian Sun, Wei Xie, Zhou Xue, and Yanggang Wang. Reconstructing interacting hands with interaction prior from monocular images. In ICCV, 2023. 1,2

---

#### PAD-Hand：面向手部运动恢复的物理感知扩散模型

补充材料

补充材料由附录和视频文件组成。

附录

• 章节A：欧拉-拉格朗日项的详细说明

• 章节B：贝叶斯推断：推导过程

• 章节C：额外实验

• 章节D：额外可视化结果

• 章节E：讨论：PAD-Hand与DIP视频文件的对比

• “Hand Motion Comparison With Variance.mp4”：展示手部运动与WiLoR [^45] 生成的基于图像的运动估计的对比结果，其中还包含了我们在关节级、网格级生成的动态方差可视化结果。

##### A. 欧拉-拉格朗日项的详细说明

在本节中，我们进一步阐释公式1中的各项含义。广义质量矩阵M反映了手部质量和惯性在各关节间的分布情况，它决定了关节加速度与所需广义力之间的对应关系。项C代表由运动产生的科里奥利力和离心力，用于描述不同关节间依赖速度的相互作用。项g对应重力，即在当前手部姿态下重力所产生的扭矩。最后，$\mathcal{F}$ 表示解释观察到的手部运动的广义力总和，包括产生测量到的加速度所需的力，以及平衡M、C和g所描述的动力学效应所需的力。

##### B. 贝叶斯推断：推导过程

 $$ x_{1:T}^{n-1}=A_{n}x_{1:T}^{n}+B_{n}\hat{x}_{1:T}+\Sigma_{n}\epsilon $$

在本节中，我们推导公式14、15和16。我们从采样方程开始：

对等式两边取方差可得：

 $$ \begin{aligned}\mathrm{Var}(x_{1:T}^{n-1})&=A_{n}^{2}\mathrm{Var}(x_{1:T}^{n})+B_{n}^{2}\mathrm{Var}(\hat{x}_{1:T})\\&+\Sigma_{n}^{2}+2A_{n}B_{n}\mathrm{Cov}(x_{1:T}^{n},\hat{x}_{1:T})\tag{19}\\&+2A_{n}C_{n}\mathrm{Cov}(x_{1:T}^{n},\epsilon)+2B_{n}C_{n}\mathrm{Cov}(\hat{x}_{1:T},\epsilon)\end{aligned} $$

由于$\epsilon \sim \mathcal{N}(0, I)$ 与$x_{1:T}^n$、$\hat{x}_{1:T}$ 相互独立，它们的协方差$\text{Cov}(x_{1:T}^n, \epsilon)$、$\text{Cov}(\hat{x}_{1:T}, \epsilon)$ 均为零。因此我们有：

 $$ \begin{aligned}\mathrm{Var}(x_{1:T}^{n-1})&=A_{n}^{2}\mathrm{Var}(x_{1:T}^{n})+B_{n}^{2}\mathrm{Var}(\hat{x}_{1:T})\\&+\Sigma_{n}^{2}+2A_{n}B_{n}\mathrm{Cov}(x_{1:T}^{n},\hat{x}_{1:T})\end{aligned} $$

现在我们按如下方式推导协方差$\mathrm{Cov}(x_{1:T}^{n}, \hat{x}_{1:T})$：

 $$ \begin{array}{r}{\mathbf{C o v}(x_{1:T}^{n},\hat{x}_{1:T})=\mathbb{E}[x_{1:T}^{n}\cdot\hat{x}_{1:T}]-\mathbb{E}[x_{1:T}^{n}]\cdot\mathbb{E}[\hat{x}_{1:T}]}\end{array} $$

利用全期望定律$\mathbb{E}[\mathbb{E}[X|Y]] = \mathbb{E}[X]$，可将$\mathbb{E}[\hat{x}_{1:T}]$ 表示为：

 $$ \mathbb{E}[\hat{x}_{1:T}]=\mathbb{E}_{x_{1:T}^{n}}[\mathbb{E}[\hat{x}_{1:T}|x_{1:T}^{n}]]=\mathbb{E}_{x_{1:T}^{n}}[\hat{X}_{1:T}] $$

其中 $\hat{X}_{1:T} = f_{\phi}(x_{1:T}^{n}, y_{1:T}, n)$，且对于第一项而言

 $$ \begin{aligned}\mathbb{E}[\boldsymbol{x}_{1:T}^{n}\cdot\hat{\boldsymbol{x}}_{1:T}]&=\mathbb{E}_{\boldsymbol{x}_{1:T}^{n}}[\boldsymbol{x}_{1:T}^{n}\cdot\mathbb{E}[\hat{\boldsymbol{x}}_{1:T}|\boldsymbol{x}_{1:T}^{n}]]\\&=\mathbb{E}_{\boldsymbol{x}_{1:T}^{n}}[\boldsymbol{x}_{1:T}^{n}\cdot\hat{\boldsymbol{X}}_{1:T}]\end{aligned} $$

将方程22和23整合到方程21中可得到

 $$ \begin{aligned}\operatorname{Cov}(x_{1:T}^{n},\hat{x}_{1:T})&=\mathbb{E}_{x_{1:T}^{n}}[x_{1:T}^{n}\cdot\hat{X}_{1:T}]\\&-\mathbb{E}[x_{1:T}^{n}]\cdot\mathbb{E}_{x_{1:T}^{n}}[\hat{X}_{1:T}]\end{aligned} $$

我们通过蒙特卡洛（Monte Carlo, MC）估计来近似求解：

 $$ \begin{aligned}\operatorname{Cov}(x_{1:T}^{n},\hat{x}_{1:T})&\approx\frac{1}{S}\sum_{i=1}^{S}(x_{1:T}^{n,i}\cdot\hat{X}_{1:T}^{i})\\&-\mathbb{E}[x_{1:T}^{n}]\cdot\frac{1}{S}\sum_{i=1}^{S}\hat{X}_{1:T}^{i}\end{aligned} $$

其中S表示样本量。

对于方程16，对方程18两边取期望值可得

 $$ \mathbb{E}[x_{1:T}^{n-1}]=A_{n}\mathbb{E}[x_{1:T}^{n}]+B_{n}\mathbb{E}[\hat{x}_{1:T}]+\Sigma_{n}\mathbb{E}[\epsilon] $$

由于 $\epsilon \sim \mathcal{N}(0, I)$，因此 $\mathbb{E}[\epsilon]$ 为零；通过对 $\mathbb{E}[\hat{x}_{1:T}]$ 应用全期望定律，我们得到

 $$ \mathbb{E}[x_{1:T}^{n-1}]=A_{n}\mathbb{E}[x_{1:T}^{n}]+B_{n}\mathbb{E}_{x_{1:T}^{n}}[\hat{X}_{1:T}] $$

##### C. 额外实验

##### C.1. 关于数据驱动损失的消融研究

在本节中，我们对作为核心损失的$\mathcal{L}_{b}$、几何损失$\mathcal{L}_{g}$以及一致性正则化项$\mathcal{L}_{r}$进行消融研究，结果如表5所示。$\mathcal{L}_{g}$和$\mathcal{L}_{r}$能够实现数据驱动的改进，而进一步加入物理损失后性能最佳。

---

<div style="text-align: center;">Table 5. Effectiveness of data-driven losses.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td colspan="4">Loss</td><td colspan="3">Evaluation Metrics</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{b}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{g}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{r}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{EL}$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td></tr><tr><td colspan="4">WiLoR</td><td style='text-align: center; word-wrap: break-word;'>4.88</td><td style='text-align: center; word-wrap: break-word;'>12.75</td><td style='text-align: center; word-wrap: break-word;'>6.70</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>5.01</td><td style='text-align: center; word-wrap: break-word;'>12.57</td><td style='text-align: center; word-wrap: break-word;'>3.83</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>4.83</td><td style='text-align: center; word-wrap: break-word;'>10.89</td><td style='text-align: center; word-wrap: break-word;'>3.57</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'>4.65</td><td style='text-align: center; word-wrap: break-word;'>10.62</td><td style='text-align: center; word-wrap: break-word;'>3.36</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>4.63</td><td style='text-align: center; word-wrap: break-word;'>10.56</td><td style='text-align: center; word-wrap: break-word;'>3.34</td></tr></table>

##### C.2. 优化其他基线模型及对初始姿态估计的鲁棒性分析

由于PAD-Hand以基线模型的预测结果作为输入并进行优化，因此它可应用于不同的手部姿态估计器。它对较差的初始姿态也具有鲁棒性。为了证明这一通用性，我们进一步利用两种最新基线模型的输出对PAD-Hand进行评估，结果如表6所示。在这两种情况下，PAD-Hand均能稳定改善PA-MPJPE、MPJPE和ACCEL指标，这表明我们的方法可作为跨不同基线的有效优化模块。我们还通过用高斯噪声替换序列中80%的数据来测试其鲁棒性，此时初始PA-MPJPE升高至24.27；在这种严重干扰下，我们的模型将其降低到了6.53。

<div style="text-align: center;">Table 6. Comparison to more SOTAs on DexYCB.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR [^43]</td><td style='text-align: center; word-wrap: break-word;'>4.70</td><td style='text-align: center; word-wrap: break-word;'>16.71</td><td style='text-align: center; word-wrap: break-word;'>7.14</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR+Ours</td><td style='text-align: center; word-wrap: break-word;'>4.60</td><td style='text-align: center; word-wrap: break-word;'>11.09</td><td style='text-align: center; word-wrap: break-word;'>3.37</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet [^42]</td><td style='text-align: center; word-wrap: break-word;'>5.80</td><td style='text-align: center; word-wrap: break-word;'>14.0</td><td style='text-align: center; word-wrap: break-word;'>9.03</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet+Ours</td><td style='text-align: center; word-wrap: break-word;'>5.31</td><td style='text-align: center; word-wrap: break-word;'>10.95</td><td style='text-align: center; word-wrap: break-word;'>3.38</td></tr></table>

#### C.3. 统计显著性分析

在本节中，我们验证了采用$\mathcal{L}_{EL}$后获得的性能提升具有统计显著性。为此，我们在DexYCB数据集上用5种随机种子训练两种模型变体：一种使用$\mathcal{L}_{EL}$，另一种则不使用。随后我们报告了各项评估指标的平均值和标准差。PAD-Hand在PA-MPJPE、MPJPE和ACCEL指标上的表现分别为$4.61 \pm 0.02$、$10.57 \pm 0.02$和$3.33 \pm 0.01$，而未使用物理残差项的变体对应的数值则为$4.66 \pm 0.01$、$10.65 \pm 0.02$和$3.36 \pm 0.01$。通过配对t检验可知，这些提升具有统计显著性，对应的p值分别为0.001、0.001和0.002。

##### C.4. 在挑战性数据集上的消融研究

在本节中，我们通过在训练期间未使用的数据集上测试 PAD-Hand，评估其泛化能力以及 $\mathcal{L}_{EL}$ 的重要性。为此，我们采用更具挑战性的手–物体交互数据集 TACO [^37]，其中包含多样且复杂的操作序列。表 7 中的定量结果表明，PAD-Hand 将 PA-MPJPE 从 8.37 mm 降至 8.02 mm，并将 MPJPE 从 25.13 mm 降至 24.38 mm。此外，我们观察到加速度误差显著改善，从 5.47 mm/frame $^2$ 降至 1.84 mm/frame $^2$，这表明我们的方法在这一具有挑战性的场景下能够产生更平滑、更符合物理规律的运动。进一步地，使用 $\mathcal{L}_{EL}$ 展现出更强的泛化能力，使 PA-MPJPE 降低 0.35，而单独使用 $\mathcal{L}_{data}$ 仅降低 0.13（表 7），从而确保在训练分布之外仍保持有物理依据的运动。此外，如表 8 所示，当仅使用 DexYCB 训练数据的 10% 进行训练时，在 WiLoR 细化过程中加入该损失可有效减小性能退化。使用 $\mathcal{L}_{EL}$ 时 PA-MPJPE 为 6.67，不使用 $\mathcal{L}_{EL}$ 时则退化至 7.90，这证明了 $\mathcal{L}_{EL}$ 在数据有限情况下作为物理正则项的价值。

<div style="text-align: center;">Table 7. Generalization to unseen TACO [^37]. S1 testing split is used for evaluation.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR</td><td style='text-align: center; word-wrap: break-word;'>8.37</td><td style='text-align: center; word-wrap: break-word;'>25.13</td><td style='text-align: center; word-wrap: break-word;'>5.47</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{data}$</td><td style='text-align: center; word-wrap: break-word;'>8.24</td><td style='text-align: center; word-wrap: break-word;'>25.02</td><td style='text-align: center; word-wrap: break-word;'>2.44</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{data} + \mathcal{L}_{EL}$ (Ours)</td><td style='text-align: center; word-wrap: break-word;'>8.02</td><td style='text-align: center; word-wrap: break-word;'>24.38</td><td style='text-align: center; word-wrap: break-word;'>1.87</td></tr></table>

<div style="text-align: center;">Table 8. Data efficiency under  $\mathcal{L}_{EL}$ on DexYCB.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{data}$</td><td style='text-align: center; word-wrap: break-word;'>7.90</td><td style='text-align: center; word-wrap: break-word;'>27.52</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{data} + \mathcal{L}_{EL}$ (Ours)</td><td style='text-align: center; word-wrap: break-word;'>6.67</td><td style='text-align: center; word-wrap: break-word;'>25.84</td></tr></table>

##### C.5. 关于物理合理性的补充结果

在本节中，我们通过计算欧拉-拉格朗日残差这一衡量物理合理性的额外指标，来进一步评估物理集成方法的有效性。该指标的定义如下：

 $$ \mathcal{R}(\mathbf{q})=\frac{1}{T}\sum_{t=1}^{T}||\mathbb{M}_{t}\ddot{\mathbf{q}}+\mathbb{C}_{t}+\mathbf{g}_{t}-\bar{\mathcal{F}}||_{1} $$

其中$\bar{F}$是根据真实运动数据计算出的伪力。与主要反映时间平滑度的加速度误差不同，$\mathcal{R}(q)$直接衡量了运动与物理公式的一致性，因此能从互补的角度评估运动质量。如表9所示，融入物理约束的模型产生的残差更小，

---

<div style="text-align: center;">Table 9. Ablation on physics integration on DexYCB. † denotes that values are scaled by  $10^{-3}$.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Loss</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$\dagger$R $(\mathsf{q})$ $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$^{*}WiLoR$ [^45]</td><td style='text-align: center; word-wrap: break-word;'>4.88</td><td style='text-align: center; word-wrap: break-word;'>12.75</td><td style='text-align: center; word-wrap: break-word;'>6.70</td><td style='text-align: center; word-wrap: break-word;'>19.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SmoothFilter [^61]</td><td style='text-align: center; word-wrap: break-word;'>4.77</td><td style='text-align: center; word-wrap: break-word;'>12.82</td><td style='text-align: center; word-wrap: break-word;'>3.10</td><td style='text-align: center; word-wrap: break-word;'>14.33</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{data}$</td><td style='text-align: center; word-wrap: break-word;'>4.65</td><td style='text-align: center; word-wrap: break-word;'>10.62</td><td style='text-align: center; word-wrap: break-word;'>3.36</td><td style='text-align: center; word-wrap: break-word;'>15.16</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{data} + \mathcal{L}_{EL}^{D}$</td><td style='text-align: center; word-wrap: break-word;'>4.66</td><td style='text-align: center; word-wrap: break-word;'>10.61</td><td style='text-align: center; word-wrap: break-word;'>3.35</td><td style='text-align: center; word-wrap: break-word;'>13.45</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ours</td><td style='text-align: center; word-wrap: break-word;'>4.63</td><td style='text-align: center; word-wrap: break-word;'>10.56</td><td style='text-align: center; word-wrap: break-word;'>3.34</td><td style='text-align: center; word-wrap: break-word;'>9.04</td></tr></table>

表明其生成的运动与底层动力学规律更一致。此外，确定性积分方法在PA-MPJPE方面的表现也更差（4.66毫米对比4.65毫米），不如基于数据驱动的方法（即$\mathcal{L}_{data}$）。作为参考，我们还列出了SmoothFilter [^61]的结果，该方法对WiLoR的预测结果应用高斯平滑处理，可视为一种简单的基线方法——它无需建模基于图像估计的不确定性，就能将高频时间变化（如加速度）趋近为零。值得注意的是，尽管SmoothFilter在加速度误差方面优于PAD-Hand，但其重建精度却远低于我们的方法，这也说明了为了更合理地比较物理合理性，引入$\mathcal{R}(q)$指标十分必要。

#### D. 额外可视化结果

在本节中，我们展示了三个具有代表性的HO3D序列的额外可视化结果，以进一步说明PAD-Hand的有效性（图6）。在所有示例中，我们的流程不仅优化了基线模型产生的抖动运动，还能通过较高的方差估计值可靠地标记出运动快速变化的片段。例如，在序列III（a）中，拇指运动出现突变，而序列III（b）中的对应方差图给拇指关节赋予了更高的方差值，这表明在这种快速运动状态下动态不确定性有所增加。在其他序列中也观察到了类似模式：经过优化后的轨迹既平滑了运动不连续性和高频抖动，又通过增大的方差值凸显出这些现象，从而为基于图像的估计难度提供了可解释的指标。我们还在“Hand Motion Comparison With Variance.mp4”文件中提供了这些序列的视频版本。

##### E. 讨论：PAD-Hand与DIP

与我们的工作最为接近的是Zhang等人提出的DIP模型[^69]，该模型同样采用条件扩散模型来进行手部运动恢复。不过，我们的方法在几个重要方面与DIP存在差异：

• DIP的训练采用了合成噪声，即向真实运动数据中添加高斯噪声，而PAD-Hand在训练期间则以基于图像的估计器的预测结果作为输入。

- DIP还会输出手部形状参数，并通过形状损失进行监督；而在我们的流程中，形状参数保持固定，我们专注于优化姿态参数。

由于这些设计上的差异，无法进行完全公平的比较。尽管如此，我们仍报告了DIP的结果，并使用其官方发布的模型进行评估。需要注意的是，由于测试集的姿态参数并未公开，因此无法在HO3D数据集上评估$\mathcal{R}(q)$。如表10和表11所示，PAD-Hand在重建精度方面始终优于DIP。尽管DIP在DexYCB数据集上的加速度误差更低（表10），但其欧拉-拉格朗日残差$\mathcal{R}(q)$仍高于我们的结果，这表明我们的轨迹与底层动力学特性更契合。

<div style="text-align: center;">Table 10. Comparison to DIP [^69] on DexYCB. † denotes that values are scaled by  $10^{-3}$.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Loss</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>$\dagger$R(q) $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$^{*}WiLoR$ [^45]</td><td style='text-align: center; word-wrap: break-word;'>4.88</td><td style='text-align: center; word-wrap: break-word;'>12.75</td><td style='text-align: center; word-wrap: break-word;'>6.70</td><td style='text-align: center; word-wrap: break-word;'>19.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR + DIP [^69]</td><td style='text-align: center; word-wrap: break-word;'>4.81</td><td style='text-align: center; word-wrap: break-word;'>12.88</td><td style='text-align: center; word-wrap: break-word;'>3.23</td><td style='text-align: center; word-wrap: break-word;'>13.22</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR + Ours</td><td style='text-align: center; word-wrap: break-word;'>4.63</td><td style='text-align: center; word-wrap: break-word;'>10.56</td><td style='text-align: center; word-wrap: break-word;'>3.34</td><td style='text-align: center; word-wrap: break-word;'>9.04</td></tr></table>

<div style="text-align: center;">Table 11. Comparison to DIP [^69] on HO3D.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Loss</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>ACCEL $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$^{*}WiLoR$ [^45]</td><td style='text-align: center; word-wrap: break-word;'>7.50</td><td style='text-align: center; word-wrap: break-word;'>4.98</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR + DIP [^69]</td><td style='text-align: center; word-wrap: break-word;'>7.55</td><td style='text-align: center; word-wrap: break-word;'>3.03</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR + Ours</td><td style='text-align: center; word-wrap: break-word;'>7.43</td><td style='text-align: center; word-wrap: break-word;'>2.71</td></tr></table>

---

![Image](images/17b61a109955d4363d63688b06d7249dcfa898201fba64d79589059ae452b96f.jpg)

![Image](images/74dfdb12658af37583f300593191d65367e3da0f793420bef6c23c37ade24283.jpg)

![Image](images/001920e8294f312df977613181a743d767b671c60a1a7c846ba4e424c98d0ccf.jpg)

![Image](images/3ca3b59c3e218d6a0a9b1cd7a36c8208368846e50ce7e1df4dfa46468b18fc81.jpg)

![Image](images/ae6def4109c67ed26bc51d7befb37ddd88be32bef1ae31ca255685f24f256f6e.jpg)

<div style="text-align: center;">Ⅱ</div>

![Image](images/2b8d5110b46d92ad2cf0c826fb1ea41642cfe3093866cb3f618db0d1302b9ccf.jpg)

![Image](images/284ed38df95a56bfabeeeb7274f32033d68791b6245de401a8fc7c720be2ce08.jpg)

![Image](images/b69de950fefeb694efa7b4f8c920a371437e0bd8fd3b96a4f13f770136997a32.jpg)

![Image](images/11d571f4980ee29a4443d66b8607158e551c1a61aee4ecaf81d9a10135c12395.jpg)

<div style="text-align: center;">Figure 6. Refined motion estimates by PAD-Hand with dynamic variance on HO3D. We visualize three representative sequences (I–III). In each block, row (a) compares the original image-based motion estimates to the trajectories refined by PAD-Hand, while row (b) shows the corresponding variance estimations in terms of joint-level and mesh-level dynamic variance. The red boxes highlight frames where the image-based estimates exhibit strong jitter.</div>