# PhysHanDI：基于物理的手与可变形物体交互重建
李智贤 $^{*1}$ 李昌珉 $^{*1}$ 金东焕 $^{1}$ 金泰均 $^{1}$
## 摘要
尽管现有的手-物体交互重建方法取得了令人瞩目的进展，但它们要么仅针对刚性或局部刚性物体——这限制了它们对现实中具有高度非刚性变形的物体（如布料、毛绒玩具）的建模能力；要么在建模可变形物体时并未进行完整的手部三维重建。为填补这一空白，我们提出了PHYSHANDI（基于物理的手与可变形物体交互重建框架），该框架能够对手部和非刚性物体进行完整的三维重建。我们的核心思路是，根据密集重建出的手部三维运动所产生的力来物理模拟物体的变形，从而确保重建出的物体动力学既符合物理规律，又能与手部的运动相协调。此外，我们还证明，这种物体变形的模拟反过来还能通过逆向物理计算来优化和改进手部重建效果。实验结果表明，在重建精度和未来运动预测方面，PHYSHANDI均优于现有的最先进方法。
### 1. 引言
手部是我们与物体交互的主要工具，能够实现多种多样的日常物体操作任务（如拿起手机、叠衣服）。在三维空间中有效建模此类手-物体交互对于让机器感知并理解人类行为至关重要，而这又对沉浸式AR/VR体验、基于人类演示的机器人学习以及远程操控等应用具有重要意义。鉴于此，众多研究致力于从RGB图像、深度图及RGB-D数据等多种传感模式入手，对手-物体交互进行建模与重建（Hampali等人，2020年；Chao等人，2021年；Hasson等人，2019年；Mueller等人，2017年；Garcia-Hernando等人，2018年；Brahmbbatt等人，2020年；Taheri等人，2020年；Fan等人，2023年；Swamy等人，2023年；Corona等人，2020年；Damen等人，2022年；Brahmbbatt等人，2019年；Garcia-Hernando等人，2020年；Antotsiou等人，2021年；Kim & Kim，2024a）。
虽然这些现有方法取得了显著进展，但大多数方法仅限于建模与刚性物体的交互。尽管许多现实中的物体（如布料、充电线）会表现出高度的非刚性变形，但现有方法在交互建模中仍主要考虑刚性或局部刚性物体（Hampali等人，2020年；Chao等人，2021年；Brahmbhatt等人，2020年；Taheri等人，2020年；Fan等人，2023年；Swamy等人，2023年；Corona等人，2020年；Damen等人，2022年；Brahmbbatt等人，2019年；Lee等人，2024年；Kim & Kim，2024b；Cho等人，2024年）。建模和重建此类物体的动力学其实较为简单，因为它们可以用对应每个刚体的少量刚性变换来表示。
相比之下，非刚性形变涉及复杂的、空间上变化的动力学过程，其自由度也显著更高，因此更难从输入数据中学习到可靠的动力学模型。尽管已有少数研究致力于人手与可变形物体的交互建模（Xie等人，2023a；Qi等人，2025；Jiang等人，2025），但其中大多数研究（Xie等人，2023a；Qi等人，2025）仅局限于手指按压引起的局部小范围形变，难以推广到更普遍的大尺度非刚性形变场景。最相关的工作是PhysTwin（Jiang等人，2025），它能够通过物理仿真来模拟大尺度非刚性形变。不过，该研究主要侧重于可变形物体的重建，并未实现完整的三维手部重建。此外，控制器仅由从深度图中直接采样的少量点（数量约为30个）来表示，这可能会限制交互力建模的精度，进而导致仿真所需的模型拓扑结构重建效果不佳，这一点将在后文详细讨论。
为解决这一问题，我们提出了PHYSHANDI（基于$\underline{\text{Physics}}$的$\underline{\text{Hand}}$与$\underline{\text{Deformable Object Interactions}}$重建框架），该框架能够通过基于物理的仿真技术，实现对交互中的手部与非刚性物体的密集三维重建。我们使用密集的
---
参数化模型（MANO模型（Romero等人，2017））来表示手部，使用经典的基于物理的模型（弹簧-质点模型（Liu等人，2013；Jiang等人，2025））来表示物体，该模型能够模拟可变形物体的动力学行为。具体而言，物体形变的模拟是由MANO手部网格的密集运动所产生的力驱动的，从而能够建立起既符合物理规律又与完全重建后的手部运动相协调的物体动力学模型。
我们提出了一种优化流程，用于从稀疏视角的RGB-D视频中重建这种三维密集的手部-可变形物体交互模型。该流程包含三个阶段：（1）手部重建，（2）物体重建，以及（3）手部精细化。在手部重建阶段，我们将MANO模型（Romero等人，2017）拟合到输入的RGB-D观测数据上。在物体重建阶段，我们以重建出的三维手部为条件，拟合弹簧-质点模型（Liu等人，2013；Jiang等人，2025）的参数。具体来说，我们通过由重建后的手部运动所产生的交互力来驱动弹簧-质点系统（Liu等人，2013；Jiang等人，2025），进而模拟物体形变，随后将模拟得到的物体几何形状与输入的RGB-D观测数据进行对比，以此优化模型参数。在最后的手部精细化阶段，我们利用前一阶段拟合出的基于物理的物体模型，通过逆向物理计算来优化初始的手部重建结果。这种精细化处理能确保重建出的手部所产生的物体仿真结果更符合输入观测数据。虽然我们的实验表明，仅依靠初始的手部重建阶段就足以利用多视角RGB-D输入取得业界领先的效果，但当输入数据较为稀疏时（例如单视角下的未来预测场景），这一手部精细化阶段的效果尤为显著。据我们所知，这是首个证明基于物理的可变形物体模型所引导的逆向物理计算能够提升手部重建效果的研究。
为了验证我们方法的有效性，我们将其与现有的最先进基线方法（Jiang等人，2025；Zhang等人，2024a；Zhong等人，2024）进行了对比，这些基线方法均专注于可变形物体的基于物理的重建；实验结果表明，我们的方法在重建和未来预测方面均优于它们。
## 我们的贡献可总结如下
• 我们提出了PHYSHANDI，这是一个通过物理仿真来重建手部与可变形物体交互的框架。据我们所知，PHYSHANDI是首个能够从稀疏视角的RGB-D视频中同时实现手部与可变形物体的密集3D重建的方法。
- 在可变形物体重建方面，我们提出模拟由完全重建的3D手部运动所引发的相互作用力导致的物体形变，从而比现有基于稀疏手部表征的最先进方法（Jiang等人，2025年）实现更精确的仿真。
• 在手部的重建方面，我们利用此前重建的物理基础物体模型，通过逆向物理原理对初始的MANO（Romero等人，2017年）拟合结果进行优化。据我们所知，这是首项证明以物理基础的可变形物体模型为引导的逆向物理原理能够提升手部重建效果的研究。
• 在重建与未来预测任务中，我们的性能均达到了相较于最相关的方法PhysTwin（Jiang等人，2025年）而言的新最先进水平。
### 2. 相关工作
#### 2.1. 3D手部-物体交互建模
手部与刚性物体交互。已有大量研究致力于从各类输入数据（如RGB、深度或RGB-D图像）中建模并重建手部-物体交互（Chen等人，2021年；Liu等人，2021年；Doosti等人，2020年；Hasson等人，2020年、2019年；Hampali等人，2022年；Tekin等人，2019年；Chen等人，2022b年、2023年），或估算手部-物体接触点以支持此类重建（Tse等人，2022年；Jung和Lee，2025年）。这些方法大多假设交互物体为刚性的，其动力学特性通过参考形状（如给定的模板形状或第一帧中重建的形状）与全局刚性变换来表示（Chen等人，2021年；Liu等人，2021年；Doosti等人，2020年；Hasson等人，2020年、2019年；Hampali等人，2022年；Tekin等人，2019年；Chen等人，2022b年、2023年）。近期，也有研究试图建模手部交互下的部件级刚性物体，这类方法还会为物体添加部件标签以及各部件的刚性变换信息（Fan等人，2023年；Zhu等人，2024年；Zhang等人，2025年）。虽然相比以往采用全局刚性假设的模型，这类方法能实现更具表现力的形变建模，但将其拓展到更常见的现实世界物体（如布料、充电线等会发生非刚性形变的物体）上仍颇具挑战性。
手部与非刚性物体交互。仅有少数研究尝试建模并重建手部-非刚性物体交互。HMDO（Xie等人，2023a）提出了一种从多视角图像中无标记捕捉手部-可变形物体交互的流程。不过该方法主要聚焦于建模由手指压力驱动的局部形变，且“其数据集中的交互物体并不会发生大幅形变，比如180度扭转或弯曲”（Xie等人，2023a）。因此，将该方法应用于我们针对的手部-物体交互数据集（其中会出现大幅的全局非刚性形变，例如弯曲玩偶的手臂）颇具挑战性。同样，近期关于生成手部-可变形物体交互的研究（Qi等人，2025年）也基于HMDO数据集，假设物体形变是由手指压力局部驱动的。另一项同步开展的关于非刚性物体手部-物体接触估算的研究（Xie等人，2023b）同样仅针对局部接触区域，并未建模全局形变动力学。
---
Figure 1. PHYSHANDI models physically plausible hand–deformable object interactions. In our interaction model, each hand is represented by the MANO model (Romero et al., 2017), and each object is represented by a spring–mass model (Liu et al., 2013). Their interaction is modeled by simulating object deformations driven by interaction forces derived from the reconstructed 3D hand motions. Our interaction model can be learned from sparse-view RGB-D videos through three stages: (1) hand reconstruction, (2) object reconstruction, and (3) hand refinement.
该研究还假设物体的形变是由手指压力在局部驱动的，这一结论基于HMDO数据集得出。另一项关于非刚性物体手-物接触估计的研究（Xie等人，2023b）同样聚焦于局部接触区域，而非对整体形变动力学进行建模。
与我们研究最相关的工作是PhysTwin（Jiang等人，2025年），这是一种最新的基于物理的可变形物体重建方法，能够从多视角RGB-D视频中重建可变形物体，且能够处理非局部形变。虽然该方法能够应对手部与可变形物体的交互场景，但其主要侧重于物体建模，被交互物体仅由直接从输入深度图中获取的稀疏点来表示；在这种情况下，由于接触遮挡，真实的手部与物体接触点是无法观测到的。在第4节中，我们进一步证明了我们的方法能生成更精确的物体重建结果，而且重建出的物体模型反过来又能优化初始的手部重建——二者相互促进。
#### 2.2. 可变形物体建模
基于动态重建的建模。基于动态重建的方法从RGB（At-tal等人，2023年；Kratimenos等人，2024年；Li等人，2023b年；Luiten等人，2024年；Park等人，2021a;b年；Pumarola等人，2021年；Wang等人，2023b年；Xian等人，2021年；Yu等人，2023年；Tretschk等人，2021年；Chu等人，2022年）、深度（Curless & Levoy，1996年；Li等人，2008年）或RGB-D（Newcombe等人，2015年）等输入数据中恢复三维表示（如占据函数（Mescheder等人，2019年）、神经辐射场（Mildenhall等人，2020年）、3D高斯泼溅（Park等人，2020年））。最近的大多数方法通常先重建一个规范表示（例如在第一帧），再学习形变场来捕捉物体动力学特征（Park等人，2021a;b年；Kratimenos等人，2024年；Xian等人，2021年）。尽管具体的建模方式存在差异，但它们存在一个共同的局限性：重点仍在于重建与观测输入相匹配的三维表示，而没有显式地对物理属性进行建模——这限制了它们支持未来预测或泛化到未见场景的能力，Jiang等人（2025年）也讨论了这一问题。
基于仿真建模。基于仿真的方法能够以符合物理规律的方式对物体动力学进行建模，同时还能实现对任意交互场景的泛化。早期的研究依赖于预先扫描的静态物体和干净的点云（Wang等人，2015年；Qiao等人，2021年；Du等人，2021年；Geilinger等人，2020年；Murthy等人，2020年），或者局限于合成数据或极高密度的视点（Zhang等人，2024b年；Li等人，2023a年；Chen等人，2022a年；Zhong等人，2024年；Qiao等人，2022年）。更近期的方法（Zhang等人，2024a年；Jiang等人，2025年；Yang等人，2025年；Xu等人，2026年）以稀疏视角的真实RGB-D图像作为输入，从而减轻了昂贵的采集设备带来的负担。然而，这些方法均未显式地对被交互物体的完整三维几何结构进行建模；相反，手部与物体的交互是通过稀疏的控制信号来表示的，这可能会降低复杂接触场景下可变形物体重建的保真度。
### 3. PHYSHANDI
在本节中，我们首先介绍用于密集手部与可变形物体交互的基于物理的模型（第3.1节）。随后，我们将描述如何从稀疏视角的RGB-D视频中重建该模型（第3.2节）。
#### 3.1. 基于物理的交互建模
现在我们来介绍基于物理的手部与可变形物体交互建模方法。我们首先描述手部与物体各自的表示方法，然后详细说明如何通过基于物理的仿真来建模它们之间的交互。
手部表示：MANO模型（Romero等人，2017）。我们用MANO模型（Romero等人，2017）的参数来表示每只手，这是一种广泛应用的基于PCA的手部模型。该模型将姿态参数$\boldsymbol{\theta} \in \mathbb{R}^{45}$、形状参数$\boldsymbol{\beta} \in \mathbb{R}^{10}$、全局旋转$\mathbf{R} \in SO(3)$以及平移量
---
$\mathbf{t} \in \mathbb{R}^3$映射为密集的3D手部网格$\mathcal{M} = (\mathcal{V}, \mathcal{F})$，其顶点为$\mathcal{V} = \{\mathbf{v}_i\}_{i=1}^{778}$，三角形面片为$\mathcal{F} = \{\mathbf{f}_i\}_{i=1}^{1554}$。由于该模型提供了一个先验，能够将3D手部网格的解空间限制在低维参数空间内，因此它已被广泛应用于解决各类手部重建问题中的不适定性问题（例如交互式手部与刚性物体重建）。
物体表示：弹簧-质量模型（Liu等人，2013年；Jiang等人，2025年）。我们使用弹簧-质量模型来表示每个可变形物体（Liu等人，2013年；Jiang等人，2025年），这是一种能够模拟可变形物体动态行为的经典物理模型。该模型将物体建模为一个图$\mathcal{O} = (\mathcal{N}, \mathcal{E})$。$\mathcal{N} = \{n_i\}_{i=1}^N$表示由N个质点组成的集合，每个质点$n_i$由其位置$\mathbf{x}_i \in \mathbb{R}^3$、速度$\mathbf{v}_i \in \mathbb{R}^{31}$以及质量$m_i \in \mathbb{R}^2$来参数化。$\mathcal{E} = \{(i, j) \mid i, j \in \{1, ..., N\}\}$表示连接这些质点的弹簧集合，其中i和j分别是被每条弹簧连接的质点的索引。在该弹簧-质量模型中，每个质点都能根据作用在其上的力进行模拟。具体而言，作用在质点$n_i$上的力可表示为：
$$ \mathbf{F}_{i}=\sum_{(i,j)\in\mathcal{E}}\mathbf{F}_{i,j}^{\mathrm{spring}}+\mathbf{F}_{i,j}^{\mathrm{damping}}+\mathbf{F}_{i}^{\mathrm{external}}. $$
第一项$\mathbf{F}_{i,j}^{spring} = s_{ij}\left(\|\mathbf{x}_j - \mathbf{x}_i\| - r_{ij}\right)\frac{\mathbf{x}_j - \mathbf{x}_i}{\|\mathbf{x}_j - \mathbf{x}_i\|}$代表根据胡克定律，连接的质点$\mathbf{n}_i$和$\mathbf{n}_j$之间的弹簧力，其中$s_{ij}$为刚度参数，$r_{ij}$为弹簧的静止长度$(i, j)$。该项促使弹簧-质量系统保持每条弹簧的静止长度。第二项$\mathbf{F}_{i,j}^{damping} = -\gamma_{ij}(\mathbf{v}_i - \mathbf{v}_j)$是质点$\mathbf{n}_i$和$\mathbf{n}_j$之间的阻尼力，其中$\gamma_{ij}$为该弹簧$(i, j)$的阻尼系数。它会对沿弹簧方向的相对速度产生约束，从而稳定系统并防止振荡。最后一项$\mathbf{F}_{i}^{external}$则用于描述作用在质点上的外力，例如重力。
给定根据上述建模方程（公式1）在时间t计算得到的力$\mathbf{F}_i$后，质点i在时间$\mathbf{x}_i$更新后的位置$t+1$可通过牛顿第二定律的数值积分得到，即$\mathbf{v}_i^{t+1} = \mathbf{v}_i^t + \Delta t \frac{\mathbf{F}_i}{m_i}$和$\mathbf{x}_i^{t+1} = \mathbf{x}_i^t + \Delta t \mathbf{v}_i^{t+1}$。
手部与可变形物体的交互建模。基于上述手部与可变形物体的表示方法，接下来我们将介绍如何通过模拟物体的变形过程来建模它们之间的交互，该过程由MANO手部网格的运动所产生的力驱动。
Figure 2. Illustration of inverse physics for object reconstruction and hand refinement. Our spring–mass simulation is driven by the spring–mass object model and the MANO hand model. In the object reconstruction stage, the object model is fitted via inverse physics given the initial MANO models, while in the subsequent hand refinement stage, the initial MANO models are refined given the reconstructed object model. $\mathcal{L}$ denotes our loss function, composed of $\mathcal{L}_{ch}$ and $\mathcal{L}_{tr}$.
我们采用了弹簧-质量模型中建模交互力的常用策略（Liu等人，2013年）：在连接半径$\delta$内，检测到发生接触的物体质点与交互对象（在本研究中即MANO手部顶点）之间会连接虚拟弹簧（见图1左侧子图）。
严格来说，在我们最终的弹簧-质量系统中，质量节点被定义为$\mathcal{N} \cup \mathcal{V}$，它是物体节点$\mathcal{N}$和虚拟手节点$\mathcal{V}$的超集。由于这些虚拟手节点用于产生模拟物体形变所需的力，它们的位置和速度由追踪到的MANO顶点$\mathcal{V}$决定，随后在整个模拟过程中被固定为边界条件。虚拟弹簧则被定义为$\mathcal{E} \cup \mathcal{E}^{virtual}$，它是物体弹簧$\mathcal{E}$以及连接接触物体与手节点的虚拟弹簧$\mathcal{E}^{virtual}$的超集。需要注意的是，在模拟过程中，这些虚拟弹簧会促使与手接触的物体区域根据固定的手部顶点运动而平滑形变，因为弹簧-质量系统中的弹簧力和阻尼力（方程1中的$\mathbf{F}_{i,j}^{spring}$和$\mathbf{F}_{i,j}^{damping}$）会维持接触拓扑结构（即手部顶点与物体节点之间虚拟弹簧的静止长度）。这确保了物体动力学既符合物理规律，又能与手部的交互运动保持一致，同时能够模拟大型且复杂的非刚性形变。
#### 3.2. 从稀疏视角RGB-D视频中学习
我们现在将解释如何从稀疏视角RGB-D视频输入中重建第3.1节所描述的基于物理的手部-可变形物体交互模型。我们的学习流程包含三个阶段：（1）手部重建，（2）物体重建，以及（3）手部精细化。
手部重建。在此阶段，我们将MANO手部模型（Romero等人，2017年）拟合到多视角RGB-D视频上。每一帧的优化目标是MANO参数$\Theta_h = \{\theta, \beta, \mathbf{R}, \mathbf{t}\}$，其中$\boldsymbol{\theta} \in \mathbb{R}^{45}$和$\boldsymbol{\beta} \in \mathbb{R}^{10}$分别是姿态参数和形状参数，而$\mathbf{R} \in SO(3)$和$\mathbf{t} \in \mathbb{R}^3$则是全局旋转和平移参数。我们的优化目标表述如下：
$$ \min_{\boldsymbol{\Theta}_{h}}\;\mathcal{L}_{2D}(\boldsymbol{\Theta}_{h},\mathbf{U})+\lambda_{d}\mathcal{L}_{d}(\boldsymbol{\Theta}_{h},\mathbf{D})+\lambda_{t}\mathcal{L}_{t}(\boldsymbol{\Theta}_{h},\boldsymbol{\Theta}_{h}^{p r e v}), $$
---
其中，$\mathcal{L}_{2D}$用于衡量投影后的MANO关键点与每个视角V的2D关键点监督信号$\mathbf{U} \in \mathbb{R}^{V \times 21 \times 2}$之间的重投影误差。$\mathcal{L}_d$用于衡量渲染出的MANO深度图与观测到的深度图$\mathbf{D} \in \mathbb{R}^{V \times H \times W}$之间的差异，此处H和W表示深度图的分辨率，而$\mathcal{L}_t$则用于约束MANO参数相对于前一帧拟合结果的时序平滑性，即$\Theta_{h}^{prev}$。系数$\lambda_{2D}$、$\lambda_d$和$\lambda_t$分别控制各项损失项的相对权重。
物体重建。在拟合出3D手部模型后，我们接下来拟合代表交互下可变形物体的弹簧-质量模型。在此阶段，我们主要遵循PhysT-win（Jiang等人，2025年）的物体模型拟合流程，不过该流程仅将稀疏的控制点视为交互对象。大致而言，首先利用图像到3D的生成模型（Xiang等人，2025年）获取$t = 0$时刻物体的3D几何形状。随后，通过弹簧-质量系统模拟$t \in [1, T]$时刻的物体动力学，并优化物理参数（例如第3.1节中的$s_{ij}$、$\gamma_{ij}$和$\delta$），以使模拟出的几何形状更好地匹配输入观测数据。优化目标表述为最小化两项：（1）$\mathcal{L}_{ch}$，它衡量模拟节点位置与从输入深度图生成的观测3D点云之间的倒角距离；（2）$\mathcal{L}_{tr}$，这是一种$\ell_2$损失，用于衡量模拟节点位置与CoTracker3（Karaev等人，2024年）追踪得到的伪真实3D点之间的差异。
虽然我们建议读者查阅我们的补充材料或（Jiang等人，2025年）以获取关于此阶段的更多细节，但我们想强调在弹簧-质量模拟中的一个关键差异：我们的方法基于前一阶段用MANO模型拟合的密集3D手部几何结构来建模相互作用力，而PhysTwin则是利用从输入深度图中采样的稀疏点来近似这些力；由于接触遮挡，真实的手-物体接触点无法被观测到。这可能会限制模拟过程中相互作用力建模的精度，而正如第4节所讨论的，我们的方法能够得出更精确的模拟结果。在第4.4节中，我们还提供了数值分析，表明从非局部动力学角度而言，我们的密集手部交互模型能比PhysTwin更优地重构弹簧-质量模型的拓扑结构（Silling & Askari, 2005; Silling等人, 2007; Wang等人, 2023a）。
手部精细化处理。在物体重建阶段之后，我们可以利用重建好的基于物理的物体模型作为额外先验，进一步细化初始的手部模型拟合，使其生成的物体模拟结果更能与输入观测数据相匹配。具体来说，我们复用物体重建阶段的相同$\mathcal{L}_{ch}$和$\mathcal{L}_{tr}$损失函数，来衡量每个时间步t下模拟出的物体节点与真实观测值之间的差异。不过在此阶段，我们通过逆向物理方法（见图2）利用基于梯度下降的优化算法来调整MANO模型参数。设$\mathcal{S}_{t}(\cdot)$表示给定MANO手部参数时，在时间步t返回模拟物体节点的函数。那么细化后的手部参数$\tilde{\Theta}_{h}$可通过以下方式优化：
$$ \tilde{\Theta}_{h}=\arg\min_{\Theta_{h}}\frac{1}{T}\sum_{t=1}^{T}\mathcal{L}(\Theta_{h},\mathcal{P},\mathbf{T}), $$
$$ \mathcal{L}(\boldsymbol{\Theta}_{h},\mathcal{P},\mathbf{T})=\mathcal{L}_{c h}(\mathcal{S}_{t}(\boldsymbol{\Theta}_{h}),\mathcal{P})+\lambda_{t r}\mathcal{L}_{t r}(\mathcal{S}_{t}(\boldsymbol{\Theta}_{h}),\mathbf{T}) $$
其中$\mathcal{P}$和T分别表示真实的上采样点云和跟踪点。当手部观测数据严重受限时，这种基于逆向物理的细化方法尤为有效；虽然我们经实验发现，仅使用多视角RGB-D输入时，初始的手部重建阶段就足以取得最先进的结果，但当输入数据更稀疏时（例如单视角下的未来预测场景），这一手部精细化阶段的效果尤为显著。据我们所知，这是首个证明通过可变形物体模拟的逆向物理方法能够提升手部模型拟合精度的研究。
### 4. 实验
在本节中，我们通过实验评估所提方法的有效性。我们首先在第4.1节描述实验设置，随后在第4.2节展示对比结果。我们还在第4.3节评估了该方法在含噪输入信号下的鲁棒性，并在第4.4节对我们的方法与PhysTwin（Jiang等人，2025年）的弹簧-质量模型拓扑进行了对比分析。
#### 4.1. 实验设置
数据集。我们采用了PhysTwin数据集（Jiang等人，2025年），该数据集包含手部与可变形物体交互的三视角RGB-D视频。在原始的PhysTwin数据集中，有相当一部分序列仅包含手部与物体之间非常稀疏的点状接触（例如手指捏住物体），这类情况在实际场景中并不常见。由于我们旨在建模更真实的手-物体交互，因此主要在排除了此类仅有点状接触的序列后的PhysTwin数据集子集上进行评估，我们将其称为PhysTwin-dense数据集——同时我们也在补充材料中展示了完整结果。
此外，我们新采集了19个专门用于捕捉更密集的手-物体接触序列，将其称为DENSEHDI数据集。该数据集采用与（Jiang等人，2025）相同的数据采集协议，包含10种额外物体（如小袋、毛巾、纸杯和帽子；详情见补充材料）。论文发表后，我们将发布该数据集，以促进未来对手-可变形物体交互建模的研究。
---
PhysHanDI: Physics-Based Reconstruction of Hand-Deformable Object Interactions
| Method | Reconstruction & Resimulation | Future Prediction |
| 3D Metrics | 2D Metrics | 3D Metrics | 2D Metrics |
| $CD_{dyn} \downarrow$ | $CD_{full} \downarrow$ | Track Err. $\downarrow$ | IoU $\uparrow$ | PSNR $\uparrow$ | $CD_{dyn} \downarrow$ | $CD_{full} \downarrow$ | Track Err. $\downarrow$ | IoU $\uparrow$ | PSNR $\uparrow$ |
| Spring-Gaus (Zhong et al., 2024) | 27.79 | 38.84 | 4.65 | 0.55 | 21.41 | 37.38 | 56.51 | 7.69 | 0.42 | 19.91 |
| GS-Dynamics (Zhang et al., 2024a) | 33.37 | 13.67 | 1.81 | 0.74 | 23.12 | 56.79 | 33.99 | 4.50 | 0.51 | 18.97 |
| PhysTwin (Jiang et al., 2025) | 10.78 | 5.90 | 1.00 | 0.84 | 25.23 | 16.32 | 11.45 | 2.10 | 0.70 | 22.07 |
| PHYSHANDI (Ours) | 8.32 | 5.30 | 0.89 | 0.85 | 25.62 | 14.35 | 10.57 | 2.05 | 0.73 | 22.84 |
Table 1. Reconstruction & Resimulation and Future Prediction results on the PhysTwin-dense dataset (Jiang et al., 2025). Our method outperforms the state-of-the-art (Jiang et al., 2025) on all metrics. CD is measured in millimeters, and Track Err. is scaled by $\times100$ for readability.
| Method | Reconstruction & Resimulation | Future Prediction |
| 3D Metrics | 2D Metrics | 3D Metrics | 2D Metrics |
| CD $\downarrow$ | Track Err. $\downarrow$ | IoU $\uparrow$ | PSNR $\uparrow$ | CD $\downarrow$ | Track Err. $\downarrow$ | IoU $\uparrow$ | PSNR $\uparrow$ |
| PhysTwin (Jiang et al., 2025) | 5.59 | 1.58 | 0.76 | 21.22 | 7.98 | 2.42 | 0.63 | 19.76 |
| PHYSHANDI (Ours) | 5.06 | 1.50 | 0.78 | 21.61 | 7.54 | 2.40 | 0.65 | 19.75 |
Table 2. Reconstruction & Resimulation and Future Prediction results on the DENSEHDI dataset. Our method outperforms the state-of-the-art (Jiang et al., 2025) on most metrics, demonstrating its effectiveness. CD is measured in millimeters, and Track Err. is scaled by $\times100$ for readability.
任务与基线。我们遵循PhysTwin（Jiang等人，2025）中采用的评估协议，考虑两项评估任务：（1）重建与重新模拟；（2）未来预测。关于对未见过的交互的泛化能力结果，我们也在补充材料中进行了报告。在基线对比方面，我们将其与PhysTwin（Jiang等人，2025）、Spring-Gaus（Zhong等人，2024）以及GS-Dynamics（Zhang等人，2024a）进行比较，这些方法是当前基于物理的物体重建领域的最先进技术。需要注意的是，对于Spring-Gaus，我们采用了PhysTwin对比实验中使用的控制器增强变体，因为其原始公式不支持外部控制输入。
评估指标。为确保公平比较，我们再次采用PhysTwin（Jiang等人，2025）中使用的评估指标。具体而言，我们使用能够评估重建物体与真实物体之间几何和光度差异的指标——这些指标既可以在3D空间中使用（倒角距离、跟踪误差），也可以在投影的2D空间中使用（IoU、PSNR）。为了能够使用光度指标（PSNR），我们效仿PhysTwin的做法，学习绑定到物体模型上的代理高斯斑点，从而能够渲染重建后的物体动态以进行评估。我们还注意到，PhysTwin（Jiang等人，2025）以及我们的方法（第3.2节）中所采用的基于优化的重建流程都存在随机性（例如参数初始化是随机的）。因此，我们运行PhysTwin的官方实现，并取10次运行结果的平均值来进行更可靠的比较。
#### 4.2. 实验对比
##### 4.2.1. 重建与重新模拟
在重建与重新模拟实验中，我们按照（Jiang等人，2025）中的协议，评估在基于物理的物体模型拟合时所使用的已见帧上的重建精度。表1（左）展示了我们在PhysTwin-dense数据集上的定量结果。对于该数据集，我们发现许多序列包含大面积的静态区域，只有局部小区域会发生有意义的形变（例如图3(a)中固定在桌面的布料区域）。为了更清晰地衡量动态形变区域的精度——这也是基于物理重建的主要关注点——我们报告了两个版本的Chamfer距离：$CD_{full}$是覆盖所有物体点的标准Chamfer距离，而$CD_{dyn}$仅针对发生显著形变的顶点进行计算。具体而言，给定由CoTracker生成的伪真实点轨迹$\mathbf{x}_{1:T}$以及深度输入，若满足$\|\mathbf{x}_i - \mathbf{x}_1\|^2 > \tau_{dyn}$条件，则该点会被归入形变集合，其中$\tau_{dyn}$为运动幅度阈值。从表中可以看出，我们的方法在所有指标上均大幅优于Spring-Gaus和GS-Dynamics，且在所有指标上也优于PhysTwin。图3中的定性对比以及补充视频进一步表明，我们的方法能够实现更精确的重建与重新模拟。需要注意的是，Spring-Gaus最初是针对视角更密集的输入场景设计的；在我们采用的三视图稀疏输入配置下，其模拟过程会变得不稳定，从而导致物体几何结构破损，定性结果中便体现了这一点。GS-Dynamics通过基于GNN的运动表征来利用长运动序列；因此，它无法捕捉短序列中有意义的形变行为，只能建模细微的运动。对于PhysTwin而言，模拟过程中的相互作用力是根据从深度图中采样的约30个稀疏点来近似得到的。这会导致模拟精度较低，原因在于：（1）相互作用力建模的精度有限，因为由于相互遮挡，深度传感器无法完全观测到真实的手-物体接触点；（2）用于模拟的重建模型拓扑结构并不理想，正如4.4节所分析的那样。
---
(a) Qualitative comparisons on PhysTwin dataset (Jiang et al., 2025).
(b) Qualitative comparisons on DenseHDI dataset.
Figure 3. Qualitative comparisons on (1) reconstruction and resimulation, and (2) future prediction. Yellow circles indicate regions where object simulations are less accurately aligned with the ground-truth observations or with the interacting hand contacts. Compared to all the baselines, our method produces more accurate object simulations. More qualitative results are provided in the supplementary video.
这种拓扑结构并不理想，正如4.4节所分析的那样。
在表2（左）中，我们还报告了在DENSE-HDI数据集上的结果，该数据集主要记录密集的手-物体交互情况。在此，我们的方法在所有指标上再次优于基线模型，进一步验证了该方法通过完整的3D手部建模来模拟密集手-可变形物体交互的有效性。
##### 4.2.2. 未来预测
在未来预测实验中，我们评估在基于物理的物体模型拟合时未见过的前景帧上的重建质量。
三视图RGB-D输入。在表1和表2（右）中，我们分别展示了在PhysTwin和DENSE-HDI数据集上的未来预测结果。我们的方法在所有指标上均大幅优于Spring-Gaus（Zhong等人，2024）和GS-Dynamics（Zhang等人，2024a），且在大多数指标上也优于PhysTwins（Jiang等人，2025），这证明了其在未来预测方面的有效性。图3中的定性对比以及补充视频也显示，我们的方法生成的未来预测结果与真实观测结果更为吻合。
---
真实观测结果。
单视图RGB-D输入。我们还报告了在单视图RGB-D输入下的未来预测结果，这一场景比现有最先进方法（PhysTwin（Jiang等人，2025年））所考虑的多视图场景更具挑战性。在这种场景下，PhysTwin必须根据从单视图深度图中采样的稀疏手部点来估算相互作用力，而这些手部点具有高度不完整性。我们通过实验发现，由于识别手-物体接触点的过程存在误差（由第3.1节中的阈值$\delta$决定），其物体模拟经常失败，因此无法纳入我们的对比范围。如表3所示，我们的方法通过利用从部分输入中生成的完整3D重建，能够稳健地应对单视图未来预测这一极具挑战性的任务。该表还展示了未经过基于逆向物理的手部优化时的结果，结果表明当输入视图极度稀疏时，这种优化对约束手部模型拟合的效果显著。
为了进一步评估手部拟合精度，我们还在表中加入了Hand CD指标，该指标用于衡量拟合出的手部网格与从数据集中可用的多视图深度图提取的真实3D手部点云之间的倒角距离。$^{3}$ 我们的手部优化同样明显提升了这一手部拟合精度指标；据我们所知，这是首个证明基于物理的可变形物体先验能够助力手部重建的研究。
| Method | 3D Metrics | 2D Metrics |
| CD $\downarrow$ | Track Err. $\downarrow$ | Hand CD $\downarrow$ | IoU $\uparrow$ | PSNR $\uparrow$ |
| PHYSHANDI (Ours) - Hand Ref. | 42.8 | 7.36 | 7.57 | 0.49 | 19.50 |
| PHYSHANDI (Ours) | 33.5 | 6.75 | 7.17 | 0.51 | 19.67 |
Table 3. Single-view future prediction results on the PhysTwin-full dataset (Jiang et al., 2025). Notably, our hand refinement using the physics-based object prior is effective in enhancing hand reconstruction quality.
#### 4.3. 鲁棒性分析
我们还对比了我们的方法与PhysTwin（Jiang等人，2025年）在受扰动输入信号下的鲁棒性，这些输入信号包括输入深度图、CoTracker（Karaev等人，2024年）的跟踪结果以及基于MANO（Romero等人，2017年）的手部拟合结果。具体而言，我们在输入深度图中加入1毫米的噪声，给CoTracker跟踪结果添加1像素的扰动，并对MANO参数进行扰动，使得最终得到的手部姿态的MPJPE达到10毫米。
在表4中，PhysTwin在所有设定下的性能下降幅度更大，尤其是在跟踪信号受扰动的情况下。相比之下，我们方法的性能下降幅度明显较小。这种鲁棒性源于我们使用了更密集的手部重建结果，它能提供更可靠的接触线索，从而减轻上游噪声的影响；因此，深度图、跟踪结果或控制器参数的扰动仅会导致微小的精度变化。这些结果凸显了我们方法应用于实际场景的潜力——比如使用单目或仅包含RGB图像的多视图视频，此时我们的模型将基于RGB预测出的深度图或手部估计结果进行拟合，因为我们模拟的噪声水平仍在当前基于RGB的最先进估计器的精度范围内。
| Method | PhysTwin-dense | PhysTwin-full |
| CD $\downarrow$ | Track Err. $\downarrow$ | CD $\downarrow$ | Track Err. $\downarrow$ |
| (a) Clean Input |
| PhysTwin | 5.90 | 1.00 | 5.52 | 0.97 |
| Ours | 5.30 | 0.89 | 5.40 | 0.96 |
| (b) Perturbed Depth |
| PhysTwin | 6.93 (1.03) | 1.12 (0.12) | 6.34 (0.82) | 1.12 (0.15) |
| Ours | 6.19 (0.89) | 1.00 (0.11) | 6.10 (0.70) | 1.05 (0.09) |
| (c) Perturbed Tracking Signal |
| PhysTwin | 9.60 (3.70) | 1.46 (0.46) | 8.32 (2.80) | 1.34 (0.37) |
| Ours | 5.56 (0.26) | 0.86 (-0.03) | 5.50 (0.10) | 0.92 (-0.04) |
| (d) Perturbed Controller |
| PhysTwin | 7.54 (1.64) | 1.25 (0.25) | 6.89 (1.37) | 1.25 (0.28) |
| Ours | 6.44 (1.14) | 1.08 (0.19) | 6.79 (1.39) | 1.29 (0.33) |
Table 4. Robustness analysis under perturbations applied to depth input, CoTracker (Karaev et al., 2024) trajectories, and hand-pose controller parameters. We compare PhysTwin (Jiang et al., 2025) and our method under the same settings. Values in parentheses denote performance changes relative to the clean-input baseline.
#### 4.4. 接触拓扑分析
在本节中，我们进一步探讨了为何如前几小节所述，我们的物体模拟性能优于当前最先进的方法PhysTwin（Jiang等人，2025年）。具体而言，我们分析了优化后的弹簧-质量模型拓扑结构的差异，因为“[弹簧-质量]模型的行为取决于其拓扑结构”（Nealen等人，2006年）。
正如第3节所讨论的，连接半径$\delta$是决定我们方法与PhysTwin模型拓扑结构的主要因素。因此，我们对拟合得到的$\delta$进行了数值分析。具体而言，我们参考了基于粒子的模型中具有半径限制的邻居相互作用的实际分析（例如非局部动力学方法）（Silling & Askari, 2005; Silling et al., 2007; Wang et al., 2023a），因为我们的弹簧-质量模型同样将相互作用限制在距离阈值$\delta$以内的邻居之间。研究表明，给定物体$\Delta x$的空间离散分辨率$^{4}$，比值$\delta/\Delta x$应接近一个较小的常数r；如果该值过大，可能会导致严重的波扩散现象，并且会大幅增加计算机运行时间。（Silling & Askari, 2005）
---
Figure 4. Comparisons in reconstructed spring–mass model topology and force. (1) Topology reconstruction. PhysTwin (Jiang et al., 2025)'s sparser hand points tend to result in excessively long virtual spring lengths to maintain contact coverage, whereas ours based on dense hand points precisely localizes contacts without unnecessary spring elongation—considered a more optimal topology in prior works (Silling & Askari, 2005; Silling et al., 2007; Wang et al., 2023a). (2) Control force visualization. PhysTwin's broader spring coverage disperses forces across non-contact regions, whereas ours concentrates forces at the actual contact, favoring local, detailed manipulation. Visualization key. Yellow line segments depict virtual-springs $\mathcal{E}^{virtual}$. Blue spheres denote object nodes $\mathcal{N}$ and red spheres denote control nodes $\mathcal{V}'$. Red arrows visualize control-force vectors induced on object nodes by virtual springs.
受此启发，我们引入了一个简单的指标来衡量连接半径与离散分辨率之比偏离推荐值的程度。具体来说，我们定义了“半径-分辨率偏差”（Radiusto-Resolution Deviation, RRD）。
$$ R R D=|\left(\delta/\Delta x\right)/r-1|, $$
其中，我们取r = 3作为参考值，这一数值在以往研究中被普遍认为合理（Silling & Askari, 2005; Silling et al., 2007; Wang et al., 2023a）。如表5所示，与PhysTwin（Jiang et al., 2025）相比，我们的方法使物体弹簧的RRD降低了约$2 \times$，虚拟弹簧的RRD降低了超过$7 \times$；这表明根据上述文献中的分析，我们的模型拓扑结构更为优化。
与这些结果相关，我们还在图4中展示了拓扑结构与接触情况的可视化结果。可以看出，PhysTwin较为稀疏的控制点会导致虚拟弹簧长度过长，才能维持接触覆盖；而我们的密集手部重建能够精确定位接触点，无需过度延长弹簧。此外，控制力可视化结果（图4右侧列）显示，PhysTwin较广的虚拟弹簧覆盖范围会使力分散到更大区域，从而削弱了真实接触点周围的局部驱动力；相比之下，我们的方法仅将力集中在实际发生接触的位置，这更利于精细操作。这些分析表明，密集的手部重建能够优化弹簧-质量模型的拓扑结构，从而形成与分辨率相匹配的更小连接半径，并带来更可靠的动力学表现。
| Method | $RRD_{{object}} \downarrow$ | $RRD_{{virtual}} \downarrow$ |
| PhysTwin (Jiang et al., 2025) | 0.64 | 2.63 |
| PHYSHANDI (Ours) | 0.32 | 0.35 |
Table 5. Radius-to-Resolution Deviation (RRD) for object and virtual springs (lower is better). $RRD = |(\delta/\Delta x)/r - 1|$. Our method achieves about $2 \times$ lower RRD for object springs and over $7 \times$ lower for virtual springs compared to PhysTwin (Jiang et al., 2025).
### 5. 结论
我们提出了PHYSHANDI——一种用于建模和重建手部与物体交互的物理基础框架，尤其适用于高度非刚性的物体。通过融入物理先验，并模拟由完全重建的3D手部所产生的力驱动的物体形变，我们的方法能够生成既符合物理规律又与手部动态相一致的重建结果。基于稀疏视角RGB-D输入的重建流程表明，PHYSHANDI在重建精度、未来预测以及未见交互场景的泛化能力方面均优于现有基准方法。这项工作朝着更通用、更稳健的日常手部-物体交互建模迈出了重要一步，为具身人工智能和数字人建模领域的应用开辟了新机遇。
---
## 影响声明
本文提出了一种基于物理的框架，用于从稀疏视角的RGB-D数据中重建手部与可变形物体的交互，旨在推动机器学习中的3D感知与物理推理发展。所提出的方法有望在具身智能、数字人建模以及沉浸式AR/VR内容创作等领域实现下游应用。与以往在RGB-D捕捉及人机交互建模方面的研究相比，我们的方法并未引入新的数据模态或隐私风险，这些风险在现有的基于视觉的重建系统中已然存在。
## 致谢
本研究得到了韩国国家科学技术研究院（NST）资助（项目编号：CRC 21015，MSIT）、韩国信息通信技术促进局（IITP）资助（项目编号：RS-2023-00228996、RS-2024-00459749、RS-2025-25443318、RS-2025-25441313、RS-2026-25526850、RS-2026-25522885，MSIT）、韩国文化内容振兴院（KOCCA）资助（项目编号：RS-2024-00442308，MCST）以及InnoCORE计划（项目编号：N10260110，MSIT）的支持。
## 参考文献
Antotsiou, D., Ciliberto, C. 和 Kim, T.-K. 采用轨迹增强与修正的对抗性模仿学习。载于ICRA会议论文集，2021年。
Attal, B., Huang, J.-B., Richardt, C., Zollhoefer, M., Kopf, J., O'Toole, M. 和 Kim, C. Hyperreel：基于光线条件采样的高保真6自由度视频。载于CVPR会议论文集，2023年。
Brahmbhatt, S., Ham, C., Kemp, C. C. 和 Hays, J. Contactdb：通过热成像分析并预测抓取接触情况。载于CVPR会议论文集，2019年。
Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C. 和 Hays, J. Contactpose：包含物体接触与手部姿态的抓取数据集。载于ECCV会议论文集，2020年。
Chao, Y.-W., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y. S., Van Wyk, K., Iqbal, U., Birchfield, S. 等。Dexycb：用于捕捉物体抓取行为的基准测试。载于CVPR会议论文集，2021年。
Chen, H.-y., Tretschk, E., Stuyck, T., Kadlecek, P., Kavan, L., Vouga, E. 和 Lassner, C. 虚拟弹性物体。载于CVPR会议论文集，2022a年。
Chen, Y., Tu, Z., Kang, D., Chen, R., Bao, L., Zhang, Z. 和 Yuan, J. 基于单张图像并利用跨分支特征融合的手部-物体3D重建。载于TIP期刊，2021年。
Chen, Z., Hasson, Y., Schmid, C. 和 Laptev, I. Alignsdf：用于手部-物体重建的姿态对齐有向距离场。载于ECCV会议论文集，2022b年。
Chen, Z., Chen, S., Schmid, C. 和 Laptev, I. GSDF：用于3D手部-物体重建的几何驱动有向距离函数。载于CVPR会议论文集，2023年。
Cho, W., Lee, J., Yi, M., Kim, M., Woo, T., Kim, D., Ha, T., Lee, H., Ryu, J.-H., Woo, W. 等。Dense Hand-Object (HO) GraspNet：涵盖完整抓取分类与动力学信息。载于ECCV会议论文集，2024年。
Chu, M., Liu, L., Zheng, Q., Franz, A., Seidel, H.-P., Theobalt, C. 和 Zayer, R. 用于稀疏数据下烟雾重建的物理信息神经场。载于ACM TOG期刊，2022年。
Corona, E., Pumarola, A., Alenya, G., Moreno-Noguer, F. 和 Rogez, G. GANHand：预测多物体场景中的人类抓取可能性。载于CVPR会议论文集，2020年。
Curless, B. 和 Levoy, M. 一种从深度图像构建复杂模型的体积化方法。载于SIGGRAPH会议论文集，1996年。
Damen, D., Doughty, H., Farinella, G. M., Furnari, A., Kazakos, E., Ma, J., Moltisanti, D., Munro, J., Perrett, T., Price, W. 等。重新定义第一人称视觉：Epic-Kitchens-100的数据收集、处理流程与挑战。载于IJCV期刊，2022年。
Dong, H., Chharia, A., Gou, W., Vicente Carrasco, F. 和 De la Torre, F. D. Hamba：基于图引导双向扫描Mamba的单视图3D手部重建方法。载于NeurIPS会议论文集，2024年。
Doosti, B.、Naha, S.、Mirbagheri, M.和Crandall, D. J.。Hope-net：一种用于手-物体姿态估计的基于图的模型。载于CVPR，2020年。
Du, T.、Wu, K.、Ma, P.、Wah, S.、Spielberg, A.、Rus, D.和Matusik, W.。Diffpd：可微投影动力学。ACM TOG，2021年。
Fan, Z.、Taheri, O.、Tzionas, D.、Kocabas, M.、Kaufmann, M.、Black, M. J.和Hilliges, O.。ARCTIC：一个用于灵巧的双手法-物体操控的数据集。载于CVPR，2023年。
Garcia-Hernando, G.、Yuan, S.、Baek, S.和Kim, T.-K.。第一人称手部动作基准测试：包含RGB-D视频与3D手部姿态标注。载于CVPR，2018年。
Garcia-Hernando, G.、Johns, E.和Kim, T.-K.。基于物理的灵巧操控：利用估计的手部姿态与残差强化学习实现。载于IROS，2020年。
Geilinger, M.、Hahn, D.、Zehnder, J.、Bächer, M.、Thomaszewski, B.和Coros, S.。Add：用于含摩擦接触的多体系统的解析可微动力学。ACM TOG，2020年。
---
Grady, P.、Tang, C.、Twigg, C. D.、Vo, M.、Brahmbhatt, S.和Kemp, C. C.。Contactopt：优化接触面以改善抓取效果。载于CVPR，2021年。
Hampali, S.、Rad, M.、Oberweger, M.和Lepetit, V.。Hontate：一种用于手与物体姿态的3D标注方法。载于CVPR，2020年。
Hampali, S.、Sarkar, S. D.、Rad, M.和Lepetit, V.。Keypoint Transformer：解决复杂手-物体交互中的关节识别问题，实现精确的3D姿态估计。载于CVPR，2022年。
Hasson, Y.、Varol, G.、Tzionas, D.、Kalevatykh, I.、Black, M. J.、Laptev, I.和Schmid, C.。学习手与被操控物体的关节重建方法。载于CVPR，2019年。
Hasson, Y.、Tekin, B.、Bogo, F.、Laptev, I.、Pollefeys, M.和Schmid, C.。利用时间上的光度一致性实现稀疏监督下的手-物体重建。载于CVPR，2020年。
Jiang, H.、Hsu, H.-Y.、Zhang, K.、Yu, H.-N.、Wang, S.和Li, Y.。Phystwin：从视频中进行可变形物体的物理感知重建与仿真。载于ICCV，2025年。
Jung, D. S.和Lee, K. M.。从不平衡数据中学习密集手部接触估计。载于CoRR，arXiv:2505.11152卷，2025年。
Karaev, N.、Makarov, I.、Wang, J.、Neverova, N.、Vedaldi, A.和Rupprecht, C.。Cotracker3：通过伪标注真实视频实现更简单且更优的点追踪。arXiv:2410.11831，2024年。
Kim, D.和Kim, T.-K.。多假设条件化点云扩散模型：用于从遮挡图像中重建3D人体。载于NeurIPS，2024a年。
Kim, M.和Kim, T.-K.。Bitt：从单张图像中重建交互中两只手的双向纹理。载于CVPR，2024b年。
Kingma, D. P.。Adam：一种随机优化方法。载于ICLR，2014年。
Kratimenos, A.、Lei, J.和Daniilidis, K.。Dynmf：用于实时动态视图合成的神经运动分解技术，结合3D高斯泼溅实现。载于ECCV，2024年。
Lee, J.、Sung, M.、Choi, H.和Kim, T.-K.。Im2hands：学习交互中双手形状的注意力隐式表示。载于CVPR，2023年。
Lee, J.、Saito, S.、Nam, G.、Sung, M.和Kim, T.-K.。Inter-handgen：通过级联反向扩散生成双手交互。载于CVPR，2024年。
Li, H.、Sumner, R. W.和Pauly, M.。深度扫描的非刚性配准中的全局对应优化。载于CGF，2008年。
李J.、徐C.、陈Z.、卞S.、杨L.、陆C.。Hybrik：一种用于3D人体姿态和形状估计的混合分析-神经逆运动学解决方案。载于CVPR，2021年。
李X.、乔Y.-L.、陈P. Y.、贾塔瓦拉布拉K. M.、林M.、蒋C.、甘C.。Pac-nerf：用于几何无关系统识别的物理增强连续神经辐射场。载于ICLR，2023a年。
李Z.、王Q.、科尔F.、塔克R.、斯纳维利N.。Dynibar：基于神经动态图像的渲染技术。载于CVPR，2023b年。
刘S.、蒋H.、徐J.、刘S.、王X.。结合时间交互的半监督3D手-物体姿态估计方法。载于CVPR，2021年。
刘S.、周Y.、杨J.、古普塔S.、王S.。Contact-gen：用于抓取生成的生成式接触建模方法。载于ICCV，2023年。
刘T.、巴格特尔A. W.、奥布莱恩J. F.、卡万L.。质量-弹簧系统的快速仿真。载于ACM TOG，2013年。
洛希洛夫I.、胡特F.。解耦权重衰减正则化方法。载于CoRR，卷号abs/1711.05101，2017年。
洛萨诺J. A.。迈向新一代进化计算：分布估计算法的进展，第192卷。2006年。
卢加雷西C.、唐J.、纳什H.、麦克拉纳汉C.、乌博韦贾E.、海斯M.、张F.、张C.-L.、雍M.、李J.、张W.-T.、华W.、乔治M.、格伦德曼M.。MediaPipe：一种感知与处理现实的框架。载于CVPRW，2019年。
卢伊滕J.、科帕纳斯G.、莱贝B.、拉马南D.。动态3D高斯模型：通过持久动态视图合成实现跟踪。载于3DV，2024年。
梅舍德L.、厄克斯勒M.、尼迈耶M.、诺沃津S.、盖格尔A.。占据网络：在函数空间中学习3D重建技术。载于CVPR，2019年。
米尔德霍尔B.、斯里尼瓦桑P. P.、坦西克M.、巴伦J. T.、拉马穆尔蒂R.、吴R.。NeRF：将场景表示为用于视图合成的神经辐射场。载于ECCV，2020年。
穆勒F.、梅塔D.、索特尼琴科O.、斯里达尔S.、卡萨斯D.、特奥鲍尔特C.。基于 Egocentric RGB-D 传感器的遮挡情况下实时手部跟踪技术。载于ICCV，2017年。
---
默西J. K.、麦克林M.、戈莱莫F.、沃莱蒂V.、佩特里尼L.、韦斯M.、康西丁B.、帕伦特-莱韦克J.、谢K.、埃尔莱本K.等。Gradsim：用于系统识别和视觉运动控制的可微仿真技术。载于ICLR，2020年。
尼尔恩A.、穆勒M.、凯泽R.、博克斯曼E.、卡尔森M.。计算机图形学中的基于物理的可变形模型。载于《计算机图形学论坛》，2006年。
纽科姆R. A.、福克斯D.、塞茨S. M.。动态融合：实时重建与跟踪非刚性场景。载于CVPR，2015年。
朴G.、金T.-K.、吴W.。通过域迁移学习利用单红外摄像头进行3D手部姿态估计。载于ISMAR，2020年。
朴K.、辛哈U.、巴伦J. T.、布阿齐兹S.、戈德曼D. B.、塞茨S. M.、马丁-布鲁阿拉R.。NeRFies：可变形神经辐射场。载于ICCV，2021a年。
朴K.、辛哈U.、赫德曼P.、巴伦J. T.、布阿齐兹S.、戈德曼D. B.、马丁-布鲁阿拉R.、塞茨S. M.。HyperNeRF：用于拓扑变化神经辐射场的更高维度表示方法。载于ACM TOG，2021b年。
普马拉拉A.、科罗纳E.、庞斯-莫尔G.、莫雷诺-诺格尔F.。D-NeRF：用于动态场景的神经辐射场。载于CVPR，2021年。
齐M.、赵Z.和马H.基于分解式vq-vae的刚性与可变形物体人手抓取生成。arXiv预印本arXiv:2501.05483，2025年。
乔Y.、梁J.、科尔顿V.和林M.软体多体系统的可微模拟。载于NeurIPS会议论文集，2021年。
乔Y.-L.、高A.和林M.Neophysics：从单目视频中生成可编辑的神经几何与物理模型。载于NeurIPS会议论文集，2022年。
罗梅罗J.、齐奥纳斯D.和布莱克M.J.具身化手部模型：人手与人体的联合建模与捕捉。ACM TOG期刊，2017年。
西林S.A.和阿斯卡里E.基于固体力学非连续介质动力学的无网格方法。《计算机与结构》杂志，2005年。
西林S.A.、埃普顿M.、韦克纳O.、徐J.和阿斯卡里E.非连续介质动力学状态与本构建模。《弹性学》期刊，2007年。
斯瓦米A.、勒鲁瓦V.、韦因扎费尔P.、巴拉德尔F.、加拉乌伊S.、布雷吉尔R.、阿曼多M.、弗朗科J.-S.和罗热兹G.Showme：面向物体无关的手部-物体3D重建基准测试。载于ICCV会议论文集，2023年。
塔赫里O.、戈尔巴尼N.、布莱克M.J.和齐奥纳斯D.Grab：全身人体物体抓取数据集。载于ECCV 2020会议论文集，2020年。
特金B.、博戈F.和波勒费斯M.H+o：统一的第一人称视角3D手部-物体姿态与交互识别。载于CVPR会议论文集，2019年。
特雷奇克E.、特瓦里A.、戈利亚尼克V.、佐尔霍费尔M.、拉斯纳C.和特博尔特C.非刚性神经辐射场：从单目视频中重建动态场景并生成新视角。载于ICCV会议论文集，2021年。
谢T.H.E.、张Z.、金K.I.、莱昂纳迪斯A.、郑F.和张H.J.S2 Contact：基于图神经网络的三维手部-物体接触估计半监督学习方法。载于ECCV会议论文集，2022年。
王B.、吴L.、尹K.、阿舍U.M.、刘L.和黄H.软物体的形变捕捉与建模。ACM TOG期刊，2015年。
王B.、奥特库斯S.和奥特库斯E.基于状态的非连续介质动力学中视界尺寸的确定。《连续介质力学与热力学》杂志，2023a年。
王C.、麦克唐纳L.E.、杰尼L.A.和卢西S.可变形NERF的流场监督。载于CVPR会议论文集，2023b年。
冼W.、黄J.-B.、科普夫J.和金C.用于自由视点视频的时空神经辐照场。载于CVPR会议论文集，2021年。
向J.、吕Z.、徐S.、邓Y.、王R.、张B.、陈D.、童X.和杨J.用于可扩展且多功能3D生成的结构化3D隐变量。载于CVPR会议论文集，2025年。
谢W.、余Z.、赵Z.、左B.和王Y.HMD：无需标记的多视角手部操作捕捉及可变形物体建模。《图形模型》杂志，2023a年。
谢W.、赵Z.、李S.、左B.和王Y.基于区域展开变换器的非刚性物体接触估计。载于ICCV会议论文集，2023b年。
徐Q.、刘J.、余S.、王Y.、周Y.、周J.、崔J.、王Y.-S.和张H.Neuspring：用于从视频中重建和模拟可变形物体的神经弹簧场。载于AAAI会议论文集，2026年。
杨Y.、张Z.、张X.、曾Y.、李H.和左W.Physworld：通过具备物理感知的演示合成，将真实视频转化为可变形物体的世界模型。arXiv预印本arXiv:2510.21447，2025年。
余H.、朱林J.、米拉斯基Z.A.、新沼K.和杰尼L.A.Dylin：让光场网络具备动态特性。载于CVPR会议论文集，2023年。
---
张M、张K和李Y. 基于图神经动力学建模的动态3D高斯跟踪. 收录于CoRL，2024a.
张T、余H-X、吴R、冯BY、郑C、斯纳维利N、吴J和弗里曼WT. PhysDreamer：通过视频生成实现与3D物体的物理交互. 收录于ECCV，2024b.
张W、达布拉尔R、戈利亚尼克V、乔塔斯V、阿尔瓦拉多E、比勒T、哈伯曼M和特奥博尔特C. BiMart：一种用于合成带关节物体双手交互的统一方法. 收录于CVPR，2025.
钟L、余H-X、吴J和李Y. 基于弹簧-质量模型的弹性物体3D高斯重建与仿真. 收录于ECCV，2024.
朱Z、王J、秦Y、孙D、詹帕尼V和王X. ContactArt：学习用于类别级关节物体与手部姿态估计的3D交互先验. 收录于3DV，2024.
---
### A. 数据集详情
在本节中，我们将介绍第4.1节中介绍的新采集数据集DENSEHDI的详细信息。在数据获取和预处理方面，我们遵循与PhysTwin（Jiang等人，2025）相同的协议，使用三台RealSense D455 RGB-D相机来录制手部与可变形物体交互的三视图视频。总共我们收集了19个序列，每个序列时长2至8秒，涵盖10种物体类型（如泳帽、布料、小袋、毛巾）。该数据集包含多种交互场景，例如折叠小袋或毛巾、挤压布料等。我们注意到，现有的PhysTwin数据集（Jiang等人，2025）主要捕捉稀疏的、点状的手部与物体接触情况（如用一根手指指向或推动物体，或用两根手指捏合），而我们的数据集侧重于捕捉更密集的手部与物体接触情况，例如用抹布擦拭或用手掌折叠小袋。这些采集序列的可视化结果如图5所示。
(a) PhysTwin (Jiang et al., 2025)
(b) DenseHDI (ours)
Figure 5. Captured sequences in PhysTwin (Jiang et al., 2025) and DENSEHDI. The sequences in DENSEHDI feature denser hand–object contacts.
### B. 方法详情
在本节中，我们将补充介绍第3.2节中讨论的从稀疏视角RGB-D视频输入重建密集手部-可变形物体交互模型的更多细节。
#### B.1. 手部重建
在手部重建阶段，我们使用公式2（第3.2节）中定义的损失函数，将MANO模型（Romero等人，2017）拟合到输入的多视角RGB-D视频上。$\mathcal{L}_{2D}$、$\mathcal{L}_d$和$\mathcal{L}_t$被定义为L2损失，其中$\lambda_d$和$\lambda_t$分别被设为$1 \times 10^2$和$5 \times 10^5$。
为了获得用于计算$\mathcal{L}_{2D}$的2D关键点监督信息，我们使用了现成的估算器（MediaPipe（Lugaresi等人，2019））。但我们通过实验发现，对于严重遮挡的手部关节，该估算器会给出缺失或不合理的预测结果，进而会降低MANO拟合效果——尤其是在稀疏视角设置下。为缓解这一问题，我们还从单目MANO参数估算器（Dong等人，2024）中获取2D关键点监督信息$\mathbf{U}^{mano}$，该估算器能在MANO空间约束下给出合理的预测结果，不过2D对齐精度较低。$^5$ 我们通过实验发现，结合相对于$\mathbf{U}^{2D}$（来自MediaPipe（Lugaresi等人，2019））和$\mathbf{U}^{mano}$的差异损失，能得到更稳健的MANO拟合效果，其中$\mathbf{U}^{mano}$的损失权重被设为0.5。
为了基于上述损失优化MANO参数，我们使用AdamW优化器（Loshchilov & Hutter，2017）进行1500步优化，学习率设为$2 \times 10^{-3}$，每40步衰减0.98倍。MANO
---
每一帧的参数均从前一帧的拟合结果中初始化，而第一帧则采用随机初始化。
#### B.2. 物体重建
手部重建阶段结束后，我们基于此前拟合出的3D手部模型，对表征可变形物体的弹簧-质量模型（Liu等人，2013；Jiang等人，2025）进行拟合。参照Jiang等人（2025）的研究思路，我们采用分层优化方案，先执行（1）稀疏（零阶）阶段，再执行（2）密集（一阶）阶段。
稀疏（零阶）阶段：我们对粗糙且不可微的弹簧-质量模型参数$\Theta_0 = \{\mathcal{T}, s_{global}, \eta\}$进行优化，其中$\mathcal{T}$表示由连接半径$\delta$和最大连接节点数$d_{max}$参数化的弹簧-质量拓扑结构，$s_{global}$为全局弹簧刚度（此阶段假设其均匀性），$\eta$代表碰撞参数。
密集（一阶）阶段：在固定$\Theta_0$的前提下，我们对可微的单个弹簧参数$\Theta_1 = \{s_{ij}, \gamma_{ij}\}_{(i,j) \in \mathcal{E} \cup \mathcal{E}^{virtual}}$进行精细化调整，其中$s_{ij}$和$\gamma_{ij}$分别表示单个弹簧的刚度和阻尼参数。
每个阶段的优化目标$k \in \{0,1\}$（其中k=0和k=1分别对应稀疏阶段和密集阶段）可表示为：
$$ \min_{\boldsymbol{\Theta}_{k}}\quad\frac{1}{T}\sum_{t=1}^{T}\mathcal{L}_{ch}(\hat{\mathbf{S}}_{t},\mathbf{S}_{t})+\lambda\mathcal{L}_{tr}(\hat{\mathbf{S}}_{t},\mathbf{S}_{t})\quad s.t.\quad\hat{\mathbf{S}}_{t}=f(\hat{\mathbf{S}}_{t-1},\boldsymbol{\Theta}_{0},\boldsymbol{\Theta}_{1},\boldsymbol{\Theta}_{h}),\hat{\mathbf{S}}_{0}=\mathbf{S}_{0}, $$
此处$\hat{S}_t$表示模拟状态，$\mathbf{S}_t$表示输入数据中的观测状态，f表示基于弹簧-质量系统的仿真前向函数。如3.2节所述，$\mathcal{L}_{ch}$用于计算倒角距离，以促使模拟节点靠近从输入深度图生成的3D点云；$\mathcal{L}_{tr}$则用于衡量与CoTracker3（Karaev等人，2024）输出的每帧3D跟踪点的$\ell_2$差异。
稀疏阶段采用零阶优化方法（Lozano，2006）迭代100次，其中$\delta$、$d_{max}$和$s_{global}$的初始值分别设为0.002和3。密集阶段采用Adam优化器（Kingma，2014）迭代200次，初始学习率为$1 \times 10^{-3}$。其余超参数均与Jiang等人（2025）的设置保持一致。
#### B.3. 手部精细化
在此阶段，我们利用前一阶段拟合出的弹簧-质量模型，对初始MANO参数$\Theta_h$进行精细化调整，以使物体模拟结果更贴合输入观测数据。该阶段的概述及损失函数详见3.2节。对于公式2中的损失函数，我们设定$\lambda_{tr} = 1$。优化过程采用Adam优化器（Kingma，2014）执行40步。MANO参数从前一阶段的手部重建拟合结果中初始化，初始学习率为$2 \times 10^{-5}$，每迭代一次学习率衰减0.99。
### C. 在PhysTwin-full数据集上的定量结果
表6报告了在PhysTwin-full数据集（Jiang等人，2025）上的定量结果。如4.1节所述，该数据集中的大多数序列涉及基于稀疏点的手-物接触，这类情况虽不能代表真实交互场景，但由于PhysTwin依赖基于稀疏点的控制器，因此可能对PhysTwin更为有利。即便如此，我们的方法仍大多优于各基线模型（Jiang等人，2025；Zhong等人，2024；Zhang等人，2024a）。
| Method | Reconstruction & Resimulation | Future Prediction |
| 3D Metrics | 2D Metrics | 3D Metrics | 2D Metrics |
| $CD_{dyn} \downarrow$ | $CD_{full} \downarrow$ | Track Err. $\downarrow$ | IoU $\uparrow$ | PSNR $\uparrow$ | $CD_{dyn} \downarrow$ | $CD_{full} \downarrow$ | Track Err. $\downarrow$ | IoU $\uparrow$ | PSNR $\uparrow$ |
| Spring-Gaus (Zhong et al., 2024) | 26.39 | 33.60 | 4.07 | 0.62 | 21.24 | 49.29 | 46.54 | 6.61 | 0.48 | 19.59 |
| GS-Dynamics (Zhang et al., 2024a) | 24.73 | 13.79 | 2.18 | 0.72 | 24.01 | 52.96 | 38.84 | 6.88 | 0.46 | 19.38 |
| PhysTwin (Jiang et al., 2025) | 7.63 | 5.52 | 0.97 | 0.84 | 26.32 | 14.42 | 12.26 | 2.44 | 0.69 | 22.80 |
| PHYSHANDI (Ours) | 7.30 | 5.40 | 0.96 | 0.84 | 26.44 | 13.63 | 12.04 | 2.41 | 0.68 | 22.96 |
Table 6. Reconstruction & Resimulation and Future Prediction results on the PhysTwin-full dataset (Jiang et al., 2025). Our method outperforms the state-of-the-art (Jiang et al., 2025) on most metrics. CD is measured in millimeters, and Track Err. is scaled by $\times100$ for readability.
---
我们还在 Tab. 7 中提供了 PhysTwin-full 数据集代表性序列的逐序列分解，其中序列被划分为稠密接触组和稀疏接触组。如表所示，我们的方法在所有序列上均持续优于 PhysTwin，且在稠密接触序列上的提升显著更大（例如，在 double_stretch_sloth 上，CD $_{dyn}$ 为 6.23，而 PhysTwin 为 21.30）。这一逐序列分析证实，先前的最先进方法 PhysTwin（Jiang et al., 2025）由于其稀疏控制器表示，对于基于点的稀疏手-物体接触表现良好，但对稠密接触的鲁棒性较弱。相比之下，我们的方法在稀疏接触和稠密接触设置下均保持鲁棒。
| Contact Type | Sequence | PhysTwin (Jiang et al., 2025) | PHYSHANDI (Ours) |
| Dense | double_lift_cloth_3 | 12.21 | 6.70 |
| double_lift_sloth | 5.33 | 4.39 |
| double_stretch_sloth | 21.30 | 6.23 |
| Sparse | single_lift_cloth_1 | 10.55 | 10.47 |
| single_lift_cloth_4 | 6.73 | 5.87 |
| single_push_rope | 3.81 | 3.61 |
Table 7. Per-sequence $CD_{dyn}$ comparison on representative sequences from the PhysTwin-full dataset (Jiang et al., 2025). Results are reported for reconstruction and resimulation with multi-view RGB-D inputs. $CD_{dyn}$ is measured in millimeters.
### D. 对未见交互情况的泛化能力
在本节中，我们按照（Jiang等人，2025年）提出的评估协议，在同一物体上但不同交互类型的新颖交互序列上评估重建质量。如表8所示，我们的方法在所有指标上均优于PhysTwin，显示出对未见交互动作的强大泛化能力。
| Method | 3D Metrics | 2D Metrics |
| CD $\downarrow$ | Track Err. $\downarrow$ | IoU $\uparrow$ | PSNR $\uparrow$ |
| PhysTwin (Jiang et al., 2025) | 8.94 | 1.77 | 0.79 | 25.44 |
| PHYSHANDI (Ours) | 8.38 | 1.70 | 0.82 | 25.89 |
Table 8. Generalization to unseen interactions on the PhysTwin-full dataset (Jiang et al., 2025). Our method demonstrates superior generalizability compared to the state of the art (Jiang et al., 2025).
### E. 接触一致性分析
在本节中，我们对重建后的手-可变形物体交互中的接触一致性进行定量评估。我们遵循以往手-刚性物体交互研究中的常用评估协议（Grady等人，2021年；Liu等人，2023年），根据物体与手部点之间的空间邻近性来构建伪接触标签，距离阈值分别设为$d < 5$毫米和$10$毫米。随后，我们通过预测的手-物体接触与这些伪标签的吻合率来衡量接触准确率。
如表9所示，在5毫米和10毫米两种接触距离阈值下，我们的方法均比PhysTwin取得更高的接触准确率，这表明我们的接触估计更为一致。这一观察结果与图4及第4.4节中的定性结果相符：精细的手部重建能够更精准地在真实接触区域定位虚拟弹簧连接点。
| Method | Acc.@5 mm (%) $\uparrow$ | Acc.@10 mm (%) $\uparrow$ |
| PhysTwin (Jiang et al., 2025) | 97.0 | 97.5 |
| PHYSHANDI (Ours) | 98.2 | 98.3 |
Table 9. Quantitative comparison on contact consistency. Contact Accuracy (%) is computed against pseudo contact labels constructed from the spatial proximity between object and hand points, with distance thresholds of 5 mm and 10 mm—following protocols similar in spirit to (Grady et al., 2021; Liu et al., 2023). Our method achieves higher accuracy than PhysTwin (Jiang et al., 2025) at both thresholds, indicating more precise and localized contact estimation.
---
### F. 对初始超参数的敏感性分析
我们还分析了我们的方法对物体重建阶段零阶优化中所用初始超参数的敏感性（见第B.2节）：初始连接半径$\delta$以及最大连接节点数$d_{max}$。表10列出了相关结果，其中B行对应我们的默认设置（$\delta = 0.002$、$d_{max} = 3$）。C–E行和F–H行分别对应改变$\delta$和$d_{max}$后的设置。我们发现，在合理的初始数值范围内，我们的方法仍能保持鲁棒性。
| Row | Method | Initial $\delta$ | Initial $d_{max}$ | CD $_{full}$ $\downarrow$ | PSNR $\uparrow$ |
| A | PhysTwin (Jiang et al., 2025) | 0.040 | 50 | 8.86 | 22.48 |
| B | PHYSHANDI (Ours, default) | 0.002 | 3 | 4.44 | 24.60 |
| C | PHYSHANDI (Ours) | 0.001 | 3 | 6.81 | 22.62 |
| D | PHYSHANDI (Ours) | 0.020 | 3 | 4.62 | 24.18 |
| E | PHYSHANDI (Ours) | 0.040 | 3 | 5.26 | 23.98 |
| F | PHYSHANDI (Ours) | 0.002 | 1 | 4.47 | 24.24 |
| G | PHYSHANDI (Ours) | 0.002 | 10 | 4.90 | 24.09 |
| H | PHYSHANDI (Ours) | 0.002 | 50 | 6.15 | 23.59 |
Table 10. Sensitivity to initial hyperparameters used in the zero-order optimization of the object reconstruction stage on the double_stretch_sloth sequence (reconstruction and resimulation with multi-view RGB-D inputs). Row B is our default setting. Rows C–E vary the initial connection radius $\delta$ while fixing $d_{max} = 3$; rows F–H vary the initial maximum number of connected nodes $d_{max}$ while fixing $\delta = 0.002$. Our method remains robust within a reasonable range of initial values.
### G. 计算成本对比
我们提供了关于自身方法与PhysTwin（Jiang等人，2025年）的详细运行时分析。表11记录了两种流程中各个阶段的平均每帧运行时间。我们的方法在手部重建与优化环节增加了额外的计算时间，而PhysTwin并未执行这些步骤；不过它们对于精确的全3D手部建模以及基于逆向物理的手部优化至关重要，这类优化同时有助于手部与物体的重建（见4.2.2节）。相比之下，我们的物体重建阶段和推理时模拟过程比PhysTwin的对应阶段稍快。这与我们在4.4节中讨论的弹簧-质点拓扑分析有关：PhysTwin采用的稀疏控制点需要极大的连接半径才能保持接触覆盖，现有文献指出这会导致“过度的波传播现象，且需要极长的计算机运行时间”（Silling & Askari，2005年）。
| Method | Training | Inference |
| Hand Recon. | Object Recon. (Zero-order) | Object Recon. (First-order) | Hand Refine. |
| PhysTwin (Jiang et al., 2025) | - | 13.80 | 21.22 | - | 0.14 |
| PHYSHANDI (Ours) | 27.38 | 12.24 | 17.63 | 12.32 | 0.11 |
Table 11. Average per-frame runtime breakdown (in seconds) of our method and PhysTwin (Jiang et al., 2025). Our object reconstruction stages, including zero-order and first-order optimization, and inference-time simulation are slightly faster than the corresponding stages of PhysTwin. The remaining overhead in our pipeline comes from the additional Hand Reconstruction and Hand Refinement stages, which PhysTwin does not perform.
### H. 讨论与局限性
多视角手部重建的评估。尽管我们在单视角设置下直接评估了手部重建精度（4.2.2节），使用的是从多视角深度图提取的手部真实点云数据，但在主要的多视角实验中却无法开展此类评估——因为这些深度图被用作训练输入，且缺乏更精确的手部标注数据。实际上，在以往的研究中（如Hampali等人，2020年），将MANO模型拟合到多视角RGB-D数据上，往往被视作为缺乏此类标签的数据集标注真实3D手部网格的方法，而拟合质量通常是通过下游应用间接评估的。受此启发，我们主要通过基于物理的可变形物体重建来评估手部拟合质量：更精准的手部模型能直接带来更精确的物体模拟结果。不过，若能获得更密集视角的真实3D手部数据，并将其与我们基于稀疏多视角的重建结果进行对比，开展直接评估将极具价值——当然前提是存在这样的采集系统。
---
动态接触变化的处理。如3.1节所述，我们建模的交互力旨在维持接触拓扑结构（即手部顶点与物体节点之间虚拟弹簧的原长）。该建模假设在一个序列内手部与物体的接触拓扑保持静态。虽然这一假设在现有的手部-刚体物体交互重建方法中也很常见（Hampali等人，2020年；Cho等人，2024年），但处理动态的手部-物体接触变化将是未来研究的重要方向。此外，这种交互力建模并未考虑实际作用力（如手指压力），仅作为驱动弹簧-质点模型模拟的边界条件。要显式建模实际的手部作用力并非易事，但这却是未来颇具应用潜力、尤其在触觉领域值得探索的研究方向。