{
  "paper_id": "7ba4c4624e4f9fe8e8b0def9a4fce7e6",
  "paper_title": "PhysHanDI: Physics-Based Reconstruction of Hand-Deformable Object Interactions",
  "paper_authors": [
    "Jihyun Lee",
    "Changmin Lee",
    "Donghwan Kim",
    "Tae-Kyun Kim"
  ],
  "publication_date": "",
  "publication_venue": "ICML 2026",
  "abstract": "现有手部—物体交互重建方法要么局限于刚性或部件级刚性物体，难以建模布料、毛绒玩具等高度非刚性物体，要么只重建可形变物体而不恢复完整三维手。为此，本文提出 PHYSHANDI，一个同时重建交互手与非刚性物体完整三维形态的框架。其核心思想是利用密集三维手部运动产生的力物理模拟物体形变，使物体动力学既物理合理，又与手部运动协调；此外，物体形变模拟还能通过逆物理反过来优化手部重建。实验表明，PHYSHANDI 在重建与未来预测任务上均优于当前最先进基线。\n",
  "keywords": [
    "手部—可形变物体交互",
    "三维重建",
    "物理模拟",
    "弹簧—质点模型",
    "MANO",
    "逆物理",
    "稀疏视角 RGB-D",
    "未来预测"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:54.596329Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n现有手部—物体交互研究大多假设物体刚性或部件级刚性，少数可形变物体工作又主要关注手指压力造成的局部小形变，最相关的 PhysTwin 虽能模拟大形变，却仅用深度图中约30个稀疏控制点表示交互者，缺少完整三维手，且接触遮挡会降低作用力与拓扑建模精度。针对这一问题，本文提出 PHYSHANDI，用 MANO 参数模型表示具有778个顶点和1554个面片的密集手网格，用弹簧—质点图表示可形变物体，并以核心机制 F_i = Σ F_spring + F_damping + F_external 描述节点受力，再通过牛顿第二定律积分更新位置和速度；在交互模拟中，系统将连接半径 δ 内检测到接触的手部顶点与物体节点用虚拟弹簧连接，手部顶点作为固定边界条件驱动物体形变，从而在保证物理合理性的同时维持手物运动一致性。从稀疏视角 RGB-D 视频学习时，方法采用三阶段优化：先结合二维关键点重投影、深度一致性和时间平滑损失拟合 MANO，再以重建手为条件优化弹簧刚度、阻尼系数和连接半径等物体参数，模拟几何通过 Chamfer 距离与深度图抬升的三维点云比较，并通过 CoTracker3 跟踪点施加 L2 约束，最后利用已拟合物体模型进行逆物理梯度优化以修正手部参数。实验选用 PhysTwin 三视图 RGB-D 数据中排除稀疏点接触后的 PhysTwin-dense 子集，以检验真实密集接触和大形变场景，并新采集包含19个序列、10类物体的 DENSEHDI 数据集，采用三台 RealSense D455 相机并计划公开；评估覆盖重建/重模拟与未来预测，指标包括动态和全域 Chamfer 距离、跟踪误差、IoU、PSNR，单视图设置还报告 Hand CD，且因优化存在随机性而对 PhysTwin 运行10次取平均。结果显示，PHYSHANDI 在 PhysTwin-dense 上所有指标超过 PhysTwin，例如重建 CD_dyn 为8.32对10.78、未来预测 CD_dyn 为14.35对16.32，在 DENSEHDI 上多数指标领先；单视图未来预测中，逆物理优化将物体 CD 从42.8降至33.5、Hand CD 从7.57降至7.17，并且密集手表示在深度、跟踪和控制器扰动下更稳健，接触拓扑的 RRD 分别为物体弹簧0.32、虚拟弹簧0.35，显著低于 PhysTwin 的0.64和2.63。该方法可服务于 AR/VR、机器人从人类演示学习、遥操作、具身智能和数字人建模，但当前仍受限于稀疏视角 RGB-D 输入、额外手部重建与精化计算开销，以及假设序列内接触拓扑保持静态且不显式估计真实手指压力；未来可探索动态接触变化、真实接触力估计、RGB-only 扩展和更直接的密集视角手部真值评测。\n\n### 关键要点\n\n- PHYSHANDI 被作者称为首个能从稀疏视角 RGB-D 视频中同时密集重建交互手与可形变物体完整三维形态的方法。\n- 手部采用 MANO 参数模型，由45维姿态、10维形状、全局旋转和平移生成包含778个顶点的手网格。\n- 物体采用经典弹簧—质点模型，节点受弹簧力、阻尼力和外力共同作用，并通过物理积分产生动态形变。\n- 手物交互通过连接半径 δ 内的虚拟弹簧建模，MANO 手部顶点在模拟中作为固定边界驱动物体节点。\n- 重建流水线分为手部重建、物体重建和手部精化三个阶段，实现手物模型的相互约束。\n- 手部初始拟合使用二维关键点重投影误差、渲染深度与观测深度差异以及时间平滑正则。\n- 物体阶段优化弹簧刚度、阻尼和连接拓扑等参数，损失由对深度点云的 Chamfer 距离和对 CoTracker3 跟踪点的 L2 损失组成。\n- 手部精化通过逆物理将物体模拟误差反传至 MANO 参数，在单视图等观测不足的场景中尤其有效。\n- 实验使用 PhysTwin-dense 子集和新采集的 DENSEHDI 数据集，后者包含19个序列、10种物体并强调密集手物接触。\n- 评估任务包括重建/重模拟和未来预测，采用 CD、跟踪误差、IoU、PSNR，并在单视图中增加 Hand CD。\n- 在 PhysTwin-dense 上，PHYSHANDI 的重建和未来预测指标全部优于 PhysTwin，例如重建 CD_dyn 从10.78降至8.32。\n- 密集手表示能提高噪声鲁棒性并形成更合理的弹簧拓扑，但方法仍假设静态接触拓扑、不显式估计真实力，并带来额外计算开销。"
}