{
  "paper_id": "793eb0e780b8977d02028118ff95409f",
  "paper_title": "StableGrasp: Reconstructing Physically Stable Human Hand Grasps from Single Images",
  "paper_authors": [
    "Han Jiang",
    "Etienne Vouga",
    "Qixing Huang",
    "Georgios Pavlakos"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "从单张RGB图像重建物理稳定的人手抓握具有挑战性，因为抓握的物理建模本身困难，而且问题不仅需要估计受视觉约束的手部姿态，还需要推断能稳定抓握的控制目标。现有方法要么只建模视觉手部几何而忽略物理，要么依赖合理性不足的物理建模，从而限制了所得抓握的物理有效性。本文提出StableGrasp，这是一个基于可微仿真的优化框架，显式区分视觉手部姿态与决定抓握力的控制目标。该方法通过在可微仿真器中最小化抓握动能来联合优化手部几何与控制，同时正则化手部几何以保持视觉一致性和几何合理性。重建的抓握在严格物理仿真下显著更稳定，并且仍与输入图像视觉一致、几何合理。实验表明，与其他手部控制策略相比，该方法产生的抓握要稳定得多，并可将纯视觉抓握重建流水线的输出转化为物理稳定的抓握。\n",
  "keywords": [
    "单幅RGB图像",
    "人手抓握重建",
    "手物交互",
    "物理稳定性",
    "可微仿真",
    "MuJoCo",
    "PD控制",
    "动能优化",
    "MANO",
    "StableGrasp"
  ],
  "paper_institutions": [
    "Department of Computer Science, The University of Texas at Austin"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:23.739867Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单张RGB图像中的人手抓握重建服务于数字人建模、AR/VR、机器人从人类演示学习和灵巧操作理解等场景，但现有方法通常只恢复视觉上可信的手部与物体几何，未推断图像中不可见的关节力矩；力闭合等静态判据也只能说明某组接触力原则上可抵抗重力，不能保证驱动中的人手能够产生并维持这些力。StableGrasp将稳定抓握视为耦合手物系统的控制问题，使用MANO表示视觉手部形状β_h与姿态q_h^v，并将物体重建为水密流形三角网格；在MuJoCo/MJX中用铰接刚体手部代理和单一刚体物体建模双向耦合，不直接优化固定力矩，而是优化一个固定的PD控制目标q_h^target，由其在每个仿真步诱导关节力矩。流水线先由HORT估计手部和物体点云，再用alpha shape生成封闭曲面、CoACD做凸分解，随后执行两阶段优化：第一阶段仅最小化由二维重投影、穿透、粘附和关节限位组成的正则项以消除严重穿透并建立合理接触，第二阶段联合优化q_h^v与q_h^target，核心机制是最小化前T_o步累计动能L_KE=Σ_{t=1}^{T_o}½ẋ_tᵀM(x_t)ẋ_t，并与归一化的视觉几何正则项共同组成完整目标。实验选用DexYCB、HO3D和CORe50，前两者采用HORT测试划分以检验有标注实验室数据上的重建与稳定性，CORe50的20张非实验室图像用于检验多样物体和姿态下的泛化；物体密度对YCB对象采用统计值，CORe50设为1000 kg/m³，重力取相机向下方向、大小9.8 m/s²。优化时每次微分穿过20个2 ms仿真步，评估则用0.2 ms步长进行5 s正向仿真，指标包括手部3D MPJPE、物体质心平移与旋转、物体mask IoU、二维PCK、物体中心始终保持在初始位置1 cm内的成功率以及掉落时间。在357个共同测试样本上，StableGrasp在DexYCB、HO3D和CORe50上的成功率分别达到87.45%、88.89%和78.95%，显著高于PPO和启发式Pinching，同时手部MPJPE约0.2–0.3 mm、物体平移约1.2–1.4 mm并保持更高IoU和PCK，支持了固定PD目标与动能优化可同时实现严格物理稳定和视觉保真；86例消融显示去掉视觉预热会使总成功率从90.70%降至76.74%。该方法的主要约束是局部优化依赖初始重建、冻结物体几何、alpha shape可能扭曲薄物体或填充凹/中空结构，且刚性手部代理省略软组织变形；362个测试例的48个失败中有27个源于物体重建误差，未来可结合更强物体重建和可变形手模型。\n\n### 关键要点\n\n- StableGrasp从单张RGB图像以及给定物体密度和重力出发，重建物体网格、MANO手部形状与视觉姿态，并输出一个能在仿真中稳定抓握的固定PD控制目标。\n- 视觉初始化使用HORT预测手部参数和物体点云，再通过alpha shape重建封闭物体表面，并用CoACD进行凸分解以适配MuJoCo。\n- 方法将视觉姿态q_h^v与控制目标q_h^target分离：前者决定可见抓握构型，后者驱动PD控制器并产生维持接触所需的关节力矩。\n- 物理稳定性由手物双向耦合的正向仿真检验，要求在零初始速度和重力作用下，手部与物体在整个时间窗内近似保持初始构型。\n- 动能目标累计前T_o=20个仿真步的手物系统动能，用坐标无关的动能度量直接惩罚由不稳定导致的运动。\n- 视觉几何正则包含二维重投影、手部代理点对物体的穿透惩罚、非手掌外部点向物体表面的粘附项以及关节限位项。\n- 两阶段优化先进行视觉预热以减少穿透并形成合理接触，再启动能项联合优化视觉姿态和控制目标，两项损失在第二阶段开始时归一化以平衡尺度。\n- 评测数据包括242张DexYCB图像、100帧HO3D和20张非实验室CORe50图像；共同对比时因5个PPO训练失败使用357个样本。\n- 物理评估采用0.2 ms步长、5 s仿真时长和统一PD增益，成功率定义为物体中心在整个仿真中始终距初始位置不超过1 cm。\n- 与可在线更新PD目标的实例专属PPO和固定内捏的Pinching相比，StableGrasp在三个数据集上均取得更高成功率、更小手部位移和物体运动。\n- 视觉预热消融表明，移除预热会使86个测试例的总成功率从90.70%降至76.74%，并增加手部运动，说明合理接触初始化十分重要。\n- 方法受限于固定且可能有误的物体几何、alpha shape对薄物和凹/中空结构的失真，以及刚性手代理无法表达软组织变形，因此未来需要改进物体重建并引入可变形手模型。"
}