{
  "paper_id": "c057f6243b16e6c26bec4b1b1db078de",
  "paper_title": "PAD-Hand: Physics-Aware Diffusion for Hand Motion Recovery",
  "paper_authors": [
    "Elkhan Ismayilzada",
    "Yufei Zhang",
    "Zijun Cui"
  ],
  "publication_date": "",
  "publication_venue": "CVPR 2026",
  "abstract": "从图像重建手部的现有方法已能给出准确的单帧估计，但通常缺乏物理一致性，也无法说明运动在多大程度上可信地满足物理规律。本文提出一种物理感知条件扩散框架，将含噪姿态序列精炼为物理合理的手部运动，同时估计运动中的物理方差。该框架以 MeshCNN-Transformer 为主干，为关节化手部建立 Euler–Lagrange 动力学；不同于以往强制残差为零的做法，方法将所得动力学残差视为虚拟观测量，以更有效地融合物理。通过最后一层 Laplace 近似，方法生成逐关节、逐时间的方差来度量物理一致性，并提供可解释方差图以显示物理一致性减弱的位置。在两个知名手部数据集上的实验表明，该方法相对强图像初始化和有竞争力的视频方法均取得稳定提升；定性结果也证实方差估计与图像估计运动的物理合理性相一致。\n",
  "keywords": [
    "三维手部运动恢复",
    "物理感知扩散模型",
    "Euler–Lagrange 动力学",
    "虚拟观测量",
    "最后一层 Laplace 近似",
    "不确定性估计",
    "动态方差",
    "MANO",
    "MeshCNN-Transformer"
  ],
  "paper_institutions": [
    "Michigan State University",
    "Independent Researcher"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:27.825766Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单目三维手部运动恢复要从单视角视频重建手部三维构型，是 AR/VR、人机交互和具身智能等场景的关键技术。现有基于单帧图像的方法和大规模基础模型虽有较高逐帧精度，却常存在时间抖动、不满足动力学且不能报告物理可信度；已有物理方法多通过模拟器或确定性损失将方程残差强制为零，忽略图像估计噪声、质量与惯性参数近似以及模型失配，还可能造成优化困难。为此，PAD-Hand 先用离线手部姿态估计器从图像序列得到逐帧 MANO 姿态与平均形状，再以条件扩散模型把含噪状态精炼为干净轨迹；主干用 MeshCNN 提取手部网格的拓扑空间特征，并用四层 Transformer 编解码器建模时间依赖。其核心机制是为关节化手部建立刚体 Euler–Lagrange 方程：M(q)q̈+C(q,q̇)+g(q)=F，并定义残差 Z_t=M_t q̈_t+C_t+g_t−F̂_t；论文不把 Z 硬压为零，而将其视为服从高斯分布的虚拟观测量，用残差负对数似然与数据损失共同引导反向扩散。为获得可解释不确定性，模型对主干最后一层做 Laplace 近似，并在各反向扩散步传播均值、方差和协方差，最终通过力函数 Jacobian 得到逐关节、逐时间的动力学残差方差。实验选用 DexYCB 与 HO3D，是因为二者均为广泛使用、具有多视角高质量三维手部标注和官方划分的基准，可检验对强图像初始化及视频方法的改进；实现上遵循既有工作取 T=16，采用 4 层编码器、4 层解码器、8 个注意力头、512 维嵌入和四层 MeshCNN，AdamW 初始学习率为 2×10^-4，扩散步数 N=4、Monte Carlo 样本数 S=20，并加入几何损失与一致性正则以稳定采样。指标包括 PA-MPJPE、MPJPE、加速度误差 ACCEL，补充材料还用 Euler–Lagrange 残差 R(q) 直接度量动力学一致性。结果显示，在 DexYCB 上相对 WiLoR 初始化，PA-MPJPE 从 4.88 mm 降至 4.63 mm、MPJPE 从 12.75 mm 降至 10.56 mm、ACCEL 从 6.70 降至 3.34 mm/frame²；在 HO3D 上 PA-MPJPE 从 7.50 mm 降至 7.43 mm，ACCEL 从 4.98 降至 2.71 mm/frame²，支持概率物理融合与动态方差两项创新；消融还表明概率融合优于确定性 L1 惩罚，且高方差与较大 EL 残差、抖动帧相对应。该方法可用于识别不可靠运动段并提升 AR/VR、人机交互和具身智能中的运动质量，但当前物理模型不显式建模物体几何与接触，质量、惯性等属性近似，且模型主要精炼固定形状下的姿态序列，作为精炼模块仍需初始估计；未来可融合手物接触与物体动力学、扩展动态方差用途，并在更复杂的分布外场景中验证。\n\n### 关键要点\n\n- PAD-Hand 先由离线估计器从图像序列生成逐帧 MANO 姿态与平均形状，再通过条件扩散从接近图像估计的初始状态反向精炼出时序一致的姿态轨迹。\n- 手部动力学采用广义坐标 q={R,t,θ} 和刚体假设，用 MANO 网格、四面体化体积、恒定密度及蒙皮权重估计 15 个手部部件的质量与惯性张量。\n- 核心 Euler–Lagrange 关系为 M(q)q̈+C(q,q̇)+g(q)=F，论文将每帧残差 Z_t=M_t q̈_t+C_t+g_t−F̂_t 作为高斯虚拟观测量，而不是用确定性约束强制其为零。\n- 训练目标为 L_total=λ1 L_data+λ2 L_EL，其中 L_EL 是对反向采样得到的 x^0 计算的残差负对数似然，权重 λ1=2×10³、λ2=500。\n- 最后一层 Laplace 近似为主干输出构建逐关节高斯预测方差，算法 1 再沿反向扩散递推传播方差、协方差和均值，最终由力函数 Jacobian 得到动力学残差方差。\n- 评估使用 DexYCB 与 HO3D 的官方训练和测试划分；两数据集都提供多视角采集的高质量逐帧三维手部姿态与形状标注，适合比较重建精度与物理合理性。\n- 模型主干包含 4 层 Transformer 编码器、4 层解码器、8 个注意力头和 512 维嵌入，MeshCNN 通道为 32/64/64/64，序列长度 T=16，扩散步数 N=4、Monte Carlo 样本数 S=20。\n- 在 DexYCB 上，PAD-Hand 将 WiLoR 的 PA-MPJPE、MPJPE 和 ACCEL 分别从 4.88 mm、12.75 mm、6.70 mm/frame² 改进到 4.63 mm、10.56 mm、3.34 mm/frame²。\n- 在 HO3D 上，PA-MPJPE 从 7.50 mm 降至 7.43 mm，ACCEL 从 4.98 mm/frame² 降至 2.71 mm/frame²，说明物理一致性获得明显改善。\n- 消融中概率物理融合在 DexYCB 上得到 4.63 mm PA-MPJPE、10.56 mm MPJPE 和 3.34 mm/frame² ACCEL，均优于确定性残差惩罚的 4.66 mm、10.61 mm 和 3.35 mm/frame²；补充材料中的 R(q) 也从 13.45×10^-3 降至 9.04×10^-3。\n- 定性结果显示关节级与网格级方差在全局旋转跳变、拇指快速运动或严重抖动帧升高，且高方差区间对应更大 Euler–Lagrange 残差，可标记不可靠图像估计。\n- 方法限制在于未显式建模物体几何、接触力和手物动力学，质量与惯性参数为近似值，并且流程固定手形、专注姿态精炼；这些是后续扩展方向。"
}