{
  "paper_id": "c865040ac47d64e2d2ce0b9344248d9c",
  "paper_title": "Cascaded Diffusion Framework for Probabilistic Coarse-to-Fine Hand Pose Estimation",
  "paper_authors": [
    "Taeyun Woo",
    "Jinah Park",
    "Tae-Kyun Kim"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "确定性三维手部姿态重建模型无论采用单阶段还是级联结构，都难以处理自遮挡和复杂手部关节运动造成的姿态歧义。现有级联方法虽能以由粗到精的方式逐步改进预测，但其确定性本质使其无法建模姿态不确定性；近期的概率方法能够捕捉姿态分布，却局限于单阶段估计，往往因缺少精修而导致三维重建不准确。为此，本文提出一种由粗到精的级联扩散框架，将概率建模与级联精修结合：第一阶段的关节扩散模型采样多样化的三维关节假设，第二阶段的网格潜空间扩散模型（Mesh LDM）以关节样本为条件重建三维手部网格。其核心思想是将这些多样化假设作为训练信号而非最终输出，使 Mesh LDM 学习具有分布感知的关节—网格关系，并增强对粗略预测变化的鲁棒性。大量消融实验验证了级联设计和潜空间扩散的必要性；在 FreiHAND、HO3Dv2 和 DexYCB 上的实验表明，该方法达到先进性能，并在遮挡和姿态歧义下保持稳定。\n",
  "keywords": [
    "手部姿态估计",
    "扩散模型",
    "级联框架",
    "概率估计"
  ],
  "paper_institutions": [
    "KAIST"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:40.017067Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向单目图像三维手部姿态估计中自遮挡、复杂关节运动和手物交互导致的姿态歧义问题：确定性级联模型能够由粗到精地改进结果却无法表达不确定性，而现有的扩散概率方法多为单阶段设计，缺乏结构化精修和细节恢复能力。作者提出两阶段级联扩散框架，第一阶段用关节扩散模型将现成估计器得到的二维关键点提升为多样化三维关节假设，第二阶段用网格潜空间扩散模型（Mesh LDM）以关节样本和四级图像特征为条件，在学习到的 168 维潜空间中去噪并解码为 778 个顶点的手部网格；其核心机制是把第一阶段的多样关节样本作为第二阶段的训练条件，而非最终答案，从而学习分布感知的关节—网格映射。扩散过程遵循 $q(\\mathbf{x}_t\\mid\\mathbf{x}_{0})=\\mathcal{N}(\\mathbf{x}_t;\\sqrt{\\bar{\\alpha}_t}\\mathbf{x}_0,(1-\\bar{\\alpha}_t)\\mathbf{I})$，训练采用 $\\mathbf{x}_0$ 参数化重建损失，并结合顶点损失和关节损失，权重分别为 1、10 和 5。实验选择遮挡较少的单手数据集 FreiHAND，以及包含物体遮挡的 HO3Dv2、DexYCB，以验证从常规场景到手物交互场景的泛化能力；模型基于 PyTorch，在单张 RTX 4090 上按数据集分别训练，训练扩散步数为 1000，推理使用步长 10 的 DDIM，关节和潜空间阶段各采样 50 次后平均。评价采用 P-MPJPE、P-MPVPE、F@5、F@15，DexYCB 另用关节 AUC；结果显示 DexYCB 达到 4.5mm P-MPJPE、4.5mm P-MPVPE 和 0.911 AUC 的最优水平，FreiHAND 常规结果为 5.0/5.2mm，HO3Dv2 为 7.5/7.5mm，最佳 32 样本的 oracle 设置进一步给出 FreiHAND 4.2/4.5mm。遮挡实验表明精度在约 80% 遮挡前基本稳定，消融证明训练时接触多样关节条件比单一确定条件更关键，学习潜空间也优于 MANO 参数空间。该方法适用于 VR/AR、机器人操作和人机交互，但在极端遮挡下仍会退化，10 步 DDIM 推理约 260ms，且 oracle best-of-32 不能直接作为部署指标；未来可扩展到双手交互和显式手物联合建模。\n\n### 关键要点\n\n- 第一阶段关节扩散模型改编自 D3DP 和 MixSTE，将输入序列长度设为 1，以现成二维关键点为条件去噪生成 21 个三维手部关节。\n- Mesh AutoEncoder 基于 SpiralNet++，把 778×3 的手部网格压缩为 168 维潜变量，并通过顶点损失、关节损失和 KL 正则化保证重建与潜空间分布质量。\n- Mesh LDM 基于 DiT，包含 12 个 Transformer 块和 16 个注意力头，将潜变量广播到 21 个关节 token 上并与关节坐标拼接，再通过自注意力和对四级图像特征的并行交叉注意力完成去噪。\n- 训练时先固定关节扩散模型，再让 Mesh LDM 在每次迭代中接收从关节分布采样的不同关节假设，因此学习的是一系列合理关节条件下的关节—网格关系。\n- 推理时关节模型生成 50 个假设并平均，Mesh LDM 再生成 50 个潜变量并平均解码，使训练中的多样性转化为稳定的点估计。\n- 三个基准按官方划分使用：FreiHAND 含 133K 训练和 3.9K 评估图像，HO3Dv2 含 66K 训练和 11K 测试图像，DexYCB 含 465K 训练和 116K 测试图像。\n- 优化器为 AdamW，批大小为 32，关节模型训练 250K 次、Mesh LDM 训练 100K 次，初始学习率为 1e-4，并按阶梯策略衰减。\n- FreiHAND 上该方法常规达到 5.0mm P-MPJPE、5.2mm P-MPVPE、0.816 F@5，oracle best-of-32 达到 4.2mm、4.5mm 和 0.866 F@5。\n- HO3Dv2 上方法达到 7.5mm P-MPJPE 和 7.5mm P-MPVPE，在不使用额外训练数据的情况下与使用多数据集训练的先进方法具有竞争力。\n- DexYCB 上方法以 4.5mm P-MPJPE、4.5mm P-MPVPE 和 0.911 AUC 超过表中其他方法，显示其在手物遮挡场景中的优势。\n- 遮挡分组实验和消融表明，模型在约 80% 遮挡率前保持稳定，且性能增益主要来自训练时的多样关节条件，学习潜空间相比 MANO 空间能同时保留表面几何与关节 articulation。"
}