{
  "paper_id": "bc39194eec9077847e513aad1cc1347c",
  "paper_title": "Enhancing Hands in 3D Whole-Body Pose Estimation with Conditional Hands Modulator",
  "paper_authors": [
    "Gyeongsik Moon"
  ],
  "publication_date": "",
  "publication_venue": "CVPR 2026",
  "abstract": "在身体上下文中准确恢复手部姿态仍是3D全身姿态估计的一大挑战。这一困难源于根本性的监督缺口：全身姿态估计器在手部多样性有限的全身数据集上训练，而仅手部估计器在以手为中心的数据集上训练，虽擅长精细手指关节运动，却缺乏全局身体感知。为解决该问题，本文提出Hand4Whole++，这是一个模块化框架，可同时利用预训练全身姿态估计器和手部姿态估计器的优势。本文提出轻量级模块CHAM（Conditional Hands Modulator），利用从预训练手部姿态估计器提取的手部特征来调制全身特征流。这种调制使全身模型能够预测既准确又与上半身运动学结构一致的手腕朝向，而无需重新训练全身模型。同时，本文直接纳入手部姿态估计器预测的手指关节运动和手部形状，并通过可微刚性对齐将其贴合到全身网格。该设计使Hand4Whole++能够结合全局一致的身体推理与细粒度手部细节。大量实验表明，Hand4Whole++显著提升了手部精度，并改善了整体全身姿态质量。\n",
  "keywords": [
    "3D全身姿态估计",
    "手部姿态估计",
    "Hand4Whole++",
    "CHAM",
    "条件特征调制",
    "手腕朝向",
    "MANO",
    "SMPL-X",
    "可微刚性对齐",
    "手指关节运动"
  ],
  "paper_institutions": [
    "Korea University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:12.693910Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对3D全身姿态估计中手部预测粗糙、双手相对位置不稳定以及直接拼接手部模型会产生解剖学不合理手腕的问题，指出其根源在于全身数据手部姿态与形状多样性不足，而手部数据虽有精细标注却缺少全身标签。相关方法中，SMPLer-X等全身模型擅长全局结构但手指表达有限，WiLoR、HaMeR等手部模型擅长单只手的精细关节运动却缺乏肩、肘、腕构成的上半身运动学上下文，FrankMocap式直接复制手腕朝向则容易在遮挡或双手交互时产生错位。为此，作者提出模块化框架Hand4Whole++：选用性能较强的SMPLer-XL32作为冻结全身估计器、WiLoR作为冻结手部估计器，仅训练轻量级CHAM；CHAM从256×256手部裁剪图的ViT最后一层提取特征，在双手均被检测到时使用全局图像空间生成的2D位置编码和三层交叉注意力建模手间关系，再经左、右手各24个零初始化1×1卷积生成对应SMPLer-X 24个Transformer块的调制特征，通过逆仿射变换恢复到全身图像坐标并零填充，最后以逐元素相加方式注入空间token，从而在不破坏大规模预训练能力的前提下改进手腕及肩肘等上半身关节。对于手指和形状，框架丢弃全身模型的手指参数与手部模型的手腕朝向，仅使用WiLoR预测的MANO手指姿态θ和形状β生成零手腕朝向下的规范手部网格，并基于手腕与食指、中指、无名指、小指的四个MCP关节求解刚性变换 $T=(R,t)=\\arg\\min_{R,t}\\sum_i\\|Rp_i+t-q_i\\|^2$，将规范网格对齐到SMPL-X手腕后替换对应手部顶点，再用Laplacian平滑减轻接缝；该对齐可微，使梯度能够回传至CHAM。训练混合使用InterHand2.6M、ReInterHand、ARCTIC和AGORA，前两者提供丰富双手或手部标注，后两者提供全身标注，从而跨越异构监督缺口，并在EHF和HIC上测试完全未见域的泛化；实现采用PyTorch，训练4个epoch、批量大小32、Adam初始学习率1e-4并在第3个epoch降至1e-5，单张RTX A6000训练约20小时，推理总耗时0.1秒、约10 FPS，其中CHAM仅0.01秒。评价采用毫米级MPVPE和MRRPE，手部评估不使用PA-MPVPE以避免消除手腕旋转误差；Hand4Whole++在AGORA、ARCTIC、EHF上分别取得76.84/49.71、45.95/25.03、61.24/33.43的全身/手部MPVPE，在IH26M、ReIH、HIC上取得9.40/32.30、7.98/16.37、17.72/29.09的MPVPE/MRRPE，相对全身基线显著降低手部误差，相对专用手部模型则以明显更低的MRRPE获得更准确的双手相对位置，消融还显示直接复制手腕会使AGORA手部误差升至100.59 mm，而手指与形状迁移可将IH26M误差从14.69 mm降至9.40 mm。这些结果支持CHAM的全局运动学调制和手部专家迁移两项核心创新。未来工作包括正式验证以自我为中心等手部中心图像场景；该方法可服务于人机交互、虚拟 avatar 控制和运动理解，但受限于手部数据缺少全身标注导致非手部关节监督较弱、依赖两个预训练模型增加运行时，并且在手部漏检、遮挡或上半身截断时仍受检测器和可见信息约束。\n\n### 关键要点\n\n- Hand4Whole++是一个即插即用的模块化框架，结合预训练全身估计器SMPLer-XL32和手部估计器WiLoR，训练时两者均冻结，仅优化CHAM。\n- CHAM接收手部裁剪图的最终层ViT特征，未检测到的手使用零特征，因此可以处理单手、双手或双手均不可见的情况。\n- 只有双手都被检测到时，CHAM才启用2D位置编码和三层交叉注意力，以建模双手之间的空间关系；单手机制会直接绕过该部分。\n- CHAM的左手和右手分支各包含24个独立的零初始化1×1卷积层，分别向SMPLer-X的24个Transformer块注入加法调制信号。\n- 与直接复制手部模型手腕朝向不同，CHAM通过调制全身特征让肩、肘、腕共同预测解剖学合理且与全局身体一致的手腕姿态。\n- 手指关节运动和手部形状直接来自手部模型预测的MANO参数，手部模型给出的手腕朝向则被完全丢弃。\n- 可微刚性对齐使用手腕和食指、中指、无名指、小指的MCP关节作为对应点，使MANO手部网格贴合SMPL-X手腕，并允许梯度回传到CHAM。\n- 对齐替换手部顶点后，作者在手腕边界执行Laplacian平滑，以减少MANO与SMPL-X几何差异造成的接缝。\n- 训练数据包括InterHand2.6M、ReInterHand、ARCTIC和AGORA，EHF与HIC仅用于测试，以验证未见域泛化和双手交互能力。\n- 主要指标为MPVPE和MRRPE，手部评估刻意不报告PA-MPVPE，因为Procrustes对齐会掩盖论文重点关注的手腕旋转误差。\n- 结果显示Hand4Whole++在全身数据集上同时降低全身和手部误差，在手部数据集上取得有竞争力的MPVPE，并比手部专用模型获得显著更低的MRRPE。\n- 方法的主要约束是手部-only数据中非手部关节监督较弱、双模型带来额外计算，并且运行仍依赖手部检测结果与图像中的可见信息。"
}