{
  "paper_id": "b810170071122a4586554e4387e1155d",
  "paper_title": "Accurate 3D Hand Pose Estimation for Whole-Body 3D Human Mesh Estimation",
  "paper_authors": [
    "Gyeongsik Moon",
    "Hongsuk Choi",
    "Kyoung Mu Lee"
  ],
  "publication_date": "",
  "publication_venue": "2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)",
  "abstract": "全身三维人体网格估计旨在同时重建三维人体、双手和面部。现有方法在三维手腕与手指预测方面仍存在两个问题：预测手腕时未充分考虑人体运动链，预测手指时又使用了几乎不含手指信息的身体特征。为此，本文提出Hand4Whole。首先，设计Pose2Pose模块，利用关节特征预测三维关节旋转，并通过手部MCP关节特征预测三维手腕，因为MCP关节在人体运动链中对腕关节旋转具有关键作用。其次，在预测三维手指旋转时丢弃身体特征，避免粗糙的身体和背景信息干扰手指预测。该方法以端到端方式训练，在全身三维人体网格估计中显著提升了三维手部精度。\n",
  "keywords": [
    "全身三维人体网格估计",
    "三维手部姿态估计",
    "Hand4Whole",
    "Pose2Pose",
    "MCP关节",
    "位置姿态引导池化",
    "SMPL-X"
  ],
  "paper_institutions": [
    "Dept. of ECE & ASRI, Seoul National University, Korea",
    "IPAI, Seoul National University, Korea"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:30:34.675833Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n全身三维人体网格估计要从单目RGB同时恢复身体、双手与面部，以支持姿态、交互意图和表情理解；已有回归方法通常把身体、手、脸部分开裁剪后经GAP特征预测SMPL-X参数，但手腕旋转没有同时利用身体运动链与MCP关节信息，手指旋转还被低分辨率身体特征干扰。论文提出Hand4Whole，核心Pose2Pose以三维位置姿态引导三维旋转姿态：ResNet输出特征图F和8J层三维热图，soft-argmax得到P，位置姿态引导池化把2048维特征降到512维并在各关节(x,y)处双线性插值得到F^P，再将二者拼接为v=[F^P,P]∈R^{(512+3)J}并由全连接层输出θ。BodyNet在身体特征外引入双手共8个MCP关节的坐标与特征，预测包含手腕的22个身体关节旋转；HandNet从512×384原图按RoIAlign裁剪手部图像，仅用精细手部特征预测每只手15个手指关节旋转，左手翻转后与右手共享权重；FaceNet用GAP回归下颌旋转和表情参数，最终送入SMPL-X。训练使用Human3.6M、全身版MSCOCO、MPII、FreiHAND并以NeuralAnnot生成三维伪标签，从而覆盖身体、野外全身与手部样本；EHF、AGORA用于全身评估，3DPW、FreiHAND、Stirling分别评估身体、手、脸，并在MSCOCO做定性比较。实现采用PyTorch、ResNet-50、Adam、批大小96、6D旋转转轴角、初始学习率1e-4且第10轮降为1/10，身体输入降采样到256×192以节省计算，手脸裁剪保留高分辨率细节。优化目标为L=L_param+L_coord+L_box，监督SMPL-X参数、Pose2Pose/网格/投影关节坐标和手脸框。MPJPE、MPVPE及其PA对齐版本和F分数显示：EHF上手部MPVPE为39.8、PA MPVPE为10.8，AGORA上分别为72.8和9.7，3DPW身体MPJPE/PA MPJPE为86.6/54.4，FreiHAND PA MPVPE/PA MPJPE为7.7/7.7；消融中身体加MCP特征将手部MPVPE从仅用身体的50.4降到39.8，去除身体特征使手指PA MPVPE从12.3降到10.8，三维坐标加关节特征将全身PA MPVPE降到50.3，分别支撑手腕、手指和关节语义建模的作用。该系统适用于AR/VR、人机交互和行为理解等单目场景，但受手部分辨率低、ResNet末端手指信息不足1像素、遮挡截断、复杂手指关节和身体手连接约束；后续可研究严重遮挡下的鲁棒手腕推断和更高效的高分辨率细节建模。\n\n### 关键要点\n\n- Hand4Whole将人体、手部、面部裁剪图分别输入BodyNet、HandNet和FaceNet，各分支输出经SMPL-X层生成全身网格，手脸边界框由BodyNet预测。\n- Pose2Pose先从特征图预测J个关节的三维热图，并用soft-argmax得到三维坐标P，其中x、y位于像素空间，z为根关节相对深度。\n- 位置姿态引导池化先将2048维图像特征降至512维，再在P的(x,y)位置双线性采样，得到每个关节512维特征F^P，避免GAP丢失关节空间语义。\n- BodyNet把身体关节特征、坐标与双手8个MCP关节的特征、坐标拼接，用于预测包含手腕的22个身体关节旋转；MCP是手腕子节点且位置误差较低。\n- 身体特征可在手部不可见或截断时约束手腕与身体的解剖合理性，但其他手指关节或GAP手部特征会引入独立手指运动和冗余信息。\n- HandNet从高分辨率原图通过RoIAlign裁剪手部图像，左手翻转成右手并共享权重，只使用精细手部特征预测15个手指关节旋转，不再融合粗糙身体特征。\n- FaceNet因面部形变不能完全由关节旋转表示，采用基于GAP的ResNet回归3维下颌旋转和10维表情码，输入为192×192面部裁剪图。\n- 端到端损失L=L_param+L_coord+L_box包含SMPL-X参数L1误差、三类关节坐标误差和手脸框中心尺度误差；训练使用Adam、批大小96、6D旋转表示并在第10轮降低学习率。\n- 训练集为Human3.6M、全身版MSCOCO、MPII和FreiHAND，三维伪标签来自NeuralAnnot；评估使用EHF、AGORA、3DPW、FreiHAND和Stirling，指标含MPJPE、MPVPE、PA对齐误差和F分数。\n- EHF和AGORA上Hand4Whole的全身及手部误差均低于ExPose、FrankMocap与PIXIE，在3DPW和FreiHAND上优于其他全身方法，但略逊于近期专用身体或手部方法。\n- 方法的主要约束来自单目图像中手部像素过小、标准backbone末端手指信息不足1像素、手部遮挡或截断以及高分辨率裁剪带来的计算需求。"
}