{
  "paper_id": "518a27194164323347c24cc086daa657",
  "paper_title": "Cascaded Hand Pose Regression",
  "paper_authors": [
    "Xiao Sun",
    "Yichen Wei",
    "Shuang Liang",
    "Xiaoou Tang",
    "Jian Sun"
  ],
  "publication_date": "2015",
  "publication_venue": "IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文从两个方面扩展已有2D级联物体姿态回归工作，使其更适用于3D关节物体。第一，提出3D姿态索引特征，推广已有2D参数化特征，并对3D变换获得更好的不变性；第二，提出一种适应关节物体结构的有原则的层次化回归，因此更加准确且快速。在具有挑战性的3D手部姿态估计问题上，基于一个公共数据集和作者新采集数据集的综合实验验证了所提方法具有先进的精度与效率。\n",
  "keywords": [
    "手部姿态估计",
    "级联姿态回归",
    "3D姿态索引特征",
    "层次化回归",
    "深度图像",
    "随机森林",
    "3D姿态归一化",
    "关节物体"
  ],
  "paper_institutions": [
    "Chinese University of Hong Kong",
    "Microsoft Research",
    "Tongji University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:53.143494Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度图像中3D手部姿态估计因视角变化大、手指关节灵活、自遮挡严重以及像素分类方法难以保持结构约束而导致的困难，本文在2D级联姿态回归基础上面向3D关节物体进行扩展。已有方法或逐像素分类再推断关节，或使用单一整体回归模型建模复杂图像变化，容量与几何不变性不足；级联姿态回归虽通过依赖上一阶段姿态的特征逐步更新姿态并在2D任务中有效，但尚未解决3D关节结构中的特征定义与分部件回归问题。本文将手表示为21个运动学关节、手掌与五根手指共六个部件，核心机制是从初始姿态出发逐阶段更新 $\\Theta^t=\\Theta^{t-1}+\\mathcal R^t(I,\\Theta^{t-1})$，每级随机森林根据当前姿态生成像素差特征并拟合真值与当前估计之间的残差。方法上，首先用完整3D刚体变换将姿态归一化到手掌或手指局部坐标系，并在规范坐标系中随机采样3D偏移、变换回相机坐标系后投影生成3D姿态索引特征 $u_i=CamProj(\\overline{\\mathcal T_\\Theta}(\\Delta u_i))$，该参数化是2D平移和平面旋转参数化的推广；随后提出层次化回归，先用3个阶段估计变化较小、自由度较低的手掌并固定，再使用各自手指坐标系和独立回归器分别更新五根手指，以降低学习难度并加快收敛。实验使用Tang等人发布的公共数据集以及作者采集的76,500帧、9名受试者、17种手势、视角覆盖yaw约[-90,90]度和pitch约[-10,90]度的更具挑战性数据集，采用每名受试者留一测试、每森林10棵树、每分裂节点512个随机特征、节点少于10个样本停止分裂、整体回归6阶段而层次回归手掌和手指各3阶段等设置，以验证特征在大视角下的不变性和层次策略对关节结构的适应性；评价指标包括所有图像的平均每关节3D误差（毫米）和最大关节误差低于阈值的好帧成功率。结果表明，3D姿态索引特征显著优于HPR-2D、HPR-2D+Rot基线及LRF，层次回归在公共数据上平均关节误差约10毫米且收敛更快，在新数据集上整体精度和跨视角稳定性（标准差更小）最好，但在大误差阈值下偶尔会因PCA启发式初始化不稳定造成手掌误差并传导至手指；方法在Intel Xeon CPU单线程上含初始化超过300 FPS，适用于实时交互等真实场景，主要约束是需要深度相机、已知或手动设定手型大小，并且依赖粗糙但通常可收敛的初始姿态。未来可自动估计手型尺寸，并在级联框架中使用精炼随机森林或卷积网络等更强回归模型。\n\n### 关键要点\n\n- 手部姿态被参数化为21个运动学关节，并划分为包含6个关节的手掌和每指3个关节的五根手指；手掌表示全局视角的6个自由度，每根手指还表示相应的手指关节自由度。\n- 级联回归从深度图像和粗糙初始姿态开始，每个阶段用回归器预测当前姿态残差并更新姿态，所用特征依赖上一阶段估计出的姿态。\n- 3D姿态归一化采用完整3D刚体变换而非仅平移；手掌坐标系原点在腕部，手指坐标系原点在指根并沿第一指骨，以分别改善全局和局部对齐。\n- 特征仍采用两个随机像素的深度差，但像素位置由规范坐标系中的随机3D偏移经当前姿态相关变换转到相机坐标系后再投影得到，从而推广以往2D和平面旋转参数化。\n- 整体回归用手掌坐标系一次性回归全部关节；层次回归则先学习手掌，固定后再用五个独立回归器和手指局部坐标系分别学习手指。\n- 训练和测试均只使用一次启发式初始化：手位置取手部三维点云中心，旋转由点云PCA得到；实验假定手型大小已知并手动设定。\n- 每个随机森林含10棵树，分裂节点采样512个随机特征，样本少于10时停止分裂；整体回归用6级，层次回归中手掌和手指各用3级。\n- 公共数据集视角变化较小，yaw约[-30,30]度、pitch约[-10,45]度；作者因此采集76,500帧、9名受试者、17种手势的新数据集，其yaw约覆盖[-90,90]度、pitch约覆盖[-10,90]度。\n- 评价采用平均每关节毫米误差和最大关节误差低于阈值的好帧成功率；在公共数据上层次回归平均误差约10毫米，在新数据集上所提方法也优于两种基线且跨视角误差标准差更小。\n- 含PCA初始化的层次回归在Intel Xeon 3.70GHz单线程CPU上超过300 FPS，适合实时深度交互；不稳定初始化可能使手掌误差传导至手指，是新数据集上的主要约束。"
}