{
  "paper_id": "5cc059d3c6cb978103630be0cf078078",
  "paper_title": "Hand Pose Estimation and Hand Shape Classification Using Multi-layered Randomized Decision Forests",
  "paper_authors": [
    "Cem Keskin",
    "Furkan Kıraç",
    "Yunus Emre Kara",
    "Lale Akarun"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2012 (Lecture Notes in Computer Science)",
  "abstract": "基于视觉的关节手部姿态估计与手形分类是具有挑战性的问题。本文提出利用深度传感器执行这些任务的新算法。具体而言，引入一种新颖的基于随机决策森林（RDF）的手形分类器，并将其用于新颖的多层RDF框架以进行关节手部姿态估计。该分类器将输入深度像素分配到手形类别，并将其引导至专门针对该手形训练的对应手部姿态估计器。本文引入两类新颖的多层RDF：全局专家网络（GEN）和局部专家网络（LEN），其手部姿态估计显著优于单层骨架估计器，并能更好地泛化到未见过的手部姿态。新颖的手形分类器也被证明准确且快速。这些方法可在CPU上实时运行，并可移植到GPU以进一步提高速度。\n",
  "keywords": [
    "手部姿态估计",
    "手形分类",
    "随机决策森林",
    "深度传感器",
    "形状分类森林",
    "部件分类森林",
    "全局专家网络",
    "局部专家网络",
    "美国手语",
    "均值漂移"
  ],
  "paper_institutions": [
    "Boğaziçi University, Computer Engineering Department, Istanbul, Turkey"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:27.922228Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对基于视觉的关节手部姿态估计与手形分类在高自由度、自遮挡和实时人机交互/手语交互中的困难，结合Kinect深度传感器简化手部检测分割、随机决策森林在人体姿态识别中的成功以及作者此前单层部件分类森林需在大数据集上训练复杂树、限制树深会降低精度的背景，提出先由形状分类森林（SCF）将深度像素或图像分配给按骨架相似性谱聚类得到的手形簇，再由各簇专门训练的部件分类森林（PCF）专家推断手部部件并用均值漂移定位关节的多层RDF机制；其核心深度特征写为 F_{u,v}(I,x)=I(x+u/I(x))-I(x+v/I(x))，偏移按深度归一化以实现3D平移不变性，但不具备旋转和尺度不变性。训练先以骨架角度加权L1距离构造相似度并进行谱聚类，再训练SCF和K个专家PCF，GEN根据整图平均后验选择置信度最高的三个专家并按ρ_i加权融合，LEN则按像素后验将每个像素送入局部专家。实验在Pugeault ASL真实数据集（65K深度图、5名用户、24个静态字母，用于检验跨用户手形分类）和60K合成手部深度图（用于提供部件真值并检验姿态估计）上进行，采用树高20、偏移范围[-45,45]、深度阈值[^0] [^60]、每节点1000个候选特征并通过网格搜索选择簇数等设置；SCF在留一用户验证下达到84.3%（对照方法为47%），半数训练/半数验证下单树达到97.8%（对照方法仅深度特征为69%、深度加彩色特征为75%），GEN和LEN的逐像素部件分类率分别达91.2%和90.9%，显著高于单层RDF的68.0%，支持“聚类分解加专家网络”在精度、泛化和内存上的收益，其中GEN对噪声更鲁棒、LEN对未见姿态泛化更好。该框架适用于实时手语拼写、非接触人机交互等场景，主要约束包括姿态专家需要合成数据训练、数据生成需配合特征的旋转和尺度特性、均值漂移带宽需按部件人工选择、CPU训练成本较高（每树约4000秒），后续可探索GPU移植加速以及对未见姿态和复杂局部变化的泛化。\n\n### 关键要点\n\n- SCF由多棵形状分类树组成，每个像素对各手形类别给出后验概率，所有树的结果经平均后，再对前景像素平均并取最大后验类别作为整图手形。\n- SCF与PCF使用按深度归一化的偏移深度差特征，该特征具有3D平移不变性，但不具有旋转不变性和尺度不变性。\n- 决策树分裂时随机采样若干偏移对和阈值，并用标签分布的熵下降量选择最佳分裂，叶节点保存到达样本的归一化类别直方图。\n- PCF将像素分类为手部部件，随后以部件后验和深度平方为权重放置高斯核，通过均值漂移局部模式搜索估计关节位置并依据得分判断可见性。\n- 训练数据按手部骨架角度的加权L1距离进行谱聚类；全局旋转角度被赋予更大权重，从手掌到手指权重逐渐降低，使指尖变化可更自由地落入同簇。\n- GEN在整图层面计算簇后验，选择平均概率最高的三个专家，并将三个专家的部件后验按对应概率加权融合，因此对局部噪声更鲁棒。\n- LEN不做整图单一路由，而是依据每个像素自身的簇后验将其送入相应专家，从而利用局部后验模式并对未见过的姿态泛化更好。\n- 在包含24个ASL静态字母、5名受试者和65K真实深度图的Pugeault数据集上，SCF留一受试者识别率为84.3%，半数训练/验证识别率为97.8%。\n- 在60K合成深度图上，GEN和LEN的逐像素部件分类率分别为91.2%和90.9%，相比单层RDF的68.0%有显著提升。\n- 方法可在CPU上实时运行，姿态模型训练约需每树4000秒；GPU移植被视为进一步提升速度的可行方向。"
}