{
  "paper_id": "e54361e00b790eca5ebc54f3134a8587",
  "paper_title": "Latent Regression Forest: Structured Estimation of 3D Articulated Hand Posture",
  "paper_authors": [
    "Danhang Tang",
    "Hyung Jin Chang",
    "Alykhan Tejani",
    "Tae-Kyun Kim"
  ],
  "publication_date": "",
  "publication_venue": "2014 IEEE Conference on Computer Vision and Pattern Recognition",
  "abstract": "本文提出潜在回归森林（Latent Regression Forest, LRF），用于从单张深度图实时估计3D手部姿态。与以往基于森林、输入密集像素、独立分类后再估计关节位置的方法不同，LRF被构造成一种结构化由粗到精搜索：从点云质心开始，在反映手部层次拓扑的学习型潜在树模型引导下定位所有骨骼关节。其主要贡献包括：以无监督、数据驱动方式学习手部拓扑；提出一种新的基于森林的判别式结构化图像搜索框架，并加入误差回归步骤以避免误差累积；以及构建包含10名受试者180K张标注图像的多视角手部姿态数据集。实验表明，LRF在精度和效率上均优于现有先进方法。\n",
  "keywords": [
    "3D手部姿态估计",
    "深度图像",
    "潜在回归森林",
    "潜在树模型",
    "随机森林",
    "结构化由粗到精搜索",
    "级联误差回归",
    "多视角手部数据集"
  ],
  "paper_institutions": [
    "Imperial College London, London, UK"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:04.918929Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向人机交互、手势理解和增强现实等场景，本文解决从单张深度图实时、准确估计3D关节手部姿态的问题；已有自底向上人体姿态方法将密集像素独立分类或投票，但手部具有更复杂的关节运动、自遮挡和多视角变化，直接迁移需要指数级更多数据，且缺少全局运动学约束时可能产生不合理姿态，而模型跟踪方法又依赖准确初始化、手形校准并容易漂移。作者提出潜在回归森林（LRF），首先利用Chow-Liu Neighbour-Joining方法从训练关节位置无监督学习二值潜在树模型（LTM），其中测地距离通过删除深度不连续边并求最短路径获得，比欧氏距离更具姿态不变性并能更好分离不同手指；LRF随后以LTM定义各阶段粒度，从整只手的点云质心开始递归二分，分裂节点比较两个深度归一化随机偏移位置的深度差，核心形式为 $f_i(I)=d_I(\\rho_i^I+u/d_I(\\rho_0^I))-d_I(\\rho_i^I+v/d_I(\\rho_0^I))$，并依据子区域3D偏移协方差迹的信息增益选择分裂，到达分界节点后复制搜索目标、存储父子节点间3D偏移并在Hough空间投票，直到叶节点对应16个骨骼关节，同时在每个阶段嵌入级联误差回归器，用新数据验证当前森林并回归真实值与估计值之间的误差偏移，防止多阶段误差累积。数据与实现方面，作者采用噪声较低的Intel Creative Interactive Gesture Camera采集深度图，训练集来自10名手形不同的受试者、26种姿态提示，先以3fps采样得到20K图像，再经平面内旋转扩充至180K张全3D标注图，用于验证跨手形泛化；测试集A、B各含1000帧，覆盖大量姿态以及剧烈尺度和视角变化，并为公平比较跟踪方法均从正面张开手开始，训练时每个节点评估2000个分裂候选，阶段停止阈值设为 $(10mm)^2$，综合精度与效率选用16棵树。实验采用各关节平均误差（毫米）、所有预测关节均落在阈值内的最坏情况精度和运行速度评估；测地LTM在40mm阈值上较随机LTM约提升20%，误差回归使单关节平均误差最多降低22%、整体平均降低10%，LRF在两个测试序列上优于Keskin等人的回归森林及Melax等人的已校准和未校准跟踪器，且基于单帧不会在约500帧后发生跟踪失效，速度达到62.5fps，高于对比方法的8.6fps并与60fps跟踪器相当，这些结果支持了拓扑学习、结构化搜索和误差回归的有效性。该方法的约束包括依赖深度输入、对比实验受跟踪器初始化与校准条件限制，在极少数困难姿态下仍会定位失败，但输出通常保持手部拓扑结构；未来可将LRF扩展到其他空间或时间结构化问题。\n\n### 关键要点\n\n- LRF把整幅深度图或点云作为一个样本，从手部质心开始由粗到精搜索，而不是像传统自底向上森林那样对数千个密集像素分别分类或回归。\n- 手部拓扑由二值潜在树模型表示，模型中的可观测节点包括手部位置和骨骼关节，潜在节点表示由可观测节点组成的中间结构。\n- 拓扑通过CLNJ方法无监督学习，输入是所有可观测节点之间的成对距离矩阵，无需人工规定手指层次。\n- 测地距离计算时会删除图像空间中具有明显深度不连续的边，并在剩余平滑深度路径上求最短路径，因此比随姿态剧烈变化的欧氏距离更稳定。\n- 由测地距离生成的LTM能够将不同手指正确分离，而欧氏距离生成的模型可能把某根手指的子部分错误归到另一根手指。\n- 每棵潜在回归树包含分裂节点、分界节点和叶节点：分裂节点路由输入，分界节点把当前目标分成两个子目标，叶节点对应单个骨骼关节并存储3D偏移投票。\n- 分裂候选使用随机偏移向量和阈值，偏移量按根节点深度归一化，信息增益基于当前中心到两个子区域中心的偏移向量协方差矩阵之迹计算。\n- 测试时在分界节点产生左右两个Hough空间，其模式给出下一阶段的两个搜索位置，最终聚合所有树的叶节点投票并按LTM中的依赖关系确定关节位置。\n- 为提高训练效率，数据按LTM最大深度划分为多个子集，粗阶段使用较少数据，进入更精细阶段时逐步加入更多训练样本。\n- 级联误差回归器在每个阶段用下一子集验证当前森林，测量真实位置与估计位置的误差偏移，并继续生长少数树层以最小化该误差方差。\n- 新数据集包含10名受试者的180K张带3D标注深度训练图，测试序列A和B各1000帧，包含严重尺度、视角和姿态变化。\n- LRF使用16棵树、每节点2000个分裂候选和 $(10mm)^2$ 停止阈值，在单线程未并行优化条件下达到62.5fps，并在平均误差和最坏情况精度上优于所选先进方法。"
}