{
  "paper_id": "d4aedb4a8599b256ed69e2b5c885bfbb",
  "paper_title": "Learning to Estimate 3D Human Pose from Point Cloud",
  "paper_authors": [
    "Yufan Zhou",
    "Haiwei Dong",
    "Abdulmotaleb El Saddik"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Sensors Journal",
  "abstract": "3D pose estimation is a challenging problem in computer vision. Most of the existing neural-network-based approaches address color or depth images through convolution networks (CNNs). In this paper, we study the task of 3D human pose estimation from depth images. Different from the existing CNN-based human pose estimation method, we propose a deep human pose network for 3D pose estimation by taking the point cloud data as input data to model the surface of complex human structures. We first cast the 3D human pose estimation from 2D depth images to 3D point clouds and directly predict the 3D joint position. Our experiments on two public datasets show that our approach achieves higher accuracy than previous state-of-art methods. The reported results on both ITOP and EVAL datasets demonstrate the effectiveness of our method on the targeted tasks.",
  "keywords": [
    "edge feature",
    "pose regression network",
    "depth image"
  ],
  "paper_institutions": [
    "University of Ottawa",
    "Huawei Technologies Canada"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:42.001851Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对从深度图像进行三维人体姿态估计的问题，提出了一种基于点云输入的深度学习网络。与现有基于CNN处理彩色或深度图像的方法不同，作者将深度图像转换为三维点云，并直接回归三维关节坐标。方法上结合了PointNet中的空间变换网络和Dynamic Graph CNN（DGCNN）中的EdgeConv层，通过欧氏聚类提取人体点云，并按人体高度和宽度归一化后输入网络。在ITOP和EVAL两个公开数据集上进行了实验，采用平均精度均值（mAP）作为指标，以10cm为判定阈值，与随机森林、随机树行走、迭代误差反馈和视角不变方法等进行了比较。结果表明，所提方法在整体关节估计上取得了更高的精度，尤其在膝盖、脚等部位表现优异，验证了方法的有效性。未来工作将针对快速运动和遮挡情况提升精度，并探索在康复训练、运动指导等任务中的应用。核心机制是通过EdgeConv提取局部几何特征，结合空间变换网络的排列不变性，实现从点云直接回归三维姿态。\n\n### 关键要点\n- 提出了一种从点云直接回归3D人体关节位置的方法，取代了传统的从深度图像通过CNN预测热图的方式。\n- 将深度图像转换为点云，利用欧氏聚类提取人体点云，并通过深度阈值和聚类去除背景噪声。\n- 点云被采样为固定数量（如5000点），并按人体边界框的高度和宽度进行归一化，以提高对不同体型和距离的适应性。\n- 网络架构基于改进的DGCNN和PointNet，包含空间变换网络（T-Net）和两个由EdgeConv层组成的单元，用于提取局部和全局特征。\n- 在预处理和训练中，首先单独训练空间变换网络，然后再联合训练整个模型，以提高排列不变性。\n- 网络输出表示归一化后的关节坐标，通过逆变换恢复为原始坐标。\n- 在ITOP数据集上进行评估，分为前视角和顶视角，在15个关节上取得了85.11%的平均精度，优于对比方法。\n- 在EVAL数据集上评估，模型在14个关节上取得了80.86%的平均精度，显著优于RTW和VI方法。\n- 针对手和肘等关节的准确率相对较低，主要由于深度信息不足、遮挡以及运动幅度大。\n- 实验采用10cm规则计算每个关节的精度，并报告了上半身和下半身的平均精度。\n- 方法在自然场景中存在限制，如遮挡和快速运动，但在受控的康复训练等场景中表现良好。\n- 未来计划针对快速运动和遮挡进行改进，并应用于康复训练、运动指导和运动员追踪等实际任务。"
}