{
  "paper_id": "9d924a6ffe314b8b48cd4bca3e7ad55e",
  "paper_title": "A2J: Anchor-to-Joint Regression Network for 3D Articulated Pose Estimation from a Single Depth Image",
  "paper_authors": [
    "Fu Xiong",
    "Boshen Zhang",
    "Yang Xiao",
    "Zhiguo Cao",
    "Taidong Yu",
    "Joey Tianyi Zhou",
    "Junsong Yuan"
  ],
  "publication_date": "2019",
  "publication_venue": "IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "针对单张深度图像中的三维手部与人体姿态估计问题，论文提出一种具有端到端学习能力的锚点方法 Anchor-to-Joint Regression Network（A2J）。该方法在深度图像上密集设置能够捕获全局—局部空间上下文的锚点，并将其作为关节的局部回归器，通过集成方式预测关节位置以增强泛化能力。论文同时提出锚点提议过程，以为特定关节发现信息量大的锚点。A2J 以二维 CNN（ResNet-50）为主干，无需耗时的三维卷积或反卷积层。在三个手部数据集和两个人体数据集上的实验验证了其优越性；在单块 NVIDIA 1080Ti GPU 上运行速度约为 100 FPS。\n",
  "keywords": [
    "三维关节姿态估计",
    "单张深度图像",
    "锚点到关节回归",
    "锚点提议",
    "端到端学习",
    "二维卷积神经网络",
    "ResNet-50",
    "手部姿态估计",
    "人体姿态估计"
  ],
  "paper_institutions": [
    "National Key Laboratory of Science and Technology on Multi-Spectral Information Processing, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology",
    "IHPC, A*STAR, Singapore",
    "CSE Department, State University of New York at Buffalo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:40.355683Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张深度图像中三维手部与人体姿态估计面临的剧烈姿态变化、关节外观相似和自遮挡等问题，论文指出已有编解码 FCN 常使用非自适应高斯热图且反卷积耗时、多数难以完全端到端训练，3D CNN 受体素化和大量参数限制，点集方法又依赖点采样等昂贵预处理，因此提出端到端的 Anchor-to-Joint Regression Network（A2J）。A2J 在输入深度图上以 4 像素步长密集布置锚点，每个锚点作为局部回归器预测全部关节的平面偏移与深度，再由锚点提议分支生成经 softmax 归一化的权重，核心机制为 Ŝ_j=Σ_{a∈A} P̃_j[S(a)+O_j(a)](a)、D̂_j=Σ_{a∈A} P̃_j(a)D_j(a)，从而以加权集成获得关节三维位置；权重高于 0.02 的锚点被视为信息锚点，周围损失鼓励其均匀环绕关节，以减轻视点偏差和过拟合。网络采用 ImageNet 预训练的 ResNet-50，将第 4 层步长改为 1 并使用膨胀率为 2 的空洞卷积，下分平面偏移、深度估计和锚点提议三个分支，不使用反卷积、3D 卷积或点云预处理。实验选用 HANDS 2017、NYU、ICVL 三个手部数据集以及 ITOP、K2HPD 两个人体数据集，覆盖手部与人体、正面与俯视、完整三维坐标与仅平面标注等情形，手部用中心点裁剪、人体用边界框裁剪，输入分别为 176×176 和 288×288，并使用旋转、缩放和概率 0.5 的高斯噪声增强，Adam 优化器与固定学习率设置共同验证跨任务、跨视角和实时部署的泛化能力。手部采用平均三维距离误差和成功帧比例，人体采用 PDJ 与 10 cm 规则下的 mAP；A2J 在 HANDS 2017 上达到 8.57 mm 平均误差和 105.06 FPS，在 NYU 上达到 8.61 mm，在 ICVL 上达到 6.461 mm，虽略低于使用 10 模型集成的 V2V* 或 P2P 的个别精度，但效率显著更高；在 ITOP 正面和俯视轨迹上 mAP 分别为 88.0 和 80.5，在仅含平面标注的 K2HPD 上平均 PDJ 达 91.7。消融结果显示移除锚点提议、周围损失或合并平面偏移与深度分支都会降低性能，ImageNet 预训练将 NYU 误差从 10.08 mm 降至 8.61 mm，ResNet-18 版本仍可在 NYU 上达到 192.25 FPS，这些结果支持自适应锚点集成、任务分支分离、二维知识迁移和无反卷积高效结构的有效性。该方法适用于人机交互、增强现实等实时场景，主要约束来自严重自遮挡、极端姿态和深度噪声，未来方向是探索更有效的锚点融合方式。\n\n### 关键要点\n\n- A2J 在深度图上以 4 像素步长密集设置锚点，每个锚点都为全部关节预测平面偏移和深度，借助多个局部视角的集成维持关节间的结构关系。\n- 锚点提议分支为每个关节输出锚点响应 P_j(a)，经 softmax 归一化后对所有锚点的平面位置和深度预测加权平均，得到最终三维关节坐标。\n- 归一化权重大于 0.02 的锚点被定义为信息锚点；可见指尖通常拥有较少信息锚点，而被遮挡关节或平坦区域关节会使用更多锚点捕获上下文。\n- 信息锚点周围损失约束加权锚点位置接近并环绕对应关节，可减轻视点偏差；完整目标由 λ=3 的关节位置损失与周围损失共同监督。\n- 主干网络为 ImageNet 预训练 ResNet-50，第 4 层步长设为 1 并采用膨胀率 2 的空洞卷积，使输出特征图相对输入仅下采样 16 倍，同时保留较大感受野。\n- 平面偏移分支和深度分支相互分离，前者输出 16×K×2 个通道，后者与锚点提议分支各输出 16×K×1 个通道，因为平面坐标与深度具有不同物理特性。\n- 手部输入按中心点裁剪并缩放为 176×176，人体按边界框裁剪并缩放为 288×288；训练使用随机平面旋转、缩放和高斯噪声增强，优化器为 Adam。\n- HANDS 2017 上 A2J 的平均误差为 8.57 mm，SEEN 为 6.92 mm，UNSEEN 为 9.95 mm，并达到 105.06 FPS，明显优于单模型及 10 模型集成的 V2V* 的速度表现。\n- NYU 上 A2J 平均三维误差为 8.61 mm；ICVL 上为 6.461 mm，虽精度略低于 V2V* 和 P2P，但运行速度达到 105.06 FPS，兼顾了精度与效率。\n- ITOP 数据集上，A2J 正面轨迹平均 mAP 为 88.0，俯视轨迹为 80.5；除 10 模型集成的 V2V* 外，其表现普遍优于其他人体姿态方法。\n- K2HPD 只提供平面标注，因此 A2J 移除深度分支；其在 PDJ 0.05、0.10、0.15、0.20 上分别达到 76.3、94.4、97.6、98.6，平均 PDJ 为 91.7。\n- 在单块 NVIDIA 1080Ti 上，手部姿态运行速度为 105.06 FPS，人体姿态为 93.78 FPS；严重自遮挡和剧烈姿态变化仍是主要失败情形。"
}