{
  "paper_id": "1df30ae5ad4c159214c221fc58ad8d2c",
  "paper_title": "AWR: Adaptive Weighting Regression for 3D Hand Pose Estimation",
  "paper_authors": [
    "Weiting Huang",
    "Pengfei Ren",
    "Jingyu Wang",
    "Qi Qi",
    "Haifeng Sun"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "本文提出自适应加权回归（AWR）方法，以结合检测式方法与回归式方法的优势。手关节坐标在自适应权重图的引导下，通过对稠密表示中的所有像素进行离散积分来估计。该可学习聚合过程同时引入稠密监督与关节监督，支持端到端训练，并使权重图具备自适应能力，从而提升网络的准确性与鲁棒性。论文在多种实验设置下开展了充分的探索实验，验证了AWR的有效性与通用性，尤其是其适用于不同类型的稠密表示和输入模态。该方法在NYU、ICVL、MSRA和HANDS 2017四个公开数据集上优于其他先进方法。\n",
  "keywords": [
    "三维手部姿态估计",
    "自适应加权回归",
    "稠密表示",
    "深度图像",
    "检测式方法",
    "回归式方法",
    "端到端训练",
    "关节坐标监督"
  ],
  "paper_institutions": [
    "State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications",
    "EBUPT Information Technology Co., Ltd."
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:30.263343Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度图像质量低、视角极端、自遮挡严重以及手指间自相似导致三维手部姿态估计难以准确稳定的问题，本文在回归式方法能够建模关节间全局约束、检测式方法能够保留特征空间结构并利用局部证据，但其信息聚合不可学习且训练与推理存在脱节的研究背景下，提出自适应加权回归（AWR）。该方法使用全卷积网络生成稠密表示，再以经softmax归一化的自适应权重图对所有像素恢复出的关节坐标进行可微离散积分，核心机制为 p_j = Σ_i w_j(p_ij)·j(p_ij)，从而同时引入稠密表示监督和关节坐标监督并实现端到端训练；当目标关节可见时权重聚焦其周围像素，当附近深度缺失或存在手指自相似时权重扩散到相邻关节等相关区域。论文选择姿态覆盖较广、测试标签公开的NYU数据集进行系统探索，并使用NYU、ICVL、MSRA和HANDS 2017四个公开数据集验证泛化能力并与先进方法对比；实现上先以稠密表示监督预训练、再以关节监督微调，关节监督和偏移量表示采用smooth L1损失，热图采用L2损失，使用PyTorch和Adam优化器，并通过随机旋转、平移、缩放防止过拟合。实验采用每关节与全关节平均欧氏误差以及好帧比例作为指标，结果表明六种稠密表示均能从AWR获益，其中3D偏移表示O3效果最佳，NYU平均误差由仅稠密监督的7.87 mm降至7.48 mm，优于直接回归的8.82 mm；AWR在ResNet、Hourglass、深度图、体素、点云和不同分辨率设置下均带来一致提升，并在HANDS 2017上取得7.48 mm的平均误差，其中已见对象为5.21 mm、未见对象为9.36 mm，支持了可学习聚合、直接关节监督和自适应权重对精度与鲁棒性的核心贡献。后续可进一步结合更多输入模态、网络结构与低算力部署方案，服务于虚拟现实、增强现实等人机交互场景，但实际应用仍受深度缺失、遮挡、手指自相似、标注噪声以及输入和稠密表示分辨率约束。\n\n### 关键要点\n\n- AWR将全卷积网络生成的稠密表示通过可微离散积分转换为关节坐标，权重图经softmax归一化，可直接嵌入网络并进行端到端训练。\n- 联合使用稠密表示监督和关节坐标监督，缩小了训练与推理之间的差异；目标关节可见时权重集中于局部，遮挡或深度缺失时权重扩散到相关关节。\n- 在NYU上比较P、H1、H2、O1、O2、O3六种稠密表示时，AWR均优于仅稠密监督的检测式方法，其中3D偏移O3的平均误差最低，为7.48 mm。\n- 训练流程为先使用稠密表示监督预训练，再使用关节监督微调；关节监督和偏移量使用smooth L1损失，热图使用L2损失，优化器为Adam，初始学习率为0.001。\n- NYU包含72K训练帧和8K测试帧并使用14个关节，ICVL包含330K训练帧，MSRA包含76.6K帧并采用留一受试者交叉验证，HANDS 2017包含957K训练帧和295K测试帧。\n- AWR适用于ResNet-18/50/101以及单阶段和两阶段Hourglass网络；例如ResNet-18上的平均误差由仅稠密监督的8.53 mm降至7.75 mm。\n- 在深度图像、体素和点云三种输入模态下AWR均取得提升，平均误差分别为7.48 mm、8.60 mm和10.52 mm，验证了其跨坐标空间的通用性。\n- AWR对输入和稠密表示分辨率变化具有鲁棒性，但相对更依赖稠密表示尺寸，因为候选像素数量会随稠密表示缩小而显著减少。\n- 在HANDS 2017上，ResNet-50版本取得7.48 mm的平均误差，优于A2J的8.57 mm，并在已见和未见受试者上分别取得5.21 mm和9.36 mm。\n- 在NYU、ICVL和MSRA上，AWR在平均误差或好帧比例上达到先进水平；部分数据集的标注噪声、手部区域裁剪尺寸以及深度缺失会限制特定阈值下的提升幅度。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}