{
  "paper_id": "1934fd3d3606696682ee4d966490a35e",
  "paper_title": "Learning Correlation-aware Aleatoric Uncertainty for 3D Hand Pose Estimation",
  "paper_authors": [
    "Lee Chae-Yeon",
    "Nam Hyeon-Woo",
    "Tae-Hyun Oh"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "3D手部姿态估计是理解人类手部的基础任务，但由于手部复杂运动、自相似和频繁遮挡，精确估计仍具挑战。本文针对现有方法无法估计任意（数据）不确定性，以及不确定性建模缺少关节相关性知识两个问题，将任意不确定性建模引入3D手部姿态估计框架，以在关节相关性建模与计算效率之间取得更好平衡。作者提出一种新颖参数化方法，利用单个线性层捕获手部关节间的内在相关；其关键是将手部关节输出空间表示为概率分布，使线性层能够捕获关节相关性。该参数化作为任务头层，可作为附加模块应用于现有模型。实验表明，该不确定性建模参数化优于现有方法；配备该不确定性头的3D手部姿态估计模型在获得新的不确定性建模能力的同时，仍取得良好精度。\n",
  "keywords": [
    "3D手部姿态估计",
    "任意不确定性",
    "关节相关性",
    "概率输出空间",
    "对角协方差",
    "全协方差",
    "高斯负对数似然",
    "HaMeR"
  ],
  "paper_institutions": [
    "Grad. School of AI POSTECH, South Korea",
    "Dept. of Electrical Engineering POSTECH, South Korea",
    "School of Computing KAIST, South Korea"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:42:44.967691Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单幅RGB图像3D手部姿态估计中高自由度、自相似、遮挡和运动模糊导致的数据不确定性，以及传统对角协方差逐关节独立建模而全协方差参数多、优化不稳定的问题，论文在HaMeR预训练大模型基础上新增Transformer不确定性回归头，先以高斯NLL学习每关节方差，再构造零均值概率输出空间 p(z|x)=N(0,diag(σ_3D^2))，采样N个样本并经共享线性层W变换，加入均值后得到 p(ŷ|z)=N(μ_3D,W diag(σ_3D^2)W^T)，从而以介于对角与全协方差之间的结构化协方差解析表达关节相关性。训练沿用HaMeR确定性损失并联合L_NLL与采样MSE，设置N=25、λ_NLL=λ_MSE=5e-4，在单张A100上用AdamW训练550k次、批大小64；训练使用约2.7M来自多数据集的2D/3D标注样本以继承大规模预训练泛化能力，并在FreiHAND和HO3Dv2两个带真实3D标注的标准基准上评估，分别验证受控手部场景与手物交互场景。不确定性用AUSC、AUSE和Pearson相关系数评估，关节/网格精度用PA-MPJPE、AUC_J、PA-MPVPE、AUC_V与F@5/F@15等评估；所提方法在FreiHAND上取得642、42.2、0.569，在HO3Dv2上取得505、57.6、0.600，均优于对角和全协方差基线，并以约0.133M参数远少于全协方差示例的4.129M，同时PA-MPJPE分别为6.0mm和7.6mm，保持竞争力。消融显示线性层和更多样本总体改善不确定性排序，但样本数增加带来计算开销；该方法适用于机器人、AR/VR和人类演示学习等需要置信度的真实部署，约束是主要建模异方差任意不确定性、依赖3D标注与采样开销，未来可结合认知不确定性、双手或手物交互及更高效在线部署。\n\n### 关键要点\n\n- 方法聚焦任意不确定性而非认知不确定性，并假设其为随输入变化的异方差不确定性。\n- 在HaMeR的ViT骨干和原有均值回归头之外，新增Transformer头回归21个3D关节共63维输出的每关节方差。\n- 核心协方差机制为Σ=W diag(σ^2)W^T，其中共享线性层W把独立概率空间转换为相关感知空间。\n- 总损失包含HaMeR原有确定性损失、高斯NLL损失和采样MSE损失，后两项权重均为5e-4。\n- 训练数据约2.7M，来自FreiHAND、HO3D、InterHand2.6M、DEX YCB和COCO WholeBody等多数据集。\n- 评估选用FreiHAND与HO3Dv2，因为二者提供3D真值并分别覆盖手部姿态及手物交互标准协议。\n- 实现中默认采样25次，使用单张NVIDIA A100、AdamW、初始学习率1e-6、批大小64，训练550k迭代。\n- 不确定性通过稀疏化曲线评估，单关节不确定性取对应协方差矩阵的迹，AUSE扣除oracle曲线以专注排序质量。\n- 所提方法在两个基准三项不确定性指标上均优于对角和全协方差基线，Pearson系数分别达到0.569和0.600。\n- 与AMVUR相比，方法在HO3Dv2的AUSC、AUSE和Pearson系数为505、57.6和0.600，优于586、113和0.127。\n- 去掉线性层会使FreiHAND AUSE从42.2升至47.9、HO3Dv2从57.6升至61.4，证明相关建模的贡献。\n- 方法保持与HaMeR等接近的姿态精度，但全协方差在HO3Dv2部分姿态指标略优，且采样数和计算量构成实际约束。"
}