{
  "paper_id": "027d757daa68c0a1b28dba1d225d46c0",
  "paper_title": "UST-Hand: An Uncertainty-aware Spatiotemporal Point Cloud Interaction Network for 3D Self-supervised Hand Pose Estimation",
  "paper_authors": [
    "Tianhao Han",
    "Haoyang Zhang",
    "Liang Xie",
    "Haochen Chang",
    "Kun Gao",
    "Yuan Cheng",
    "Pengfei Ren",
    "Erwei Yin"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "手动标注精确的3D手部姿态极其耗时费力。现有自监督手部姿态估计方法利用输入图像与渲染输出之间的差异或多视角一致性约束作为优化网络的驱动力，逐步提升姿态精度。然而这些方法极易受噪声伪标签影响，且忽视了充分利用细粒度空间相关性的重要性，损害了模型训练的稳定性。为解决这些问题，本文提出UST-Hand，一个估计手部姿态不确定性分布并构建概率点云特征空间的自监督学习框架，实现复杂的时空关系建模。UST-Hand采用条件归一化流模型捕捉手部姿态分布并采样多样化假设，在噪声伪标签监督下实现具有增强稳定性的鲁棒学习。这些多假设被映射到统一的概率3D点云空间进行多视角和时间特征交互，全面探索手部运动模式与细粒度空间相关性。在三个挑战性数据集上的大量实验表明，UST-Hand达到最先进性能，在平均顶点位置误差（MPVPE）上比现有自监督方法提升高达37.8%。",
  "keywords": [
    "3D手部姿态估计",
    "自监督学习",
    "不确定性建模",
    "条件归一化流",
    "概率点云",
    "时空Transformer",
    "多视角融合"
  ],
  "paper_institutions": [
    "上海交通大学计算机学院",
    "北京邮电大学",
    "中山大学",
    "北京大学",
    "军事科学院国防创新研究院",
    "天津人工智能创新中心"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:34.292544Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决3D手部姿态估计中大规模精确3D标注获取成本高昂的问题：现有自监督方法（如S²Hand利用输入图像与渲染输出的差异、HaMuCo引入跨视图协作学习）均依赖确定性伪标签，易受2D检测噪声干扰导致训练不稳定，且未能充分挖掘细粒度空间相关性与时间动态。为此提出UST-Hand，一个不确定性感知的时空点云交互自监督框架，其核心机制为条件归一化流：通过可逆变换 x = f_θ(z; F_fuse) 建立标准正态先验 z 与2D关节位置 x 的双射（以跨视图融合特征 F_fuse 为条件），训练时经逆变换最大化伪标签对数似然，推理时采样 M 个随机实例与1个均值实例生成 M+1 个多样化假设，显式保留不确定性以防噪声证据主导学习；随后经置信度加权DLT三角化将多假设提升至统一概率3D点云空间（锚点云保留分布不确定性、查询点云作为精化目标），并由时空点云Transformer（STPT）通过邻域空间注意力、时间注意力与交叉注意力进行K次迭代精化，最终经MANO模型输出3D手部网格。实验选用HanCo（8相机、860,304张RGB图像，提供时空一致性）、DexYCB-MV（8视点手-物交互，25,387训练样本）与OakInk-MV（4相机，58,692训练样本）三个多视角基准，以验证不同相机密度与交互场景下的泛化性；实现基于PyTorch与双24G RTX 4090 GPU，采用ImageNet预训练ResNet34骨干、30轮训练、批大小8、Adam优化器（初始学习率3×10^-4，第20轮降十倍）、长度5步长1的滑动时间窗口。评估指标包括MPVPE、MPJPE及其Procrustes对齐变体、F-Score与AUC：UST-Hand在HanCo上MPVPE较先前最优自监督方法HaMuCo降低37.8%（9.35mm→5.82mm），DexYCB-MV降低14.5%，OakInk-MV降低23.2%，AUC-V分别提升16.2%、3.3%、6.5%；在OpenPose低质量伪标签下MPJPE为7.5mm（优于HaMuCo 14.8%）、Wilor伪标签下5.2mm（优于26.4%）、2D真值监督下3.7mm（优于38.3%），这些结果支持了不确定性建模与时空交互两大创新的有效性；消融实验进一步表明热图、投影融合与STPT模块的移除分别使MPVPE上升10.3%/9.6%/17.3%、5.5%/6.6%/3.9%、4.0%/7.6%/7.5%。未来方向为将该不确定性感知概率范式推广至噪声监督下的一般关节物体重建；实际应用涵盖AR/VR、手势与动作识别及机器人操控，但方法依赖同步标定的多视角相机序列，时间窗口超过5帧（如7帧）会引入优化困难，稀疏视角下几何歧义增加但不确定性建模可有效避免确定性坍缩。\n\n### 关键要点\n\n- 方法定位：UST-Hand是面向同步标定多视角视频序列的自监督3D手部姿态估计框架，仅依赖现成2D检测器生成的伪标签进行监督，无需昂贵的3D标注即可重建21个关节与778个顶点的手部模型。\n- 核心机制：采用条件归一化流RealNVP建模手部姿态分布，通过可逆映射 x = f_θ(z; F_fuse)（z服从标准正态先验）在训练时最大化伪标签对数似然、推理时采样M+1个多样化假设，显式保留单视角估计的不确定性。\n- 置信度感知设计：热图模块解码关节位置与置信度，置信度感知自注意力（CASA）将置信度拼接进Q/K/V计算，使低质量伪标签token的查询/键幅值与互亲和度自然降低，从而抑制噪声影响。\n- 统一概率3D点云空间：对多假设关键点执行置信度加权DLT三角化，生成保留分布不确定性的锚点云P_A与作为精化目标的查询点云P_Q，并通过相机参数将3D点投影至各视角以双线性插值采集视觉特征。\n- STPT迭代精化：时空点云Transformer先以相对位置编码的邻域空间注意力建模帧内几何关系，再以可学习帧级位置嵌入的时间注意力捕捉运动模式，最后通过与锚点云的交叉注意力及FFN实现K次坐标迭代精化，最终经MANO生成手部网格。\n- 数据与实验设置：在HanCo（8相机、107,538时序实例、860,304张RGB图）、DexYCB-MV（S0划分、25,387训练/4,951测试样本）与OakInk-MV（SP2协议、58,692训练/19,909测试样本）上评估；基于PyTorch、双24G RTX 4090、ResNet34骨干（ImageNet预训练）、30轮训练、批大小8、Adam优化器（初始学习率3×10^-4，第20轮降十倍）、长度5步长1滑动窗口。\n- 损失函数：总损失为热图MSE损失、2D关节MSE损失、负对数似然损失与置信度加权投影L2损失的加权和，权衡参数λ0=0.001、λ1=10、λ2=0.1、λ3=10。\n- 主要结果：UST-Hand在HanCo、DexYCB-MV、OakInk-MV上MPVPE分别达5.82、8.16、10.02mm，较先前最优自监督方法HaMuCo降低37.8%、14.5%、23.2%，AUC-V分别提升16.2%、3.3%、6.5%，全面超越HaMuCo与Wilor。\n- 伪标签质量鲁棒性：在OpenPose低质量伪标签下MPJPE为7.5mm（优于HaMuCo 14.8%），Wilor伪标签下5.2mm（优于26.4%），2D真值监督上界下3.7mm、PA-MPJPE 2.4mm（优于38.3%），证明对噪声监督的固有鲁棒性与利用高质量线索的能力。\n- 消融证据：移除热图模块使三数据集MPVPE上升10.3%、9.6%、17.3%；移除投影融合模块上升5.5%、6.6%、3.9%；移除STPT上升4.0%、7.6%、7.5%；补充消融显示时间注意力影响最大，4个STPT块与5帧时间窗口为最优配置。\n- 稀疏视角鲁棒性：单帧变体UST-Hand_t1在2/4/6/8视角下MPJPE较HaMuCo分别改善2.96/3.59/3.25/3.35mm，不确定性建模在视角减少、几何歧义增大时有效避免确定性坍缩。\n- 应用与约束：适用于AR/VR、手势与动作识别、机器人操控等场景并支持实时多视角与单目推理，但需同步标定的多视角相机序列，时间窗口过长（7帧）会引入优化困难，置信度与误差呈显著负相关验证了伪标签可靠性估计的有效性。"
}