{
  "paper_id": "be0a449f6b8e676dd42f0d7ac40b1cdd",
  "paper_title": "TRIHORN-NET: A MODEL FOR ACCURATE DEPTH-BASED 3D HAND POSE ESTIMATION",
  "paper_authors": [
    "Mohammad Rezaei",
    "Razieh Rastgoo",
    "Vassilis Athitsos"
  ],
  "publication_date": "",
  "publication_venue": "Expert Systems with Applications",
  "abstract": "深度图像三维手部姿态估计近来已取得显著进展，但其精度仍难以满足具体现实应用的需求，仍有较大提升空间。本文提出 TriHorn-Net，通过两项设计提升深度图像上的手部姿态估计精度。首先，模型将三维手部姿态估计分解为深度图像空间中的二维关节位置估计，以及由两张互补注意力图辅助的对应深度估计，从而避免较难的深度估计在预测层和特征层干扰二维位置估计。其次，本文提出 PixDropout，据作者所知这是首个面向手部深度图像的基于外观的数据增强方法。实验结果表明，所提模型在三个公开基准数据集上优于现有最先进方法，实现代码已开源。\n",
  "keywords": [
    "三维手部姿态估计",
    "深度图像",
    "精度",
    "二维关节",
    "注意力"
  ],
  "paper_institutions": [
    "德克萨斯大学阿灵顿分校（University of Texas at Arlington）",
    "塞姆南大学（Semnan University）"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:33:05.585950Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对深度图像三维手部姿态估计在手部外观变化大、严重自遮挡、传感器噪声、高维度以及手部部件自相似等条件下精度不足的问题，本文在区分基于回归与基于检测的深度方法、指出三维卷积计算开销大以及 argmax、mean-shift、邻域点后处理等操作会造成训练推理间隙和量化误差的背景下，提出端到端的 TriHorn-Net。该模型用 Hourglass 编码器把单张深度图映射为高分辨率特征体，再由 UV 分支、注意力增强分支和深度分支分别产生受二维监督的关节注意力图、无外部约束的深度相关注意力图和稠密深度特征；其核心机制是按关节学习融合权重 β_j，形成 Att_fused^j = σ(β_j Att_uv^j + (1−β_j) Att_enh^j)，再通过 F_j = Σ_{x,y} Att_fused^j(x,y)D(x,y) 加权池化，并由所有关节共享的线性层估计深度 Z_j。训练损失为 L = ℓ_uv + λℓ_d 且实验中 λ=1，无需把深度图转成点云或体素，也无需测试时优化或后处理。论文还提出 PixDropout：从手部表面按概率随机选择像素并替换为常数背景值，以模拟深度缺失和外观变化。实验选用 ICVL、MSRA、NYU 三个常用且具挑战性的公开基准，因为它们在关节数量、采集视角、受试者数量和数据规模上互补，可检验跨场景泛化能力；输入被裁剪并缩放到 128×128、深度归一化到 [-1,1]，编码器输出空间尺寸设为输入一半以平衡精度与计算量，采用 Adam、余弦学习率衰减、多尺度几何增强和 α=0.15 的 PixDropout，在单张 NVIDIA 1080Ti 上用 PyTorch 完成训练。评价指标为所有关节与全部测试帧的平均欧氏距离误差（毫米）以及不同阈值下的成功率；TriHorn-Net 在 ICVL、NYU、MSRA 上分别取得 5.73mm、7.68mm、7.13mm 的平均距离误差并超过最先进方法，消融实验还显示融合注意力优于单独注意力、可学习融合优于拼接和直接相加、Hourglass 与 HRNet 等多尺度编码器均表现良好，从而支持任务分解、互补注意力和外观增强的有效性。该方法可服务于人机交互、增强现实、虚拟现实、手势识别和手语分析等现实场景，但当前约束包括需要裁剪手部区域、主要面向单视角深度图、依赖已标注关节以及计算资源仍需满足实时部署；未来可进一步强化目标关节附近深度严重缺失时的鲁棒性、研究无裁剪或复杂背景下的泛化、提升边缘设备效率，并扩展到手物交互、多视角或多模态输入。\n\n### 关键要点\n\n- TriHorn-Net 由一个编码器和 UV 分支、注意力增强分支、深度分支三个独立分支组成，直接从单张深度图估计三维手部关节位置。\n- UV 分支对每个关节生成注意力图，经空间 softmax 得到关节位置似然热图，再通过坐标加权积分计算二维 U、V 坐标并使用 L1 损失监督。\n- 注意力增强分支生成逐关节注意力图，但不施加二维位置监督，使其可自由关注对深度估计有帮助的非关节手部像素。\n- 两类注意力图通过逐关节可学习参数 β_j 融合，公式为 Att_fused^j = σ(β_j Att_uv^j + (1−β_j) Att_enh^j)。\n- 深度分支输出维度 D=64 的稠密像素级深度特征，融合注意力图对这些特征加权池化后，使用所有关节共享的一个线性层预测深度值。\n- 整个模型端到端可微，总损失为二维位置损失与深度损失之和 ℓ_uv + λℓ_d，实验中 λ=1，且不需要点云、体素转换或后处理步骤。\n- PixDropout 先从 [0, α] 采样像素丢弃概率，再随机选择手部表面像素并将其深度值替换为常数背景值，实验设置 α=0.15。\n- ICVL 包含 22K 训练帧和 1.6K 测试帧、16 个关节；论文未使用该数据集额外提供的 300K 旋转增强帧。\n- MSRA 包含超过 76K 帧、9 名受试者、17 种手势和 21 个关节，按留一受试者交叉验证协议评估。\n- NYU 使用第一视角的 72K 训练帧和 8K 测试帧，并从 36 个标注关节中选取通用的 14 个关节进行训练和测试。\n- 在 ICVL 上，融合注意力的误差为 5.73mm，优于仅用 Att_uv 的 5.91mm 和仅用 Att_enh 的 6.03mm；可学习融合也优于拼接的 5.98mm 和相加的 5.84mm。\n- PixDropout 使 TriHorn-Net 在 ICVL 上的误差从 5.90mm 降至 5.73mm，也使回归式 ResNet-50 从 7.81mm 降至 7.71mm，说明其增强效果不限于单一架构。"
}