{
  "paper_id": "74de39157edf4a81199473a6f994f489",
  "paper_title": "Hand Visibility Detector: Per-Keypoint Visibility Estimation for Hands",
  "paper_authors": [
    "Ryosei Hara",
    "Masashi Hatano",
    "Rintaro Yanagi",
    "Atsushi Hashimoto",
    "Takuma Yagi",
    "Mariko Isogawa"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "手部姿态估计是AR/VR和机器人等应用的基础技术，但多数现有方法只输出关节位置，不显式指示各关节在图像中的可见性。已有方法即使考虑遮挡或可见性，也通常将可见性作为改进姿态估计的辅助信号，尚未将逐关节手部可见性估计作为独立任务进行系统研究。本文提出Hand Visibility Detector，用于估计每个手部关节的可见性，并首次对该独立任务展开系统研究。结果表明，利用在大规模手部数据上预训练的手部姿态估计模型作为冻结骨干，可实现高性能可见性估计。作者还将该模型用于多视图二维关键点三角化的三维手部姿态标注下游任务，证明可见性加权三角化能够降低重投影误差。方法已作为开箱即用包发布，代码和演示可在GitHub获取。\n",
  "keywords": [
    "手部姿态估计",
    "逐关键点可见性",
    "遮挡检测",
    "手部可见性检测器",
    "大规模预训练模型",
    "门控注意力单元",
    "多视图三角化",
    "三维手部姿态标注"
  ],
  "paper_institutions": [
    "Keio University",
    "National Institute of Advanced Industrial Science and Technology (AIST)",
    "OMRON SINIC X Corporation",
    "The University of Tokyo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:49.346582Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决手部姿态估计在遮挡和出框场景下只输出关节坐标、却不说明每个关节是否可直接观测的问题，以支持AR/VR、人机交互和机器人等应用评估估计结果的可靠性。已有工作虽对遮挡或可见性建模，但通常将其作为提升姿态精度的辅助信号，且多在受控单一域数据上训练，未系统检验可见性预测本身及跨条件泛化；Contact4D等方法显示逐关节可见性可改进多视图三维标注，但其估计器性能和标签质量仍不明确。作者提出Hand Visibility Detector，将MANO布局的21个手部关节可见性形式化为\\(V=(\\hat v_1,\\ldots,\\hat v_{21})\\in[0,1]^{21}\\)，以手部裁剪图像为输入，冻结HaMeR或WiLoR等大规模预训练手部姿态估计模型的ViT骨干以保留手部结构先验，只训练包含1×1卷积、全连接层、GAU全局空间依赖建模、1×1投影、空间平均池化和sigmoid的0.83M参数轻量可见性头，核心优化采用逐关节二元交叉熵\\(\\mathcal{L}=-\\frac{1}{J}\\sum_{j=1}^{J}[v_j\\log\\hat v_j+(1-v_j)\\log(1-\\hat v_j)]\\)，并将画面外关节也定义为不可见。训练和评估选择HInt数据集，是因为它在网络图片和第一视角视频帧等多样化野外场景中提供人工逐关节可见性标注；实验使用25,273帧训练、5,374帧评估，输入由真值边界框扩大1.25倍后缩放至256×256并中心裁剪256×192，采用AdamW、学习率1e-3、批大小256、训练100轮，在单张NVIDIA H200上约2.5小时，三种随机种子报告均值和标准差，用以验证预训练手部先验在多样遮挡条件下的迁移效果。方法以mAP和阈值0.5二值化的F1为指标，取得0.931 mAP和0.896 F1，比现有逐关节可见性基线高3.4个mAP；HaMeR与WiLoR优于CSPNeXt、ResNet-152、ViT-H和DINOv3，微调WiLoR反而使mAP降至0.622，移除GAU或替换为简单线性头也会降低性能，阈值在0.3至0.7之间F1保持在0.88以上，支持冻结预训练骨干和GAU全局建模的设计。在DexYCB、HO3D和H2O的自动三维手部姿态标注实验中，作者用WiLoR估计各视图二维关键点并通过DLT三角化，逐关节可见性加权相比等权三角化和视图级手部检测置信度加权降低了中位数、均值和四分位距，在视角较少且物体遮挡严重的HO3D上平均重投影误差最多降低10.1%，证明该机制能抑制被遮挡关节的低质量二维观测。该方法适用于多视图三维标注、AR/VR和机器人等需要可靠性判断的真实场景，但依赖手部检测框、预训练手部模型先验和21点MANO布局，目前处理静态图像且将出框关节视为不可见，未来可扩展到视频输入以实现时间一致的可见性估计。\n\n### 关键要点\n\n- 论文首次将逐关节手部可见性估计定义为独立任务，而不是仅将可见性作为提升手部姿态估计的辅助信号。\n- Hand Visibility Detector输出MANO手部模型21个关键点各自的可见性概率，概率范围为0到1。\n- 模型由冻结的HaMeR或WiLoR ViT骨干与轻量可见性头组成，训练时仅更新0.83M参数的头部。\n- 可见性头使用1×1卷积压缩特征、GAU建模空间位置间的全局依赖，再经投影、池化和sigmoid生成逐关节概率。\n- HInt数据集包含网络图像和第一视角视频等野外场景及人工逐关节可见性标注，实验划分为25,273个训练帧和5,374个评估帧。\n- 在HInt上，所提方法达到0.931 mAP和0.896 F1，相比Kim等人和Contact4D的可见性估计器提升3.4个mAP。\n- 骨干消融显示HaMeR和WiLoR等手部专用预训练模型优于通用视觉骨干，而微调WiLoR会破坏预训练特征并使mAP降至0.622。\n- 头部消融显示移除GAU会使mAP从0.931降至0.887，且阈值在0.3至0.7范围内F1保持在0.88以上。\n- 在DexYCB、HO3D和H2O上，逐关节可见性加权的DLT三角化优于等权和检测置信度加权方法，平均重投影误差最多降低10.1%。\n- 方法的主要适用约束包括需要手部裁剪框、遵循21点MANO布局、当前仅处理静态图像，并将遮挡或位于画面外的关节均定义为不可见。"
}