{
  "paper_id": "ef07a2c8576ffca1feba1e4a3a4b36f0",
  "paper_title": "Towards A Richer 2D Understanding of Hands at Scale",
  "paper_authors": [
    "Tianyi Cheng",
    "Dandan Shan",
    "Ayda Sultan",
    "Richard E. L. Higgins",
    "David F. Fouhey"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 36",
  "abstract": "论文提出一种大规模手部交互2D理解模型，可输出手、接触物体以及被工具接触的第二物体的检测框与分割，并识别接触和抓取类型。支撑该模型的Hands23在四个数据集上标注了257K张图像、401K只手、288K个物体和19K个第二物体。实验表明，该方法能提供丰富的交互信息，性能良好且具有较强的泛化能力。\n",
  "keywords": [
    "手部检测",
    "手物交互",
    "第二物体",
    "接触状态",
    "抓取类型",
    "实例分割",
    "Hands23",
    "Mask R-CNN"
  ],
  "paper_institutions": [
    "University of Michigan",
    "Addis Ababa University",
    "New York University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:16:45.530418Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对已有2D手部理解通常分散于检测框、分割、接触或抓取标注，且难以刻画工具作用于第二物体的问题，论文在100DOH、VISOR等工作多覆盖单一视角或标签的研究背景下，提出统一模型与Hands23数据集。模型以Mask R-CNN、FPN和ResNet-101为基础，将前景类别设为手、物体和第二物体，用PointRend生成分割，并以独立MLP预测左右手、接触、细粒度接触和抓取；其核心机制是对两个候选区域特征与几何关系特征进行拼接，即输入[ f_i, f_j, φ_ij ]并分类手—物体或物体—第二物体关系，而不是像100DOH那样回归手到物体中心的偏移向量，推理时再按阈值贪心连接手、物体和第二物体。Hands23整合New Days、COCO 2017训练集、EPIC-KITCHENS VISOR和Internet Articulation，共257K张图像、401K只手、288K个物体、19K个第二物体，兼顾第一与第三人称、静态图像与视频、不同手部尺度和空间分布，用于验证数据规模、标签覆盖度及跨数据集泛化；分割由SAM以框提示自动生成并经人工抽检，抓取标签覆盖65K只接触手部。实验采用IoU 0.5下的AP、实例分割AP、正确检测手部上的状态准确率，以及低IoU关联指标，结果显示手部检测为84.3 AP、物体为51.6 AP、第二物体为44.0 AP，分割AP分别为67.0、45.0和33.2，左右手、接触和细粒度抓取准确率分别为95.0%、84.5%和67.0%；模型在Ego4D上零样本达到86.9框AP和60.0分割AP，经自训练微调110K次迭代后升至90.9和66.3，且在多手场景中的关联表现明显优于中心向量回归法，支撑了成对关系分类与第二物体建模的有效性。后续可结合主动物体识别、3D手物理解、DETR类框架和外部数据自训练；真实应用包括机器人示范解析、视频理解、卒中康复、神经科学研究和失物查找，但系统受小手部、遮挡、阴影、大场景物体、细小物体边界、跨类别抓取、数据源偏差、人口代表性不足、未成年人移除和人脸模糊等约束，作者建议在高风险或监控场景中使用前进行充分测试。\n\n### 关键要点\n\n- 模型统一输出手、接触物体和第二物体的检测框与分割，并给出接触状态、工具使用和抓取类型。\n- Hands23包含257K张图像、401K只手、288K个物体和19K个第二物体，标注规模约为100DOH的2.5倍。\n- 数据来自New Days、COCO、EPIC-KITCHENS VISOR和Internet Articulation，分别补充交互视频、多手静态图像、自我中心工具使用和铰接物体等偏差。\n- 接触标签区分无接触、物体接触、自身接触和接触他人，细粒度标签进一步区分触摸、握持、使用工具以及容器或普通物体。\n- 抓取标签在65K只接触手部上标注七类抓取，包括力量/精细、棱柱/圆柱、侧捏以及非抓握的手指或手掌接触。\n- 分割掩码由SAM根据标注框自动生成，手部掩码直接采用SAM结果，物体和第二物体掩码会减去手部掩码。\n- 关系头将两个区域特征与中心向量、归一化方向和框间有符号距离等几何特征拼接，分类多区域间的交互关系。\n- 在Hands23上，手部、物体和第二物体检测AP分别为84.3、51.6和44.0，左右手与接触状态准确率分别为95.0%和84.5%。\n- 在至少6只手的场景中，所提关联方法的F1为79.1，而100DOH方法降至55.9，说明成对分类更能处理多手干扰。\n- 人脸模糊训练和测试的性能接近，模糊训练后在清晰人脸测试中手部检测AP仅下降约0.1，但仍可能出现手部框误落在脸部的问题。"
}