{
  "paper_id": "5a1a25716086999fba38139e36c51466",
  "paper_title": "Dense Hand-Object(HO) GraspNet with Full Grasping Taxonomy and Dynamics",
  "paper_authors": [
    "Woojin Cho",
    "Jihyun Lee",
    "Minjae Yi",
    "Minje Kim",
    "Taeyun Woo",
    "Donghwan Kim",
    "Taewook Ha",
    "Hyokeun Lee",
    "Je-Hwan Ryu",
    "Woontack Woo",
    "Tae-Kyun Kim"
  ],
  "publication_date": "2024",
  "publication_venue": "ECCV 2024 (Lecture Notes in Computer Science)",
  "abstract": "现有三维手物交互数据集在数据规模、交互场景变化或标注质量方面存在局限。本文提出一个全面的手物交互训练数据集HOGraspNet。它是唯一覆盖完整抓取分类体系的真实数据集，提供抓取标注和丰富的类内变化。以抓取分类作为原子动作，其空间与时间组合可以表示围绕物体的复杂手部活动。作者依据形状和尺寸分类，从YCB数据集中选择22个刚性物体，并选择另外8个复合物体，以确保覆盖所有手部抓取构型。数据集包含来自99名年龄在10至74岁之间参与者的多样手形、连续视频帧，以及150万个带标注的RGB-D稀疏帧。标签包括三维手部和物体网格、三维关键点、接触图及抓取标签。通过将手部参数模型MANO和手部隐式函数HALO拟合到多视角RGB-D帧来获得准确的手部和物体三维网格，动作捕捉系统仅用于物体。HALO拟合不需要任何参数调优，因此能够扩展到数据集规模，并取得与MANO相当的精度。作者在抓取分类和三维手部姿态估计等相关任务上评估了HOGraspNet。结果显示性能随抓取类型和物体类别而变化，表明该数据集所捕获交互空间的潜在重要性。所提供的数据旨在学习三维手物交互的通用形状先验或基础模型。数据集和代码可在 <https://hograspnet2024.github.io/> 获取。\n",
  "keywords": [
    "手物交互",
    "抓取分类体系",
    "三维形状与姿态估计",
    "新基准"
  ],
  "paper_institutions": [
    "KAIST",
    "Imperial College London",
    "Kwangwoon University",
    "Surromind"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:17.975425Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有三维手物交互数据集在规模、手/物变化、动态场景和标注质量上的不足，例如HO3D与DexYCB仅覆盖部分抓取分类、YCB Affordance为合成数据、OakInk缺少抓取标签，本文提出真实多视角RGB-D数据集HOGraspNet，并以抓取类型作为原子动作，通过其空间与时间组合表达复杂手部操作。该数据集参照Feix等人的33类抓取体系，将几何相似、视觉难辨或罕见的姿态合并重定义为28类，选取YCB中的22个刚性物体和另外8个复合/关节式物体，依据圆柱、球体、圆盘、立方体等原始形状、抓取区域和尺寸保证全部抓取构型覆盖，每个对象执行3种常见抓取，共形成90个交互场景；数据来自99名10至74岁、右手操作的参与者，包含连续视频和1,489,112个带标注的4视角RGB-D帧，提供21个手部关节、MANO/HALO手部网格、物体网格与6D位姿、接触图和抓取标签。采集采用4台时间同步Azure Kinect，以1920×1080和30FPS记录RGB-D，红外光学标记仅附着在物体最不可能被抓握的区域，手部保持无标记；实现上先将视频降至10FPS，用DeepLabv3生成分割掩码，用MediaPipe估计多视角2.5D关键点，并通过留一视角三角化与MPJPE阈值引导的bootstrapping剔除异常视角，再对MANO手部模型和物体模板执行全局变换、腕部延展部分姿态、完整手物姿态的三阶段渐进拟合，核心损失为 L = λ_h^2D L_h^2D + λ_o^3D L_o^3D + λ_seg L_seg + λ_depth L_depth + λ_reg L_reg + λ_phy L_phy，其中 L_phy = λ_pen L_pen + λ_contact L_contact，用于抑制网格穿透并鼓励真实接触；HALO则以经逆运动学修正到MANO手部流形的关键点为输入，表示关节式占据场，虽捕获的手形变化少于MANO，但无需大量损失权重调参、分辨率独立且便于大规模扩展，平均IoU为0.719，与MANO的0.739相当。实验设计S0至S4五种划分，分别检验默认序列、未见受试者、视角、物体和抓取分类的泛化；选择SOTA手物重建网络HFL-Net作为基线，以验证标注质量和交互空间的挑战性。抓取分类模型在带逐顶点接触值的手部网格上修改CoMA并结合顶点重建、接触分类和分类交叉熵损失，接触图重建F1为0.95，抓取分类准确率为0.88；手部姿态平均PA-MPJPE为5.67mm，物体6D位姿ADD-0.1D平均为63.61，误差随抓取类型和物体类别显著变化，大物体和遮挡更严重的物体误差更高，Dice因可见区域小ADD-0.1D仅2.44。跨基准测试中，在HOGraspNet上训练的HFL-Net在DexYCB上取得42.65mm MPJPE和9.36mm PA-MPJPE，优于在HO3D上训练的57.31mm和10.31mm，支持其更全面交互先验的结论。该数据可用于机器人操作、物理仿真中的抓取智能体、手物交互基础模型和通用形状先验学习；当前约束包括对象数量相对有限、物体标记可能影响姿态、复合/关节式对象仍按刚性对象处理、主要记录右手抓握，未来将增加物体关节标注、非抓握动作、非刚性物体形变，以及背景、纹理和抓取区域外形状的合成增强。\n\n### 关键要点\n\n- HOGraspNet是一个真实多视角RGB-D数据集，将33类参考抓取体系中几何相似或罕见的构型合并为28类，并为每帧提供抓取标签。\n- 数据集使用30个物体，包括22个YCB刚性物体和8个复合或关节式日常物体，每个物体执行3种抓取，共90个交互场景。\n- 99名年龄为10至74岁的参与者贡献了多样手形，数据集包含连续视频和1,489,112个带标注的4视角RGB-D帧。\n- 每帧标注包括21个三维手部关节、手部网格、物体6D位姿、物体网格、手物接触图和抓取类别。\n- 采集系统使用4台Azure Kinect记录1920×1080、30FPS的RGB-D数据，并用8台红外相机和物体上的3至5个光学标记获取物体位姿，手部不使用标记。\n- MANO标注流程包含MediaPipe多视角关键点三角化、留一视角异常值过滤，以及全局手部变换、部分腕部姿态和完整手物姿态的三阶段渐进优化。\n- HALO标注使用经逆运动学修正的关键点驱动神经隐式占据场，平均IoU为0.719，虽略低于MANO的0.739，但超参数更少且更适合大规模标注。\n- 基准提供S0默认序列划分以及S1未见受试者、S2未见视角、S3未见物体、S4未见抓取分类五种评估协议。\n- 基于CoMA的抓取分类模型在接触图重建上取得0.95的F1分数，并取得0.88的抓取分类准确率。\n- HFL-Net在默认划分上取得5.67mm的平均手部PA-MPJPE和63.61的平均物体ADD-0.1D，性能随抓取类型、物体尺寸和遮挡程度变化。\n- 跨基准实验中，HOGraspNet训练模型在DexYCB上的MPJPE和PA-MPJPE分别为42.65mm和9.36mm，优于HO3D训练模型的57.31mm和10.31mm。\n- 当前数据集将复合或关节式物体按刚性物体处理，未来计划补充关节标注、非抓握动作、非刚性物体形变以及外观和形状增强。"
}