{
  "paper_id": "f8258339159e4e530cb4a07988c292d5",
  "paper_title": "HRDexDB: A 4D Dexterous Grasping Dataset Across Human and Multiple Robot Embodiments",
  "paper_authors": [
    "Jongbin Lim",
    "Taeyun Ha",
    "Seongho Cha",
    "Kanghyeon Cho",
    "Mingi Choi",
    "Subin Jeon",
    "Jisoo Kim",
    "Byungjun Kim",
    "Hanbyul Joo"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 HRDexDB，这是一个真实世界的 4D 灵巧抓取数据集，记录五种具身之间随时间演化的 3D 手-物交互轨迹。数据集包含针对 100 种多样物体的 3.2K 次试验，通过同步多相机系统和一体化重建流程，提供多视角与第一视角 RGB 观测、3D 手几何、机器人状态、物体 6D 位姿轨迹以及成功/失败标注。人手和机器人手在共享物体上交互，可用于研究依赖具身的抓取策略和接触模式。论文通过人到机器人接触图迁移、视觉机器人-物体接触估计和检索辅助抓取展示了数据集的效用，表明 HRDexDB 可作为研究和学习跨人类与机器人具身灵巧交互的基础资源。\n",
  "keywords": [
    "4D灵巧抓取数据集",
    "跨具身学习",
    "人手与机器人手",
    "多视角RGB",
    "3D手重建",
    "物体6D位姿",
    "接触图迁移",
    "视觉接触估计",
    "检索辅助抓取"
  ],
  "paper_institutions": [
    "Seoul National University",
    "RLWRLD"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:29.969131Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n为弥合现有手-物交互数据在人类与机器人具身、多灵巧手设计、共享物体覆盖和细粒度三维标注之间的割裂，论文构建了真实世界 4D 灵巧抓取数据集 HRDexDB，并以统一采集、重建和基准流程研究形态与运动学差异如何影响抓取策略；其核心人类试验可表示为 \\(\\mathcal{T}^{\\mathrm{human}}=\\{\\{I_t^{c_i}\\}_{i=1}^{21},I_t^{\\mathrm{ego}},\\theta_t^{\\mathrm{human}},T_t^{\\mathrm{object}},y\\}_{t=1}^{T_h}\\)，其中 21 路外部视角 RGB、自我视角 RGB、51 维 MANO 参数、物体 SE(3) 6D 位姿和成败标签在统一世界坐标系中时间同步。数据集覆盖 1 只人手、Allegro V5 Plus、Inspire RH56DFTP、Inspire RH56F1 和 Robotiq 2F-85，共 3,215 次试验、43.5M 帧和 100 个厨房用品、家居物品、玩具、工具及有机物体；采集采用人类示范引导遥操作，操作者复现抓取意图但允许根据机器人形态调整手指构型和接触位置，因此保留示范-执行关联却不要求逐帧时间对齐或接触完全一致。重建阶段使用 HaMeR 关键点、三角化和 MANO 优化恢复人手，通过 URDF 正运动学恢复机器人手，并以 SAM3、FoundPose 和多视角 GoTrack 估计物体 6D 轨迹；在每具身 300 张、共 1,500 张图像上，该跟踪流程相对人工验证掩码的平均轮廓 IoU 为 0.921，高于两视角 FoundationPose 的 0.801。下游实验中，接触图迁移以人类接触/手部部件图和 PointNet++ 物体特征预测机器人专属接触表示，再由固定的 CEDex 物理优化合成抓取：在已见物体的真实世界测试里，Inspire 上成功率由 66.7% 提升到 73.3%，Allegro 上由 60.0% 提升到 70.0%，在 DexYCB 的 20 个和 GRAB 的 48 个未见物体仿真中也分别提升 2.25 和 6.07 个百分点，说明形态适配接触比直接使用人类接触更有效。视觉接触估计利用重建几何将距物体表面 3 mm 以内的 60 个手部区域标为接触，可为可见和遮挡区域提供监督；适配后的 HOPE 在 Inspire 和 Allegro 上分别取得 0.679 和 0.644 的最佳 F1，HACO 召回率高但精确率低，PressureVision 则呈现相反权衡。检索辅助抓取通过 168 个手部表面点与 4,096 个物体点构造局部几何描述符，检索前 16 个数据集中抓取，再经 FPFH、RANSAC、点到面 ICP、局部对齐和接触精修适配新物体；在 80 个数据库物体、20 个未见测试物体上，MuJoCo 仿真成功率由 50% 提升到 73%，真实世界由 40% 提升到 75%。这些结果验证了 HRDexDB 在跨具身接触迁移、视觉接触感知和抓取泛化中的作用，其真实抓取需通过提起物体或保持 10 秒来确认，主要约束包括机器人手形态与自由度限制、Inspire 拇指活动受限、触觉读数噪声大或稀疏、严重手物遮挡以及人类示范并非总能被所有机器人复现；未来将扩展到 1,000 个物体和更复杂的功能性操作任务，服务家庭、厨房、工具操作等真实灵巧操作场景。\n\n### 关键要点\n\n- HRDexDB 包含 3,215 次真实抓取试验、43.5M 帧和 100 个共享物体，覆盖 1 只人手与 4 种机器人末端执行器。\n- 数据模态包括 21 路外部 RGB、自我视角 RGB、3D 手几何、机器人状态与指令、物体 6D 位姿、成败标签，以及在可用设备上的指尖触觉信号。\n- 人类示范与机器人执行通过参考协议关联，遥操作者复现抓取意图并适配目标手形态，不要求逐帧对齐或完全相同接触。\n- 所有空间标注被对齐到经标定的统一世界坐标系，机器人手安装在 xArm6 上，并通过 Vive 腕部 tracker 与 MANUS 手套遥操作。\n- 多视角物体跟踪在 1,500 张评估图像上取得 0.921 的平均轮廓 IoU，优于 FoundationPose 的 0.801。\n- 人到机器人接触图迁移为 Inspire 和 Allegro 分别训练模型，用接触加权 L1 损失和部件交叉熵损失学习机器人专属接触与手部件图。\n- 真实世界接触迁移测试每种手和条件各 60 次，迁移接触在 Inspire 上达到 73.3% 成功率，在 Allegro 上达到 70.0%。\n- 在 DexYCB 和 GRAB 未见物体的 Isaac Gym 仿真中，迁移接触相对直接使用人类接触分别取得 55.94% 和 56.81% 的成功率。\n- 视觉接触基准把距物体表面不超过 3 mm 的手部区域标为接触，覆盖单张 RGB 中可见和被遮挡的 60 个区域。\n- 适配 HOPE 在 Inspire RH56F1 和 Allegro V5 上分别取得 0.679 与 0.644 的 F1，是两种具身上表现最好的基线。\n- 检索辅助抓取使用局部物体几何检索数据库抓取并做几何对齐与接触精修，在 20 个未见物体上实现 73% 仿真成功率和 75% 真实成功率。\n- 数据集当前规模为 100 个物体，作者计划公开发布数据和基准协议，并继续扩展至 1,000 个物体及更复杂功能任务。"
}