{
  "paper_id": "814605cce5286044edd99b832be6406a",
  "paper_title": "DexYCB: A Benchmark for Capturing Hand Grasping of Objects",
  "paper_authors": [
    "Yu-Wei Chao",
    "Wei Yang",
    "Yu Xiang",
    "Pavlo Molchanov",
    "Ankur Handa",
    "Jonathan Tremblay",
    "Yashraj S. Narang",
    "Karl Van Wyk",
    "Umar Iqbal",
    "Stan Birchfield",
    "Jan Kautz",
    "Dieter Fox"
  ],
  "publication_date": "2021",
  "publication_venue": "CVPR",
  "abstract": "本文提出 DexYCB，一个用于捕捉手部抓取物体的新数据集。作者首先通过跨数据集评估将其与相关数据集进行比较；随后在三个相关任务上对现有最先进方法进行系统基准测试：2D 物体与关键点检测、6D 物体位姿估计和 3D 手部姿态估计；最后评估一个与机器人相关的新任务，即在人到机器人物体交接过程中生成安全的机器人抓取。\n",
  "keywords": [
    "手部抓取",
    "手物交互",
    "DexYCB",
    "基准数据集",
    "RGB-D",
    "6D物体位姿估计",
    "3D手部姿态估计",
    "2D关键点检测",
    "人到机器人交接"
  ],
  "paper_institutions": [
    "NVIDIA",
    "University of Washington"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:11.292772Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对3D物体位姿与3D手部姿态长期被分开研究、而真实手物交互会因物体运动和相互遮挡使两类任务显著变难的问题，本文指出已有数据或只含静态物体或空手、或依赖手套、磁传感器和标记动作捕捉而干扰自然动作与外观，合成数据又难以生成真实抓取姿态和自然运动；为此提出无标记的真实RGB-D数据集DexYCB，用8台经外参标定和时间同步的RealSense D415以30fps、640×480采集桌面工作区，记录10名受试者抓取20个YCB物体的1000个序列、共582K帧，每试次包含从接近、张指、接触到稳定持物的完整3秒过程，并通过MTurk人工标注每视角21个手部关节及每个物体2个由标注者选择的可跟踪标志点。数据集用MANO（θ∈R51, β∈R10）表示778顶点手部网格、用T∈R3×4表示物体6D位姿，并在世界坐标中联合优化深度点云与网格SDF误差、多视角关键点重投影误差和MANO姿态正则，核心机制为 E(P)=E_depth(P)+E_kpt(P)+E_reg(P)，用Adam每帧在上一帧基础上优化100次；选择多视角、人工关键点和深度约束是为了在无附件条件下验证标注精度并覆盖动态抓取。实验设计S0默认、S1未见受试者、S2未见视角、S3未见抓取物四种划分，并与最相关的HO-3D做跨数据集评估；2D检测采用COCO AP，6D位姿采用BOP的VSD/MSSD/MSPD平均召回率AR，手部采用MPJPE、PCK及0–50mm AUC并报告绝对、根相对和Procrustes对齐结果，交接任务以平移0.05m、旋转15°匹配阈值计算precision-coverage。结果显示DexYCB训练模型比HO-3D训练模型跨库泛化更好，Mask R-CNN与SOLOv2在S0的边界框mAP分别为75.76和75.13，手比物体更难检测；PoseCNN在S0的静态与被抓取物体AR分别为56.53和41.65，深度、DeepIM和CosyPose细化可明显提升性能，S1上CosyPose RGB达57.43、DeepIM RGB-D达57.54；RGB绝对3D手位误差较高，HRNet仅小幅改善，A2J凭借深度在绝对MPJPE上更优但Procrustes关节误差较差；更准确的物体位姿可带来更好的安全交接，而漏检手会造成夹手风险。该数据适用于从人类演示学习、安全人机交互和人到机器人交接，但受限于受控黑色背景、桌面单任务、无手手交互以及野外外观泛化不足，未来可结合野外数据、直接预测完整手形的模型，并利用真实运动促进合成数据生成。\n\n### 关键要点\n\n- DexYCB由8台RealSense D415 RGB-D相机构成，所有相机完成外参标定和时间同步，以30fps采集640×480彩色与深度图像。\n- 数据集包含10名受试者、20个YCB-Video物体、1000个序列和约582K RGB-D帧，每个受试者完成100个抓取试次。\n- 每个试次记录受试者从放松姿态开始、拿起目标物体并在空中持住的过程，前两次用右手、第三和第四次用左手，第五次随机选择。\n- 标注通过VATIC和Amazon Mechanical Turk完成，手部标注21个关节，物体则由标注者选择2个易识别、可跟踪的标志点。\n- 3D手部姿态采用MANO模型表示，3D物体位姿采用3×4变换矩阵表示，并通过多视角深度、关键点和正则化联合优化求解。\n- 基准划分包括S0默认、S1未见受试者、S2未见视角和S3未见抓取物，用于测试不同泛化条件。\n- 与HO-3D的跨数据集评估表明，在DexYCB上训练的模型迁移到HO-3D时误差增幅较小，说明DexYCB具有更好的跨数据集泛化能力。\n- 在2D检测中，Mask R-CNN和SOLOv2性能接近，S0边界框mAP分别为75.76和75.13，手部检测通常比物体检测更困难。\n- PoseCNN在S0上对静态物体的AR为56.53，对被抓取物体降至41.65，表明手物交互和遮挡显著增加6D位姿估计难度。\n- 在S1上，深度输入和位姿细化方法能明显提升性能，DeepIM RGB-D达到57.54 AR，CosyPose RGB达到57.43 AR。\n- 人到机器人安全交接实验使用Franka Panda平行夹爪，依据物体位姿和手部分割过滤碰撞抓取，更准确的物体位姿整体上带来更高的precision-coverage表现。\n- DexYCB主要采集受控黑色背景下的桌面抓取，因此在野外图像上的泛化有限，结合野外数据和完整手形预测是后续改进方向。"
}