{
  "paper_id": "9cbfbdd051aefb4cc278239dd3cfdbc0",
  "paper_title": "ContactPose: A Dataset of Grasps with Object Contact and Hand Pose",
  "paper_authors": [
    "Samarth Brahmbhatt",
    "Chengcheng Tang",
    "Christopher D. Twigg",
    "Charles C. Kemp",
    "James Hays"
  ],
  "publication_date": "2020",
  "publication_venue": "European Conference on Computer Vision (ECCV) 2020",
  "abstract": "抓取对人类而言十分自然，但它涉及复杂的手部构型和软组织变形，会在手与物体之间形成复杂的接触区域。理解并建模这种接触有望改进手部模型、AR/VR体验和机器人抓取。然而，目前缺乏与其他数据模态配对的手物接触数据集，而这对于开发和评估接触建模技术至关重要。本文提出ContactPose，这是首个同时包含手物接触、手部姿态、物体姿态和RGB-D图像的数据集。ContactPose包含50名参与者以2种功能意图抓取25种家居物体形成的2306个独特抓取，以及超过290万张RGB-D抓取图像。对ContactPose数据的分析揭示了手部姿态与接触之间的有趣关系。作者还利用该数据严格评估了多种数据表示、文献中的启发式方法以及用于接触建模的学习方法。数据、代码和训练模型可在 <https://contactpose.cc.gatech.edu> 获取。\n",
  "keywords": [
    "接触建模",
    "手物接触",
    "功能性抓取"
  ],
  "paper_institutions": [
    "Georgia Tech",
    "Argo AI",
    "Facebook Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:20.563138Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决手物接触建模问题：人类抓取中的手部构型和软组织变形会产生复杂接触区，而接触表面在普通可见光成像中常被遮挡；已有研究或依赖数据手套、磁跟踪设备，或通过刚性手部模型与物体模型求交，既可能干扰自然抓取，也难以处理软组织变形，并且缺少同时包含真实接触、手部姿态、物体姿态和RGB-D图像的数据集。作者提出ContactPose，采用热成像捕捉抓取后温暖手部留在物体上的热残留，并将热像纹理映射到物体网格形成全表面接触图，因为该方法无需佩戴手套、可直接测量物体表面接触并避免刚性模型阈值选择问题；数据集包含50名参与者、25种家居物体、“使用”和“递交”2种功能意图、2306个独特抓取以及来自3个视角的超过290万张RGB-D图像，同时记录物体姿态和3D手部关节。数据采集使用7台Optitrack Prime 13W跟踪相机、3台Kinect v2 RGB-D相机和FLIR Boson 640热像仪；物体被3D打印为蓝色以保证一致的热属性和几何一致性，标记点采用内嵌3 mm半球形设计以兼顾跟踪可见性与握持自然性。无手部标记的3D姿态重建利用手物相对刚性假设，将多视角、多时刻的OpenPose二维检测聚合为物体坐标系中的一组高质量3D关节，核心机制为 min_{^oX} Σ_i Σ_c D(x_c^(i), π(^oX; K_c, ^cT_w ^wT_o^(i)); w_c^(i))，其中D为加权鲁棒距离，并通过Huber损失、Mahalanobis距离、RANSAC和失败帧二次重估来抑制检测与物体跟踪噪声。接触建模实验在已知物体几何和姿态的前提下比较点云或体素形状表示，以及simple-joints、relative-joints、skeleton、mesh和图像特征，学习器包括MLP、PointNet++、VoxNet和受U-Net启发的图像编码解码器；接触值被离散为10个区间并用加权交叉熵分类，以缓解接触值不平衡和连续回归造成的模糊。评估采用按接触差阈值计算准确率曲线下面积并按10个接触区间重平衡的AuC，设置保留参与者5、15、25、35、45的参与者划分和保留mug、pan、wine glass的物体划分；结果显示，包含更丰富手部形状与连接信息的skeleton和mesh特征整体优于简单关节特征，PointNet++结合mesh在参与者划分上达到81.29% AuC，在物体划分上达到84.18%，MLP结合mesh在物体划分上达到84.74%，均超过基于锥形距离场并经线性校准的启发式方法的78.31%和81.11%；3视角图像方法达到78.06%和80.80%，显著高于单视角的72.89%和77.09%，但仍低于姿态驱动方法并存在深度歧义。这些结果支持了真实接触标注可验证几何启发式和学习模型、多视角信息有助于图像接触预测、而仅靠手部姿态不足以完整表征抓取等结论。真实应用包括AR/VR中的手物动力学模拟、软体机器人抓取、人机交互和接触传播分析；主要约束是物体为无自然纹理的3D打印件，会限制纯RGB方法泛化，且数据面向静态抓取，动态操作中的重叠热印记尚未处理。未来可利用ContactPose训练和评估可变形手部网格、软组织建模以及逐帧扩展的动态接触建模方法。\n\n### 关键要点\n\n- ContactPose是首个将高分辨率物体接触图与3D手部姿态、物体姿态和多视角RGB-D抓取图像配对的功能性抓取数据集。\n- 数据集包含50名参与者、25种家居物体、2种功能意图、2306个独特抓取和超过290万张RGB-D图像。\n- 接触图通过热像仪观察抓取后手部传递到物体表面的热量，再将热像纹理映射到物体网格得到，可覆盖整个物体表面。\n- 3D打印物体保证了一致的热属性和真实物体与3D模型间的几何一致性，但也造成物体外观纹理单一的限制。\n- 手部姿态重建不使用手套或手部标记，而是用Detectron定位手腕、OpenPose检测21个二维关节，再聚合多视角和时序信息优化物体坐标系中的3D关节。\n- 优化中使用Huber鲁棒距离、RANSAC以及对跟踪失败帧的二次姿态估计，以处理二维关节噪声和物体跟踪失败。\n- 数据分析显示拇指、食指和中指以及指尖接触概率较高，但近端指节和手掌也有显著接触，说明非指尖区域在抓取中作用重要。\n- “使用”抓取的平均接触面积为35.87 cm²，大于“递交”抓取的30.58 cm²；“递交”抓取的手部姿态多样性更高。\n- 接触建模实验比较点云、体素、关节、骨架、MANO网格和RGB图像等多种表示，并使用MLP、PointNet++、VoxNet及图像编码解码器进行预测。\n- 连续接触值被离散为10个区间并作为加权分类问题处理，以缓解接触值分布不平衡和回归预测边界模糊的问题。\n- 在重平衡AuC指标下，mesh特征配合PointNet++在参与者划分和物体划分上分别达到81.29%和84.18%，优于经校准的几何启发式方法。\n- 3视角输入相比单视角显著提升图像接触预测效果，但图像方法仍存在深度歧义，且当前数据主要面向静态抓取。"
}