{
  "paper_id": "bff299e04f67ea14035a36879ee10280",
  "paper_title": "SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction",
  "paper_authors": [
    "Anilkumar Swamy",
    "Vincent Leroy",
    "Philippe Weinzaepfel",
    "Fabien Baradel",
    "Salma Galaaoui",
    "Romain Brégier",
    "Matthieu Armando",
    "Jean-Sebastien Franco",
    "Grégory Rogez"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)",
  "abstract": "近期手物交互数据集的真实物体多样性有限，并且通常依赖拟合MANO参数模型来获得真值手部形状。为突破这些限制并推动进一步研究，作者提出SHOWMe数据集，包含96段视频，并标注真实、精细的手物三维带纹理网格。论文考虑手物刚性场景，即手相对于物体的姿态在整段视频中保持不变；该假设使亚毫米精度的真值三维扫描能够注册到图像序列。尽管这一设定较为简化，但适用于对精度和细节要求较高的应用，例如人机协作中的物体交接、物体扫描、操作与接触点分析。手物系统的刚性还使未知手持物体的视频三维重建可通过两阶段流水线完成：先进行刚性配准，再进行多视角重建。作者对两个阶段的非平凡基线进行了细致评测，结果表明使用SfM工具箱或手部姿态估计器恢复刚性变换，并结合现成的多视角重建算法，可以获得有前景的物体无关手物三维重建。然而，这些方法对初始相机位姿估计仍然敏感，物体缺少纹理或手部严重遮挡会造成估计不准，重建质量仍有提升空间。代码和数据集已公开发布。\n",
  "keywords": [
    "手物三维重建",
    "物体无关重建",
    "SHOWMe数据集",
    "单目RGB视频",
    "刚性配准",
    "多视角重建",
    "手部姿态估计",
    "COLMAP",
    "可微渲染",
    "神经隐式曲面"
  ],
  "paper_institutions": [
    "NAVER LABS Europe",
    "Inria centre at the University Grenoble Alpes"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:35:08.195676Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有手物交互数据集真实物体变化有限、真值手部形状多依赖MANO拟合而细节受限，以及单图像物体无关重建难以泛化的问题，论文以静态相机、手与未知物体在整段视频中保持刚性为简化条件，将单目RGB视频等价为固定手物系统的多视角观测，提出SHOWMe数据集并系统评测“刚性配准+多视角重建”两阶段流水线。刚性假设虽然排除了动态手势，但适用于人机协作交接、物体扫描、操作与接触点分析等对精度和细节要求高的场景，并使亚毫米扫描网格能够注册到视频。SHOWMe包含96段视频、87,540帧、15名受试者、42个日常物体和power-grasp、use-grasp、handover-grasp三类均衡抓取；研究使用Intel RealSense L515采集1280×720 RGB-D视频，用Artec Eva亚毫米扫描仪获取同姿态带纹理手物网格，先以ICP对深度点云初始化，再通过可微渲染优化位姿，核心机制为目标函数 L = L_RGB + λ_Smooth L_Smooth + λ_wd L_wd，其中掩码RGB MSE对齐外观，平滑项约束相邻旋转和平移，衰减项限制位姿修正量，从而验证高精度真值标注流程；数据集还注册独立物体网格与MANO模型以提供语义、姿态和形状标注。方法上，刚性变换阶段比较COLMAP SfM与基于DOPE等手部关键点的PnP加Procrustes方法，多视角重建阶段比较视觉外壳VH、快速可微渲染FDR和结合NeuS/SDF的HHOR；评估采用旋转误差、平移误差、检测率、MPJPE、PA-MPJPE、PCK，以及重建准确率、完整度、5mm阈值比率和F-score。结果表明，在真值刚性变换下HHOR表现最佳，F-score@5mm达82.2%，FDR为73.5%，VH为63.6%；使用估计位姿后性能显著下降，COLMAP+FDR为37.6%，DOPE+FDR为20.0%，COLMAP+HHOR为54.2%，说明HHOR的相机精修能够纠正噪声但计算成本约为每序列1 GPU日，而FDR不足1分钟；COLMAP在较大物体上更优，DOPE在小物体上更鲁棒。论文的主要创新是首个同时提供真实扫描手部与物体高精度带纹理三维网格的视频数据集及标注管线，并建立物体无关手物重建基线；失败主要源于无纹理物体特征不足、手部严重遮挡和初始相机位姿误差，未来可探索更鲁棒的位姿估计、位姿与形状联合优化、动态时序整合，以及在真实HRI、AR/VR约束下提升重建质量与效率。\n\n### 关键要点\n\n- SHOWMe包含96段单目RGB-D视频、87,540帧、15名受试者、42个日常物体，power-grasp、use-grasp和handover-grasp三类抓取均衡分布，每段视频平均48秒。\n- 视频由单台Intel RealSense L515采集，分辨率为1280×720、最高30fps；手物真值形状由Artec Eva亚毫米精度扫描仪在受试者保持同一抓取时获得。\n- 对每段视频，作者先通过手物掩码深度点云与扫描网格进行鲁棒ICP初始化，再用可微渲染联合优化相机位姿偏移和网格外观，将亚毫米扫描注册到各帧。\n- 位姿精修目标为 L = L_RGB + λ_Smooth L_Smooth + λ_wd L_wd，分别对应掩码RGB光度误差、相邻旋转平移平滑约束和位姿修正衰减；47段序列经精修后改善，其余49段的ICP初始结果已足够准确。\n- SHOWMe还将独立物体扫描与MANO手模型注册到手物网格，提供手和物体的独立姿态、形状及抓取语义标注，优化后注册残差达到亚毫米级。\n- 重建方法建立在手物刚性假设上：手相对于物体在整段视频中保持不变，因此可把视频视为固定手物系统的多个虚拟视角，采用刚性配准后接多视角重建的两阶段流水线。\n- 第一阶段评测COLMAP和手部姿态驱动方法：后者使用2D-3D手部估计、PnP获得场景关键点，再通过Procrustes对齐恢复帧间刚性变换。\n- 第二阶段评测三种多视角重建方法：基于剪影的视觉外壳VH、快速可微渲染FDR，以及HHOR中结合NeuS有符号距离场、语义射线采样和相机精修的神经隐式曲面方法。\n- 手部姿态对比中DOPE表现最好，MPJPE为26.9mm、PCK@30mm为64.6%；其固定手姿态变体的刚性变换旋转误差为21.5度、平移误差为0.16、检测率为99.0%，而COLMAP对应为14.6度、0.06和78.2%。\n- 使用真值刚性变换时，VH、FDR和HHOR的F-score@5mm分别为63.6%、73.5%和82.2%，HHOR在准确率、完整度等指标上整体最佳。\n- 使用估计变换后，FDR的F-score@5mm在COLMAP条件下降至37.6%，在DOPE条件下降至20.0%；COLMAP+HHOR为54.2%，其相机精修可改善噪声位姿，但每序列约需1 GPU日，远高于FDR的不足1分钟。\n- 尺寸分析显示COLMAP在较大物体上F-score@5mm为47.93%，优于小物体的30.23%；DOPE在小物体上为23.43%，在较大物体上为17.85%，无纹理、特征稀少和手部遮挡仍是主要约束。"
}