{
  "paper_id": "5fc7b64b6c24241b4a688630fdda0db1",
  "paper_title": "HORT: Monocular Hand-held Objects Reconstruction with Transformers",
  "paper_authors": [
    "Zerui Chen",
    "Rolandos Alexandros Potamias",
    "Shizhe Chen",
    "Cordelia Schmid"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "从单目图像中重建手持物体的3D形状仍然是计算机视觉领域的一项重大挑战。大多数现有方法依赖隐式3D表示，其重建结果过于平滑，且生成显式3D形状十分耗时。虽然近期方法利用扩散模型直接重建点云，但多步去噪过程使高分辨率重建效率低下。为解决这些局限，我们提出一种基于Transformer的模型，高效重建手持物体的稠密3D点云。我们的方法遵循由粗到细的策略，首先从图像生成稀疏点云，然后利用像素对齐的图像特征将其逐步精化为稠密表示。为提升重建精度，我们将图像特征与3D手部几何相结合，联合预测物体点云及其相对于手部的位姿。模型采用端到端训练以获得最佳性能。在合成和真实数据集上的实验结果表明，该方法以更快的推理速度达到最先进的精度，同时对野外图像具有良好的泛化能力。",
  "keywords": [
    "手持物体重建",
    "单目3D重建",
    "点云重建",
    "Transformer",
    "由粗到细策略",
    "手-物体交互",
    "计算机视觉"
  ],
  "paper_institutions": [
    "Inria",
    "École normale supérieure",
    "CNRS",
    "PSL Research University",
    "Imperial College London"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:27:59.583288Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单目RGB图像中重建手持物体的3D形状是计算机视觉中的重大难题：现有方法或依赖隐式3D表示（如SDF），导致表面过于平滑且需耗时的Marching Cubes后处理才能获得显式网格；或如最先进的D-SCO采用扩散模型生成点云，但多步去噪使每次重建耗时超过13秒。针对这一速度与质量的权衡问题，本文提出HORT——一个基于Transformer的由粗到细重建框架，由图像编码器（微调的DINOv2）、手部编码器（将MANO手部顶点变换至22个局部坐标系并用PointNet编码）、稀疏点云解码器（统一Transformer联合预测手部相对物体平移与稀疏点云）以及稠密点云解码器四个模块组成，并以端到端方式训练。在数据集选择上，大规模合成ObMan数据集（14.1万训练样本、2,772个ShapeNet物体实例）提供充分的物体多样性用于训练，而真实世界的HO3D、DexYCB和MOW数据集（涵盖室内捕捉与YouTube野外图像）则验证模型在真实场景中的泛化能力。评估采用Chamfer距离（CD）、F-score（FS@5/FS@10）、接触率（Cr）与穿透深度（Pd）等指标：HORT在全部四个基准上取得最先进精度（ObMan上使用预测手部时FS@5为0.66、CD为1.0，优于D-SCO的0.61和1.1；推理仅需258 GFLOPs并以16.9 fps运行），验证了由粗到细Transformer架构、细粒度手部几何融合与像素对齐特征上采样等创新的有效性。核心机制是稠密解码器中的像素对齐特征检索：f_o = F(π(p_o^s + t_p + t_o, K_cam), f_v^r)，即利用预测的相机参数将稀疏点云投影至图像平面，通过双线性插值获取局部视觉特征，再经kNN（k=16）邻域自注意力与逐块上采样（2倍与4倍）生成16,384点的稠密点云。未来探索方向包括扩展训练数据以覆盖更广泛的物体类型与抓取姿态；该技术可支撑动作识别、人机交互与机器人操作等现实应用，但需注意手部严重遮挡时性能下降、罕见物体精细几何恢复困难，以及点云转换为网格会使推理速度从16.9 fps降至4.8 fps等约束。\n\n### 关键要点\n\n- 提出HORT，一个由粗到细的Transformer框架，从单目RGB图像高效重建手持物体的稠密3D点云，在重建质量与计算效率之间取得平衡。\n- 模型由四个模块组成：图像编码器（DINOv2，冻结前层仅微调后12层Transformer）、手部编码器（5层PointNet）、稀疏点云解码器（10层Transformer、8个注意力头）和稠密点云解码器。\n- 手部编码器将MANO模型的778个手部顶点变换到22个局部坐标系（16个关节、5个指尖、1个手掌）并拼接绝对顶点索引，生成细粒度手部几何表示，为物体形状推断提供丰富的结构线索。\n- 稀疏点云解码器通过统一的Transformer骨干联合预测手部相对物体3D平移与2,048点稀疏点云，利用两任务间的相互依赖，比D-SCO单独训练位姿估计网络更高效；因日常物体多具对称性，仅预测平移而将旋转视为病态问题。\n- 稠密点云解码器将稀疏点投影到图像平面检索像素对齐特征，结合手部顶点特征，通过kNN（k=16）邻域自注意力和两个上采样块（分辨率分别提升2倍与4倍）生成16,384点稠密点云。\n- 在四个基准上评估：合成ObMan（141K训练/6,285测试）、真实HO3D（77K训练/1,221评估）、DexYCB（29K训练/5,928测试，s0分割）和MOW（350训练/92测试），并在ObMan预训练后微调至真实数据集以进行公平比较。\n- 端到端训练50轮、批大小192，使用Adam优化器（基础学习率1e-4、余弦衰减），总损失为 L = λ1×L_pose + λ2×L_cd^s + L_cd^d（λ1=λ2=2），包含位姿ℓ1损失与稀疏/稠密点云的Chamfer距离损失；ObMan训练约50小时（4块NVIDIA A100 GPU）。\n- 在ObMan上使用预测手部时达到FS@5 0.66、FS@10 0.88、CD 1.0，全面超越D-SCO（0.61/0.81/1.1）、gSDF、DDF-HO等方法；HO3D上FS@10为0.72（D-SCO为0.63），DexYCB上CD为1.1（D-SCO为1.3），MOW多数据集设置下CD为5.4。\n- 推理效率显著：仅需258 GFLOPs、16.9 fps（含3D手部与物体重建），远优于隐式方法（超6,000 GFLOPs、约2秒/次）和D-SCO（超13秒/次）；点云经alpha shapes拟合网格后仍达4.8 fps且DexYCB上FS@10保持0.85。\n- 消融实验证实各组件的有效性：引入手部编码使FS@5从0.45提升至0.60、CD从3.1降至1.8；DINOv2微调策略优于从头训练与完全冻结；联合解码、像素对齐特征与手部特征融合均带来持续性能增益。\n- 模型对噪声手部姿态鲁棒（手部关节误差达36.11mm时仍能重建合理物体），并在DexYCB、HOI4D与MOW联合训练后对CORe50野外图像及手机拍摄图像表现出良好的泛化能力。\n- 局限性在于手部严重遮挡时难以准确推断手-物体配置、罕见物体的精细几何恢复能力有限，未来可通过扩展训练数据覆盖更多物体类型与抓取姿态来缓解。"
}