{
  "paper_id": "7a41984858ccf01b74307ddf0520f210",
  "paper_title": "Reconstructing Hand-Held Objects in 3D from Images and Videos",
  "paper_authors": [
    "Jane Wu",
    "Georgios Pavlakos",
    "Georgia Gkioxari",
    "Jitendra Malik"
  ],
  "publication_date": "",
  "publication_venue": "2026 International Conference on 3D Vision (3DV)",
  "abstract": "Objects manipulated by the hand (i.e., manipulanda) are particularly challenging to reconstruct from Internet videos. Not only does the hand occlude much of the object, but also the object is often only visible in a small number of image pixels. At the same time, two strong anchors emerge in this setting: (1) estimated 3D hands help disambiguate the location and scale of the object, and (2) the set of manipulanda is small relative to all possible objects. With these insights in mind, we present a scalable paradigm for hand-held object reconstruction that builds on recent breakthroughs in large language/vision models and 3D object datasets. Given a monocular RGB video, we aim to reconstruct hand-held object geometry in 3D, over time. In order to obtain the best performing single frame model, we first present MCC-Hand-Object (MCCHO), which jointly reconstructs hand and object geometry given a single RGB image and inferred 3D hand as inputs. Subsequently, we prompt a text-to-3D generative model using a VLM to retrieve a 3D object model that matches the object in the image(s); we call this alignment Retrieval-Augmented Reconstruction (RAR). RAR provides unified object geometry across all frames, and the result is rigidly aligned with both the input images and 3D MCCHO observations in a temporally consistent manner. Experiments demonstrate that our approach achieves state-of-the-art performance on lab and Internet image/video datasets.",
  "keywords": [
    "手物体重建",
    "3D重建",
    "单目RGB视频",
    "神经隐式表面",
    "检索增强重建",
    "Viterbi算法",
    "DINOv2特征",
    "MANO手部模型",
    "transformer"
  ],
  "paper_institutions": [
    "UC Berkeley",
    "UT Austin",
    "Caltech"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:38:10.857076Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文解决从单目RGB图像和视频中重建手持物体3D几何的问题。手持物体（manipulanda）在互联网视频中重建极具挑战：手部遮挡物体的大部分，且物体往往只占少量像素；现有图像到3D模型假设物体完全可见，SfM因遮挡难以获得足够特征点，而已有最优方法依赖人工扫描或检索物体模型，不可扩展。作者提出可扩展范式：首先训练基于transformer的MCC-Hand-Object（MCC-HO）模型，输入单张RGB图像和估计的3D手部，联合推断手与物体的神经隐式几何，其核心机制为隐函数 ρ(x)=(σ(x),c(x),m(x))，将任意3D位置映射到占据概率、RGB颜色和手-物体分割标签；该模型改编自在CO3Dv2上预训练的MCC以利用学到的物体先验。其次提出检索增强重建（RAR）：用GPT-4(V)识别图像中手持物体并生成详细文本描述，传给文本到3D生成模型Genie检索3D物体，再通过离散化旋转与平移状态空间，结合MCC-HO点云的Chamfer距离与DINOv2 PCA特征相似度进行刚性对齐；对视频则用Viterbi动态规划算法在时间上一致地求解全局最优对齐。实验在DexYCB、MOW、HOI4D三个含3D标签的数据集上训练评估（涵盖实验室与互联网场景，验证方法泛化性），并用无标签的100DOH互联网视频验证可扩展性；评估指标为Chamfer距离（cm²）和F-score（5mm/10mm）。MCC-HO在三个数据集上均取得最优性能（如HOI4D上F-5为0.52、CD为1.36），MCC-HO+RAR在HOI4D上超过G-HOP（F-5 0.74对0.61，CD 0.64对0.8），消融实验证明3D手部条件显著约束重建问题（无手部输入时CD从15.2恶化至71.6）。该方法可作为机器人模仿学习的\"数据引擎\"，通过人工快速筛选从互联网视频大规模生成手-物体交互轨迹数据。局限包括RAR在找不到足够接近的3D匹配时会失败、依赖准确的手/物体分割掩码跟踪，未来将随3D生成模型与分割/跟踪技术的改进而提升。\n\n### 关键要点\n- 方法核心：MCC-HO是基于transformer的编码器-解码器模型，输入单张RGB图像与3D手部（MANO参数化，含21关节），输出手-物体联合神经隐式几何（占据、颜色、分割），改编自在CO3Dv2预训练的MCC模型以利用物体先验。\n- 核心公式：ρ(x)=(σ(x),c(x),m(x))，其中σ(x)∈[0,1]为占据概率，c(x)∈[0,1]³为RGB颜色，m(x)∈{0,1,2}为背景/手/物体分割标签，物体几何尺度相对输入3D手部归一化。\n- 架构细节：编码器将图像（ViT，16×16 patch嵌入）与光栅化手部网格点联合编码为统一表示R，解码器将查询点（N_q=1024）映射到占据、颜色和分割，训练损失为占据BCE、颜色256类分类与分割3类分类之和。\n- RAR机制：用GPT-4(V)生成手持物体的详细文本描述，传给Luma的Genie文本到3D模型检索3D物体；尺度通过MCC-HO点云与检索模型点云的最大特征值平方根之比 s=√λ⁰_X/√λ⁰_Y 估计。\n- 刚性对齐：将SO(3)旋转（单位立方体细分策略）和平移（以MCC-HO点云均值为中心的体素网格）离散化为有限状态空间，先优化旋转再优化平移，以Chamfer距离与DINOv2 PCA余弦相似度之和为误差度量，保证全局最优且计算时间固定。\n- 视频时序对齐：用Viterbi动态规划算法联合优化逐帧旋转R(t)和平移T(t)，转移概率为Rodrigues旋转误差（旋转）或欧氏距离（平移），发射代价为CD与DINOv2相似度之和，避免梯度优化的局部极小值和无界计算时间。\n- 数据设置：训练评估使用HOI4D（1142训练序列）、DexYCB（s0划分800训练序列）、MOW（350训练图像）和RHOV（110个视频），并在无3D标签的100DOH互联网视频上验证泛化性；有标签数据集用真值3D手，100DOH用HaMeR估计手部。\n- 定量结果：MCC-HO在DexYCB、MOW、HOI4D三个数据集上的CD和F-score均达到最优（如HOI4D F-5=0.52、CD=1.36 cm²），表明方法未过拟合特定数据集。\n- 对比视频方法：MCC-HO+RAR在HOI4D测试集上超过在七个手-物体数据集上训练的G-HOP（F-5 0.74对0.61，F-10 0.91对0.89，CD 0.64对0.8）。\n- 消融证据：相比MCC基线（MOW CD=31.6），MCC-HO将CD降至15.2；去掉输入手部网格后CD恶化至71.6，证明以手部坐标系为基准约束3D物体预测的重要性。\n- 应用场景：作为机器人模仿学习的\"数据引擎\"，用人工\"点赞/点踩\"快速筛选100DOH互联网视频中重建质量足够的交互轨迹，其规模和多样性可构成机器人数据管线的预训练阶段，实验室数据集提供微调。\n- 局限约束：RAR在生成模型找不到足够接近的3D匹配时会失败；方法依赖跨帧准确跟踪的手和物体分割掩码；随着3D生成模型和分割/跟踪技术改进，MCC-HO与刚性对齐算法的性能将自然提升。"
}