{
  "paper_id": "46a9f4c6f80618660c1364a4663b6dcf",
  "paper_title": "gSDF: Geometry-Driven Signed Distance Functions for 3D Hand-Object Reconstruction",
  "paper_authors": [
    "Zerui Chen",
    "Shizhe Chen",
    "Cordelia Schmid",
    "Ivan Laptev"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "符号距离函数（SDF）是一种具有吸引力的三维形状表示框架，近期在基于图像的三维形状重建中展现出良好效果。SDF能够自然适应不同形状分辨率和拓扑结构，但缺乏对底层三维几何的显式建模。本文利用手部结构引导基于SDF的形状重建，重点解决从单目RGB图像中重建手部及被操作物体的问题。方法首先估计手部和物体位姿，再用其引导三维重建；具体而言，预测位姿变换的运动链，并使SDF与高度关节化的手部位姿对齐。文中还通过几何对齐增强三维点的视觉特征，并利用时间信息提升对遮挡和运动模糊的鲁棒性。在具有挑战性的ObMan和DexYCB基准上进行的大量实验表明，所提方法相较现有技术取得了显著提升。\n",
  "keywords": [
    "三维手物重建",
    "符号距离函数",
    "几何驱动",
    "运动链",
    "逆运动学",
    "单目RGB",
    "几何对齐视觉特征",
    "时空Transformer",
    "MANO"
  ],
  "paper_institutions": [
    "Inria",
    "École normale supérieure",
    "CNRS",
    "PSL Research University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:48.110053Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对单目RGB图像中手部与被操作物体联合重建这一病态问题，面向虚拟现实、机器人操作和人机交互等需要精细接触信息的实际场景，解决现有参数化MANO网格分辨率有限、Grasping Field缺乏几何先验以及AlignSDF仅使用手腕和物体中心等全局粗位姿、难以刻画多手指关节运动的问题。作者提出geometry-driven SDF（gSDF），先从图像预测21个稀疏三维手部关节，再通过逆运动学解析得到16个关节的相对旋转并沿用MANO默认肢长，同时只估计物体中心以规避对称和遮挡造成的旋转估计困难；对每个三维查询点x，方法将其变换到所有手部关节规范坐标系以生成51维手部运动特征，并结合物体中心、21个手关节平移和手腕规范坐标生成72维物体运动特征，又将x投影到16×16图像特征图并通过双线性采样获得几何对齐局部视觉特征，视频模式下用16层、4头时空Transformer聚合相邻帧特征，最终由核心机制SDF_hand(x)=f_h([e_v;e_h])、SDF_object(x)=f_o([e_v;e_o])分别预测手部和物体符号距离，再用Marching Cubes提取网格。实验选择大规模合成ObMan以验证多样化抓握姿态和ShapeNet物体上的重建能力，经清理得到87,190个手物网格并在6,285个测试样本上评估；选择真实视频DexYCB并采用右手样本、官方s0划分和6fps下采样，得到29,656个训练样本、5,928个测试样本，用于验证真实图像、遮挡、运动模糊及时序泛化。实现上采用ResNet-18主干、64³体热图、256×256输入、两阶段训练并冻结预训练手部关节预测器，第二阶段联合优化物体中心L2损失及手物SDF的L1损失，使用Adam、批大小256、1600轮和4块RTX 3090。评价指标包括手物Chamfer距离、1/5mm或5/10mm F-score、腕相对21关节误差、物体中心误差以及接触率、穿透深度和交叠体积；结果显示全关节运动特征在DexYCB上将手部CD从仅手腕的0.344降至0.317，物体运动特征将物体CD从1.93降至1.71，局部特征、空间Transformer和时序增强进一步将手物CD降至0.302和1.55，在ObMan上相对最优方法取得17.6%的手部CD和7.1%的物体CD提升，在DexYCB上取得12.2%和14.4%的提升，同时保持较低穿透与交叠，支撑了全运动链先验、几何对齐特征和时序上下文三项创新。该方法不依赖测试时真实物体模型，适用于未知物体的单目重建，但视频模式需要相邻帧且计算量略增；复杂场景下仍可能因手部严重遮挡、杂乱背景、大物体尺度不确定、强运动模糊和复杂拓扑而失败，未来可探索更鲁棒的尺度消歧、遮挡推理、复杂物体建模以及更少依赖视频的时序先验。\n\n### 关键要点\n\n- gSDF从单目RGB图像联合重建手部和被操作物体网格，不需要在测试时提供真实物体模型。\n- 方法先回归21个三维手部关节，再通过逆运动学计算16个关节相对旋转，并使用MANO默认肢长，避免直接回归手部姿态参数的困难。\n- 物体位姿只估计相对于手腕的中心位置，因为许多物体具有对称性且常被手遮挡，准确估计旋转较困难。\n- 手部运动特征由查询点的原始坐标和16个关节规范坐标系中的坐标组成，维度为51，可将形状学习与关节姿态解耦。\n- 物体运动特征维度为72，包含物体中心坐标、21个手关节平移坐标以及手腕规范坐标系，使抓握姿态为物体重建提供先验。\n- 视觉特征通过将三维点投影到图像平面并在16×16特征图上双线性采样获得，视频模式再用时空Transformer聚合相邻帧信息以抵抗遮挡和运动模糊。\n- 训练分为两阶段：先训练并冻结手部关节预测器，再端到端训练物体位姿和手物SDF解码器，损失包括物体中心L2损失和SDF的L1损失。\n- ObMan实验使用87,190个合成手物网格训练并在6,285个样本上测试，gSDF取得手部CD 0.112、物体CD 3.14，分别较此前最优结果改善17.6%和7.1%。\n- DexYCB实验使用29,656个训练样本和5,928个测试样本，gSDF取得手部CD 0.302、物体CD 1.55，分别改善12.2%和14.4%，表明其能泛化到真实图像。\n- 方法在杂乱场景、手部严重遮挡、大物体尺度不确定、强运动模糊或复杂拓扑物体上仍可能失败，且视频模式比单帧模式需要更多显存和延迟。"
}