{
  "paper_id": "43f66b6fdb359da4d5828a441d10f6ca",
  "paper_title": "AlignSDF: Pose-Aligned Signed Distance Fields for Hand-Object Reconstruction",
  "paper_authors": [
    "Zerui Chen",
    "Yana Hasson",
    "Cordelia Schmid",
    "Ivan Laptev"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2022 (Lecture Notes in Computer Science)",
  "abstract": "近期工作在从单目彩色图像联合重建手与被操作物体方面取得了显著进展。现有方法主要采用参数化网格或有符号距离场（SDF）两类表示。参数化模型能够利用先验知识，但形状形变能力和网格分辨率有限，因此可能无法精确重建手与物体接触面等细节；基于SDF的方法可以表示任意细节，却缺乏显式先验。本文旨在利用参数化表示提供的先验改进SDF模型，提出一个解耦姿态与形状的联合学习框架。该框架从参数化模型获取手和物体姿态，并用这些姿态在三维空间中对齐SDF。实验表明，对齐后的SDF能够更专注于重建形状细节，并同时提升手和物体的重建精度。在具有挑战性的ObMan和DexYCB基准上，本文方法显著优于现有最先进方法。\n",
  "keywords": [
    "手-物体重建",
    "参数化网格模型",
    "有符号距离场（SDF）"
  ],
  "paper_institutions": [
    "Inria",
    "École normale supérieure",
    "CNRS",
    "PSL Research Univ.",
    "Deepmind"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:17:52.298208Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目RGB图像中手部与被操作物体因局部可见、相互遮挡而难以联合重建的问题，本文面向虚拟现实、机器人操作和人机交互等场景，研究如何同时获得拟人合理且高分辨率的手物几何。相关方法主要分为两类：基于MANO等参数化网格的方法具有强先验且姿态稳定，但网格分辨率和形变能力有限，难以刻画接触表面，且未知物体重建困难；基于SDF的隐式方法可表示任意细节和任意未知物体，却缺乏显式先验，直接学习需同时处理姿态、形状和多种抓取。为此提出AlignSDF，核心是将姿态学习与形状学习解耦：手部由ResNet-18特征回归MANO姿态与形状参数并经可微MANO得到关节和顶点，物体分支以手腕为原点，用64³体热图和soft-argmax只预测相对三维平移，不预测旋转以规避未知或对称物体的旋转歧义；随后用预测姿态把查询点变换到规范坐标系，手部为 x_hc = exp(θ_hr)^(-1)(x-t_h)+t_h，物体为 x_oc=x-t_o，SDF解码器接收图像特征以及原始点与规范点的拼接，分别预测SDF_h(x)=f_h(I,[x,x_hc])和SDF_o(x)=f_o(I,[x,x_oc])，测试时由零等值面经Marching Cubes提取网格。实验选择ObMan和DexYCB，前者是含多样物体与抓取类型的合成数据集，经清洗得到87190个训练样本、6285个测试样本，后者是大规模真实手物抓取数据集，采用右手S0划分并过滤手物最小距离大于5mm的帧，得到148415个训练样本和29466个测试样本；两者都将网格归一化到单位立方体并采样40000点，可分别检验受控合成条件与真实域泛化。实现中输入256×256图像，每个样本为手和物体各随机采样1000个点（内外各500），用Adam、批大小256、初始学习率1e-4并按数据集周期衰减，在四块NVIDIA 1080 Ti上训练约90小时。评价使用Hse、Hve、Ose倒角距离，Hje关节误差，Ote平移误差以及Cr、Pd、Iv等交互指标；完整模型在ObMan取得Hse 0.136 cm²、Hve 0.121 cm²、Ose 3.38 cm²、Hje 1.27 cm、Ote 3.29 cm、Cr 95.5%、Pd 0.66 cm、Iv 2.81 cm³，在DexYCB取得0.523 cm²、0.375 cm²、3.5 cm²、1.9 cm、2.7 cm、96.1%、0.71 cm、3.45 cm³，相对已有方法Hse和Ose分别提升29.4%和20.5%，消融还显示使用真实姿态的g*为上界，证明姿态对齐使SDF专注形状细节并同时提升手物精度。该方法的现实约束是单目尺度和平移模糊、严重遮挡、运动模糊、薄结构和复杂细节仍可能失败，未来可利用视频时序信息滤除噪声并补充三维场景观察。\n\n### 关键要点\n\n- AlignSDF是端到端联合学习框架，包含手部参数化姿态估计、物体平移估计和手物SDF形状重建三部分，并在测试时用Marching Cubes将零等值面转为网格。\n- 手部分支用ResNet-18图像特征回归MANO的48维姿态和10维形状参数，通过可微MANO输出顶点、关节和全局旋转，并用关节L2损失及形状、姿态正则化约束避免异常形变。\n- 物体分支以MANO手腕关节为坐标原点，借助64×64×64体热图和soft-argmax预测物体质心相对手腕的三维平移，不预测未知物体旋转以降低对称物体的姿态歧义。\n- 手部查询点依据预测的全局旋转和旋转中心被归一化为 x_hc = exp(θ_hr)^(-1)(x-t_h)+t_h，物体查询点依据预测平移被归一化为 x_oc=x-t_o。\n- 手和物体SDF解码器均由五层全连接层构成，输入256维图像特征与6维点特征，即原始三维点和规范三维点的拼接，从而在保留空间位置的同时让网络专注规范形状。\n- ObMan训练遵循Grasping Field等设置，剔除含过多双面三角形的网格后使用87190个合成样本，测试集为6285个样本，网格归一化到单位立方体并采样40000点。\n- DexYCB使用官方S0划分且只保留右手样本，过滤手物网格最小距离大于5mm的帧后，得到148415个训练帧和29466个测试帧。\n- 训练时为手和物体各采样1000个查询点，其中500个在形状外、500个在形状内；优化器为Adam，批大小256，ObMan训练1600轮、DexYCB训练800轮。\n- ObMan手物消融表明，仅加入手部姿态对齐使Hse和Hve较直接SDF基线分别改善6.4%和8.8%，仅加入物体平移对齐使Ose从4.09 cm²降至3.36 cm²，完整模型结合二者优势。\n- 在ObMan与DexYCB上，完整模型均显著优于Hasson等的参数化网格方法和Karunratanakul等的Grasping Field，且95%以上样本保持手物接触，同时穿透深度和交集体积较参数化方法更低。\n- 方法在真实数据上仍受限于严重遮挡、运动模糊、薄结构和复杂形状细节，论文建议未来利用视频时序信息来过滤噪声并获取更完整的三维场景。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}