{
  "paper_id": "69ffc6b5417271f5aa682fb9eaacbded",
  "paper_title": "HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields",
  "paper_authors": [
    "Haozhe Qi",
    "Chen Zhao",
    "Mathieu Salzmann",
    "Alexander Mathis"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "人类手部具有高度关节化结构，善于操作物体，但由于频繁遮挡，从单目相机联合估计手部与被操作物体的3D姿态极具挑战。现有方法通常依赖3D点云或网格等显式中间形状表示，这些表示主要提供中间手部姿态估计附近的局部信息。为此，论文提出HOISDF，一个由符号距离场（SDF）引导的手物姿态估计网络，联合利用手部和物体SDF，在完整重建空间内提供全局隐式表示。SDF具有三重作用：为视觉编码器提供隐式形状信息、帮助编码手物交互，以及通过基于SDF的采样和特征表示增强引导手物姿态回归。HOISDF在DexYCB和HO3Dv2手物姿态估计基准上取得了当前最优结果，代码发布于<https://github.com/amathislab/HOISDF。>\n",
  "keywords": [
    "三维手物姿态估计",
    "符号距离场",
    "隐式3D表示",
    "单目RGB",
    "手物交互",
    "点级注意力",
    "MANO",
    "6D物体姿态估计",
    "DexYCB",
    "HO3Dv2"
  ],
  "paper_institutions": [
    "École Polytechnique Fédérale de Lausanne (EPFL), Switzerland"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:35.573432Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文解决单目RGB相机中手部与被操作物体3D姿态联合估计在严重互遮挡下易失效的问题。现有直接提升方法缺少显式3D表示，由粗到细方法多依赖关节点、顶点或网格等局部显式表示，初始估计较差时难以获得全局修正；已有手物SDF工作常把SDF作为最终重建输出，而非中间引导。论文提出HOISDF，包括全局SDF学习和场引导姿态回归两部分并端到端训练：U-Net/ResNet-50提取像素对齐特征，在原始相机空间联合回归手与物体的连续符号距离，使编码器获得隐式3D形状和全局旋转、平移、轮廓信息；场引导模块再通过近表面采样、距离转体密度的特征增强、跨手/物SDF线索和点级注意力聚合全局-局部上下文。其核心机制可写为σ=α^-1 sigmoid(-d/α)，其中d为查询点到手或物体表面的符号距离，α为可学习参数，σ用于加权像素对齐特征并突出近表面区域。实验选用DexYCB（约582K帧，含Full与右手接触两种划分）和HO3Dv2（约77K帧，官方评测），前者规模大、抓取与物体类型丰富，后者规模较小并可检验原始数据与合成增强两种条件，从而验证全局SDF在不同数据量和遮挡场景下的有效性。训练采用Adam、批大小32、初始学习率1e-4、每5轮乘0.7、约40轮收敛，点特征维度256，训练时采样1000个SDF查询点，推理时以64^3体素化并选600个手部点和200个物体点。评测使用MJE/PAMJE/STMJE、手部网格MME/VAUC/F分数，以及物体OCE/MCE/OME/ADD-S等指标。在DexYCB接触划分上，HOISDF取得MJE 10.1mm、PAMJE 5.31mm、OCE 18.4mm、MCE 27.4mm、ADD-S 13.3mm；在DexYCB Full上MJE 10.1mm、PAMJE 5.13mm，网格MME 9.9mm、VAUC 80.5；在HO3Dv2上，无合成数据时MJE 23.6mm、STMJE 22.8mm、OME 48.5mm、ADD-S 17.8mm，加入合成数据后提升至19.0mm、18.3mm、35.5mm、14.4mm。这些结果支持SDF作为全局中间表示、跨场交互建模和点级注意力能同时改善手与物体姿态，尤其改善依赖全局信息的指标。消融还显示SDF优于2D关键点、2D分割和3D顶点，绝对距离采样、SDF增强和跨场增强均有贡献。方法适用于增强现实、机器人、人机交互和神经科学行为测量等场景，但当前约束在于依赖单目RGB、训练需要手物网格或参数等3D标注，推理需边界框与体素查询，且主要在YCB刚体抓取数据集上验证；未来可推广到更多姿态估计问题、非受控场景、更多物体类别并进一步提升效率。\n\n### 关键要点\n\n- HOISDF由全局符号距离场学习模块和场引导姿态回归模块组成，两部分联合利用手物SDF中的3D形状信息，并支持端到端训练。\n- 全局SDF模块在原始相机空间而非姿态预对齐的规范空间中预测连续符号距离，因此更关注手物的大致形状、位置和全局旋转平移。\n- 图像编码器采用以ResNet-50为骨干的U-Net，3D查询点被投影到2D特征图并提取多层像素对齐特征，再由独立的手部和物体SDF解码器输出距离。\n- 推理时先将3D空间体素化并用2D边界框过滤，再按最小绝对SDF距离选取600个手部查询点和200个物体查询点；训练早期则直接在真值网格4cm范围内采样以提升速度。\n- 场引导特征增强把距离d转换为体密度σ=α^-1 sigmoid(-d/α)，并用σ加权像素对齐图像特征，使近表面点在姿态回归中发挥更大作用。\n- 跨场机制让物体查询点访问手部SDF、手部查询点访问物体SDF，生成跨目标交互令牌，再通过交叉注意力缓解手物互相遮挡造成的信息缺失。\n- 点级注意力使用多层多头自注意力和交叉注意力聚合全局3D一致性；手部用MANO查询回归关节角、形状和3D关节偏移，物体则回归旋转和平移并对所有点预测取平均。\n- 实验在DexYCB和HO3Dv2上进行，指标覆盖手部关节、手部网格、物体中心、角点、网格误差以及ADD-S，能够从多个几何层级评估联合姿态估计。\n- 在DexYCB接触划分上，HOISDF的MJE为10.1mm、ADD-S为13.3mm，显著优于先前显式顶点或基于SDF重建的方法；在DexYCB Full上也取得MME 9.9mm和VAUC 80.5。\n- 在HO3Dv2上，HOISDF加入合成数据后取得MJE 19.0mm、STMJE 18.3mm、OME 35.5mm和ADD-S 14.4mm，说明全局SDF在小规模数据和合成增强条件下均有效。\n- 消融表明3D SDF作为中间表示优于2D关键点、2D分割和3D顶点，且绝对距离采样、SDF密度增强和跨场特征增强均能带来性能提升。\n- 该方法面向增强现实、机器人操作、人机交互和行为测量等应用，但受限于单目RGB输入、3D标注依赖、边界框与体素查询开销，以及当前主要在YCB刚体抓取场景中验证。"
}