{
  "paper_id": "caf385c37819c64c3a0f31c02c1b7845",
  "paper_title": "Learning joint reconstruction of hands and manipulated objects",
  "paper_authors": [
    "Yana Hasson",
    "Gül Varol",
    "Michael J. Black",
    "Dimitrios Tzionas",
    "Igor Kalevatykh",
    "Ivan Laptev",
    "Cordelia Schmid"
  ],
  "publication_date": "2019",
  "publication_venue": "CVPR 2019",
  "abstract": "估计手部与物体的操纵行为对于解释和模仿人类动作至关重要。以往工作在孤立重建手部姿态与物体形状方面已取得显著进展，但由于手和物体均存在严重遮挡，操纵过程中的联合重建是更具挑战性的任务；同时操纵的接触物理也约束了有效手-物体配置空间，从而在一定程度上简化问题。本工作用操纵约束正则化手部与物体的联合重建，提出一个端到端可学习模型，利用新颖的接触损失促使物理上合理的手-物体配置，以RGB图像为输入在抓取质量指标上优于基线。为训练和评估模型，我们还提出了一个包含手-物体操纵的大规模新合成数据集ObMan，并展示了ObMan训练模型向真实数据的可迁移性。",
  "keywords": [
    "手-物体联合重建",
    "接触损失",
    "MANO",
    "ObMan数据集",
    "合成数据",
    "单目RGB",
    "3D手部姿态估计",
    "物体网格重建",
    "抓取质量",
    "合成到真实迁移"
  ],
  "paper_institutions": [
    "Inria",
    "Département d'informatique de l'ENS, CNRS, PSL Research University",
    "MPI for Intelligent Systems, Tübingen",
    "Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:33:04.412844Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单目RGB图像联合重建手部与被操作物体三维网格的问题。以往研究多孤立地处理手部姿态估计或物体形状重建，而操纵过程中手与物体的严重互遮挡使联合重建更具挑战，但接触物理（如手与物体应接触且不互相穿透）也约束了有效配置空间、从而简化问题。作者提出首个端到端可学习的联合重建模型：将MANO参数化手模型集成为可微分网络层（预测30维姿态PCA与形状参数），物体分支采用视图中心的AtlasNet变形二十面球（642顶点）并结合边长与拉普拉斯曲率正则，另设分支回归物体相对手部的平移与尺度；核心创新是可微接触损失 L_Contact = λ_R·L_R + (1−λ_R)·L_A，其中排斥项 L_R 惩罚位于物体内部的手部顶点（特征距离r=2cm），吸引项 L_A 基于数据统计得到的6个高频接触区域（5个指尖与部分手掌）鼓励表面贴合（特征距离a=1cm）。为训练与评估，作者构建大规模合成数据集ObMan：从ShapeNet选取8类共2772个日常物体模型，用GraspIt自动生成21K个抓取，经SMPL+H全身渲染141K训练帧，变化纹理、光照与背景，其规模与多样性足以支撑深度模型训练与消融研究，且足够真实以泛化到真实图像。评估采用手部21关节平均端点误差、物体对称Chamfer距离、穿透深度、交叉体积与物理仿真位移等指标：平衡接触损失（λ_R=0.5）在不损害重建精度的前提下将ObMan最大穿透深度降低33%、FHB_C降低68%并改善仿真稳定性，验证了物理约束正则化的价值；合成到真实迁移实验表明ObMan预训练在真实数据稀缺（少于1000张微调图像）时收益显著，且合成分布与目标真实分布越相似效果越好；仅在ObMan上训练的模型无需微调即可在CORe50上对未见物体类别给出合理重建。未来方向包括从大规模视觉数据学习抓取可供性、识别复杂动态手部动作。该工作面向虚拟/增强现实、人机交互、动作识别与机器人技能模仿学习等场景，但受限于单视角深度歧义、球面拓扑无法表达把手等精细结构、FHB物体真值约11mm穿透误差及未施加硬碰撞约束等条件。\n\n### 关键要点\n\n- 方法架构：双分支网络（各含ImageNet预训练的ResNet18编码器）在单次前向传播中从左手持物裁剪图像联合预测手部网格（可微分MANO层，30维姿态PCA）与物体网格（视图中心AtlasNet，细分3级、642顶点二十面球），并回归物体相对手部坐标系的平移与尺度，在Titan X GPU上达20fps。\n- 接触损失机制：L_Contact = λ_R·L_R + (1−λ_R)·L_A；排斥项对物体内部手部顶点按到物体表面的距离施加惩罚（特征距离r=2cm，射线计数法判定内外），吸引项对物体外部6个高频接触区域（接触频率≥8%的MANO顶点聚类，对应5个指尖与部分手掌）施加吸引（a=1cm），总权重μ_C=10。\n- 训练策略：先用 L_Hand + L_Object 训练，再以接触损失微调（学习率1e-5、Adam动量置零以稳定训练）；物体分支先在归一化坐标训练250轮后冻结编码器与AtlasNet解码器；手部损失包含顶点L2、关节L2与形状正则 L_β=||β||²。\n- ObMan数据集：涵盖8类（瓶、碗、罐、坛、刀、手机、相机、遥控器）共2772个ShapeNet物体模型，GraspIt生成21K个抓取（按启发式分数 G=γ_palm·√N_p·||ε,v||₂ 排序、每物体保留2个最佳），渲染141K训练/6K测试帧，含SMPL+H全身姿态、176种手部纹理、LSUN/ImageNet背景，并输出仅手、仅物体、手-物体图像及对应分割与深度图。\n- 遮挡影响实验：利用合成数据可控地渲染仅手/仅物体/手-物体图像，发现在遮挡图像上训练使手部与物体重建误差分别降低12%和25%，证明训练时包含遮挡对准确重建手-物体配置至关重要。\n- 接触损失效果：仅排斥项（λ_R=1）使ObMan最大穿透深度降低33%、FHB_C降低68%，但仿真位移增大；仅吸引项可稳定仿真抓取却增加碰撞；λ_R=0.5同时改善穿透与仿真位移且不损害重建指标（ObMan手误差11.6mm、物体Chamfer 637.9）。\n- 合成到真实迁移：ObMan预训练在FHB微调图像少于1000张的低数据量场景下显著优于随机初始化；在仅约250张训练图的HIC上，与目标分布匹配的合成预训练（采用HIC物体与姿态分布渲染20K图像）效果最佳，物体重建甚至在微调前即超过仅用真实数据训练。\n- 跨类别泛化：仅在ObMan上训练的模型无需微调即可在CORe50上对多样物体与场景给出合理重建，包括训练中未见的灯泡类别；全局轮廓与手部全局姿态恢复较好，但垂直于相机方向误差较大、精细细节（如手机天线）缺失。\n- 评估指标体系：手部21关节平均端点误差、物体对称Chamfer距离、穿透深度（碰撞时手顶点到物体表面的最大距离）、交叉体积（0.5cm体素化）、仿真位移（Bullet引擎中固定手部、物体受重力作用的质心平均位移），后三者共同刻画抓取的物理合理性。\n- 已知局限：AtlasNet球面基线拓扑无法重建把手（genus-1）等结构；FHB物体真值存在平均11.0mm穿透误差，削弱该数据集上重建指标波动的结论强度；未施加硬碰撞约束故部分配置仍出现穿模；低维姿态空间仅隐式正则、不保证解剖学有效性；物体中心预测偏向手掌区域。\n- 手部分支验证：在StereoHands基准上与最先进方法（Iqbal等、Mueller等、Zimmermann与Brox等）的PCK曲线面积相当，同时输出稠密手部网格而非稀疏关键点；形状正则 L_β 在ObMan上将端点误差从13.5mm降至11.7mm。\n- 应用与开放资源：面向VR/AR、人机交互、动作识别与机器人模仿学习等场景；ObMan数据集、预训练模型与代码已公开，为手-物体操纵建模研究提供基础。"
}