{
  "paper_id": "6a316427afdb36ab4ed6c8536214b071",
  "paper_title": "Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion",
  "paper_authors": [
    "Yujin Chen",
    "Zhigang Tu",
    "Di Kang",
    "Ruizhi Chen",
    "Linchao Bao",
    "Zhengyou Zhang",
    "Junsong Yuan"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Image Processing",
  "abstract": "从手物图像准确重建手部与物体形状对于理解人物交互及人类日常活动十分重要。与裸手姿态估计不同，手物交互对手和被操作物体均构成强约束，这表明手部构型可能是物体的关键上下文，反之亦然。然而，现有方法通常训练双分支网络分别重建手部和物体，两个分支之间几乎没有通信。本文提出在特征空间中联合考虑手部与物体，并挖掘两个分支的互补性。作者广泛研究了采用MLP或LSTM单元的跨分支特征融合架构，其中利用手部特征增强物体特征的LSTM变体取得了最佳性能提升。此外，本文采用辅助深度估计模块，用估计的深度图增强输入RGB图像，进一步提高了重建精度。在公共数据集上的实验表明，该方法在物体重建精度方面显著优于现有方法。\n",
  "keywords": [
    "手部姿态与形状估计",
    "三维物体重建",
    "手物交互"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:44.300659Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张手物交互RGB图像在物体类别未知、无预定义三维模型条件下恢复高质量手部与物体网格的问题，本文指出单视图重建固有的深度歧义、手物及手指间严重遮挡，以及不可穿透和需要接触等物理约束，使现有分离双分支方法通信不足。相关方法多分别完成手部姿态形状估计与单视图物体重建，难以利用手部构型与物体形状互为上下文的强约束；为此作者提出分支协作网络，先由深度估计模块 D=f_d(I) 从RGB预测深度图并与原图拼接成四通道RGB-D，再用两个ImageNet预训练ResNet-18分别编码 r_h 和 r_o，核心机制是两步LSTM跨分支融合 r_o^+=f_fusion(r_h,r_o)：先输入更稳健、含MANO低维参数先验的手部特征，再输入物体特征，使LSTM隐状态调制物体表征，随后手部分支回归MANO姿态θ与形状β以生成关节和网格，物体分支用AtlasNet生成642顶点规范网格并预测平移与尺度，接触损失在网格层面施加吸引和排斥约束。实验选用大规模合成ObMan（141K训练帧/6K测试帧，物体来自ShapeNet八类）、真实第一人称FHBc（约5K训练帧/5.6K测试帧）和真实第三人称HIC四个序列（仅选手物距离小于5mm的帧，150帧训练/251帧测试），分别验证合成数据学习、小真实集迁移和跨视角泛化；训练采用Adam、批大小16和分阶段策略，先训练并冻结深度、手部、物体分支，再用接触损失联合微调，FHBc与HIC使用ObMan预训练权重。评价指标包括手部MPJPE、HME、3D PCK，物体对称Chamfer距离CD和穿透深度PD；结果显示完整模型在ObMan上MPJPE为9.6mm、CD为403.8、PD为9.1mm，相比已有方法的11.6mm、637.9和9.2mm显著改善，FHBc上MPJPE为27.5mm并优于28.8mm，HIC上经少量真实数据微调达到7.5mm和62.2，消融还证明深度模块主要改善手部而LSTM融合主要降低物体CD，共享编码器、MLP融合、双向融合和端到端训练存在手物精度权衡。该方法可服务于VR/AR、人机交互、动作理解与机器人模仿，但局限在于面向刚性物体、未知类别且缺少物体形状先验，遮挡造成的不可见区域和相对位置仍会失败；未来可引入类别或实例形状先验、2D/3D空间关系推理，以及双手多物体等更复杂协作。\n\n### 关键要点\n\n- 深度估计模块采用ResNet-18编码器和包含5×5、1×1卷积及ReLU的解码器，输出与输入同尺寸的单通道深度图；损失由L1项和加权SSIM项组成，在合成ObMan上只计算前景区域。\n- RGB图像与估计深度图拼接后送入两个独立的ImageNet预训练ResNet-18编码器；共享ResNet-34编码器虽可得到相近物体CD，但手部MPJPE升至10.5mm，说明任务专用分支加跨分支通信更有效。\n- 手部分支从手部特征回归MANO的姿态参数θ和形状参数β，再通过可微MANO层输出手部关节与网格；监督包括关节L2损失、网格顶点L2损失以及形状和姿态正则项。\n- 物体分支基于AtlasNet将物体特征解码为规范坐标网格，再由MLP预测平移T和尺度s并变换到手相关坐标；损失包括对称Chamfer、规范Chamfer、平移、尺度、边长和曲率平滑项。\n- LSTM(object+)的依据是MANO由2018个三维扫描训练而成、维度低且手部形状先验强，而物体顶点自由度高、先验弱；两步LSTM的隐层特征数为1000，先输入手部特征再输入物体特征。\n- 在ObMan融合策略对比中，带深度的分离基线CD为426.1，LSTM(object+)降至405.1，降幅约5%；LSTM(hand+)仅使MPJPE从9.7降至9.5，双向增强则进一步改善物体却损害手部精度。\n- MLP_Add和MLP_Concat的CD分别为437.2和428.1，均未超过基线；双层LSTM的CD为402.3，略优于单层LSTM，但因参数量加倍而未被最终采用。\n- 接触损失由吸引项和排斥项组成并直接作用于网格；加入接触微调后，CD从405.1降至403.8，穿透深度从9.6mm降至9.1mm，表明特征空间融合与网格物理约束互补。\n- 移除深度估计模块会使ObMan上CD升至421.3、MPJPE升至10.3mm、HME升至10.8mm；若同时移除深度和融合模块，CD会暴增至860.6。\n- 整体对比中，ObMan物体CD相对已有方法的637.9降低约36.7%，FHBc手部MPJPE相对28.8mm降低约4.5%；HIC上仅用150帧真实数据微调即达到MPJPE 7.5mm和CD 62.2。\n- 该方法不预设物体类别或三维模型，适用于刚性手物网格重建；失败情况主要包括不可见物体区域形状不合理以及手指覆盖物体时手物相对位置错误，未来可通过形状先验和空间关系推理改进。"
}