{
  "paper_id": "f97ef60b89d3fbf19bc4ed4c21cecc7a",
  "paper_title": "EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild",
  "paper_authors": [
    "Yumeng Liu",
    "Xiaoxiao Long",
    "Zemin Yang",
    "Yuan Liu",
    "Marc Habermann",
    "Christian Theobalt",
    "Yuexin Ma",
    "Wenping Wang"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "本文研究从单视图图像重建手物交互这一基础却病态的任务。不同于依赖视频、多视角图像或预定义三维模板的方法，单视图设置因固有歧义、遮挡以及手势和物体形状尺寸多样而极具挑战。作者发现，面向分割、修复和三维重建的基础模型能够对野外图像鲁棒泛化，可为手物交互重建提供强视觉与几何先验。为此，方法首先利用现成大模型估计手部姿态和物体形状，进而提出先验引导优化方案，使手部姿态满足三维物理约束并贴合二维输入图像。在多个数据集上的实验表明，该方法持续优于基线，能够忠实重建多样化的手物交互。\n",
  "keywords": [
    "手物交互重建",
    "单视图三维重建",
    "大模型",
    "先验引导优化",
    "MANO",
    "可微渲染",
    "接触对齐",
    "物理合理性"
  ],
  "paper_institutions": [
    "The University of Hong Kong",
    "ShanghaiTech University",
    "Hong Kong University of Science and Technology",
    "Nanyang Technological University",
    "Max Planck Institute for Informatics",
    "Texas A&M University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:28:30.719697Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单张RGB图像重建手物交互（HOI）这一基础但病态的问题：现有方法常依赖视频、多视角、预定义三维模板或有限标注数据进行端到端训练，难以处理未知物体、严重自遮挡与互遮挡、手势及物体形状的多样性，而直接合并独立大模型结果又会遇到坐标系不一致、估计误差和遮挡区域几何不可靠等问题。作者提出EasyHOI，先用LISA进行手物语义分割并以轮廓邻接关系过滤冗余物体，由ViTPose与HaMeR重建MANO手网格，再用扩散修复移除手部遮挡、SAM分割完整物体、InstantMesh生成物体网格并做水密后处理；随后以物体坐标系为全局参考，通过可微渲染结合IoU与Sinkhorn最优传输建立相机，利用二维接触区域射线投射生成手掌侧与物体的候选三维接触点并以ICP粗对齐，最后联合优化全局6D姿态和45维关节参数，核心机制为 $\\mathcal{L}_{\\mathrm{hand}}=5\\mathcal{L}_{\\mathrm{hand\\text{-}mask}}+10\\mathcal{L}_{\\mathrm{penetr}}+5\\mathcal{L}_{\\mathrm{contact}}+0.1\\mathcal{L}_{\\mathrm{reg}}$，使结果同时符合输入图像、避免穿透、保持抓握接触并贴近HaMeR初值。实验在Ubuntu服务器和NVIDIA A40 GPU上完成，相机与全局粗对齐学习率为$10^{-2}$，精修阶段全局姿态和关节姿态学习率分别为$10^{-4}$与$10^{-2}$；选用Arctic、OakInk、DexYCB三个具有三维标注且物体差异显著的公开数据集，用力闭合测试筛选有效抓握并从每个数据集随机选取500张图像，以零样本方式验证跨域泛化，其中AlignSDF和gSDF因训练包含DexYCB而不参与该集比较。评测指标包括物体Chamfer Distance、F5/F10、手物交集体积、1000步重力仿真位移以及手部MPVPE/MPJPE；结果显示EasyHOI在三个数据集上均取得最低Chamfer Distance（Arctic 1.089、OakInk 1.035、DexYCB 1.628），并整体取得最高F分数、最低仿真位移和最小交集体积，在使用真实物体几何时还可将OakInk手部误差降至MPVPE 0.86 cm、MPJPE 0.77 cm，但预测物体不完美会使最终手部精度略受影响；消融实验证明相机建立、接触对齐、参数精修以及各损失项均有关键作用。该方法适用于人类行为理解、增强现实、遥操作和机器人抓取等真实场景，主要约束是单目深度与尺度模糊、严重遮挡，以及性能受分割、修复和重建大模型失败的制约；未来可改进面向HOI任务的大模型、提升效率与鲁棒性，并利用更强修复模型或手部轮廓信息处理失败案例。\n\n### 关键要点\n\n- EasyHOI分为初始重建与先验引导优化两阶段，仅需单张RGB图像即可输出物体网格、MANO手网格及二者相对姿态。\n- 在HOI推理阶段，LISA按照分割所有手和分割手所持物体的提示生成掩码，再通过轮廓引导过滤剔除轮廓不邻接手的冗余物体。\n- 手部重建由ViTPose估计二维关键点并裁剪感兴趣区域，再由HaMeR回归MANO参数；物体侧则先用扩散模型移除手部并修复被遮挡外观。\n- 修复后的图像经SAM重新分割后输入InstantMesh生成完整物体网格，并通过深度融合、Poisson重建和补洞将非水密网格处理为水密网格。\n- 相机系统建立以物体坐标系为全局参考，使用可微渲染最小化物体掩码IoU，并在初始掩码与目标掩码不重叠时加入Sinkhorn最优传输损失以保持有效梯度。\n- 接触对齐从手物互相遮挡形成的前侧和背侧接触掩码出发，经射线投射与深度剥离选取物体最近或最远交点以及手掌侧最近或最远交点，再用ICP计算手部平移。\n- 手部参数精修联合优化全局姿态与关节姿态，目标函数由手部掩码损失、穿透损失、接触损失和正则损失组成，实验权重分别为5、10、5和0.1。\n- 评测使用Arctic、OakInk和DexYCB，三者分别包含11个铰接物体、100个多样物体和20个YCB物体；作者用力闭合测试筛选有效抓握，并从每个数据集随机选取500张图像。\n- 在与IHOI、AlignSDF、gSDF和MOHO的零样本比较中，EasyHOI在三个数据集上均取得最低Chamfer Distance，并整体取得最高F5/F10、最低仿真位移和最小交集体积。\n- 使用预测物体时，手部精度可能因物体几何误差而略逊于HaMeR；使用真实物体几何时，HOI优化可将OakInk的MPVPE/MPJPE降至0.86/0.77 cm，说明接触约束有效。\n- 方法主要受单目深度尺度模糊、运动模糊、修复伪影以及大模型失败影响，失败多源于初始重建阶段；未来计划增强大模型对HOI任务的适配并提升效率与鲁棒性。"
}