{
  "paper_id": "cb69800bf8192aaf438bbccdead32ba1",
  "paper_title": "Towards in-the-wild Egocentric 3D Hand-Object Pose Estimation",
  "paper_authors": [
    "Siddhant Bansal",
    "Zhifan Zhu",
    "Shashank Tripathi",
    "Jiahe Zhao",
    "Michael J. Black",
    "Dima Damen"
  ],
  "publication_date": "2026",
  "publication_venue": "unknown",
  "abstract": "由于严重的遮挡和模糊的接触，从真实场景（in-the-wild）自我中心RGB图像中估计精确的3D手-物姿态仍然具有挑战性。现有基于学习的方法往往难以泛化到真实场景，并受限于监督数据的稀缺。我们通过两项贡献解决这些问题。首先，我们引入EPIC-Contact，一个包含2.3K片段（62.3K帧）的真实场景自我中心数据集，具有稠密的双射3D手-物接触对应和姿态化网格。其次，我们提出HOPformer，一个端到端Transformer，在单次前向传播中联合预测双手和物体姿态。交叉注意力解码器以手部先验为条件调节物体特征，产生鲁棒的姿态估计。我们在实验室3D数据集ARCTIC以及新引入的EPIC-Contact数据集上测试HOPformer。HOPformer在ARCTIC上达到82.4%成功率（比当前SOTA高6.2点）。在EPIC-Contact上，它将成功率几乎翻倍，同时将接触偏差降低75%。EPIC-Contact、HOPformer代码和检查点已发布。",
  "keywords": [
    "3D手-物姿态估计",
    "自我中心视觉",
    "接触标注",
    "Transformer",
    "EPIC-Contact数据集",
    "HOPformer",
    "真实场景泛化",
    "双手交互"
  ],
  "paper_institutions": [
    "University of Bristol",
    "Max Planck Institute for Intelligent Systems"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:27:10.575193Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文解决从真实场景（in-the-wild）自我中心RGB图像中联合估计双手与物体3D姿态的难题，其核心挑战在于严重的相互遮挡与模糊的接触区域。以往研究多依赖昂贵且需精细校准的动作捕捉（MoCap）系统在受控实验室环境中采集数据（如ARCTIC、DexYCB），背景单一、物体实例有限，导致现有学习方法（如ArcticNet-SF、JointTransformer）难以泛化到真实场景。为此作者提出两项贡献：一是构建EPIC-Contact数据集，基于EPIC-Grasps的2,272段稳定抓取视频（62.3K帧、9类物体），通过在细分至3,106顶点的MANO网格上“顶点绘制”接触区域、以2自由度接触轴（拇指/四指/掌心三区域、最多六次点击）实现双射接触转移、并用VLM（Gemini 2.5）估计物体多自由度尺度，最终经EC-fit优化管线（核心接触损失 L_con = (1/|C|)·Σᵢ‖hᵢ − oᵢ‖₂，辅以遮挡感知掩码损失与穿透损失）生成姿态化手-物网格；二是提出HOPformer，一个端到端Transformer框架，其核心机制为L层交叉注意力解码器中的 CA(X_o, X_h) = δ((X_o W_Q)(X_h W_K)ᵀ/√d_k)(X_h W_V)，将WiLoR手部先验注入DINOv2物体特征，经聚合模块后由专用输出头在单次前向传播中同时回归双手MANO参数与物体姿态并从模板池检索物体网格。实验在ARCTIC（实验室MoCap真值，用于消融验证）与EPIC-Contact（真实场景泛化能力）上开展，采用DINOv2 ViT-G与WiLoR骨干、12层解码器、AdamW两阶段训练（外中心预训练+自我中心微调），评测指标涵盖CDev、MRRPE、MDev、ACC、MPJPE、AAE与成功率SR。结果显示：在ARCTIC自我中心划分上SR@0.05达82.4%（较SOTA提升6.2点）、CDev降至31.9mm、MPJPE降至16.1mm；在EPIC-Contact上SR@0.05从17.6%升至29.8%（近乎翻倍）、CDev从30.1降至20.7mm（相对ArcticNet-SF的94.2mm降低约75%），验证了手部先验条件化与交互监督的关键作用；消融进一步表明以Concat+MLP替代交叉注意力会使SR骤降至29.4%。未来方向包括扩展物体类别、真实场景铰接物体建模与CAD-free重建（当前SAM 3D等方法在重遮挡与透明物体上仍失败）。该工作可支撑AR/VR、机器人、人机协作与辅助技术等应用，但受限于已知CAD模板池假设、每帧3-4分钟的标注成本及单样本约106.63ms的推理延迟。\n\n### 关键要点\n- 方法核心：HOPformer在L层Transformer解码器中通过交叉注意力机制 CA(X_o, X_h) = δ((X_o W_Q)(X_h W_K)ᵀ/√d_k)(X_h W_V) 将手部先验（WiLoR特征）注入物体特征（DINOv2特征），单次前向传播联合回归双手MANO姿态与物体位姿。\n- 数据集构建：EPIC-Contact基于EPIC-Grasps的2,272段稳定抓取视频（62.3K帧、9类物体），提供双射3D手-物接触对应与姿态化网格，训练/测试划分为2,035/237段视频且保持手侧与物体类别分布一致。\n- 标注流程：标注者在细分至3,106顶点的MANO网格上绘制接触区域，通过拇指、四指、掌心三个2自由度接触轴以最多六次点击将接触转移到物体表面，标注者间Fleiss' Kappa一致性为κ_h=0.61（手部）与κ_o=0.62（物体）。\n- EC-fit优化管线：以WiLoR初始化手部姿态、多姿态初始化物体，通过接触损失、遮挡感知掩码损失、穿透损失与正则化拟合姿态化网格；在ARCTIC 20%子集上验证其姿态L2误差仅1.9mm、MRRPE为8.0mm。\n- 物体尺度估计：利用VLM（Gemini 2.5）以类别特定提示估计非均匀多自由度尺度（如锅的直径与把手长度），经30个物体实测验证达0.94cm MAE（5.9%相对误差），82.5%样本落在真实尺寸±10%以内。\n- 实现设置：物体特征采用DINOv2 ViT-G（1536维）、手部特征采用WiLoR（1280维），解码器深度L=12，AdamW优化器两阶段训练（外中心视角预训练25轮+自我中心微调30轮），使用4块NVIDIA GH200 GPU，EPIC-Contact上训练125轮。\n- ARCTIC结果：HOPformer在自我中心划分上CDev从35.0降至31.9mm、MDev从10.4降至7.3mm、MPJPE从20.0降至16.1mm、SR@0.05从76.2%升至82.4%，超越当前SOTA JointTransformer。\n- EPIC-Contact结果：CDev从30.1降至20.7mm、MDev从20.0降至11.4mm、SR@0.05从17.6%升至29.8%、SR@0.1达69.7%，物体分类准确率52.9%，验证了真实场景遮挡与杂乱下的鲁棒性。\n- 消融证据：移除交互损失使CDev从31.9升至40.7mm；以Concat+MLP替代交叉注意力解码器使SR从82.4%骤降至29.4%；用DINOv2替代WiLoR手部特征使MPJPE升至20.6mm，证明手部先验条件化与迭代精炼是性能来源。\n- 效率：单块GH200上单样本前向传播中位延迟106.63ms（P95为165.89ms，约9.12样本/秒，1.157 TFLOPs），远快于耗时超过10秒的优化类方法。\n- 适用约束：方法假设已知物体CAD模板池（9类）、未覆盖真实场景铰接物体，标注耗时约3-4分钟/帧，且CAD-free方法（HOLD-Net、G-HOP、SAM 3D）在重遮挡与透明物体场景下仍不可靠。"
}