{
  "paper_id": "fbf2ba148cf4b9b5cfea81d9cbd92a29",
  "paper_title": "Reconstructing Objects along Hand Interaction Timelines in Egocentric Video",
  "paper_authors": [
    "Zhifan Zhu",
    "Siddhant Bansal",
    "Shashank Tripathi",
    "Dima Damen"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "本文提出沿手部交互时间线重建物体（ROHIT）任务。作者首先从刚性物体视角定义手部交互时间线（HIT）：物体最初相对场景静止，接触后被握在手中并发生位姿变化，随后通常在使用中被牢固握持，最后被释放并重新相对场景静止。论文对HIT上的这些位姿约束进行建模，并提出约束优化与传播（COP）框架，通过沿HIT传播物体位姿实现更优重建。研究重点关注具有稳定抓握的时间线，即手稳定握住物体并在使用过程中有效保持接触，这使得在没有三维真值的情况下也能高效标注、研究和评估视频中的物体重建。论文在两个第一视角数据集HOT3D和野外EPIC-Kitchens上评估ROHIT：在HOT3D中整理1.2K个稳定抓握片段，在EPIC-Kitchens中标注2.4K个稳定抓握片段，涵盖来自141个环境、9个类别的390个物体实例。在无三维真值时，研究使用二维投影误差评估重建。定量结果表明，COP将稳定抓握重建提升6.2%，并通过受约束的位姿传播使HIT重建最高提升24.5%。\n",
  "keywords": [
    "第一视角视频",
    "手部交互时间线",
    "物体三维重建",
    "稳定抓握",
    "手物交互",
    "约束优化",
    "位姿传播",
    "6-DoF位姿估计",
    "刚性物体"
  ],
  "paper_institutions": [
    "University of Bristol, UK",
    "Max Planck Institute for Intelligent Systems, Tübingen, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:42:05.678971Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对第一视角视频中手部严重遮挡物体、现有手物重建方法通常依赖三维真值且多聚焦已握持阶段的单帧或单段、难以覆盖接触前、使用中与释放后完整过程的问题，论文提出沿手部交互时间线重建物体（ROHIT）任务；相关研究中已知CAD的优化方法通过掩码、接触和时间平滑项拟合手物网格，而CAD无关方法在野外高遮挡场景下形状泛化不足，因此作者从刚性物体视角将HIT划分为静态、不稳定接触和稳定抓握三类连续片段，并提出无需训练的约束优化与传播（COP）框架。静态片段利用物体在世界坐标系中 $T_{o2w}$ 固定的约束，稳定抓握片段优化物体相对手的位姿 $T_{o2h}$，其核心机制是稳定接触区域约束 $E_{SG}=\\sum_{v_o\\in V_o}\\sum_{v_h\\in V_F}\\sum_n\\sum_m|d_{oh}^n-d_{oh}^m|_1$，其中 $V_F$ 为五个指尖顶点、$d_{oh}$ 为手物顶点距离，该损失允许手指关节和物体相对手的位姿变化，同时迫使跨帧接触区域保持一致；COP还结合遮挡感知的渲染比较损失 $E_{mask}$ 以及防穿透的 $E_{push}$ 和吸引接触的 $E_{pull}$，并在每段优化后把过渡帧的物体到世界位姿与尺度传播给下一段。实验选择具有三维真值的HOT3D以验证精确位姿和接触稳定性，选择无脚本日常厨房视频EPIC-Kitchens以验证野外泛化和二维掩码评估能力：HOT3D-HIT包含1,239个稳定抓握和113条HIT，EPIC-HIT包含2,431个稳定抓握片段、约390个实例、9个类别和96条HIT；实现中每段稀疏采样30帧，使用MANO表示手部、HaMeR估计野外手部姿态，采用10个旋转初始化和256渲染分辨率，单段在RTX 4090上平均优化约30秒。评估采用有三维真值时的ADD和SCA-ADD，以及无三维真值时的掩码IoU和SCA-IoU；无传播的COP在HOT3D稳定抓握上将ADD从Dynamic的51.9%提升到58.1%，加入传播后HOT3D-HIT稳定抓握、静态和不稳定接触ADD分别达到70.3%、79.2%和67.1%，EPIC-HIT上各段指标也一致提升，证明稳定抓握约束和跨段位姿传播的有效性。该方法可服务于增强现实、机器人模仿学习和人机交互等真实场景，但受限于已知类别CAD模型、给定左右手和片段边界、手部估计错误、极端遮挡与有限视角，未来可探索用定位模型或VLM自动生成分段边界、结合SAM-3D等方法走向CAD无关重建，并从几何稳定性扩展到力闭合与物理稳定性研究。\n\n### 关键要点\n\n- HIT从物体视角描述一次完整手物交互，可由静态、不稳定接触和稳定抓握等连续片段组成，并可能包含多次抓握与放下。\n- 稳定抓握形式化定义为接触区域IoU在所有帧对之间大于阈值 $\\tau$ 的最长时间段，HOT3D自动标注时使用 $\\tau=0.5$。\n- ROHIT假设物体为刚性且已知类别CAD模型，同时输入每段的左右手和时间边界，目标是逐帧重建手部与物体三维网格。\n- 静态片段中物体在世界坐标系内保持不动，COP固定 $T_{o2w}$，通过遮挡感知的渲染比较损失优化物体位姿和尺度。\n- 稳定抓握片段优化物体相对手部的 $T_{o2h}$，新增 $E_{SG}$ 约束五个指尖与所有物体顶点距离在帧间的变化，从而对齐接触区域。\n- 不稳定接触片段不使用稳定抓握假设，仅依靠 $E_{mask}$、$E_{push}$ 和 $E_{pull}$ 保持图像一致性、避免穿透并促进接触。\n- 位姿传播在所有相邻片段间进行，将上一段最后一帧的物体到世界位姿和尺度作为下一段的额外初始化，并选择 $E_{mask}$ 最小的优化结果。\n- HOT3D-HIT自动标注1,239个稳定抓握并扩展为113条HIT，覆盖20个视频、410,650帧、3,288个片段和22个物体。\n- EPIC-HIT人工标注2,431个稳定抓握片段，涵盖9类、约390个实例、141个视频和31个厨房，并额外标注96条完整HIT。\n- 实验每段采样30帧，使用10个旋转初始化、256渲染分辨率和随焦距缩放的损失权重，COP无需训练，单段平均优化约30秒。\n- 无传播COP在HOT3D稳定抓握上取得58.1% ADD和26.8% SCA-ADD，加入传播后HOT3D-HIT稳定抓握ADD提升至70.3%，EPIC-HIT各段也均有提升。\n- 方法在错误手部姿态、极端遮挡、未知CAD模型或边界噪声明显时会失效，几何稳定抓握也尚未显式建模力闭合和真实物理稳定性。"
}