{
  "paper_id": "e9a43605d133eeccc4b13c2867e854af",
  "paper_title": "CHOLR: Contact-aware 4D Hand-Object Interaction Reconstruction",
  "paper_authors": [
    "Hao Xu",
    "Yilin Liu",
    "Yinqiao Wang",
    "Chi-Wing Fu",
    "Niloy J. Mitra"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "我们探讨日常开放世界单目视频能否被转化为可复用的4D交互原语：关节化手部运动、随时间携带6D位姿的物体形状，以及接触发生的时间与位置。这种能力将支持对真实交互的可扩展挖掘，并在重建之外支持场景感知合成与规划。然而，从具有挑战性的单目视频重建手物交互（HOI）仍然困难：现有方法通常假设已知物体或受控场景，且分开估计的手与物体在杂乱、遮挡和未见物体几何下容易失配。针对这一设定，我们提出CHOIR，一个面向单目相机的接触感知HOI重建框架，将接触作为手与物体之间的显式耦合信号。CHOIR首先从开放世界视觉先验初始化粗糙的、接触无关的4D HOI序列；随后引入生成式HOI空间校正模块预测射线深度修正以纠正手物相对放置，并在校正后的几何上导出初始逐帧接触对应；最后，具有动态更新接触约束的接触感知联合优化强制几何、时序与接触一致性。在受控与挑战性视频上的实验表明，CHOIR在物体重建、物理合理性与时序一致性上优于现有最先进方法。",
  "keywords": [
    "手物交互",
    "4D重建",
    "单目视频",
    "接触感知优化",
    "流匹配",
    "生成式空间校正",
    "开放世界重建",
    "6D物体位姿"
  ],
  "paper_institutions": [
    "The Chinese University of Hong Kong",
    "University College London",
    "Adobe Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:46.086225Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从开放世界的单目RGB视频中重建四维手物交互（HOI）——即关节化手部运动、随时间演化的物体形状与6D位姿轨迹、以及接触发生的时间与位置——仍是未解难题：现有方法（如HOLD、DiffHOI、EasyHOI、MagicHOI）大多假设已知物体模型或受控场景，手与物体分开估计且缺乏显式接触约束，在杂乱背景、遮挡和未见物体几何下容易失配。针对该问题，本文提出CHOIR框架，将接触作为手物间的显式耦合信号，采用三阶段策略：Stage 1利用开放世界视觉先验（经物体伪标签微调的WiLoR、SAM 2传播、amodal分割、HaMeR、SAM-3D-Objects守护式跟踪、Dyn-HaMR时序稳定）提取2D交互线索并初始化接触无关的粗糙4D HOI序列；Stage 2引入基于流匹配的生成式HOI空间校正模块，以物体表面点、噪声手关节、视线方向和物体尺度为条件，沿相机射线预测标量深度修正（核心机制为条件速度场 dz_τ/dτ = v_θ(z_τ, τ | J^h, r, s, P^o, n^o)），纠正单目深度歧义导致的手物相对放置错误，并在校正几何上建立以重心坐标表示的初始逐帧接触对应；Stage 3通过动态重建的软接触约束进行接触感知联合优化，核心损失为 L_HOI = λ_con·L_con + λ_pen·L_pen + λ_sil·L_sil + λ_anc·L_anc + λ_temp·L_temp，同时强制几何、时序与接触一致性。训练数据GraspPair基于DexGraspNet构建（约50万对手物抓取、5355个物体实例、133类别），经PyBullet物理仿真过滤仅保留重力与扰动下稳定的抓取，并以射线对齐噪声模拟单目歧义生成配对，从而监督流匹配模型学习对未见物体泛化的合理手物空间关系。评估采用HO3D的14序列子集（有3D真值，验证度量精度）以及TASTE-Rob的70段挑战性单手片段加30段自采集视频构成的100段野外基准（无真值，采用mIoU、穿透率、手物距离、加速度等无参考指标验证物理合理性与时序稳定性）。在HO3D上CHOIR取得最优物体重建指标（CD 0.77cm、F5 72.33%、F10 96.03%、RS 0.10），更低的穿透率（4.58%）与更小的手物距离（0.06cm）证明了接触感知优化的贡献；在野外基准上CHOIR于全部100段视频实现mIoU 76.65%、穿透率5.81%、手物距离0.10cm及平滑轨迹，而HOLD与MagicHOI分别仅在30和22段视频上可用，验证了空间校正与接触约束对开放世界鲁棒性的支撑。未来方向包括利用输入视频的多视角线索细化物体几何、扩展至双手交互以及从迭代式优化转向前馈模型。该方法可将日常操作视频转化为可复用交互原语以支持场景感知合成与规划，但假设单手操作刚性物体，依赖上游2D/3D初始化与有效锚帧，在物体长期完全遮挡或强旋转对称导致自旋角不可观时性能下降。\n\n### 关键要点\n\n- CHOIR从单目RGB视频重建开放世界4D手物交互，输出关节化手部运动、物体形状、6D位姿轨迹与显式接触证据，无需类别特定模板或已知3D形状。\n- 三阶段设计使流水线易于诊断：Stage 1生成视觉对齐但接触无关的粗4D序列，Stage 2生成式空间校正纠正手物相对深度放置，Stage 3接触感知联合优化细化整段轨迹，各阶段输入输出与失败模式清晰。\n- Stage 1通过运动选定交互帧挖掘物体伪标签微调WiLoR并增加交互物体框头，结合SAM 2双向传播与amodal视频分割获得时序完整掩码，并用SAM-3D-Objects守护式跟踪（冻结形状/尺度潜变量、60°角度守卫、SLERP插值补缺）获得稠密物体位姿序列。\n- Stage 2流匹配模型将单目主要失败模式参数化为沿相机射线的一维深度偏移，以噪声偏移到校正偏移的条件速度场建模物理合理的修正分布，同时保留图像空间手部配置。\n- GraspPair训练集含约50万对手物抓取（5355个物体、133类别、平均每物体200个物理有效抓取），通过PyBullet过滤不稳定抓取并注入各向异性射线对齐扰动以模拟单目歧义。\n- 接触对应在Procrustes配准的规范空间中建立，候选手部顶点覆盖指尖、指腹与掌心，需同时满足距离阈值（2cm）与法向兼容（60°锥），并以面索引加重心坐标存储。\n- Stage 3联合优化五类损失：软接触对应（top-8锚点softmax加权）、单侧穿透（5mm死区）、轮廓对齐、锚点（2D关节/解剖/位姿）与时序平滑（一阶二阶差分），软接触缓存周期性重建（5cm阈值、60°法向锥）。\n- HO3D上CHOIR取得最优物体CD（0.77cm）、F5（72.33%）、F10（96.03%）与相对尺度误差（0.10），MPJPE为5.55mm，穿透率4.58%与手物距离0.06cm优于HOLD和MagicHOI。\n- 100段野外基准（TASTE-Rob 70段加自采集30段）上CHOIR在全部视频实现mIoU均值76.65%、穿透率5.81%、手物距离0.10cm，而HOLD与MagicHOI因COLMAP跟踪失败分别仅在30和22段视频产生可用重建。\n- 消融实验表明：移除Stage 2校正使手物距离约翻倍（0.10升至0.22cm），移除Stage 1的L_rep/L_attr显著降低mIoU（59.24%/53.06%），各Stage 3损失项分别影响穿透处理、接触对齐与运动平滑。\n- 单视频推理约30分钟（HOLD约10小时、EasyHOI约9小时、MagicHOI约2小时），其中Stage 2校正约10秒、Stage 3优化约2分钟，在NVIDIA RTX 4090上完成。\n- 局限与约束：仅支持单手刚性物体交互，不处理双手操作与非刚性变形；依赖上游分割/跟踪与锚帧质量，物体长期完全遮挡或强旋转对称物体快速运动时可能失败。"
}