{
  "paper_id": "338a099ec6103b9abf9dbd994ad5a219",
  "paper_title": "Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild",
  "paper_authors": [
    "Jiayi Chen",
    "Mi Yan",
    "JiaZhao Zhang",
    "Yinzhen Xu",
    "Xiaolong Li",
    "Yijia Weng",
    "Li Yi",
    "Shuran Song",
    "He Wang"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "本文研究在给定第0帧初始位姿的条件下，从野外深度点云序列中联合跟踪手物位姿并重建其形状。作者首次提出基于点云的手部关节跟踪网络 HandTrackNet，用于估计帧间手部关节运动；其中新颖的手部位姿规范化模块可降低跟踪难度，实现准确且鲁棒的关节跟踪。随后，流水线将预测关节转换为基于模板的参数化手部模型 MANO，以重建完整手部。对于物体，方法在首帧估计物体 SDF，并通过基于优化的方式进行跟踪。最后采用手物联合优化步骤进行交互推理，缓解遮挡造成的歧义并进一步精修手部位姿。训练阶段整个流水线只使用纯合成数据，这些数据通过充分随机化和深度仿真生成，以提升泛化能力，因此可直接迁移到真实野外数据。方法在 HO3D 和 DexYCB 两个真实手物交互数据集上无需微调即可评估，实验表明其显著优于以往基于深度的手物位姿估计与跟踪方法，运行速度约为 9 FPS。\n",
  "keywords": [
    "手部物体交互",
    "点云序列",
    "姿态跟踪",
    "三维重建",
    "HandTrackNet",
    "MANO",
    "DeepSDF",
    "SDF",
    "Sim2Real",
    "SimGrasp"
  ],
  "paper_institutions": [
    "Peking University",
    "Beijing Institute for General AI",
    "Virginia Tech",
    "Stanford University",
    "Tsinghua University",
    "Columbia University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:05.246379Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对真实场景中深度点云序列联合手物位姿跟踪与形状重建问题，本文在单帧手部和物体位姿估计已有较多进展、但带时序标注的大规模手物交互视频稀缺、交互中自遮挡与互遮挡严重且 Sim2Real 域差显著的背景下，提出一套仅用合成数据训练即可在线迁移到真实数据的系统；其输入为已分割的手部和物体点云及第0帧手部关节与物体初始位姿，输出后续帧手部关节、MANO 手部网格、物体 SDF 形状与6D位姿。系统先用结构光深度传感器模拟器 DDS 生成带真实噪声的 SimGrasp 数据集，包含666个物体实例、100个手形、1810段视频、每段100帧，再以 PointNet++ 为骨干提出 HandTrackNet：利用上一帧关节提供粗略全局位姿并规范化当前点云，核心机制为 CP(β, _C J^B)=argmin_{R,T} ||_H J_M^B(β)-R^{-1}(_C J^B-T)||²，即由腕关节和五个掌指关节刚性拟合相机坐标到 MANO 规范坐标的 R、T，随后网络只回归关节相对粗估计的小幅运动；手部形状码 β 在首帧由15根指骨长度一致性优化，IKNet 将关节映射为 MANO 姿态参数。物体分支在首帧用 DeepSDF 由部分点云优化完整 SDF，之后以深度点到 SDF 零等值面的贴合能量 E=Σ_x|ψ[R^{-1}(x-T)]| 并用并行无梯度随机优化跟踪位姿，最后用穿透、吸引、可见关节位置和轮廓能量精修手部，使不可见手指也受物理约束。选择点云是因其具有度量三维几何、可减少二维歧义和恢复完整三维形状，选择仿真深度则用于验证跨空间时序变化及真实传感器噪声的泛化；在 HO3D 与 DexYCB 上零微调实验采用 MPJPE、PD、DD、5°5cm、10°10cm和 CD 评估，完整方法手部 MPJPE 分别为2.06cm和2.69cm，PD/DD降至1.1/1.2cm与1.5/1.4cm，物体跟踪相对 CAPTRA 在难例和跨类别设置上更稳定且 CD 更低，整体运行9 FPS。该方法可用于人机交互、人机协作、AR/VR和人类演示学习，但依赖手物分割与初始位姿、物体须来自训练类别或几何相似类别、当前主要处理右手且对称物体按对称轴评估，初始化物体和手形需1.15秒；未来可通过 CUDA 加速并改造为端到端系统。\n\n### 关键要点\n\n- 任务给定在线分割的手部和物体深度点云，以及第0帧手部关节位置和物体初始位姿，需在线恢复所有后续帧的手物形状与6D位姿。\n- SimGrasp 合成数据集包含666个物体实例、100个手形、1810段视频和每段100帧，并随机化物体形状、手形、抓取姿态与运动轨迹。\n- DDS 结构光深度模拟为合成点云引入真实传感器噪声和伪影；将其替换为完美深度后，DexYCB 上的 MPJPE 从2.75cm升至3.68cm。\n- HandTrackNet 以 PointNet++ 提取逐点特征，并将上一帧关节结合点云中心位移作为粗估计，使网络只需回归每个关节的小幅相对运动。\n- 手部规范化利用腕关节和五个掌指关节相对刚性的假设，通过 SVD 求解相机坐标到 MANO 规范坐标的刚体变换；去除该模块后 HO3D 和 DexYCB 的 MPJPE 分别升至4.73cm和10.9cm。\n- 手部网格由 MANO 表示：首帧通过预测关节与 MANO 关节的15根骨长 L1 误差优化形状码 β，IKNet 再将规范空间关节位置映射为45维姿态参数 θ。\n- 物体分支在首帧用 DeepSDF 和给定初始位姿优化物体形状码并施加 L2 正则，后续帧最小化深度点在物体规范 SDF 中的绝对符号距离。\n- 手物优化只精修手部姿态，能量包括手物穿透、按穿透量决定是否启用的吸引、仅针对可见关节的关节位置项以及投影轮廓项。\n- 在 HO3D 和 DexYCB 零微调测试中，完整方法手部 MPJPE 为2.06cm和2.69cm，较无手物优化时的2.34cm和2.99cm进一步降低。\n- 与 CAPTRA 相比，本文方法在 DexYCB 所列类别上的5°5cm指标均更高，在 HO3D 瓶子等跨类别差距较大场景显著更好；HO3D 盒子的5°5cm虽低于 CAPTRA，但 Chamfer 距离更优。\n- 方法对标准差10–30mm的初始关节噪声具有一定鲁棒性，完整流水线在 RTX 2080 Ti 上运行9 FPS，HandTrackNet 和物体跟踪分别可达26 FPS和29 FPS。\n- 方法的适用约束包括需要手物分割和初始位姿、物体需属于训练类别或几何相似类别、实验主要针对右手；未来计划进行 CUDA 加速和端到端改造。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}