{
  "paper_id": "83984d7871c19df4f3c218071613e207",
  "paper_title": "DYNAMICHOI: COUPLED DYNAMICS FOR PHYSICS-AWARE HOI RECONSTRUCTION",
  "paper_authors": [
    "Wenliang Guo",
    "Zhanbo Huang",
    "Yu Kong"
  ],
  "publication_date": "",
  "publication_venue": "Preprint",
  "abstract": "论文研究从单目RGB视频重建手物交互轨迹，重点解决部分观测下轨迹视觉合理但机械不一致的问题。现有方法主要约束视觉与几何一致性，对交互动力学约束不足。DYNAMICHOI将几何锚定的扩散细化与耦合的手物动力学相结合：几何模块将视觉证据在空间中锚定以细化轨迹，关节逆动力学和Newton-Euler动力学分别推导手部广义力与物体扳手，形成动力学级监督；接触力传递进一步耦合手物动力学，并恢复主动手部驱动力这一交互级物理量。论文将主动驱动力的经验幅度分布建模为概率先验，以惩罚低概率驱动并抑制机械不合理的运动。在三个HOI数据集上的实验表明，手部和物体重建均获得稳定提升，重建轨迹还可改善手部世界模型生成和机器人操作学习。\n",
  "keywords": [
    "单目RGB视频",
    "手物交互重建",
    "物理感知",
    "扩散模型",
    "几何锚定",
    "关节逆动力学",
    "Newton-Euler动力学",
    "接触力",
    "主动手部驱动",
    "Student-t先验"
  ],
  "paper_institutions": [
    "Michigan State University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:40.736491Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向单目RGB视频的手物交互重建需要在遮挡、视角歧义和运动相机下恢复时序3D网格；现有优化或前馈方法主要约束视觉与几何一致性，即使已有关节逆动力学工作也主要描述手部，未同时约束刚体物体及接触耦合，因此可能出现没有对应力作用的突然平移或旋转。DYNAMICHOI以冻结的WiLoR手部估计器和FoundationPose物体估计器产生初始轨迹，再用可学习扩散细化网络迭代修正；网络先在网格空间进行几何编码和时间自注意力，再以手部关节与物体关键点为三维锚点投影到图像，聚合DINOv2块级特征并残差融合，最后拼接手物token进行时空自注意力并回归状态残差。系统将手部视为包含16个旋转、共51维广义坐标的关节体，用逆动力学求广义力τ_t^h；将物体视为刚体，用Newton-Euler方程由线加速度、角速度和角加速度求扳手w_t^o=[f_t^o; τ_t^o]，并在预测与真值轨迹之间对齐这些物理量。接触耦合使用五个指尖和掌心共K=6个锚点推断驱动力，核心机制为a_t=τ_t^h+J_{c,t}^T f_t，主动驱动力同时解释手部运动和驱动物体的接触反作用；论文从真值训练轨迹统计出重尾分布，按51个自由度分别拟合Student-t参数，以负对数似然惩罚低概率驱动，总损失为L=L_diff+λ_d L_dyn+λ_a L_act。实验选择HOT3D、HO3D-v2和DexYCB，分别覆盖自我中心移动视角与非自我中心视角：HOT3D采用Aria划分，含1311个训练片段和147个评估片段，每段150帧；HO3D-v2采用官方55个训练序列和13个评估序列；DexYCB将每个相机视角作为片段，得到6400/320/1280个训练/验证/测试片段，从而检验遮挡、有限视角和相机运动下的泛化能力。评估指标包括手部W/WA/PA-MPJPE、MPJPE、AUC、F@5/F@15、RTE和ACCEL，以及物体ADD(-S) AUC、0.1d召回、5°5cm成功率和ACCEL。DYNAMICHOI在HOT3D取得手部W 5.26 cm、WA 1.83 cm、PA 4.15 mm、ACCEL 1.68 mm/frame²，以及物体ADD@.1 25.8%、ADD-S@.1 48.2%、ACCEL 5.57 mm/frame²；在HO3D-v2取得手部PA 7.45 mm、AUC 0.851、ACCEL 2.77 mm/frame²；在DexYCB取得手部MPJPE 9.51 mm、AUC 0.906、ACCEL 3.27 mm/frame²。三个数据集上手物加速度误差普遍降低，说明几何锚定提升轨迹定位、动力学对齐抑制异常运动、接触耦合提供互补约束。该方法还将DexYCB轨迹重定向用于8个预留任务的PPO操作策略，每任务评估100回合，成功率由使用WiLoR轨迹的25.0%提升至74.9%；在HOT3D上条件化EgoHOI自我中心世界模型时，也改善了mLPIPS和生成手部MPJPE。相关技术可用于沉浸式系统、具身学习和世界建模，但当前聚焦空中操作，不显式建模桌面等外部支撑，依赖已知物体模板，质量优先取数据集标注、否则由大语言模型估计，且力估计误差会传播到驱动先验；物理量仅在训练时计算，推理不增加额外成本。未来工作包括更准确的力估计、更丰富的驱动先验，以及脱离已知模板并泛化到未见物体的统一物体表示。\n\n### 关键要点\n\n- 初始轨迹由冻结的WiLoR手部估计器和FoundationPose物体估计器逐帧产生，可学习扩散细化网络负责修正时间与物理不一致。\n- 几何编码将紧凑参数解码为手部和物体网格，再通过独立几何编码器与时间自注意力提取显式三维结构和表面关系。\n- 视觉锚定从初始估计生成手部关节和物体关键点三维锚点，投影到图像后检索对应的DINOv2块级特征，并以残差方式融合到几何特征。\n- 交互建模将手部和物体视觉特征拼接，通过时空自注意力学习联合依赖，再由独立预测头回归手部和物体状态残差。\n- 手部动力学把16个旋转转换为Euler-ZXY角并形成51维广义坐标，利用有限差分估计速度和加速度，再通过关节逆动力学恢复广义力。\n- 物体动力学采用Newton-Euler方程，将物体平移和旋转轨迹映射为包含外力与外力矩的扳手，从而显式描述驱动物体所需的物理作用。\n- 接触耦合以五个指尖和掌心共6个锚点近似分布式接触，推断能解释物体扳手的接触力，并通过接触雅可比转置映射到手部广义坐标。\n- 主动驱动力由手部广义力与接触反作用合并得到，论文按每个自由度拟合独立Student-t分布，用负对数似然惩罚机械上不合理的驱动。\n- HOT3D、HO3D-v2和DexYCB的实验设置同时覆盖自我中心移动相机、非自我中心固定视角、遮挡和多相机片段，可检验不同观测条件下的鲁棒性。\n- 对比实验中DYNAMICHOI在多数指标上表现最佳，并显著降低手物ACCEL，表明物理约束不仅提高精度，也增强运动动力学一致性。\n- 模块和损失消融显示，视觉锚定对HOT3D移动视角尤其关键，交互模块对固定视角持续遮挡更重要，L_dyn带来主要物理增益，L_act提供稳定但较小的额外收益。\n- 下游实验中，更物理一致的轨迹将机器人操作成功率从25.0%提升到74.9%，并改善自我中心视频生成的动作保真度和手部区域视觉质量。"
}