{
  "paper_id": "6e9d9e6bbcbfc9459801f8fb3ddcfd7e",
  "paper_title": "The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction",
  "paper_authors": [
    "Yuxi Wang",
    "Chengkai Jin",
    "Yufei Liu",
    "Wenqi Ouyang",
    "Tianyi Wei",
    "Zhiwei Zeng",
    "Siyuan Huang",
    "Zhiqi Shen",
    "Xingang Pan"
  ],
  "publication_date": "2026",
  "publication_venue": "unknown",
  "abstract": "4D hand motion reconstruction from egocentric video is bottlenecked by two limitations: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, too narrow to model motion, occlusion, and hand-object interaction. Yet these are exactly what video generative models must implicitly acquire to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The pipeline operates directly on full frames—no detector, no infiller, no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods on most metrics, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a route to scalable in-the-wild data collection for embodied AI.",
  "keywords": [
    "4D手部运动重建",
    "视频扩散模型",
    "自我中心视频",
    "MANO",
    "手部姿态估计",
    "手部叠加渲染",
    "覆盖率感知评估",
    "具身AI"
  ],
  "paper_institutions": [
    "Nanyang Technological University",
    "Shanghai Jiao Tong University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:38:46.545299Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从自我中心视频重建4D双手运动长期受制于两大瓶颈：基于图像的流水线依赖上游检测器，严重遮挡下检测失败直接导致重建失败；基于视频的方法仅从稀缺手部姿态标注学习时序模块（跨帧注意力或运动先验/补全器），难以建模运动、遮挡与手物交互动态。而大规模视频生成模型为在互联网尺度合成时空与几何连贯的视频，必须隐式解决4D手部重建面临的相同结构性挑战：时空一致性、从2D观测推断3D几何、遮挡内容推理。本文提出ViDiHand，据我们所知是首个利用预训练视频扩散模型（1.3B参数Wan2.1-VACE）内部表征从自我中心视频重建4D双手姿态的方法：通过手部叠加渲染目标（两阶段课程——Stage 1a在EgoDex上渲染2D关节骨架叠加以暴露MANO标注数据中不可得的自我中心手物运动规模，Stage 1b在ARCTIC+HOT3D上切换为MANO网格叠加以对齐解码器消费的MANO表面）仅微调VACE分支并冻结基础DiT，使特征专用于手部同时保留场景、物体与运动先验；随后双分支解码器（手部token分支经固定槽查询交叉注意力产生关节MANO姿态、关节热图分支经soft-argmax产生2D锚点，互注意力融合）从第L*=15层、归一化去噪步τk≈0.7的激活中恢复度量尺度姿态，其核心机制是混合投影头将相机平移拆分为回归深度与闭式解面内位移——深度固定时针孔投影对未知为线性且按坐标解耦，故面内平移可作为对精化热图锚点的按坐标加权最小二乘闭式解，使热图、偏移MLP、MANO回归器与深度标量作为单一几何系统联合优化，避免自由回归时的根平移/根姿态歧义。在ARCTIC（胸部相机、双手操作铰接物体、严重手物/手手遮挡）、HOT3D（Aria眼镜99°广角鱼眼、HDR光照、快速头手运动模糊）与对所有方法显式监督留出的HOI4D（15fps、以单手操作为主）三个互补失败模式的基准上，采用将检测覆盖率折叠进每个姿态指标的覆盖率感知协议（漏检手按规范MANO占位误差计费，如ARCTIC上约132mm），ViDiHand在27项指标中26项排名第一：ARCTIC帧准确率0.997（较最强判别基线WiLoR的0.919将帧错误率降低27倍）、EPE-p从50.5px降至12.4px（4倍）、抖动降至3.18 mm/frame²（较需SLAM测试时优化的Dyn-HaMR的12.8低4倍且无需任何运动先验或测试时优化）；HOT3D上MPJPE-p从最优基线31.0mm改善至21.5mm；留出HOI4D上九项指标八项第一（抖动4.0对比次优17.4）。这些增益主要归功于视频生成先验首次为手部重建带来互联网尺度的遮挡、时序连贯与几何知识，支持从以专用模块修补的手部中心流水线向继承自日益强大生成模型表征的范式转变。未来方向包括通过蒸馏与少步或自回归生成器实现实时推理、以弱标签/图像数据集/更多相机视角扩展监督、从手物交互扩展到全身运动；当前5.5fps（4张A100 GPU）的速度约束使其定位为离线标注工具，为具身AI中机器人模仿学习与策略学习所需的手部/腕部轨迹监督及可扩展野外4D手部标注提供现实路径。\n\n### 关键要点\n\n- ViDiHand是首个利用预训练视频扩散模型从自我中心视频重建4D双手运动的方法，直接在完整视频帧上运行，无需上游手部检测器、运动补全器或测试时优化。\n- 手部叠加渲染适配：仅微调Wan2.1-VACE的VACE分支并冻结基础DiT，Stage 1a在EgoDex（685小时、仅关节标注）上渲染2D关节骨架叠加，Stage 1b在ARCTIC+HOT3D上渲染MANO网格叠加，两阶段课程将EPE-p从16.60px降至11.93px。\n- 特征提取自1.3B参数DiT的30个transformer块中第L*=15层、归一化去噪步τk≈0.7处的激活（每81帧片段对应21个潜在帧），层与去噪步消融验证该选择在FAcc、MPJPE-p、EPE-p上最优。\n- 双分支解码器：手部token分支用两个固定槽查询（左右手身份由查询行固定，无需左右分类器）产生关节MANO姿态，关节热图分支产生21个2D锚点与池化描述符，经一层互注意力融合后由混合投影头输出MANO与深度。\n- 核心几何机制：相机平移拆分为回归深度与闭式解面内位移，深度固定时针孔投影对线性且按坐标解耦，面内平移由对精化热图锚点的按坐标加权最小二乘闭式求解，可微性使热图、MANO回归器与深度作为单一几何系统联合训练。\n- 数据集互补设计：ARCTIC考验严重手物/手手遮挡下的双手操作，HOT3D考验广角鱼眼畸变、HDR光照与运动模糊下的检测，HOI4D（15fps、以单手操作为主）对所有方法留出用于跨数据集泛化测试，EgoDex提供大规模仅关节标注的自我中心监督。\n- 覆盖率感知评估协议：标准MPJPE等仅评分正确匹配的真阳性、偏向保守跳过困难帧的方法；该协议将每个漏检手按规范MANO占位误差（ARCTIC上约132mm）计入每个姿态指标，使检测覆盖率与姿态精度由单一数字联合反映。\n- 主要结果：ViDiHand在三个基准27项指标中26项第一；ARCTIC帧准确率0.997（帧错误率较WiLoR降低27倍，从8.1%到0.3%）、EPE-p 12.4px（较WildHands的50.5px降4倍）、抖动3.18（较Dyn-HaMR的12.8降4倍且无需SLAM测试时优化）。\n- 消融证据：随机初始化transformer与DINOv3-H+（840M）图像骨干均逊于1.3B视频扩散骨干，最大差距在抖动（14+对比3.42），表明视频预训练产生更时序稳定的表征；移除任一解码器组件使FAcc从0.9979降至0.9767–0.9829。\n- 损失设计：解码器由五组十项损失训练（测地旋转、相机平移、图像残差、可见性BCE、时序正则），移除测地损失使MPJPE-p增加最大（+0.84mm），移除2D重投影或加速度平滑损失使FAcc大幅下降（分别至0.9507与0.9479）。\n- 现实约束：推理速度5.5fps（4张A100 GPU）使其目前定位为离线标注工具；训练仍依赖姿态标注视频（但完整MANO非必需，仅关节标注即可驱动Stage 1a）；HOI4D的\"留出\"仅指显式监督，视频骨干不可审计的预训练语料可能含相似素材。\n- 应用与展望：为具身AI中基于自我中心视频的机器人模仿与策略学习提供手部/腕部轨迹监督（重建质量直接影响策略学习效果），为野外4D手部标注提供可扩展路径；未来通过蒸馏与少步/自回归生成器实现实时推理，扩展弱标签监督与全身运动。"
}