{
  "paper_id": "5925aadfba13902d2b6bbaa9ad570282",
  "paper_title": "Hand3R: Online 4D Hand-Scene Reconstruction in the Wild",
  "paper_authors": [
    "Wendi Hu",
    "Haonan Zhou",
    "Wenhao Hu",
    "Gaoang Wang"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "对于具身智能而言，联合重建动态手部与稠密场景上下文对于理解物理交互至关重要。然而，大多数现有方法仅在局部坐标系中恢复孤立的手部，忽略了周围的三维环境。为解决这一问题，我们提出了Hand3R，这是首个从单目视频进行联合4D手部-场景重建的在线框架。Hand3R通过场景感知视觉提示机制，将预训练的手部专家与4D场景基础模型协同结合。通过将高保真手部先验注入持久场景记忆，我们的方法能够在单次前向传播中同时重建精确的手部网格和稠密的度量尺度场景几何。实验表明，Hand3R摆脱了对离线优化的依赖，并在局部和全局定位方面均取得了具有竞争力的性能。",
  "keywords": [
    "4D手部-场景重建",
    "手部网格恢复",
    "在线重建"
  ],
  "paper_institutions": [
    "Zhejiang University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:31:33.230966Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对具身智能中动态手部与稠密场景上下文联合重建的问题，现有单目三维手部网格恢复方法（如HaMeR、WiLoR）大多在根相对相机坐标系中恢复孤立手部，缺乏对全局三维环境的感知，而近期全局方法HaWoR依赖碎片化的多阶段流水线且无法同时重建稠密场景几何。为此，本文提出Hand3R——首个从单目视频进行联合4D手部-场景在线重建的端到端框架，其核心机制为场景感知视觉提示：从冻结的手部专家（HaMeR预训练ViT）提取高保真手部特征f_h，并在检测框内对场景骨干（CUT3R）输出的度量尺度特征图F_s进行区域平均池化得到局部场景上下文f_s，二者经拼接融合生成统一手部提示 p_h = M_prompt(Concat(f_h, f_s))，并注入场景解码器的持久记忆状态，从而在单次前向传播中同时恢复精确手部网格与稠密度量尺度场景几何。训练采用两阶段策略：第一阶段在DexYCB数据集上以根相对关节与顶点的几何损失微调MANO头以建立鲁棒姿态先验（该数据集提供受控环境下高质量三维手部标注，可最大化手部姿态多样性并提升泛化）；第二阶段在HOI4D数据集上以全局平移、绝对三维关节坐标、2D关键点重投影及加权场景目标构成的联合损失微调融合网络与平移头以学习精确全局定位（该数据集提供以自我为中心的4D人-物交互场景，可验证手部在度量场景中的全局放置能力）。实验采用PA-MPJPE与AUC（DexYCB）以及C-MPJPE、W-MPJPE、WA-MPJPE（HOI4D）作为指标：Hand3R在DexYCB上取得MPJPE 4.83mm、AUC 90.5的竞争性能，在HOI4D上取得所有方法中最低的C-MPJPE 42.6，并全面超越HaMeR-SLAM与WiLoR-SLAM基线，验证了解耦预测设计与场景感知提示机制在保持局部精度的同时实现全局定位的有效性；尽管在线因果估计在长序列全局轨迹指标上与离线多阶段方法HaWoR存在固有精度差距，该方法免除了离线优化依赖，适用于实时具身智能与AR/VR等需要手-场景联合理解的现实场景，其约束在于单目输入与在线因果估计带来的累积漂移，未来可进一步探索缓解在线漂移、缩小与离线束调整精度差距的方向。\n\n### 关键要点\n\n- Hand3R是首个从单目视频进行联合度量尺度手部与稠密场景在线重建的端到端框架，单次前向传播即可同时估计相机轨迹、稠密规范场景点云与交互手部网格。\n- 核心场景感知视觉提示机制：从冻结手部专家提取高保真特征f_h，与检测框内平均池化得到的局部场景上下文f_s拼接，经提示模块生成p_h并注入场景解码器的持久记忆状态。\n- 双流架构解耦局部手部关节与全局空间定位：场景流维护持久4D度量状态，手部流提取细粒度专家特征，两流在场景感知提示融合模块汇合。\n- 解耦预测策略：MANO头直接从原始专家令牌回归局部姿态与形状（捷径连接防止手指关节细节被全局融合稀释），平移头基于状态感知融合特征解码全局平移以解决深度歧义。\n- 实现上以HaMeR的预训练ViT骨干作为手部专家编码器，以CUT3R作为场景基础模型，分别提供毫米级手部先验与度量尺度场景特征及持久记忆解码。\n- 两阶段训练策略：第一阶段冻结场景分支，在DexYCB上以根相对关节/顶点L2损失微调MANO头；第二阶段在HOI4D上以平移、绝对坐标、2D重投影损失联合加权场景目标（防止灾难性遗忘）微调融合网络与平移头。\n- DexYCB局部手部网格恢复结果：整体MPJPE 4.83mm、AUC 90.5，在50%-75%遮挡子集上MPJPE 4.43、AUC 91.1，达到与专用局部网格回归器竞争或更优的精度。\n- HOI4D全局重建结果：C-MPJPE 42.6为所有方法（含离线方法）中最低，短视频WA-MPJPE 38.04，全面优于HaMeR-SLAM与WiLoR-SLAM多阶段离线基线。\n- 与离线多阶段方法HaWoR相比，在长视频全局轨迹指标（W-MPJPE 125.81对58.62）上存在差距，原因在于在线因果估计无法利用未来帧进行全局束调整，累积漂移随序列增长而加剧。\n- 定性可视化显示框架在未见野外场景中表现鲁棒，自然支持多手与左手重建，并在同一度量空间中实现一致的跟踪与重建。\n- 适用场景为实时具身智能、AR/VR与人机交互；主要约束包括单目输入、在线因果估计固有的漂移，以及手部专家与场景基础模型之间特征分辨率的差异需通过提示机制桥接。"
}